(haast) gratis online back-up (torrent-like)

Door rokas op woensdag 24 april 2013 20:23 - Reacties (19)
Categorie: -, Views: 4.416

Update
Helaas moet ik melden dat mijn initiele enthousisme is omgeslagen. Wat blijkt? Bij Datahaven.net is er sprake van een "ruilmechanisme". Ik geef doneer "2 eenheden" opslag en mag als tegenprestatie "1 eenheid" opslag gebruiken. Zolang dit in balans is hoef je niets te betalen. Maar het ligt iets subtieler, wanneer je iets doneert telt dit nog niet mee. De gedoneerde capaciteit moet ook daadwerkelijk benut worden. Als dat niet zo is en jij meer opslag bij anderen gebruikt dan anderen bij jou dan moet je (uiteindelijk) gaan betalen.

Op zich lijkt dit redelijk maar zonder dat je het doorhebt zit hier een negatieve stimulans in waardoor gebruikers die niet bereid zijn te betalen (en dat zullen de meeste zijn schat ik in) juist stimuleert om zo weinig mogelijk van Datahaven.net gebruik te maken.

Bij het registeren krijg je van Datahaven.net $10 op je saldo. Ga je een backup bij andere plaatsten dan kost dat $'s. Niet veel, maar toch. Maar je denkt, och ik doneer wel heel veel ruimte dan compenseer ik dat wel. Maar waar je al snel achter komt dat er haast niemand van jouw ruimte gebruik maakt. Vreemd, hoe komt dat? Simpel, zij zitten met het zelfde dilemma als alle andere gebruikers van Datahaven.net. Om maar niet onder de $0 te komen, waardoor je zou moeten betalen, gaan ze hun backup sterk verkleinen en wachten eerst tot anderen van hun gedoneerde ruimte gebruik gaan maken want dan gaat hun saldo met $'s weer omhoog. En dan zou je de benodigde backupruimte voorzichtig kunnen gaan verhogen.

Maar als iedereen zijn backups heel klein kiest of klein maakt zijn er dus niet gebruikers die van je gedoneerde ruimte gebruik gaan maken.

Een Datahaven gebruiker denkt: "ik maak nog even geen grote backups want dat is nog niet in evenwicht met de gebruikte gedoneerde ruimte. Ik wacht wel tot andere gebruikers van mijn gedoneerde ruimte gebruik maken en dan kan ik, zonder dat het mij wat kost, mijn backup wel vergroten."

Feitelijk kijk je in de spiegel. Iedereen zit op iedereen te wachten.

Een verkeerde afrekenmethodiek dus. Wil je het gebruik juist stimuleren dan moet je de gedoneerde ruimte, ook al is die nog niet volledig benut, waarderen met $'s. Want dat je een mechanisme moet inbouwen die gebruikte en gedoneerde ruimte in balans moet laten houden zal iedereen snel inzien.

Ik heb de ontwikkelaar geschreven en voorgelegd maar die heeft hier geen oog voor. Jammer, ik vermoed dat we moeten wachten op een nieuw p2p backup initiatief.

In het kort
Datahaven.net is een backup dienst waarbij internet gebruikers elkaar helpen. Iedereen die meedoet stelt schijfruimte op zijn pc beschikbaar (je kan zelf instellen hoeveel) voor anderen gebruikers. Je backup wordt in blokjes verdeeld en versleuteld en verdeeld over een X aantal andere gebuikers. Tevens worden die stukjes twee keer, verdeeld over verschillende gebruikers opgeslagen. Als een paar gebruikers uitvallen is dat niet erg, want jouw stukjes staan toch op meerdere plekken. De kans dat al jouw stukjes, die samen jouw backup vormen, niet beschikbaar zijn is klein (immers die stukjes zijn twee keer beschikbaar). Wil je een backup maken van 10GB? Dan moet je 20GB "doneren" (meer mag). Het werkt heel simpel en na je eerste instellingen hoef je er niet meer naar om tekijken. De kosten? Het is gratis. Het kost je alleen maar schijfruimte. Eén GB voor de prijs van twee GB.

Dit lijkt erg op Symform, wat is het verschil?
Bij Symform wordt maar 1,5 keer en niet 2 keer jouw backup verdeeld over andere gebruikers (maar ze gebruiken toch 2x jouw schijfruimte, die overblijvende 0,5 is "voor hun" en die schijfruimte van jou kunnen zij verkopen). Daarnaast eist Symform dat je minimaal 80% van de tijd online moet zijn. Dit is voor iemand die een NAS heeft geen probleem. Maar als je dat niet hebt zou ik je niet aanraden je pc constant aan te laten staan. Dat vraagt erg veel energie en kost uiteindelijk meer dan 200 euro per jaar. Dan blijkt "gratis" ineens niet meer zo gratis. Datahaven.net kent niet een eis van 80% van de tijd online. Daar schuilt wel een gevaar in. Want de kans is dus groter (dan bij Symform) dat een deel van je backup (even) niet beschikbaar is omdat die gebruiker(s) niet 80% van de tijd beschikbaar zijn. Maar door de grotere redundacy (factor 2) wordt dit bij datahaven.net grotendeels ondervangen. Wat je mogelijk kan gebeuren is dat als je een backup wilt terugzetten op dat moment niet alle gebruikers waar jouw backup opgeslagen is, online zijn. Geen probleem. Dan start de restore actie alvast met de andere gebruikers en zodra de laatste gebruikers weer online zijn worden die stukjes van hun pc opgehaald. Je krijgt ineeens het idee van aan een torrent achtig systeem? Spot on! Veel plezier met datahaven.net. Software kan je hier downloaden.


Wat zocht ik?
Ik zocht al meer dan een jaar een goede online back-up oplossing. Dus dat de back-up "buiten de deur" zou liggen. Ik had al de nodige dingen gedaan zoals back-up's maken en die op de zaak te leggen. Maar dat vereist altijd dat je er mee gaat slepen en de back-up is nooit helemaal up-to-date.

Wat heb ik bekeken?
Ik heb verschillende oplossing de revue laten passeren. Back-up oplossingen zoals backblaze, crashplan, idrive, mozy etc. Maar deze diensten waren of veel te duur of, en dat lijkt vreemd: veel te goedkoop. Neem Crashplan daar betaal je een paar tientjes voor en die kunnen natuurlijk nooit een complete back-up van mijn systeem hebben voor zo weinig geld. En ik heb geleerd, als iets te mooi is om waar te zijn, is het ook te mooi om waar te zijn. Op zich is crashplan heel erg leuk, maar het is veel te goedkoop. Als je veel gaat lezen op het net lees je dan ook dat crashplan (en ook vergelijkbare anderen) de upload speed erg dichtknijpen om het rendabel te houden. Dus men schrijft wel "unlimited storage" maar voordat je een paar honderd GB hebt "mogen" uploaden, ben je maanden bezig. De oplossing van crashplan of buddy backup dat je bij een collega, vriend of familielid een back-up neerzet wekte wantrouwen. Men vertrouwde het niet. Mij lukte het niet om een collega/vriend/familielid mee te krijgen om elkaars back-up online uit te wisselen. Jammer.

Een leuke kandidaat maar toch afgevallen
Zo kwam ik bij Symform. Het idee: jij geeft voor iedere GB online opslag twee GB aan Symform. De data wordt niet centraal opgeslagen maar verdeeld (en uiteraard versleuteld) over een X aantal andere gebruikers. Dat leek precies wat ik zocht. Maar wat bleek? Je moet de computer 80% van de tijd aan laten staan en dat is bij mij geen optie. Val je voor een wat langere tijd onder deze 80% grens dan moet je gaan betalen of kan je niet meer meedoen. Iedere avond ok maar niet de hele dag. Die viel dus af. Maar het "idee" van back-up verspreiden over andere gebruikers hun pc's op het internet was precies wat ik zocht.

Gevonden
Uiteindelijk vondt ik "Datahaven.net". Feitelijk hetzelfde als Symform maar op een aantal punten afwijkend en aantrekkelijker.
  • Het lijkt geen commerciele doel te dienen
  • Je hoeft niet 80% van de tijd on-line te zijn.
  • Je kan veel instellingen maken en dingen worden meer zichtbaar gemaakt, echt wat voor tweakers.
Een voor de prijs van twee
En wat kost datahaven.net? Het kost niets. Het is "gratis". Maar echt gratis is het natuurlijk niet. Het kost je hard disc ruimte.

Voor iedere GB die je back-up groot is moet je twee GB ter beschiking stellen aan je buddies. Later zal je lezen waarom het niet een 1 op 1 ruilhandel is maar een 1 op 2 verhouding, waar je maar wat blij mee zal zijn!

Suppliers en customers
Dit "sla je backup op bij anderen op hun pc via het internet" kent dus twee partijen. Als jij jouw backup kwijt wilt op de pc van anderen moeten zij jouw hard disc capaciteit leveren. Deze gebruikers worden "suppliers" genoemd en jij bent op dat moment dan hun "customer".

Maar zoals je al las, jij moet twee keer zoveel ruimte weer aan anderen ter beschikking stellen. Daarmee wordt jij voor anderen een supplier. Degene die bij jouw (geheel automatisch) bestanden mogen opslaan zie jij als jouw "customers".


Hoe werkt het?
Je geeft aan van welke directories je een back-up wilt maken. Daarna gaat alles automatisch en hoef je er niet meer naar om te kijken. Terwijl jij lekker loopt te tweaken worden je backup bestanden eerst gecomprimeerd, in kleine stukjes gehakt en daarna met public key-encryption versleutelt. Daarna worden deze "stukjes van je back-up" verdeeld over een X aantal suppliers. Voor de zekerheid worden al die stukjes van je backup twee maal bij de suppliers opgeslagen. Natuurlijk niet bij dezelfde supplier want deze techniek van dubbel opslaan is juist gemaakt om te zorgen dat uitvallen van een paar suppliers niet zal leiden tot het niet meer kunnen terugzetten van je backup.

omgekeerde torrent techniek, laat de computer maar puzzelen!
Je kan deze opslag techniek vergelijken met een omgekeerde torrent techniek.

In het kort: bij torrents veramel je stukjes van een file (die jij wilt hebben) die verspreid zijn over verschillende computers op het internet en die vormen bij jouw (na het downloaden van al die stukjes) een complete file. Die andere internetters hoeven niet te beschikken over de complete file die jij wilt hebben, als ze samen maar minimaal alle stukjes hebben die samen de file vormen. Een soort puzzel waarbij dus die je maakt door puzzel stukjes bij verschillende mensen op te halen (kopieren). Als iemand op vakantie is kan je toch de puzzle afmaken want bij torrents hebben meerdere internetgebruikers de beschikking over dezelfde puzzlestukjes. En zodra je de puzzel af hebt heb je feitelijk weer een complete nieuwe puzzel (een kopie dus) waarbij jij de puzzelstukjes aan anderen geeft (laat kopieren) "het gaan uploaden".

Bij datahaven.net werkt het precies andersom. De complete file is jouw back-up (de complete puzzel) en wordt in stukjes verdeeld over andere computers op het inernet. Er is echter één groot verschil: jouw data wordt versleuteld verspreid over de andere computers. Anderen zijn dus niet in staat jouw back-up te zien, zelfs niet onderdelen van je back-up (semafoor: ze zien wel puzzelstukjes maar blijven allemaal wit ze zien dus niet de afbeelding van het puzzelstukje). De bestanden die bij anderen op hun computer worden opgeslagen hebben een filename als "F20130426050000AM-1-0-Data" en hebben een standaard grootte van een halve megabyte. Wat in die file staat blijft voor iedereen een raadsel. Anderen kunnen dus niet in jouw backup "gluren".

Private key
Als je datahaven.net hebt geinstalleerd, wordt, zonder dat je het door hebt twee digitale sleutels gemaakt. De public key en de private key. Die laatste moet je heel goed bewaren maar zeker ook buiten je pc (liefts op papier ergens buiten de deur). Want als je ooit je backup wilt terugzetten omdat je hard disc defect is, ben je ook de private key kwijt, want die staat standaard op je hard disc. Zonder die private key kan niemand, ook datahaven.net niet, jouw backup files "teruglezen". Als je het niet vertouwt moet je wat meer lezen over "public key encryption".

Redundancy factor 2
Wanneer je een backup wilt terugzetten zal je begrijpen dat alle stukjes van jouw backup wel "online" (beschikbaar) moeten zijn. Is een van de suppliers niet beschikbaar dan kan jij naar je backup fluiten. Daar hebben symform en datahaven.net (wat zeer vergelijkbare systemen zijn) iets op bedacht. Symform slaat jouw backup 1,5 keer op (de andere 0,5 ruimte van jouw gedoneerde hard disc ruimte houden ze voor zichzelf die ze kunnen verkopen en dat is hun "verdienmodel"). Doordat jouw backup niet 1 maar 1,5 keer beschikbaar is (by symform) neemt de kans toe dat, ondanks uitval van een supplier, jij je backup toch terug kan zetten.

Bij datahaven.net wordt je backup niet 1,5 maar 2 keer opgeslagen bij andere suppliers (datahaven heeft dus geen echt verdienmodel). Daarmee is de kans bij datahaven dus, op dit punt, groter dan bij symform, dat je de backup ooit weer kan terugzetten.


Wat zijn je ervaringen?
Ik ben heel eerlijk, ik ben nog niet zo lang aan de slag maar vindt het zo'n mooie oplossing dat ik het jullie niet wilde onthouden. Daarom schrijf ik deze blog ook. Doel van deze blog is om ervaringen met datahaven.net te delen. Ik zal dit in eerste instantie doen, maar als andere tweakers ook een datahaven gebruiker zijn is hun bijdrage zeer welkom!

Installatie
Ga naar http://datahaven.net/download.html en download de software. De installatie wijst voor zich. Tijdens de installatie vraagt hij om je eenmalig te registeren. Die naam "zien" andere gebruikers ook van datahaven.net als een van hun "suppliers" waar data opgeslagen kan worden.

Zodra je de registratie hebt afgerond duurt het even een tijdje voordat je "verder kan" (een minuutje of zo). Helaas maakt de software niet heel erg duidelijk dat hij nog bezig is en dat je even moet wachten. Heb dus geduld en als je een knop onderaan ziet verschijnen met "ga door" of zo iets dan weet je dat hij daar mee klaar is.

User interface even wennen
Het was voor mij even wennen aan de user interface, maar na een korte tijd heb je het zo te pakken. Bovenin staat een link naar het menu, maar ook een "back" link. Het lijkt wat op een webbrowser scherm met links.

Port open zetten (portforwarding)?
Mocht je Upnp uitgezet te hebben op je router (slim) dan moet je zelf even een poort openzettein je router. Welke dat is zie je bij je network settings (eerst naar menu, dan settings, network, transport_tcp port). Daar kan je tevens Upnp uitzetten (Upnp is een techniek die je router vanuit je pc automatisch een poort kan openzetten, maar hackers weten dit ook en kunnen van Upnp misbruik maken, beter dus maar niet gebruiken).

Belangrijk
Zodra je een back-up wilt maken moet je aangeven welke directory dit is. Je kan meerdere back-up sets maken.
Wat heel belangrijk is dat je van te voren moet aangeven over hoeveel suppliers (andere gebruikers) jouw back-up wordt verdeeld. Standaard is dit vier stuks. Andere waarden zijn 7, 13, 18, 26 of 64 suppliers.

Wat belangrijk is te weten dat indien je deze waarde achteraf wijzigt je backup totaal opnieuw opgebouwd moet worden. Had je al een backup online, dan ben je hem dan kwijt. Denk hier dus goed over na.

Hoeveel suppliers zal ik kiezen?
Dat is niet in een zin uit te leggen. Het is een balans vinden.
Stel je hebt een backup van 40GB en kiest voor 4 suppliers. Stel je backup staat helemaal online (dus bij andere suppliers). Jij blij. Maar een van die suppliers krijgt een hard disc crash. Na enige tijd zal de software merken dat het bij die ene supplier niet goed gaat en zal geheel automatisch op zoek gaan naar een supplier die wel regelmatig online is. Daarna moet hij de data die bij de "defecte supplier" stond, opnieuw gaan uploaden naar de nieuwe supplier. Dat gaat allemaal geheel automatisch. Maar dat uploaden kost natuurlijk wel wat tijd. In dit geval moet er 40GB / 4 suppliers = 10GB opnieuw geupload worden naar de nieuwe supplier. En om het maar helemaal juist uit te leggen, eigenlijk is het 20GB. Want jouw data wordt twee keer weggeschreven. Dus jouw backup van 40GB is online 80GB groot en verdeeld over 4 suppliers is dat dus 80/4=20GB per supplier.

Wanneer je kiest voor 18 suppliers (in plaats van de standaard 4), zal bij het wegvallen van een supplier niet 20GB opnieuw geupload moeten worden maar: 80GB/18 suppliers=4,5GB. Dat is dus veel sneller klaar.

Je zou dus denken, dan kies ik voor het maximum aantal suppliers (64). Maar daar zit een klein addertje onder het gras. Op dit moment is datahaven.net nog in een opstartfase. Dus nog relatief weinig gebruikers. Op het moment van schrijven lijkt (mijn inschatting) het aantal suppliers van 7 of 13 een aantrekkelijke waarde. Zodra meer gebruikers van datahaven.net gebruik gaan maken speelt dit totaal geen rol meer en zal iedereen kiezen voor 64 suppliers. Dus ergens in de tijd zal je wel een keer opnieuw moeten beginnen en het aantal suppliers gaan verhogen. Dat is eenmaal de pijn die we hebben bij deze "startup". Maar als wij niet met zijn allen hier aan meedoen is het gedoemd om te mislukken. Ook hier geldt voor "samen sta je sterk".

Hoeveel backup's?
Je kan zelf instellen wanneer backups worden gemaakt en hoeveel backups online worden gehouden. Het backup moment is instelbaar van eenmalig, per uur, dag, week, maand, continue en je kan het tijdstip van start van de backup instellen.

Je kan zelf bepalen van welke directories je een backup wilt maken.
Ook kan je zoveel backup sets maken als je zelf wilt. Dus niet één grote backup maar gesplitst in delen:
Dus backupset 1=C:\foto, backupset 2=c:\documents, backupset 3=c:\music\popular
Per backup set kan je de "frequentieinstellingen" instellen (hoe vaak moet hier een backup van gemaakt worden).

Uiteraard kan je ook een backup set verwijderen.

Via >menu >settings >backups >backup copies kan je (voor alle backupset tegelijkertijd, is dus niet per backupset instelbaar) aangeven hoeveel keer jouw backups online staan.

Standaard is dit twee. DIt houdt in dat constant twee backups online worden gehouden. Je laatste backup en de vorige. Zodra je ingestelde backuptijd weer aanbreekt, bijvoorbeeld eens per week, en het is inmiddels week 3 geworden, dan wordt de backup van week 1 (= oudste) overschreven met de backup die gemaakt wordt in week 3. Je kan dan nog terug naar de data van week 2 en zodra hij klaar is, van week 3. Meer backups instellen is mogelijk maar kost je meer online schijfruimte. En zoals je hebt gelezen: voor iedere GB die jij wilt gebruiken moet je twee GB ter beschikking stellen voor anderen. Dus naarmate deze instelling wordt verhoogd moet je ook navenant opslagruimte "doneren". Instellingen zijn: 0 (oneindig aantal backups), 1, 2, 3, ....


Restoren
Wanneer je ooit een backup wilt terugzetten moet je de beschikking hebben over je private key. Zonder deze is restoren onmogelijk!
Je kan een backupset terugzetten door de bewuste backup set aan te wijzen en op het "restore" knopje te drukken. Afhankelijk van de grootte van de backup kan dit dus wel wat tijd kosten om dit te downloaden. Een paar honder MB zal wel snel gaan, maar tientallen of honderden GB's kost eenmaak wat download tijd. Daarom de volgende tip:
Verdeel je backup over verschillende backupsets.
Eentje voor je foto's, een voor je muziek, een voor je documenten/spreadsheets, etc.
Voordeel hiervan is dat je per aandachtsgebied een restore kan doen.
Zo'n backup set is natuurlijk kleiner dus heb je sneller teruggehaald. Kan je tenminste alvast wat gaan doen. Daarna kan je opdracht geven de volgende restores uit te voeren.
Ander voordeel: alles wat je binnen hebt na een restore is maar binnen. Beter een kwart (of zo) van je backup binnen dan nog helemaal niets omdat je één grote backup hebt gemaakt.

Updates
1-5-2013
  • hoofdstuk toegevoegd "Hoevel backups?"
  • hoofdstuk toegevoegd "Restoren"
29-4-2013
De mate van redundancy blijkt een misvatting geweest. Het aantal in te stellen backup's heeft daar niets mee te maken. Tekst aangepast.
De redundancie is altijd een factor twee en niet door je beinvloedbaar. Dus je backupfiles worden zodanig verspreid dat er minimaal twee kopieen beschikbaar zijn.
Het mechanisme van meer of minder suppliers begrijp ik nu en heb de tekst aangepast.