Fira World Backup Day – vinn maffiga hårddiskar från Seagate

Ett stycke IBM Deathstar 75GXP i början av 2000-talet. Notorisk serie att gå sönder, men vad gör man när man är fattig student. Så när den började strula så hade jag kvar den tills den rasa helt. Den hade problem att spinna up, men hade man väl fått igång den så funkade den. Så jag försöka att inte stänga av datorn på ett par månader. Kommer i håg när jag åkte på LAN, missade några rundor i battlefield innan jag fick igång den. Och samma sak när jag kom hem. Kommer inte helt ihåg när den gick sönder helt men tror inte jag hade nått viktigt på den då utan bara spel i stort sett.

Denna och en laptop disk har gått sönder för mig, annars har jag haft relativ tur när det kommer till diskar genom mina ~25år med datorer.

Det var länge sedan och jag skulle ta min gamla 120gb disk och göra om den till en medtagbar disk med ett kabinett. Det jag inte visste var att sådana gamla kabinett kan bli rätt varma.
Rätt som det var så började disken låta fördjävligt och man hörde hur armarna slog i saker i disken. Det mest mystiska är att varje gång den fick svalna så fungerade den normalt som att inget hade hänt, tills den blev varm igen och armarna började veva i disken.
Efter ett tag så skar den ihop helt, var en tålig disk.

Det finns två sorters människor: de som tar backuper och de som inte förlorat viktig data än.
Jag lärde mig tidigt: jag skulle installera om RedHat 5.2 i dualboot med Windows på min pappas dator i slutet av 90-talet och ändrade i fel partitionstabell. Farsans data fanns kvar men jag fick börja från scratch med mina spel- och musikbibliotek vilket sved kraftigt.

Nu för tiden kör jag TimeMachine på laptopen och ZFS snapshots+sends där jag hämtar data från primärservern till min sekundära, så jag har inte på åratal råkat ut för något där jag förlorat mer än någon timmes data.

Jahapp här blit man bestraffad av att man faktiskt gör backup. Kan inte delta i tävlingen då jag aldrig förlorat någon viktig data. Kanske jag skulle "råka" ställa ut NAS:en i regnet för att kunna delta i tävlingen.

När hela mitt fotoalbum från hela 1970-2012 talet försvann runt 2012-2013 pga bugg i Seagates mjukvara på kortet som sitter på hårddisken. Fast detta visste jag inte då men tack vare youtube redan då, kunde man lösa detta med hjälp av en Nokia USB ladd kabel som man skulle klippa och skära till, visas i denna video: https://youtu.be/WqC4VNHkjvc en annan gång skulle man stoppa disken i dubbla fryspåsar och in i frysen i 2 dygn vilket också fungerade. Vi pratar mekaniska diskar som detta gick att lösa på då. Efter de 2 krascherna samt de dagar man kämpade att få fram datan igen där man mådde psykiskt dåligt då man hela tiden trodde att hela livet i bilder var över, ja man grät nästan har man idag alltid backup på flera platser fysiskt =). Urkopplade som inkopplade diskar =). SSD:er samt M2 lagring är visserligen snabba men den dagen då de lägger av litar jag hellre på flera mekaniska diskar i helst en RAID5 eller RAID50 eller RAID60 =).

Anno Domino 2011 ca. Den vanliga klassikern, bli förbannad på Windows. Få rådet att ominstallera hela skiten. Tänka: Bra, nu gör jag det för jag orkar inte mer! För att sedan, oj då - där försvann 10 års bilder + en hel del andra viktiga dokument/filer. Surt. Sen kommer man på att det var nån drivrutin som man glömt ladda. Bitter inombords stämning. Tänka positivt - kanske händer det här för att jag ska lära mig något?

Har inte råkat ut för så mycket dataförluster, bara en enda hårddisk har dött för mig så att jag inte kunde få tillbaka datan. Men här är en liten story från "back in the day".

Det var tidigt 90-tal jag ägde en IBM Aptiva 486/66 och en av polarna hade en Compaq Presario, jag var väl gruppens IT-kille. En dag ringde Micke, polarn med Compaqen och bad om hjälp. Han hade, med hjälp av en annan polare "blåst" windows, som man gjorde på den tiden, men fick inte igång datorn efteråt. Så då ringde de till "experten". Jag tog moppen ner, kom in, och mycket riktigt så startade inte datorn som den skulle. Genierna hade gått in i DOS och helt enkelt skrivit "format c:"

Ok, sa jag, det är ok, var har ni windows-skivan så installerar vi bara om windows. Det var Windows 95 på den tiden.

Två frågande ansikten tittade på mig. Skiva? Måste man ha det?

Jaaa.... Compaq skickade inte med installationsskivor på den tiden, utan det låg en backup kopia i en katalog på hårddisken... Som de precis hade formaterat.

Ahh, den gamla goda tiden. Hur som helst så löste det sig, jag åkte hem och hämtade min Win95 skiva och gjorde en ren install på burken och fick grabbarna att lova att inte göra några såna dumheter utan att fråga mig om råd först.

Förutom att jag en gång hadde 2st (i Raid 0)Seagate's kända HDD's som döde som flugor, men att det var i speldatorn och ingen riktig förlust av data som ända gång jag förlorat data så har jag inga historia att berätta, men vill ändå vara med i tävlingen.

Nu för tiden kör jag backup av viktig data till extern HDD/SSD från min RaidZ2, eller mitt mirror.

När man var en liten grabb så hade jag fått ärva våran gamla dator att ha i mitt rum så man kunde spela ifred, efter inköp av en ny till familjen. Det var ju gamla goda PATA-tiden när man inte kunde ha så många enheter i datorn så hade en disk utanför. Kommer inte ihåg vad som var på den men jag skulle visa min kompis, något på den, så jag skulle koppla i den.

Eftersom jag inte skulle ha den i efteråt var jag för lat för att ta ut en annan disk och sätta i den i datorn. Kablarna var ju korta och icke flexibla så jag behövde något att sätta disken på, tog en stor ölburk (den var häftig och mina föräldrar hade köpt och druckit den utomlands). Kopplar i allt och trycker på start *PANG*. Allt är bara svart, det luktar bränt, datorn är stendöd. Ingenting händer när man trycker på något. Jag har helt panik, slår av strömmen på nätaggregatet och de kommande dagarna sitter jag inte vid datorn. Pappa undrar varför och jag säger att det var något konstigt med datorn, ska visa han, så jag slår på strömmen och den startar!

Efter några dagar/vecka vägrar datorn starta igen, skruvar isär den och 20-pin kontakten till moderkortet är halvt smält och svart. Det var min största data- och datorförlust...

Lyckligtvis fick jag en ny dator till julen.

Min värsta dataförlust var inte när min 4x4tb diskarray krashade från intels mjukvaru-raid och jag förlorade all data.... nej, det är "enklare än så."

Mina föräldrar hade varit på semester i 2 veckor och jag var hemma hos dem efter de kommit hem, och får frågan "Du, skulle du kunna lägga in bilderna från digitalkameran tror du ?"

Snäll son som man är så hjälper man ju så klart till!
... Bara det att jag började med processen och telefonen ringde, varpå jag pratade med vederbörande i några minuter.
När samtalet var kopieringen utav bilderna klart, så jag sätter in minneskortet i kameran igen och formaterar minneskortet så det är redo för en nu uppsättning utav bilder det närmsta halvåret.

... tills jag inser att jag visst glömde klicka "klistra in" och inga bilder blivit kopierade alls. *panik* försöker förgäves återskapa bilderna med div. mjukvaror och hör röster från nedervåningen: "Kommer du snart, vi har hällt upp kaffet ?!"

Efter en smärtsamt jobbig kaffestund så sätter jag mig åter vid datorn för att försöka återskapa datan på minneskortet på nytt, men efter 1-2h ger jag upp och får förklara för mor och far vad som hänt och besvikelsen från deras håll är så klart stor, men de tog de ändå bra trots allt.
Tänkte vid någon stund skylla på att minneskortet vart korrupt men kände att ärlighet varar längst och jag bekände att det hela var mitt fel. #ärligthetvararlängst

... Inga bilder från deras resa och alla 5mån+ kort dessförinnan borta så står vi här idag, där historian mer eller mindre är bortglömd.

Och sedan dess dubbelkollar (ibland trippelcheckar..) jag alltid vet att korten jag lagt in faktiskt finns där de skall.

Det finns inget värre än den kalla förlamande känslan när en verkligen tror att det är kört för en missat, glömt eller fuckat upp något. Jag kan dock inte minnas att jag råkat ut för någon stor minnesförlust, detta då jag åtminstone vill minnas att jag haft en ganska bra strategi för att backa upp det som är viktigt. Men jag är inte säker, minnet är inte vad det alltid varit – skulle vara på plats med lite hjälp på den fronten!

Året var 2009, jag körde en lagringsserver för ett preservationsprojekt (som jag fortfarande driver) där vi bevarar mjukvara när den försvinner från hyllorna och skrivborden... 32st hårddiskar fördelat på två stycken 4-kanalers HighPoint kontrollerkort, Windows Server 2008 och tre stycken RAID6-arrays som hanteras av kontrollerkorten direkt (inte Windows-RAID)

9:e april

Påskstämning, ledig och full-laddad med påskmat. Är under dagen borta hos familjen ett par timmar bort, men aldrig längre från servarna än en RDP-session. Har med mig min Macbook laddad med Hamachi och en RDP-klient för att kunna logga på datorn där hemma för att under de lediga stunderna sitta och gå igenom nya titlar som skall arkiveras. Sitter och packar grejer när helt plötsligt så hänger sig servern.

Sekunder efter så tappar jag RDP-kontakten, alla mina Hamachinoder dyker, hemsidan slutar svara, börjar fundera på vad som hänt. Inte första gången som internetlinan dyker när man är ledig så man är luttrad, men oroad. Börjar fundera på om datorerna inte har känslor trots allt, när man är hemma så fungerar allt perfekt utan att jag rör nåt men så fort jag sticker någonstans så händer det grejer.

Säger till familjen att jag behöver dra hem en snabbis för att starta om grejerna, kör trots allt mailserver och annat lull och vill inte att saker slutar fungera. Kommer hem, ser att filservern hängt sig och linan gått ner men startar om allt och det kommer igång igen. Åker tillbaka till familjen och sätter mig under kvällen och kör lite Team Fortress 2 för att koppla av...

Får rätt som det är ett meddelande på MSN att han inte kommer åt min server. Märkligt tycker jag, funkade perfekt för en stund sen. Kollade snabbt mellan matcherna och märkte att jag inte kommer åt min X: som är kopplad till filservern. Loggar på filservern och ser att volymen finns där, men Windows vägrar att gå in i mappar eller göra nåt med disken. Tänkte att jaja, Windows har väl återigen tappat disken så drar igång en chkdsk på volymen med en ombootning för att göra en full koll. Så jag gör vad jag gjort många gånger förut och startar om servern. Efter ett par minuter bör den ju komma tillbaka, poppa upp på Hamachi och allt är OK.

20 minuter senare så har den inte kommit upp än.

10 minuter senare så börjar jag undra vad det är som pågår. Chkdsk är seg, men inte så seg. Låter det rulla på medans jag käkar kvällsmat.

En timme senare så är servern fortfarande inte igång. OK, något är allvarligt fel! Kan inte koppla upp mig till servern, svarar inte på ping och inget händer. Inte bra! Då min router är virtualiserad så har jag tappat allt, inkl internetlina, mailserver och all kommunikation med den civiliserade världen. Och då jag är flera timmar iväg från hemmet så kan jag inte göra nåt under kvällen...

10:e april

Kommer äntligen hem. Får knappt av mig skorna innan jag går in till arbetsrummet för att kolla vad det är som hänt med servern. Det första jag ser på skärmen är att datorn inte kan skriva till E$, kör chkdsk och bootningen har pausats. Efter ett par tangentbordstryck så bootar servern vidare och saker kommer igång igen. Men chkdsk körs och den börjar först med E:, sedan F:, sedan G:... det tar en väldigt lång tid och datorn går segt. Märker också att vissa enheter ligger dubbelt i utforskaren vilket är märkligt... Försöker kolla vad som hänt med volymerna...

ALL DATA ÄR BORTA!

De flesta mapparna har slumpartade namn på en av volymerna. Hela volymen verkar vara trasig och den rapporterar jag har över 800TB data på en 20TB volym vilket inte stämmer (totala volymen är 12TB med ca 9TB data). De två andra volymerna som ska innehålla en full backup samt data jag jobbar med är helt och hållet tomma, och de ska vara fyllda till en 80% också. Över 25TB data borta! Alla dokument, alla projekt, musik, rubbet.

Vid denna stunden så önskade jag en meteorit landade på Microsoft då allt är borta eller trasigt och inget verkade kunna gå att rädda!

Så börjar fundera på hur detta hänt. Arrayerna verkar OK, Windows verkar inte göra nåt för att reparera dem och inga varningar har skett. Då jag kör RAID6 så ska det ju till extraordinära situationer innan fler än 6 hårddiskar dör samtidigt för att döda tre arrayer... Jag tar fram mitt paket med recovery-program och börjar scanna, men märker snabbt att prestandan är väldigt seg, Windows hänger sig tillfälligt då och då och allt verkar väldigt konstigt. Men låter programmen scanna vidare under hela dagen...

11:e april

Börjar undra om det är någon hårdvara som pajat. Ingen av recoveryprogrammen kunde slutföra sin scan. Tar ut en disk i taget, stoppar in i en annan dator och gör en full sektor-check. Efter en hel dag så konstaterar jag att alla diskarna är 100% prima, inga SMART-fel, inget strul. Men arrayerna vägrar komma igång. Så jag lägger min fokus på resten av servern nu...

Stänger av servern, tar ut allt förutom kontrollerkorten och drar igång servern. Märker att den var väldigt lång tid på sig att boota. Efter en massa felsökning så märker jag att en av kontrollerkorten är väldigt varm, nästan så man bränner sig på chipet. Det andra kontrollerkortet är svalt. Kör igång diagnostikdisketten och bootar upp för att kolla korten och verifiera arrayerna, och märker att det trasiga kortet spottar ur sig så mycket fel! Den klarar inte ens att läsa diskarna utan att den tappar arrayen och stoppar verifieringen. Även när den försöker läsa diskarna så blir det korrupt data, och varje gång jag bootar om så tappar den någon disk eller identifierar inte disken korrekt. När jag sedan försöker komma åt datan så märker jag att kontrollerkortet inte ens läser eller skriver till diskarna korrekt, när jag kopplar in tre andra diskar så kan jag inte ens skriva till diskarna utan att få krascher och fel i Windows.

Konstaterar sedan att kontrollerkortet har skrivit sönder alla tre arrayer. Då alla tre arrayer var uppdelad på två kontrollerkort så skrev den sönder alla diskarna som var kopplat på det trasiga kontrollerkortet. Så det fanns ingen chans att rädda någon data, och backupen som låg på en egen array var också borta. 32 hårddiskar, all data trasig. Då kontrollerkorten var väldigt dyra så hade jag ingen chans att köpa nya kort och ersätta, utan fick helt enkelt klara mig med ett kort. Flyttade över alla diskarna från en array och försökte reparera men det var för mycket trasig data. Testade flera recovery-program och lyckades få ut enstaka filer, men allt var paj. Tog ut det trasiga kortet och lade undan det för att aldrig använda det igen.

----
----

Vad lärde jag mig av detta?

- Använd aldrig "hardware" RAID då jag inte kan flytta diskarna till annan dator och komma åt datan.
- Kör aldrig backup på samma dator och hårdvara som prod.
- Blanda aldrig backupdiskar med prod-diskar på samma kontrollers.
- Kör aldrig RAID6!

Strax efteråt så köpte jag min första rackserver, flyttade över diskarna och installerade FreeNAS. Har kört diskarna individuellt utan RAID eller någon array tills för en kort stund sedan då jag migrerat till TrueNAS och ZFS-arrays med snapshots som jag backar mellan två servrar. Allt i mjukvara, så händer nåt kan jag bara importera arrayen i en annan instans. Har kört det så här sedan dess och aldrig haft problem.

Idag kör jag två stycken arrays på 80TB vardera i två virtualiserade TrueNAS-instanser, volymerna är mountade via iSCSI till en virtualiserad Windows-instans som sköter access till filerna och deduplicering (då TrueNAS dedup är värdelös). Kör snapshots varje dag mot en annan server som har en virtualiserat TrueNAS-instans på sig, och behöver jag göra en återställning av filer så kan jag mounta den direkt i Windows och återställa filerna.

Kontrollerkortet har jag kvar för att påminna mig att aldrig köra en hobo-lösning hemma igen :).

Som fattig student hade jag sparat ihop till en laptop. En IBM thinkpad med hela 120MHz CPU och 100MB(?) hdd. En riktig värsting för sin tid. En vecka efter jag köpt den sitter jag och pluggar och dricker te och välter ner ett helt glas te över laptopen när den är igång. Panikartat lyfter jag den och det rinner te ur alla portar! Snabbt stänger jag av den. Väntar några dagar och ber till Darwin att den ska starta. Den startar! Överlycklig samma kväll sätter jag mig och kodar på den, med ett glas cola bredvid. Ja, fumlig som jag är, ramlar glaset med cola över laptopen. Skärmen flimrar, cola i hela datorn. Några dagar senare startar den, men disken heldöd och tangentbordet var nu moddat med mjuka och seeega tangenter. Förlorade en hel del kod då man saknade Dropbox-liknande lösningar på den tiden.

Haha 24h tävling, men med bidrag som kommer ta 24 dagar att gå igenom