Inlägg

Jag är nog beredd att hålla med om det, titta på diskarna som kastats ut i en diskdocka eller koppla in direkt på en sata-anslutning i en stationär dator och se vad deras SMART säger - också testa och skriva och läsa diskarna från början till slut och köra dess inbyggda tester - troligen är det inga fel på dem och problemet är i NAS:en.

synka också upp din NAS-backup NU då om det börjar i ena ändan så är det troligen fler diskar/gränssnitt på tur - har du redan backupp så är det inte så mycket som behöver uppdateras - men måste du skapa en backup från början nu - bli inte förvånad om du får läsfel när du kopiera över filer för att med läsningen finner latenta fel och nu har du ingen fungerande RAID5 som kan gå in och rätta.

Det var ett hack med ransomware i själva QSNAP för inte så länge sedan och man gick genom en multimedia-app med tillräckligt höga rättigheter via en gömd utvecklar-bakdörr som någon hade funnit och som med detta kortslöt all säkerhetsmekanismer som normalt finns i en Linux-OS och installera ransomware som 7-zippade filer med password lokalt på själva NAS:en. Har du QSNAP tillgänglig på publik IP så finns en risk att få angrepp den vägen men kan också göras via trojan/malware på laptop genom att använda sig av appens service och den vägen komma åt QSNAP.

en ren filserver/NAS skall bara ha exakt de funktioner de skall ha för jobbet och stänga av allt annat - problemet är att man fyller produkterna med en massa program och appar för att göra den attraktivt och flertal är igång default och har man flertal appar och servicar igång så har man ökat på ytan som angrepp kan göras igenom - både av misstag och att det faktiskt är gömda bakdörrar som det inte var meningen att hittas i en eller flera av apparna...

Det är vid sådana hotbilder är väldigt bra med externa USB-diskar med backup av sin NAS i helst 2 olika exemplar och förvaras urkopplade helt mellan backupperna och helst på en BTRFS-filsystem där man gör backupgenerationer med snapshot i readonly-mode så att inga vanliga filsystemsoperationer kan påverka de snapshot som är i readonly-mode.

Det är för att du troligen har äldre MLC-SSD och bättre TLC-SSD med extra lager felrättning (som Samsung hade, hade de inte haft den lagret med mjukvaru-ECC så hade deras 840 EVO varit fullständig katastrof för dem...) och de är mycket tåligare för långtidslagring än tex. TLC-SSD utan mjukvaru-ECC (läs Sandisk och många noname...[1]) och ännu mer QLC-SSD även om de med stor sannolikhet alla har mjukvaru-ECC.

Men att tänka på - SSD mår bäst att skrivas varm och förvaras kyligt om man skall ha lång hållbarhet (>10 år) medans omvänt med att skrivas kall (< 20 grader C) och förvaras varmt (> 30 grader C) så kan det börja bli läsfel redan efter antal veckor - och det på SLC och MLC-minne redan enligt Intel. Man får halvering/dubblering av hållbarhet per 5 grader C steg ungefär och stämmer ganska väl med olika biologiska processer som tex. bakterietillväxt i gynnsamma miljö med beroende av temperatur eller tex. hur frön och utsäde får allt fler frön som inte gror beroende på tiden med temperaturen de förvaras i då det i grunden kan kopplas till termodynamikens lagar varför det blir fler bitfel med tiden (entropin ökar) och att hastigheten är direkt kopplat till temperaturen.

Hårddiskar har på sina skivor designat att det skall hålla minst 10 år vid 55 - 60 grader C kontinuerligt och att förvara arkiv och backupdiskar vid 20 grader C kan göra att data är kvar felfri på skivorna i 100-tals år och det är elektroniken på kontrollerkorten på diskarna som är den svaga punkten när det gäller funktion över tiden. Ovanstående gäller dock inte självklart heliumfyllda diskar då heliumets rymningsbenägenhet är en faktor som förkortar tiden betydligt - så för långtidsarkivering skall det helst vara luftfyllda diskar och inte heliumfyllda dito.

(jag har hårddiskar från ca 1982 där all data kan läsas felfritt utan minsta lilla hick i läsningen och har hållit betydligt bättre än tex. brända CD-skivor där ca 1/3-del har minst 1 oläsbar sektorer efter ~ 15 år i min samling)

[1] som fick läsfel redan efter 11 månader i skrivbordslådan och hade 4 varv i wearlevling - och läsfelen var så hårda att SSD hängde sig och krävde on/off-cykel för att vakna till liv igen som efter några läsningar till en börja bara gav IO-fel. Skrev man över hela disken från första till sista sektorn med slumpad data så var problemet borta.

Finns redan och har funnits länge - kallas Enterprise-grade SSD och kan ofta väljas i 1, 3, 10 och 30 DWPD (drive writes per day) för 5 år kontinuerlig drift. Prislappen är dock satt därefter...

WD-Blue är idag SMR-diskar upp till 6 och kanske 8 TB storlek. Dessa är idag egentligen etikettomlappade HGST-diskar så de bör vara bra i kvalite när det gäller driftsäkerhet.

SMR-diskar till rätt användning så fungerar de utmärkt (typisk låglast med mest läsning och lite skrivning i mindre portioner eller stora filer i sekvens) men kan bli olyckligt vid fel användning och situationer som RAID och speciellt i samband med synkning av RAID där det skrivs konstant hela tiden utan uppehåll och då tar SMR-diskens CMR-area slut förr eller senare och efter detta så går det mycket långsamt.

Har knapp dussin Seagates 8TB Archive-diskar varav 4 i NAS så jag har lärt mig hur det fungerar och det skiljer inte så mycket med andra märkens SMR-diskar heller när det nått nivån med full CMR-area och det fortsätter att trycka på med nya skrivningar utan paus...

Det räcker med en enda ledare av de 8 som inte kontrakterar i tex. uttagen för att åka ned på 100 MBit-hastighet. Man kan inte slarva här då är i princip radiofrekvenser som far runt på ledarna... det betyder också att varje tvinnat par får inte tvinnas upp mer än ytters kort bit innan klämningen/stiftning - vi pratar om max enstaka cm, inte flera cm för tex. kontakteringen bakom uttagen i listerna.

Att elektriker gjort jobbet är i sig en varningsklocka - de har aldrig varit bra på vare sig koaxkablar eller det finlir som gäller vid kontaktering av tex. ethernet-uttag och så har det varit sedan mitten av 80-talet och första utrullningen av kabel-TV kom och det var hela gäng med bättre förståelse i vikten att vara nogrann i utförande av kontaktering och skill i felsökning för att städa upp i efterhand...

Det man får se upp med är att 'enkla' desktopdiskar i området 500GB - 8TB är SMR-diskar från samtliga tillverkare (Seagate Barracuda, P300 från Toshiba, WD-blue från WD). för 2.5" diskar är också alla SMR-diskar och det finns idag inga optioner utan SMR-diskar om man inte tittar på diskar under 500 GB och 2.5" diskar av Enterprise-klass (SAS-diskar)

Skriver man sina mediafiler en enda gång med sekventiell skrivning till lagringen så kommer SMR-diskarnas nackdelar inte märkas, men skall du föra över 200000 småfiler till disken - då får du problem och speciellt när NTFS används som filsystem så kommer diskens PMR-area snabbt ta slut och det blir jättelångsamt!.

Skall man säkra CMR-diskar så blir det att titta på som redan nämnt X300 serien för Toshiba, Barracuda Pro från Seagate och WD-Black från WD.

Skall det vara till NAS så används NAS-diskar och då får man på WD-sidan säkra sig att det är WD-RED plus (CMR) och inte bara är WD-RED (SMR) medans Toshibas och Seagates NAS-diskar alltid är av CMR-typ.

Du kan alltid titta på 'urbackup' som är 'pull' mot klienter med klientprogram - dock är den troligen lite för resurskrävande om man skall köra den i en köpenas - speciellt om man väljer filsystem som ZFS då den måste vara med deduplicering aktivt vid användning med urbackup (BTRFS kräver mindre resurser men kompakterar inte fullt lika bra om man inte kör 'bees' som deduplicering i bakgrunden)

Urbackup:s filosofi är att en unik fil tar bara upp en plats på disken oavsett hur många klienter eller backupgenerationer man än har.

urbackup kan också köras på winserver och självklart i linux men med filsystem som NTFS och ext4 packar det inte alls lika bra då det i dessa fall får förlita sig på hårda länkar (och därmed går det inte alls att köra i ReFS som lagring på windows-server då den saknar hårda länkar)

Nu kan jag robocopy för lite men om skärmskottet är den andra körningen så förklarar det hela lite mer att det redan hade kopierat över en massa filer till backupvolymen, den andra körningen som är din skärmskott visar, skippade alla filer som redan var kopierade, hittade bara tre filer att uppdatera och av dessa var det två filer som den just då inte kunde kopiera för att någon program gjorde något med den just då hade låst denna.

Vettigare backupprogram använder ofta VSS (Shadow copy) just för att undvika sådana här blockeringar/låsningar som program kan göra mot filer och störa backupprocessen eller tom. helt stoppa den..

Windows är helt tokig på att låsa filer även om de bara skall läsas (tex. att indexeringen snurrar)

Den kopierade alla mappar men den skippade tydligen 8132 filer av 8135 och 1 lyckad fil-kopiering...

Det är exakt så en backupprogram _inte_ skall fungera när en användare gör första försöket...

En gissning är att det har med rättigheter att göra och att tex. OS har låst filer.

Körde du som user eller som användaren administrator? - och som administrator brukar du inte se några nätverksenheter att skicka filer till men inkopplade USB-hårddiskar brukar synas och man kan göra backup till (prova att starta powershell i admin-läget så ser du att alla nätverksenheter är borta - det som möjligen kan vara kvar är iSCSI-diskar som ligger på server/NAS då de betraktas som fysiska diskar i windows) nu har jag för mig att det går att aktivera nätverksenheter även i adminläge men det är inte så default.

Detta med rättigheter och tillräckligt höga rättigheter för att få med allt man önskar kan vara rejält knöligt att få till och en del backupprogram använder sig av shadow copy (ett slags 'syntetisk' snapshot som MS försökt knöla in i efterhand ovanpå NTFS) för att få ett filsystemshieraki som är 'frisläppt' från låsningar av olika program som kör för tillfället och då kan läsas av backupprogrammet.

Har sett mer än en scriptad och hembakad backrutin totalt vält och hotat företags existens i ett senare serverhaveri pga. att någon fil var låst och blockerat backuppen och detta inte upptäcks under lång tid för att backuppen var 'automatiserad' och ansågs 'underhållsfri' och efter första månaden bekräftelse att backuppen gick bra så var det ingen som tittade längre på mailen som skickades automatiskt dagligen och än värre samma rubrik oavsett det gick bra eller inte då man var tvungen att öppna mejlen för att se status...

Detta är en fara för alla automatiska och 'underhållsfria' backupsystem som ingen klappar om då och då - att de stannar och ingen märker det under lång tid...

Den filosofin fick en knäck 11/9 där det hela planlades utan att något alls fångats upp i övervakningsnäten och det som ändå läckte var för oväsentligt för att väcka intresse. Med andra ord nyttan med övervakningen för att jaga terrorister kan ifrågasättas då de allra skickligaste vet hur man kommer undan - men en bra ursäkt för att få koll på resten... - dvs. vi.

Kort sagt terroristerna hade lärt sig hur man agerar för att inte kunna spåras på de sedvanliga elektroniska spåren som alla lämnar efter sig idag. Gällde allt från kommunikation till hur man finansierade...

slutligen NSA är bara en modern företeelse

Biktplikten inom katolska kyrkan var medeltidens NSA och andra religionsinriktningar hade liknande arrangemang.

Den som kommer ihåg Emil i Lönneberga kanske också kommer ihåg sociala tvånget att gå på gudstjänst, lilla katekesen och husförhör.. Det är också en del i underrättelseverksamheten som kyrkan/religion gjorde bland vanligt folk.

jag skulle nog välja en USB-A hub med egen strömförsörjning om du också tänker ladda en massa saker vid bordet.

att skicka en massa ström genom en längre USB-C kabel luktar problem om den inte förhandlar upp till 18 eller 24 Volt som sedan sänks med omvandlare till lämplig nivå per USB-port i använda USB-hubben.

Många mer högpresterande laptop med bättre propp och GPU klockar ned sig ofantligt och är nästan oanvändbara utan fungerande batteri i sig - hade det ofrivilligt på en Lenovo T530 (tror jag) under en vecka för mekaniska skador på batteripacket efter en tapp i väntan på nya batterier och det hjälpte inte att lapptop-agget var på typ 135 Watt

Låter nästan som att filezilla eller någon av hjälpprogrammen skulle läcka minne och mindre och mindre RAM finns kvar för OS att jobba med - många av programmen använde windows egna funktioner för sådant här och är någon av dem kaputt vid stora/långa sessioner så kan det vara knepigt att hitta dem eller att tex. WinSCP kanske har samma problem för att de använder samma resurser.

Kanske dra igång taskmanager samtidigt vid nästa session och titta på vilka program som äter minne och sväller i RAM-åtgång när de är igång många timmar och dygn i sträck.

Vilken teknologi av minneceller? Är det MLC så bör inte 5 år vara ett problem - är det TLC så kan det variera mycket, billigare SSD utan mjukvarufelrättningslager i SSD kan smälla redan inom ett år, Samsung, Intel etc. med mjukvarurättningslager kan klara mer än 5 år - förvaringstemperatur är viktig hur det håller över tiden, sval (15-18 grader) och torr förvaring ger många gånger längre hållbarhet än när det förvaras i +25 grader C i långa tider.

Att disken startar och är accessbar säger inget om innehållets skick - det är först vid läsning och man får IO-error på filer som indikerar att det har inte gått så bra och oftast på just de äldsta och de först skrivna filerna på SSD... (är det en systemdisk ala windows så brukar det vara en del OS-filer och *.dll filer som aldrig uppdaterats sedan första installationen som ger läsproblem först)

Det är väl en lärdomsgrej - typ RAID0 är bra tills den första diskkraschen inträffar, sedan aldrig mer igen...