Fråga om ssh och rsync, överföring från server till NAS.

Permalänk
Medlem

Fråga om ssh och rsync, överföring från server till NAS.

Det är dags att föra över filer till min NAS från servern.
Har gjort ett test med rsync med ett litet antal filer och det funkar alldeles prima.

Så nu är det snart dags att föra över alla data till NAS:en, vilket är ca 2-3Tb, och det kommer troligtvis att ta tid.
Min procedur är att ssh:a in i servern från en dator, och där köra rsync via ssh från serven till NAS:en.
För mig är det relativt uppenbart att rsync:en avbryts om ssh-tunneln mellan servern och NAS:en avbryts på något sätt.
Men vad händer om ssh-tunneln mellan datorn och servern avbryts?

Har t.e.x. tänkt köra kommandot:
$ rsync -azP --log-file=rsync.log /mnt/sda1/sakerochting root@192.168.1.x:/volume1/sakerochting

och sen eventuellt stänga av datorn (är väl lite onödigt att den ska vara igång under tiden? Kan ju ta hur lång tid som helst att föra över all data...), för att nästa dag kontrollera processen genom att ssh:a in i servern, och kolla om rsync fortfarande körs (med kommande ps -A | grep rsync).
Och sen till sist kontrollera rsync.log filen.

Är det vettigt tro?

Visa signatur

[AMD 64 Winchester 3500+][Asus A8R-VMP (skitkort!)][Kingmax 4x512MB ram][Hitachi 160G SATA][Sapphire X1950XTX 512MB DDR4 PCIe][Soundblaster X-Fi Platinum][Nesteq NA 4501 450W][Hyundai L90D+ 19]

Permalänk
Hedersmedlem

Kör

rsync -azP --log-file=rsync.log /mnt/sda1/sakerochting root@192.168.1.x:/volume1/sakerochting &
disown

Då kommer rsync köras i bakgrunden utan koppling till din terminal. Mao det spelar ingen roll om du kopplar ner din dator.

Skickades från m.sweclockers.com

Visa signatur

Det kan aldrig bli fel med mekanisk destruktion

Permalänk
Medlem
Skrivet av Arghuleh:

Det är dags att föra över filer till min NAS från servern.
Har gjort ett test med rsync med ett litet antal filer och det funkar alldeles prima.

Så nu är det snart dags att föra över alla data till NAS:en, vilket är ca 2-3Tb, och det kommer troligtvis att ta tid.
Min procedur är att ssh:a in i servern från en dator, och där köra rsync via ssh från serven till NAS:en.
För mig är det relativt uppenbart att rsync:en avbryts om ssh-tunneln mellan servern och NAS:en avbryts på något sätt.
Men vad händer om ssh-tunneln mellan datorn och servern avbryts?

Har t.e.x. tänkt köra kommandot:
$ rsync -azP --log-file=rsync.log /mnt/sda1/sakerochting root@192.168.1.x:/volume1/sakerochting

och sen eventuellt stänga av datorn (är väl lite onödigt att den ska vara igång under tiden? Kan ju ta hur lång tid som helst att föra över all data...), för att nästa dag kontrollera processen genom att ssh:a in i servern, och kolla om rsync fortfarande körs (med kommande ps -A | grep rsync).
Och sen till sist kontrollera rsync.log filen.

Är det vettigt tro?

rsync är ett snabbt och smidigt sätt att få över filerna, om du har Gigabit nätverk lär 2-3TB gå hyfsat snabbt ändå.

Du kan absolut köra med en loggfil om du vill kolla igenom allt även om jag tror att det lär vara en smula overkill i slutändan.

Det borde inte vara något problem att avbryta mitt i en överföring, rsync är robust och utvecklat för att funka i skakiga miljöer och över taskiga uppkopplingar så det är jag inte det minsta orolig för.
Rsync kontrollerar directory för directory, fil för fil och synkar förändringen från source directory/filer till destinationen.
Om datorn skall vara igång under hela processen kan du använda dig av programmet "screen" (i ditt fall blir det: screen rsync -azP --log-file=rsync.log /mnt/sda1/sakerochting root@192.168.1.x:/volume1/sakerochting ) den håller rsync-processen igång även om du stänger ner terminalsessionen. Sedan kan du enkelt återuppta sessionen genom att ssh:a till servern och skriva screen -r för att hoppa in i screen sessionen där rsync monitoreras.

Ett annat förslag är att testa lite olika parametrar för rsync så som ex. --info=progress2 för att även få en indikation på hur långt filöverföringen har kommit.

https://unix.stackexchange.com/questions/215271/understanding-the-output-of-info-progress2-from-rsync

Visa signatur

Tower: ace Battle IV | CPU AMD Phenom II X2 BE unlocked 4cores@3,2GHz | RAM 8GB DDR2@800MHz | MB ASUS M4A785-M | GFK AMD Radeon HD 6850 1GB | HDD Kingston SSD Now 60GB (/) Seagate 2TB(/home) | OS Ubuntu 20.04 LTS
-Numera titulerad: "dator-hipster" då jag har en AMD GPU och dessutom kör Linux.

Permalänk
Medlem

Tack så mycket för det @Aphex !
disown är nåt nytt för mig, har funderat faktiskt på & efter kommandot, men var lite osäker.

Edit: Tack @krigelkorren , ska kolla up screen.

Visa signatur

[AMD 64 Winchester 3500+][Asus A8R-VMP (skitkort!)][Kingmax 4x512MB ram][Hitachi 160G SATA][Sapphire X1950XTX 512MB DDR4 PCIe][Soundblaster X-Fi Platinum][Nesteq NA 4501 450W][Hyundai L90D+ 19]