Amazon lanserar Snowmobile – tjänst för att flytta stora mängder data via långtradare

Permalänk
Skrivet av studiox_swe:

Det skulle ta 3 år att skicka datat till Amazon och motsvarande tid att återställa en backup.

Amazons affärsidé är att du har både din server OCH backup i deras moln, ingenting lokalt. Dvs de enda data som skyfflas är de data dina användare ber om, och då duger 100 Mbit.
Problemet med att få upp informationen till Amazon:s moln till att börja med är ju precis det problem de här lastbilarna ska lösa.

Permalänk
Inaktiv
Skrivet av Awakeruad:

Amazons affärsidé är att du har både din server OCH backup i deras moln, ingenting lokalt. Dvs de enda data som skyfflas är de data dina användare ber om, och då duger 100 Mbit.
Problemet med att få upp informationen till Amazon:s moln till att börja med är ju precis det problem de här lastbilarna ska lösa.

Tror nog Amazons affärsidé är låta kunderna bestämma vilka av deras tjänster man ska använda - Amazon pratar rätt mycket om hybridmoln.

Permalänk
Medlem
Skrivet av studiox_swe:

Molnet har insett att molnet är värdelöst, för 5 år sedan räknade jag på att använda Amazon S3 eller Glacier som extern backuptjänst. Då hade vi en filserver som lagrade 13 TB. Det skulle ta 3 år att skicka datat till Amazon och motsvarande tid att återställa en backup. Molnet som backuptjänst för företag är rätt död.

Där jag jobbar nu har vi cirka 5000 Terabyte, jag hinner nog dö innan vi skulle lyckas göra en backup till molnet..

Jag tycker man snarare kan se det som att alla tjänster passar inte alla. Inget utesluter det andra.

Permalänk

Man måste ju dock räkna med en del jobb för att klara av den tid det tar för lastbilen att åka tillbaka med alla diskar till Amazon. Snacka om att sedan vara inlåst hos en leverantör om man har så mycket data där....

Permalänk
Medlem
Skrivet av Eson:

$0.005/GB per månad ger att en lastbil med 100PB kostar $500000 i månaden.

Men jag kan inte se någon minimumlagringsstorlek, kanske man ska ta och leta fram ett gammalt 128MB USB-minne och använda Snowmobile som taxi för inga pengar alls.

100 PB är så mycket som roboten "Data" i Star Trek-serien hade i lagringsstorlek: https://en.wikipedia.org/wiki/Data_(Star_Trek)

Undrar när vi får se sådan lagringskapacitet i konsument hdd´s?

Visa signatur

FD define r4 vitt// ASUS ROG Strix B550-F Gaming (Wi-Fi) II + Corsair 32GB (2x16GB) DDR4 3600MHz CL16 Vengeance RGB RT Svart// Ryzen 7 5700X 3.4 GHz + Corsair iCUE H100i RGB PRO XT// Sapphire RX5600XT Pulse// AOC 27G2UG4 IPS 144Hz// Win11 på wd_black sn850x 1tb// Corsair RM750x// MATTA: SWECLOCKERS 90cm// Corsair Dark Core RGB PRO Wireless // Google pixel 8 Pro// HyperX Cloud II

Permalänk
Medlem
Skrivet av warmerspy:

Folk kommer börja kappa dessa lastbilar för att sno data. Nya sättet att hacka företag på

Ja men bara om dom har is hackare

Permalänk
Medlem
Skrivet av mrbrix:

Undrar när vi får se sådan lagringskapacitet i konsument hdd´s?

Det talas om 100TB SSD nästa år.
Sedan är ju frågan när det blir konsument pris på 100TB.

Men 100PB för konsumenter det lär ju dröja.
Känns svårt att uppskatta men gissar på 20-25år.

Permalänk
Medlem

Never underestimate the bandwidth of a station wagon full of tapes hurtling down the highway.

Visa signatur

MBP: 13" - M1
Stationär: Win11 - Ryzen 5900X - 128GB - GTX 4080
Server: Ubuntu - i5 4670k - 32GB - 4x5TB Raid-Z
Server: Rpi4 8GB, 1TB USB SSD

Permalänk
Medlem
Skrivet av langvisaren:

Hur långt tid tar det att tanka bilen då?

Hur får man kundens antagligen inte alltför moderna serverhall att skriva över informationen till lastbilen? Kutar det runt grabbar med nätverkskablar?

Kan ju omöjligt vara så "omoderna" om man hanterar dom volymerna av data.

Permalänk
Medlem

Är det bara jag som reagerar på Amazons totala hjärnsläpp här?
I stället för att utgå från en lastbil skulle man ju ha byggt en data-buss!

Dessutom är det två andra, något sinsemellan motsägelsefulla, saker som slår mig:
1. Varför inte bara lasta originalmedia (hårddiskar och/eller band) på pallar och fylla en container eller två? Borde inte ta längre tid än att tanka över alla data till lastbilen.
2. Hur skyddar de data från att förstöras under transporten? Ett (oavsiktligt) test har ju tidigare visat att data på en (avstängd) hårddisk som utsätts för stötar och skakningar kan bli totalt oläsliga.

Permalänk
Medlem
Skrivet av Lordsqueak:

Snowmobile?
gissar att amazon aldrig sett en riktigt snöskoter

Det förra (mindre projektet) hette "Snowball". Detta är större.

Visa signatur

Lead 3D Artist, Sweden
Xeon Gold 6246R, 2x Nvidia RTX A5000 24 GB + NVLink, 384 GB ECC RAM

Permalänk
Medlem
Skrivet av Olle P:

Är det bara jag som reagerar på Amazons totala hjärnsläpp här?
I stället för att utgå från en lastbil skulle man ju ha byggt en data-buss!

Skrivet av Olle P:

Dessutom är det två andra, något sinsemellan motsägelsefulla, saker som slår mig:
1. Varför inte bara lasta originalmedia (hårddiskar och/eller band) på pallar och fylla en container eller två? Borde inte ta längre tid än att tanka över alla data till lastbilen.

Delvis för säkerheten antagligen, som du är inne på i punkt två. Tänk om diskarna pajar på vägen? Vad har man kvar då?
Sen är det inte så säkert att det är enklast att koppla in alla diskar separat... Finns säkert tusentals olika RAID-lösningar, filsystem, kryptering mm att ta höjd för, som skulle bli ogörligt i längden för Amazon att administrera.
Det behöver nog vara mer strukturerat för att det ska funka i praktiken.

Skrivet av Olle P:

2. Hur skyddar de data från att förstöras under transporten? Ett (oavsiktligt) test har ju tidigare visat att data på en (avstängd) hårddisk som utsätts för stötar och skakningar kan bli totalt oläsliga.

Det lär vara någon form av RAID redundans (plus kanske andra former av backuper) på det som fraktas...
Och företaget i fråga lär ju vara tvungna att behålla originalet tills Amazon bekräftar att allt är inladdat och klart!

Visa signatur

A modest man is usually admired, if people ever hear of him.

Permalänk
Skrivet av Eson:

100 PB är så mycket som roboten "Data" i Star Trek-serien hade i lagringsstorlek: https://en.wikipedia.org/wiki/Data_(Star_Trek)

Om jag får vara petig så är han en Android och det skiljer mycket mellan dem och robotar. Detta är lite som i om det var Seinfeld eller How I Met Your Mother där C-3PO från Star Wars blir kallad "Tin Can Man" eller som det stod i texten "Plåtnicklas"

Skickades från m.sweclockers.com

Permalänk
Inaktiv

Intressant att det som tidigare var en tanke-idé om hur man kan jämföra skillnaden mellan bandbredd och 'ping' i praktiken nu är sant (och för er ungdomar: som ett tanke-expreiment talade man förr om att "en jumbo-jet lastad med DVD-R* hade bättre bandbredd än 'bredband', men sämre 'ping'"

*) DVD-R en primitiv form av datalagring på en plastbit

Permalänk
Medlem
Skrivet av Olle P:

Dessutom är det två andra, något sinsemellan motsägelsefulla, saker som slår mig:
1. Varför inte bara lasta originalmedia (hårddiskar och/eller band) på pallar och fylla en container eller två? Borde inte ta längre tid än att tanka över alla data till lastbilen.

Men du tror inte att de behöver sin data under tiden det flyttas till molnet? Det är ju inte så att hela verksamheten kan stå still bara för man ska flytta sin data. Tiden som behövs lär ju inte bara vara själva åkturen, allt lär ju inte fungera felfritt så fort datan hamnat i "molnet".

Citat:

2. Hur skyddar de data från att förstöras under transporten? Ett (oavsiktligt) test har ju tidigare visat att data på en (avstängd) hårddisk som utsätts för stötar och skakningar kan bli totalt oläsliga.

Då det visat sig av ett antal oavsiktliga och även avsiktliga test att vatten inte är bra för hårddiskar, men endast vid kontakt, har man lagt alla diskar på varsin liten flytmadrass i en stor vattenbassäng. Då det inte finns några, vare sig avsiktliga eller oavsiktliga test som tyder på att det skulle vara en dålig idé, så valde man det sättet.

Nej men allvarligt, det finns väl massor enkla sätt att absorbera stötar.

Permalänk
Medlem
Skrivet av studiox_swe:

Molnet har insett att molnet är värdelöst, för 5 år sedan räknade jag på att använda Amazon S3 eller Glacier som extern backuptjänst. Då hade vi en filserver som lagrade 13 TB. Det skulle ta 3 år att skicka datat till Amazon och motsvarande tid att återställa en backup. Molnet som backuptjänst för företag är rätt död.

Där jag jobbar nu har vi cirka 5000 Terabyte, jag hinner nog dö innan vi skulle lyckas göra en backup till molnet..

Glacier är ju dock, och har alltid marknadsförts som, en tjänst där väldigt hög datamängd prioriteras över hastighet. Var namnet inte tillräckligt av en hint?

Skickades från m.sweclockers.com

Permalänk
Inaktiv
Skrivet av Efta:

Glacier är ju dock, och har alltid marknadsförts som, en tjänst där väldigt hög datamängd prioriteras över hastighet. Var namnet inte tillräckligt av en hint?

Jag testade båda tjänsterna och det var så att Glacier var faktiskt lite snabbare än S3 i ren nätverksprestanda på Write. Tror nog inte vi ska lägga för stor vikt på namnet på en tjänst, finns många tjänster som har "Premium" i sitt namn men som är lika värdelösa som en hink grus... Amazon ger inga som helst bandbreddsgarantier.

Permalänk
Medlem
Skrivet av studiox_swe:

Jag testade båda tjänsterna och det var så att Glacier var faktiskt lite snabbare än S3 i ren nätverksprestanda på Write. Tror nog inte vi ska lägga för stor vikt på namnet på en tjänst, finns många tjänster som har "Premium" i sitt namn men som är lika värdelösa som en hink grus... Amazon ger inga som helst bandbreddsgarantier.

Nja, men Glacier ska ju vara en hint om att man syftar till sk. cold storage av större datamängder, dvs. viktiga filer som man ytterst sällan behöver ha åtkomst till. Att ha hela sitt systems backup på Glacier känns ganska onödigt, dels är backup något man tanderar att vilja ändra ofta, dels kommer arbetet med att få ner hela systemet igen bli väldigt dyrt och långsamt.

Gissningsvis sparar Amazon datan offline och på LTO-kassetter, och kostnaden kommer främst från arbetet med att få datan offline och sedan skickad därifrån.

Permalänk
Inaktiv
Skrivet av Efta:

Nja, men Glacier ska ju vara en hint om att man syftar till sk. cold storage av större datamängder, dvs. viktiga filer som man ytterst sällan behöver ha åtkomst till. Att ha hela sitt systems backup på Glacier känns ganska onödigt, dels är backup något man tanderar att vilja ändra ofta, dels kommer arbetet med att få ner hela systemet igen bli väldigt dyrt och långsamt.

Gissningsvis sparar Amazon datan offline och på LTO-kasetter, och kostnaden kommer främst från arbetet med att få datan offline och sedan skickad därifrån.

Ptja, är naturligtvis medveten om syftet med glacier, skönt att Amazons PR maskin verkar nå några. Min erfarenhet var att Glacier faktiskt var snabbare än S3, det här var precis när Glacier släpptes och lär ju inte haft många kunder...

Det har varit rätt mycket spekulation i hur Glacier lagar sin data, ingen vet egentligen. Band är ju mest rimligt om man tittar på ROI men cloudleverantörerna är ju inte så vana med band och att få det att fungera helt automatiserat utan att spendera miljarder på mjukvara för att kontrollera bandrobotar gör det inte så troligt. Det verkar mer troligt att diskarna som ditt data ligger på helt enkelt inte är igång om ingen skriver eller läser till dom och du kan få vänta ett par timmar eftersom bara en viss procent av alla diskarna får vara igång för att spara ström

Permalänk
Medlem
Skrivet av studiox_swe:

Ptja, är naturligtvis medveten om syftet med glacier, skönt att Amazons PR maskin verkar nå några. Min erfarenhet var att Glacier faktiskt var snabbare än S3, det här var precis när Glacier släpptes och lär ju inte haft många kunder...

Det har varit rätt mycket spekulation i hur Glacier lagar sin data, ingen vet egentligen. Band är ju mest rimligt om man tittar på ROI men cloudleverantörerna är ju inte så vana med band och att få det att fungera helt automatiserat utan att spendera miljarder på mjukvara för att kontrollera bandrobotar gör det inte så troligt. Det verkar mer troligt att diskarna som ditt data ligger på helt enkelt inte är igång om ingen skriver eller läser till dom och du kan få vänta ett par timmar eftersom bara en viss procent av alla diskarna får vara igång för att spara ström

Okej, det lät nämligen inte riktigt som det, men jag har väl missförstått vad du skrev helt enkelt.

Det är mycket mer troligt att LTO-kassetter används, de tar mindre plats, ström och är billigare än hårddiskar. Går säkert att få 6tb kasetter för under hundralappen om man är en storkonsument som Amazon. Med LTFS finns ett indexsystem med separat metadata som gör att kassetten kan replicera en disk, även om kassettsystemets svagheter inte försvinner helt (söktid för att nämna en sak) väger styrkorna i många fall upp (läshastigheten kan t.ex vara bättre än motsvarande hårddisk, i varje fall vid linjärt läsande som egentligen är det enda som efterfrågas i detta fallet). Indexsystemet är i det här fallet det enda som behöver vara online 24/7, annars kan kassetterna sparas offline tills dess att en fil nyttjas.

En annan ledtråd är hur deras prislista är designad.