Om AMDs Vega 10!

Hur hör att du anser att det finns tillräcklig data hit? Skall vi sluta med personangreppen och återgå till att diskutera sakfrågan? Du brukar vara bra på det, vad sade jag som fick dig att reagera på det viset?

Det viktigaste, om vi skall kunna hämta ut korrekt data, är att välja en testmetod som det faktiskt finns stöd för i de data vi har. Exemplet med en användares längd är mycket riktigt ett skolboksexempel, men det är inte tillämpbart på den här situationen.

Att genomföra ett t-test med den här datan som grund för att säkerställa att det är skillnad på arkitekturen Fiji och arkitekturen Vega är som att testa om det är skillnad på forumanvändare på Sweclockers och på Nordic Hardware genom att välja ut 1 person från vardera forumet helt godtyckligt och jämföra dessa i 20 olika saker t.ex. längd, kast med liten boll, antal nedslag per minut med korrekt fingersättning, IQ, EQ, Hårfärg och skostorlek och sedan göra ett t test med resultatet från varje enskilt test som input. Här har jag medvetet valt vissa jämförelsepunkter som är kvalitativa för att belysa att situationen inte måste vara som i reviewen, där alla test var kvantitativa (vilket gör det lättare att tro att det går att testa med kvantitativa testmetoder, vilket jag inte tror varit fallet om de också testat t.ex. mining). Möjligen skulle det gå att göra någon form av kvalitativt test på testresultatet (ranked test eller dylikt), men vi har fortfarande endast data från 1 krets och vet inte hur den förhåller sig till andra kretsar med samma arkitektur vid dessa förhållanden som den kanske, eller kanske inte, är designad för.

Så långt om IPC, vilket var frågeställningen denna diskussion började med. Ovan nämner du "den generella spelprestandan", vilket är en något annorlunda frågeställning och det är en dellast som vi, utan bevis på motsatsen, måste anta beror på en delmängd av applikationer med en annorlunda "snittlast" än den sanna snittlasten hos alla applikationer. Skulle våra datapunkter kunna representera snittlasten inom den här kategorin? Under förutsättning att "den generella spelprestandan" enbart är en definition som inbegriper spel som var populära när testet gjordes, så är det inte osannolikt i fråga om kvalitet (valda applikationer), men eftersom allt viktas med 1 så inte i fråga om kvantitet (i fråga om upplösning, specifika inställningar som AA och antal utövare). Så det är mer korrekt, Dock behöver vi fortfarande göra antagandet att detta enda Vega-chip (samt fiji-kretsen) presterar, i snitt, som alla andra Vega-chip som har sålts när det är undervoltat och underklockat till den här nivån.

Dock så är varje deltest fortfarande enskilda test så testresultaten mellan två olika deltest är inte jämförbara trots att de mäts i samma enhet, så de behöver transformeras om till något som går att jämföra, t.ex. % prestanda mot någon grund (som Swec gör i sina prestandaindex). Vilken grunden är (ngt av korten eller ett tredje kort) spelar mindre roll, då den relativa prestandan inte bör påverkas. Vi får dock inte glömma att vi på det här viset inte längre har någon relevant jämförelsegrund. Det finns inget enskilt spel med just de krav som vi sammanställer genom att transformera på det här viset, så vi tappar information också. Vår förhoppning och teori är att vi närmar oss "det generella fallet", så det måste inte vara dåligt. Om skälet att vi sammanställer just dessa titlar är att de är lätta att benchmarka, så måste vi dock göra ytterligare ett antagande om att de spel som bäst representerar den spellasten som flest personer använder är de spel som är lätta att benchmarka. Givet att de 2 mest populära spelen på Steam inte ingår bland de testade spelen är jag dock inte säker på att det finns stöd för detta grundantagande.

Sammanfattningsvis, genom att använda en kvantitativ metod på skillnaderna av ett antal kvalitativa test så får vi spuriösa resultat. Genom att försöka bevisa frågan om generell IPC med resultat från enbart speltester får vi spuriösa resultat. Om vi ändrar frågeställningen till att enbart gälla prestanda i spel, men skall vi göra det så måste vi ta till sådana antaganden att det går att ifrågasätta huruvida modellen fortfarande håller och vi måste fråga oss om vi inte fortfarande får spuriösa resultat? Tittar vi också källkritiskt på datan, så ser vi att den här inhämtad under förutsättningar som är optimala för det ena kortet och delvis inhiberar de förbättringar som gjorts i arkitekturen för det andra kortet i den upplösning som enligt andra källor relativt sett gynnar det ena kortet mest. Vilket ger att ett test på data som inte är inhämtat under de krav som ställs genom obundet slumpvis urval så får vi spuriösa resultat. Eller den sista punkten med andra ord, vi kan inte ta ställning till den generella spelprestandan givet data som är begränsad till UltraHD med inställningar begränsade till 4GB VRAM (så som det komprimeras på Fiji).

Så, givet de problem som jag påvisat som finns i modellen jag invände mot, om det här vore en rättsstat och detta var ett fall, borde då domstolen ö.h.t. ta ställning till målet, eller, vilket är min tes, borde avskriva målet som indicier utan att det ens togs upp?

PS. för att mäta effekten av kodoptimering så kan jag inte se några skäl till varför inte ett paried student t test skulle fungera bra. Där är det tydligt att vi testar hur samma dator reagerar på en specifik stimuli och det går att mäta ett före och ett efterresultat som är fullt jämförbara på den datorn. Men jämför du testfallet kodoptimering med testfallet "byta till ett annat grafikkort" så får du signifikanta resultat för varje test, men om du istället jämför med att byta vilken kod du håller på att optimera (vilket motsvarar vilket spel du prestandatestar), så blir inte testernas resultat direkt jämförbara med varandra.

PPS. Jag tycker denna diskussion om huruvida ett t test är ett lämpligt test på en given mängd data, även om den är intressant ur ett metodperspektiv, är helt off topic till fråga om Vega 10. Jag känner att jag har sagt mitt och känner att jag har fått vara så utförlig jag kan i frågan. Jag har inte mer att tillägga.

Ser inte var personangreppet skulle vara, du deklarerade väldigt tvärsäkert att det var för få testfall och såg överhuvudtaget ingen motivering utöver att det är din åsikt. Det går som sagt även helt stick i stäv med typexemplet som fanns i boken jag länkade till där man endast hade fem mätutfall.

Alltid svårt med nyanser i text, men ville inte linda in det på något sätt utan helt peka på att det inte verkade finnas någon grund för "det är för få mätvärden" utöver tyckande. Ber om ursäkt om det "kom ut på fel sätt".

Ser inte hur din jämförelse med SweC vs NH medlem en är i närhet att vara samma sak. Ok om vi haft ett spelresultat med DX11 i 1280x720, ett med DX12 i 4k och ett par för GPGPU som utför totalt olika saker, det är analogt med ditt SweC/NH exempel. Är helt med på att det inte skulle ge vara en vettig bas att dra några generella slutsatser från då det inte ens finns en gemensam bas över vad "bättre" betyder.

Vad vi har ett ett gäng olika spel, som förutom GPU har identisk HW. Alla spel gör i stora drag samma sak med GPU, det skiljer lite på vilken del av GPUn som stressas hårdast och det varierar även mellan scener inom varje spel. Vårt mått på "bra" är helt entydigt, genomsnittlig FPS som i sig är en funktion av GPU-kapaciteten då vi med största sannolikhet är nära nog 100 % GPU-bundna.

Vi vet sedan massor av andra tester att det finns viss variation mellan hur olika GPU-modeller presterar i olika titlar, men på det stora hela är det rätt klart hur olika modeller står sig mot andra i genomsnitt. D.v.s. valet av spel kommer ge varians, men det kommer inte vara några gigantiska skillnader (och i detta fall är ju även resultat i de olika titlarna hyfsat normalfördelade).

Så hur skiljer sig detta "före-efter" test sig mot det exemplet i boken där man har fem benchmarks, testar dessa, byter ut en komponent, kör om alla tester och använder ett t-test för att avgöra om det verkar troligt att förändring av komponenten gav en skillnad i prestanda?

Vad som exakt görs här är: givet en specifikt datorsystem och en uppsättning spel, benchmarka alla spelen med väldefinierade inställningar. Kör om alla tester med helt identiska parametrar förutom GPU.

Är bara två saker vi får ut av ett t-test, ju färre saker vi försöker svara på ju större säkerhet ger en viss mängd data.

• visar data på en signifikant skillnad givet konfidensnivå 95 %. Svaret är nej (det då noll skillnad i prestanda är inom intervallet), dessa resultat styrker inte att det finns en prestandaskillnad. Vi försöker inte ens lura ut vilken av korten som är snabbare eller hur stor skillnaden är, bara om det överhuvudtaget finns en skillnad. Här kallar vi genomsnittlig prestandanivån för "IPC" då båda GPUer körs på samma frekvens, men rent konkret mäts kvoten FPS(någon GPU)/FPS(bäst prestanda GPU). Att det är en kvot normaliserar resultat så vi väger in alla spel lika mycket, något som också är viktigt.

• är det sannolikt att det resultat vi fick kan förklaras med att slumpen gjorde så att vi råkade välja spel vars utfall på det vi försöker bestämma avviker från det generella fallet? Detta är jobbet hos p-värdet, exakt var man sätter cut-of motsvarar hur starka bevis man kräver för att anse att "utom rimligt tvivel" är uppfyllt. Vi var en hyfsad bit från det p-värde som anses vara "tillräckligt starka bevis", d.v.s. det är inte sannolikt att resultatet ovan kan förklaras med slumpen.

Endera fungerar detta, eller så verkar det som man helt kan lägga ned benchmarking som metod för att avgöra om en specifik förändring i HW/programvara rent generellt är en förbättring/försämring (vilket är hela syftet boken jag länkade är, det är långt i från enda boken i ämnet "utvärdering av benchmarks").

Jag köpte det näst sista

Tycker inte de är så taskigt som många reviews säger. Man får dra ner power target. Runt halva fläkthastigheten låter det inte så mycket och värmen stabiliserar sig. Men kör man inte egen inställning på fläkten så känns det som att den drar igång för sent när kortet redan är för varmt.

Det är spännande om de kommer låsa upp de där funktionerna de snackat om, man har väl lite förhoppning om att det ska bli ett nytt 7970 som blir bättre med åren.

https://www.computerbase.de/2017-09/forza-7-benchmark/2/#diag...

Detta var ju rätt intressant

https://www.hardwareluxx.de/index.php/artikel/hardware/grafik...

strix vega 64 verkar vara ett nice kort

Priserna för grafikkort är åt h-vete, AMD:s är på tok för höga men även Nvidia har drabbats.