Hur bör FPS sorteras?! Medelvärde eller 99.e percentilen?

Jag tror om 99:e percentilen samma sak som jag tror om CPU-tester i 720p: relevanta, för en väldigt liten del av läsarna. Jag vet inte hur många som ens vet vad stutter är eller bryr sig om det över huvud taget, jag gör det i alla fall inte så för min del känns medelvärde mycket mer relevant.

Vet inte om det skulle vara tekniskt möjligt att göra så att diagrammen går att sortera på det mätvärde man själv vill ha (@Klorixx)?

Nej, det kan jag inte säga att jag gör. Måste jag det?

Röstar här för percentilen då som många nämner så är avg rätt så meh. Frametimes variation skulle också vara intressant.

@Gustav-P: gick själv i dom tankarna

Visst vill man inte ha stutter men låt säga att 2 kort får
Medel 100 low 59 mot ett som får medel 70 low 60.
Lite som vega 56 mot 1080ti i staplarna i trådstarten.

Tänker att vissa spel har en tendens att hacka till någon gång när de laddar, visst går det styra om benchmarks för att försöka undvika sådant. Men tänker att det inte alltid är grafikkortets fel utan ibland programmet/spelet i sig.

Skickades från m.sweclockers.com

Intresant aspekt men kan inte säga att jag är helt övertygad om att det 99 percentilen har mer relvans egentligen. Jag förstår analogin med en film som pausar var 8:e sekund men i verkliga spel är det i ärlighetens namn inget jag på senare tid haft anledning att reflekterat över.

Rent perceptuellt så noterar vi två saker, höga frametimes (låg FPS) och hög variation av FPS (hög => lägre). Så om vi ska modulera grafer från vår upplevelse, så är 99% min bättre än AVG. Värt att notera att då vi har höga frametimes som mest signifikanta faktorn, så döljer 99% den absolut värsta 1% av frametimes! Vi ignorerar alltså de tillfällen som påverkar oss absolut mest! En frametime graf berättar hela händelseförloppet.

Ex: Sekvensen [50ms , 10ms , 5ms * 99] är mycket sämre än [10; 10; 5,5*99ms] trots att den ena har sämre AVG (178FPS mot 181), men samma 99:e percentil (100FPS). Visst, de absolut lägsta frametimes kan vara extrema, och inte nödvändigtvis kopplade till grafikkortet (t.ex, operativssystemet eller inspelningsprogrammet får för sig att göra någonting resurskrävande just då) och kanske en gång är det där, en annan gång är det inte där. Så det måste vara statistiskt klarlagt att det alltid sker, annars är det värdelöst. Dvs, vad jag beskrivit nu är endast en halv sekund. Om denna halva sekunden repeterar sig i 60 sekunder så blir man galen på den första sekvensen.

Kortfattat: Ranking bör vara efter hur vi uppfattar resultaten, och då stämmer 99:e percentilen bättre än AVG. Men 99:e percentilen för sig själv döljer de absolut värsta värdena. Därför bör man visa hela händelseförloppet, t.ex i form av en frametime graf.

@sAAb: Man behöver inte ha en frametime graf, utan jag tog det enbart som ett exempel. Man kan även ta de sista 1% av frames och ta genomsnittet av dessa (de är så pass få, och har svårt att dölja riktigt dåliga frames. Samtidigt så får man med information från alla frames). Det behöver dock inte sorteras enligt dessa, utan de behövs bara presenteras. Om de sista 1% är riktigt dåliga så kommer upplevelsen att vara dålig.

Tja, det beror ju mycket på sammanhanget. 99:e percentligen kan ju tyda på tre saker: 1) Dålig optimering i spelet eller drivrutinerna, 2) Att t.ex. minnet på kortet inte räcker till, eller ibland 3) värmethrottling. Oberoende så påverkar ett hopp från t.ex. 80 fps till 40 fps betydligt mer än ett hopp från 75 fps till 50 fps. Om average fps överlag är okej och det är små variationer så fäster man ofta inte uppmärksamheten på det, medan ett stort hopp kan få en att cravea en ny maskin.

Sen så är det ju också möjligt att dålig optimering kan ge fel bild. Om man testar ett nytt kort med dålig optimering kan de lägsta värdena förbättras ordentligt efter att kortet varit ute på marknaden i några veckor, och då kan sorteringen ge fel bild av hur läget kommer att se ut framöver.

Men personligen föredrar jag 99:e percentilen.

Tror du missförstår mina intentioner. Mitt mål är att presentera de värdena på ett sådant genomskinligt sätt som möjligt, och helst på ett sådant sätt att det enkelt går att räkna ut en upplevelse från dessa värden. Detta betyder att man behöver visualisera en modell som tar hänsyn till hur människor upplever det.

För att illustrera, techreport visar olika typer av frametime grafer, samt skriver ut avg och 99:e percentilen. Jag har tagit några exempel för att beskriva problematiken som jag vill undvika (lite äldre recension, inte säkert att den är representativ idag).

Visa innehåll

I detta exempel så ser vi att Radeon VII har högre AVG och ~samma 99:e percentil jämfört med RTX 2070. Men, om vi zoomar in så ser vi att Radeon VII har lägre lägsta värden, och det med en del. De övre två mätvärdena missar denna företeelse, som människor har störst sannolikhet att notera, då våra hjärnor och ögon fungerar på det viset. Om vi applicerar det mätvärdet jag föreslog så får vi ~ 27-28ms för Radeon VII och 26ms för RTX 2070. Vi noterar alltså denna skillnad i frametimes. Notera att de lägsta 1% representerar ~40 frames.

I detta exempel så ser vi att 1080ti och Radeon VII i princip matchar varandra i både AVG och 99:e percentil. Här har dock Radeon VII ~27ms och GTX 1080ti 28ms med det mätvärde som jag föreslog. Så upplevelsen bör trots allt bli bättre på Radeon VII (som sagt, det går att använda det mest som ett riktvärde).

Jag hoppas även nu att ni noterat ett mönster, i slutet av 99:e percentilen så sker en acceleration jämfört med t.ex 50:e till 92:a percentilen på samtliga kort. Alltid i de tester techreport gjort. Vilket betyder att medianen kommer oftast att underrepresentera värdet, medan medelvärdet fångar den accelererade biten. Jag valde medelvärdet då det representerar verkligheten bättre än ett statistiskt robust värde. Dåliga frametime värden är det som upptäcks lättast av oss.

Forza och Hitman

Egentligen så är 99,9:e percentilen bra också , men kan nog även de ge orimligt höga värden som förmodligen händer såpass sällan att de inte är direkt representativa för hela sessionen. Man vill vara representativ, men ändå inte basera det på fel som orsakas av annan mjukvara eller tillfälligheter. Tror däremot att det duger... i 99,9% av fallen

Level1tech har en bra video om hur de undersökte ett konstigt beteende som de märkte i GTA V, att 1800X kändes som den hade bättre flyt , men kunde inte identifieras m.h.a AVG, 1% Low eller 0,1% Low. Senare visade det sig att det faktiskt var GTA Vs motor som flippade ur vid höga FPS.

Iallafall, då med min metod så skulle de 215 frames, som ligger runt ~7.3-10ms , påverkas av de tre noterbara utstickarna på ~200ms av de tre topparna signifikant. Visserligen kan jag inte mäta exakt från graferna (om jag inte spenderar onödigt mycket tid på att peka ut exakt var de 218 punkterna befinner sig någonstans...), men då 1800X hade mångdubbelt lägre toppar (p.g.a dålig spelmotor) så skulle det mätvärde som jag ville använda även hitta att upplevelsen är sämre på 7700k, vilket det också var i det här särskilda fallet, som inte ens kunde plockas upp av 99,9:e percentilen. Då det även fungerar att kvantifiera upplevelsen på riktiga fall, samt utstickare, vilka riktiga fall går det att plocka fram som det inte duger för?

(OBS: Om någon tänker vrida det här till ett "AMD vs Intel"-argument så handlar det här inte om det, alls. Det handlar om att kvantifiera upplevelser som mätvärden. Detta exempel råkade bara vara ett som fastnade på minnet).

Så, nu var jag tvungen att utveckla resonemanget lite för att kontrollera om jag var helt ute och cyklade. Tyvärr kunde jag inte hitta några fel, möjligtvis p.g.a partiskhet (även om jag försöker till mitt yttersta att vara opartisk). Förhoppningsvis om det finns några fel så kan någon annan peka ut dem, tillsammans med bevis för det.