Samsungchef påstår att det inte finns något "riktigt foto"

Har en gammal plasma-tv hemma, skulle ta kort på den med min Iphone 13. Skärmen på telefonen innan man tar kortet ser ut som det man ser på tvn. Men bilden telefonen spottar ur sig ser ut som en påse skit....så ja, något gör dom allt med bilden.

ja, alla bilder tagna med mobiltelefoner "processas" ju, det är aldrig 1:1 vad ljussensorerna ger i ett pixelrutnät.
för att fixa skärpa, färger, reducera "brus", i den bemärkelsen kan man ju argumentera att algoritmen som jämnar ut ansikten eller bättre skärpa på löv byts ut mot en optimerad för himlakroppar.

same but different.

Jag kan tycka att hur utläggningen fortsatte är mer relevant på många sätt. Dock mindre sensationellt än specifikt "there is no spoon" / "there is no moon" / vad han nu svamlade om först.

(från källartikeln: https://www.techradar.com/phones/samsung-galaxy-phones/there-... )

Och det ligger väl mycket i det där, dock vet jag inte om folk förväntar sig att det ska vara en så suddig gräns direkt när de tar ett foto.

Det finns ingen "oprocessad bild" när det handlar om digitala sensorer. Tilla att börja med har varje pixel bara en av tre färger, och övrig data interpoleras. En process som kallas demosaicing, ifall någon är intresserad.

Tidiga CMOS-sensorer en ensam ADC, men för att klara fler pixlar per sekund (dvs kombinera hög upplösning med hög frame rate) så har moderna CMOS-sensorer en ADC per pixelcolumn. Pga imperfektioner i kislet medför det att varje pixelkolumn ger helt olika intensitet pga att ADCn och tillhörande förstärkare beter sig olika från column till column. Detta måste givetvis också åtgärdas med algoritmer.

Även utöver ovan nämnda anledning så är det massa brus i digitala sensorer. Detta filtreras bort med algoritmer.

Flera bilder tas med olika slutartid och kombineras för högre dynamiskt djup.

Artefakter av ljusets brytning i linsen åtgärdas med hjälp av andra algoritmer. Oftast flera stycken.

Demosiacing medför artefakter som åtgärdas med ytterligare algoritmer.

Dessutom medför många av ovan nämnda algoritmer en suddigare bild, så någon typ av "sharpening" appliceras också.

Allt detta görs innan du får din bild.

Men trots allt detta så är jag benägen att hålla med att det är stor skillnad på vilken typ av algoritmer man använder. Alla ovan nämnda algoritmer är designade för att kompensera för specifika designval och tillkortakommande i sensorn/optiken. Det är något helt annat om man tex tränar ett AI-nätverk på existerande bilder och processar bilden för att efterlikna tidigare tagna "bra" bilder. Jag hade även varit helt okej med om AI-nätverk tränats för att göra generisk uppskalning eller förbätta skärpa, men det låter inte som det är vad det handlar om i detta fallet.

Nu har jag inte själv testat detta, men kan Samsungs nyare telefoner ta fram detaljer som inte fanns i originalscenen? Säg att månen var täckt med ett väldigt tunt molnlager som gjorde den suddig. Kommer Samsungs telefoner visa detaljer som var fysiskt omöjliga att se när bilden togs? Är svaret ja här så tycker jag det gått för långt. Då färsvinner ju en del av det som gör bilden unik för det tillfället där den togs.

Hm.. görs inte ens demosaicing innan det sparas som RAW? Var faktiskt inte medveten om det. Det är ju lite intressant.. och ställer väldigt mycket krav på mjukvaran som ska kunna tolka bilderna ^^

Det fina med det är att du kan "framkalla" gamla raw filer med nyare mjukvara och få fram lite mer detaljer och använda bättre brusreduceringsalgoritmer för en renare bild.

RawTherapee har exempelvis ett helt gäng med olika demosaicing algoritmer att välja på med olika egenskaper. Den har till och med kombinationer av algoritmer där en används där det är mycket detaljer (men har nackdelen att den är lite brusigare) och en annan som ger en lätt suddigare bild där det är mindre detaljer.

Men nu pratar vi pixel peeping som moraliskt högtstående fotografer rynkar på näsan åt.

Är ADC:n universiell eller skiljer det mellan tillverkare/implementering.
Och beroende sedan på DIP/Demosaic algoritmval kan samma RAW generera flera olika bilder från samma sensordata, hur fastställer man vilken bild som är den äkta och vilka som är "manipulerade med algoritmer"?

Detta är inte helt sant dock. Det görs en massa processning av datan innan den hamnar i en RAW-fil. Framförallt görs processning för att kompensera för imperfektioner i sensorn. Jag kan absolut köpa att det är mer accepterad processning än tex anbända ai, men det är trotts allt inte rådata.

Han har väl inte fel i sak. Alla digitala bilder är tolkningar av värden på ljusinsläpp mellan 0-1 per pixel, från en sensor som inte är 100% "korrekt", och om man dessutom lagrar dem i ett lossy-format (JPEG) så är det ännu längre från verkligheten. Så tekniskt korrekt men ändå onödigt och klumpigt uttryckt

Är det verkligen en funktion i deras systemkameror, och inte bara i mobiltelefoner?

KÄLLKRITIK!

Det framgår tydligt att han pratar om AI-behandlade bilder specifikt. Inte bilder överlag. Sammanhanget spelar roll!
Påståendet många i tråden diskuterar har han inte ens gjort. Det är en vinkling i nyhetsartikeln som leder er dit. Endast genom illvilligt ta en mening ur sitt sammanhang och omskrivning kan man skapa den nyheten.

Han har dock helt rätt, AI-behandling av skärpa och fokus lägger till information AI:n har lärt sig fylla i material efter förväntat mönster som den lärt sig genom analys av annat material. Den lägger till falsk information.

Kan ju säga att Sweclockers bearbetning av uttalanden är att jämföra med Samsungs bearbetning av bilder.

KÄLLKRITIK!

Det framgår tydligt att han pratar om AI-behandlade bilder specifikt. Inte bilder överlag. Sammanhanget spelar roll!
Påståendet många i tråden diskuterar har han inte ens gjort. Det är en vinkling i nyhetsartikeln som leder er dit. Endast genom illvilligt ta en mening ur sitt sammanhang och omskrivning kan man skapa den nyheten.

Han har dock helt rätt, AI-behandling av skärpa och fokus lägger till information AI:n har lärt sig fylla i material efter förväntat mönster som den lärt sig genom analys av annat material. Den lägger till falsk information.

Kan ju säga att Sweclockers bearbetning av uttalanden är att jämföra med Samsungs bearbetning av bilder.

“There was a very nice video by Marques Brownlee last year on the moon picture,” Chomet told us. “Everyone was like, ‘Is it fake? Is it not fake?’ There was a debate around what constitutes a real picture. And actually, there is no such thing as a real picture. As soon as you have sensors to capture something, you reproduce [what you’re seeing], and it doesn’t mean anything. There is no real picture. You can try to define a real picture by saying, ‘I took that picture’, but if you used AI to optimize the zoom, the autofocus, the scene – is it real? Or is it all filters? There is no real picture, full stop.”

Här är originalcitatet:
Jag tycker tvärtom att det framgår tydligt att han pratar om foton överlag och inte bara AI-behandlade foton, han nämner inte ens AI förrän i slutet av citatet.

Jag skulle säga att det framstår som att han pratar om foton tagna på dagens mobiltelefoner, där det sker mycket efterbehandling generellt för att "höja bildkvaliteten" (men då alltså genom att ändra bilden i mjukvara, inte genom att stoppa i en bättre kamera), oavsett specifikt AI-månar och liknande funktioner.

Om sagd mjukvara hör till kategorin "AI" lär väl variera.

(Och som citatet fortsätter därefter så diskuterar han då två separata användningsområden med olika förväntningar)