Nvidia Gaugan gör illustrationer till fotorealistiska bilder med maskininlärning

Med hjälp av maskininlärning kan Nvidias mjukvara Gaugan rendera en realistisk bild med ljussättning, miljöer och objekt som skapas utifrån en enkel illustrerad skiss.

För att redigera enklare bilder och skapa illustrationer använder många ritprogrammet Paint, eller derivat i stil med populära Paint.net. För att skapa mer realistiska och professionella bilder krävs dock ofta dyrare och mer komplicerade program såsom Photoshop eller Affinity Designer.

Det hoppas Nvidia Research ändra på med programvaran Gaugan. Användaren kan i programmet skapa olika former med hjälp av olika ritverktyg. Formerna delas upp i segment, och sedan tilldelas dessa en viss typ, såsom vatten, himmel eller sten. Även infrastruktur i form av vägar finns bland alternativen.

Gaugan bild.PNG

Sedan fyller Gaugan i informationen med hjälp av maskininlärning, och då specifikt via generative adversarial networks (GAN). Resultatet blir att en enkel bild som avdelas på mitten med två färger och två klumpliknande föremål i kan bli en exotisk strand med två klintformationer. Programmet lägger inte heller bara på texturer, utan adderar ljussättning med reflektioner och skuggor.

Mjukvaran tar även hänsyn till miljöns typ, så om ett stort segment ändrar typ från gräs till snö kan hela bilden anpassas efter ett vinterklimat. Således tappar lövträd sina löv. Nvidia hoppas att programmet kan användas av bland annat arkitekter och designers för att snabbt testa och iterera olika idéer.

Nvidia Gaugan visades upp skarpt på GPU Technology Conference (GTC) där ett demo för deltagarna kördes med hjälp av ett Nvidia Titan RTX. Inga detaljer kring det skarpa släppet avslöjades dock, och det är inte känt om ett grafikkort med RTX-hårdvara krävs.

Läs mer om Nvidias nyheter:

Tack för tipset TrueType