Bilskyltar VS bokhylla (image recognition)

Hej

Sitter och labbar lite med ett program för att läsa in olika objekt från bilder och att även extrahera dem från bilden.

Jag började enkelt med regskyltar på bilar.

Först en bild där koden inte är tuned

Sedan samma bild där koden är tuned:

Sedan tar programmet och parsar ut det funna objektet:

Samma sak med nedan Audi som är i en lite svårare vinkel:

sedan samma tuned:

Det fungera okej men lite småfix kvar.

Nu till problemet:

När jag försöker göra samma sak med en bokhylla blir det svårare då det inte finns samma skarpa markerade ytor att arbeta med.

Visst kan man ställa alla böcker rakt och snyggt men jag vill att det ska fungera med lite kaos också

Allt bygger på att det summan av alla vinklar blir en rektangel eller fyrkant, resultatet borde bli mycket bättre än vad det blir.
Nedan böcker visar att det inte alltid är 4st hörn som är målet utan kan också vara 5 eller 6st hörn beroende på hur bilden är tagen och böckernas placeringar.

Det handlar tydligen att man man måste tänka om från att arbeta med 2D objekt till att arbeta med 3D objekt.

Jag är en rookie inom bildbehandling, hur tänker ni andra?

I nedan test är det knappt hälften av alla böcker som hittas.