Ako AI vystrihuje oblečenie z fotiek a odstraňuje pozadie

Odfoťte outfit, požiadajte aplikáciu na šatník, aby ho „importovala“, a o pár sekúnd máte sadu úhľadných kúskov oblečenia na jednoliatom pozadí: bundu, tričko, džínsy, tenisky. Tento proces sa nazýva vystrihovanie oblečenia pomocou AI. Vyzerá ako jediný trik, no v skutočnosti ide o niekoľko samostatných úloh riešených za sebou, a keď viete, čo robí každá fáza, vysvetlíte si väčšinu zvláštnych výsledkov, aké kedy uvidíte.

Tento návod prechádza fázami vo všeobecnosti a potom vysvetľuje, odkiaľ sa berú ťažké prípady a ako fotiť, aby ste sa im vyhli.

Tri fázy vystrihovania oblečenia pomocou AI

Takmer každý systém, ktorý vyťahuje oblečenie z fotiek, rozdeľuje prácu na tri fázy:

1. Detekcia: nájsť na fotke každý odev, nakresliť okolo neho približnú oblasť a určiť, čo to je.
2. Segmentácia a matting: presne určiť, ktoré pixely patria k danému odevu, až po okraje, a všetko ostatné odstrániť.
3. Vyčistenie alebo rekonštrukcia: upraviť výsledok na použiteľný výstrižok a v ťažších prípadoch dokresliť časti, ktoré fotoaparát nevidel.

Potom nasleduje ľahší krok: každý kúsok dostane názov, kategóriu a farebný štítok, aby sa dal zaradiť. Fázy môžu byť samostatné modely alebo časti jedného väčšieho modelu, úlohy sú však rovnaké.

Detekcia: nájsť každý odev

Model počítačového videnia sa pozrie na celý obrázok a navrhne oblasti, v ktorých je oblečenie. Každá oblasť má označenie (košeľa, bunda, nohavice, tenisky, kabelka) a mieru istoty. Klasické detektory objektov to robia pomocou ohraničujúcich obdĺžnikov; novšie vizuálno-jazykové modely môžete aj bežnými slovami požiadať, aby našli „každý kus oblečenia“ a opísali, čo našli.

Dve veci robia oblečenie ťažším, než je napríklad rozpoznávanie áut:

• Oblečenie mení tvar. Košeľa vyzerá inak položená naplocho, na vešiaku, zastrčená alebo rozopnutá pod kabátom. Model musí rozpoznať kategóriu vo všetkých týchto podobách.
• Oblečenie je tesne vedľa seba. Vrchný diel končí tam, kde začína sukňa, bunda je cez košeľu a šál križuje oboje. Oblasti sa prekrývajú a model musí rozhodnúť, ktoré pixely patria ku ktorému odevu.

Z detekcie pochádza aj kategória a prvý odhad farby. Farba je zložitejšia, než sa zdá: ten istý tmavomodrý sveter odfotený pri teplom izbovom svetle a pri studenom dennom svetle dá rôzne hodnoty pixelov. Systémy zvyčajne odoberajú farbu z pixelov samotného odevu až po odstránení pozadia, a preto sa označenie po segmentácii môže spresniť.

Segmentácia a matting: odstránenie pozadia

Keď je oblasť odevu známa, segmentácia rozhoduje pixel po pixeli, či daný bod patrí k odevu. Výstupom je maska: čiernobiely obrázok, v ktorom biela znamená „odev“. Pri oblečení na človeku pomáha príbuzná technika nazývaná parsovanie postavy (human parsing), ktorá každý pixel tela označí ako pokožku, vlasy, oblečenie na hornej časti tela, oblečenie na dolnej časti tela, obuv a podobne, a tak pomáha oddeliť odev od ruky či nohy v ňom.

Maska s ostrými okrajmi celkom nestačí. Pletenina má chlpaté okraje, cez priesvitnú látku presvitá pozadie a vlasy alebo strapce prekrývajú obrys. Matting spresní masku na alfa kanál, v ktorom môže byť každý pixel na okraji čiastočne priehľadný. Vďaka tomu mohérový sveter nevyzerá, akoby ho niekto vystrihol nožnicami.

Odstránenie pozadia zlyháva predvídateľnými spôsobmi:

Väčšina z toho závisí skôr od fotky ako od modelu. Svetlo, pozadie a kompozíciu, ktoré týmto problémom predídu, opisuje návod Ako fotiť oblečenie, aby boli výstrižky čisté.

Prečo je niekoľko prekrývajúcich sa odevov ťažších

Jeden odev na jednoliatom povrchu je takmer ľahký prípad: jedna oblasť, jedna maska, čisté okraje. Celý outfit na človeku je oveľa ťažšia úloha, a to z troch dôvodov.

Zakrytie. Bunda skryje väčšinu košele pod ňou. Popruh kabelky križuje vrchný diel. Prekrížené ruky zakryjú pás nohavíc. Segmentácia dokáže ponechať len pixely, ktoré na fotke sú, takže priamy výstrižok košele bude mať dieru v tvare bundy.

Spoločné okraje. Tam, kde sa zastrčený vrchný diel stretáva s pásom alebo čižmy s lemom nohavíc, musí model rozhodnúť, ktorému odevu každý pixel patrí. Drobné chyby vytvoria úzky pásik jedného kúsku prilepený k druhému.

Póza a záhyby. Nosený odev je ohnutý okolo tela. Aj keď je vidieť každý pixel, výsledok vyzerá ako košeľa v tvare človeka, nie ako košeľa, ktorú by ste spoznali na poličke.

Preto sú fotky outfitov a selfie v zrkadle náročnejšie ako fotky naplocho, hoci sa zbierajú oveľa pohodlnejšie.

Prečo niektoré fotky dokresľuje obrazový model

Aby obišli zakrytie a pózu, niektoré systémy odev len nevystrihnú; požiadajú model na generovanie obrázkov, aby ho nakreslil znova. Model dostane fotku a rozpoznanú oblasť a má vytvoriť samotný odev, celý a úhľadne rozložený, pričom doplní časti, ktoré boli zakryté.

Ide o rovnakú rodinu modelov, ktorá generuje obrázky z textu, len tu je podmienená skutočným odevom, nielen samotným zadaním. Výhodou je celý, čitateľný odev, aj keď bola jeho polovica pod kabátom. Cenou je, že model odvodzuje, nekopíruje. Skryté časti sú vierohodný odhad a drobné detaily kdekoľvek na kúsku sa môžu zmeniť: logu môžu chýbať písmená, potlač sa môže posunúť, prešívanie môže vyzerať inak a odtieň sa môže mierne odchýliť.

V Outfello sa rozpozná každý odev v zábere, nielen jeden, a každý sa samostatne vystrihne s odstráneným pozadím a potom dostane názov, kategóriu a farebný štítok. Väčšina výstrižkov jednotlivých odevov sa spracúva na vlastnom hardvéri Outfello; fotku s niekoľkými kúskami naraz nakreslí znova obrazový model AI. Tak či onak, nič nejde rovno do šatníka: každý kúsok najprv pristane v kontrolnom zásobníku, kde ho môžete premenovať, presunúť do inej kategórie, vybrať mu farby z výstrižku, pridať štítky s detailmi alebo ho vyradiť. Čo sa deje potom, opisuje stránka o digitálnom šatníku.

Ako fotiť, aby sa oblečenie čisto vystrihlo

Keď poznáte jednotlivé fázy, rady sú jednoduché:

• Ukážte celý odev, ak ho chcete dostať späť celý. Rozopnuté bundy zakrývajú menej ako zapnuté; ruky pozdĺž tela zakrývajú menej ako prekrížené.
• Využite kontrast. Svetlý odev na tmavom pozadí alebo naopak segmentáciu výrazne uľahčí.
• Používajte mäkké, rovnomerné svetlo, aby ste sa vyhli ostrým tieňom, ktoré sa tvária ako látka.
• Kúsok s množstvom detailov odfoťte samostatne, ak vám záleží na logu alebo potlači, aby sa dal vystrihnúť a nemusel sa dokresľovať.
• Skontrolujte výsledok. Rýchly pohľad pri kontrole odhalí nesprávnu kategóriu, zabudnutý kúsok pozadia alebo posunutú potlač, kým máte fotku ešte po ruke.

Príbuzné obrazové modely riešia opačnú úlohu: obliecť odev na fotku človeka. Túto stranu vysvetľuje návod Ako funguje virtuálne vyskúšanie pomocou AI.