Wie KI Kleidung erkennt, freistellt und den Hintergrund entfernt

Fotografiere ein Outfit, lass es von einer Kleiderschrank-App „importieren“, und ein paar Sekunden später hast du eine Reihe ordentlicher Kleidungsstücke auf schlichtem Hintergrund: eine Jacke, ein T-Shirt, Jeans, Sneaker. Genau das ist KI-gestütztes Freistellen von Kleidung. Es wirkt wie ein einziger Trick, besteht aber aus mehreren getrennten Problemen, die nacheinander gelöst werden - und wer weiß, was jede Stufe tut, kann sich die meisten merkwürdigen Ergebnisse erklären, die einem je begegnen.

Dieser Ratgeber geht die Stufen allgemein durch, zeigt dann, woher die schwierigen Fälle kommen, und erklärt, wie du Fotos machst, die sie vermeiden.

Die drei Stufen des KI-Freistellens

Fast jedes System, das Kleidung aus Fotos herauslöst, teilt die Aufgabe in drei Stufen:

1. Erkennung: jedes Kleidungsstück auf dem Foto finden, einen groben Bereich darum ziehen und benennen, was es ist.
2. Segmentierung und Matting: genau bestimmen, welche Pixel zu diesem Kleidungsstück gehören, bis an die Kanten, und alles andere entfernen.
3. Aufbereitung oder Rekonstruktion: das Ergebnis zu einem brauchbaren Freisteller aufräumen und in schwierigeren Fällen die Teile nachzeichnen, die die Kamera nicht sehen konnte.

Danach folgt ein leichterer Schritt, in dem jedes Teil Name, Kategorie und Farben bekommt, damit es abgelegt werden kann. Die Stufen können getrennte Modelle sein oder Teile eines größeren Modells, die Aufgaben bleiben dieselben.

Erkennung: jedes Kleidungsstück finden

Ein Bildmodell betrachtet das ganze Bild und schlägt Bereiche vor, die Kleidungsstücke enthalten. Jeder Bereich kommt mit einer Bezeichnung (Hemd, Jacke, Hose, Sneaker, Tasche) und einem Konfidenzwert. Klassische Objekterkenner arbeiten dafür mit Begrenzungsrahmen; neuere Bild-Sprach-Modelle lassen sich auch in einfachen Worten bitten, „jedes Kleidungsstück“ zu finden und zu beschreiben, was sie finden.

Zwei Dinge machen Kleidung schwieriger als, sagen wir, Autos zu erkennen:

• Kleidung verändert ihre Form. Ein Hemd sieht flach hingelegt, auf dem Bügel, in die Hose gesteckt oder offen unter einem Mantel jeweils anders aus. Das Modell muss die Kategorie in all diesen Fällen erkennen.
• Kleidungsstücke liegen direkt nebeneinander. Ein Oberteil endet, wo ein Rock beginnt, eine Jacke liegt über einem Hemd, und ein Schal kreuzt beide. Bereiche überlappen, und das Modell muss entscheiden, welche Pixel zu welchem Kleidungsstück gehören.

In der Erkennung entstehen auch die Kategorie und eine erste Schätzung der Farbe. Farbe ist heikler, als es klingt: Derselbe marineblaue Pullover ergibt unter warmem Innenlicht und kühlem Tageslicht unterschiedliche Pixelwerte. Systeme nehmen die Farbe meist aus den Pixeln des Kleidungsstücks selbst, nachdem der Hintergrund entfernt ist - deshalb kann die Bezeichnung nach der Segmentierung besser werden.

Segmentierung und Matting: den Hintergrund entfernen

Sobald der Bereich eines Kleidungsstücks bekannt ist, entscheidet die Segmentierung Pixel für Pixel, ob jeder Punkt zum Kleidungsstück gehört. Das Ergebnis ist eine Maske: ein Schwarz-Weiß-Bild, in dem Weiß „Kleidungsstück“ bedeutet. Für Kleidung am Körper gibt es eine verwandte Technik namens Human Parsing, die jedes Pixel eines Körpers als Haut, Haare, Oberbekleidung, Unterbekleidung, Schuhe und so weiter einordnet. Das hilft, das Kleidungsstück vom Arm oder Bein darin zu trennen.

Eine hart abgegrenzte Maske reicht nicht ganz. Strick hat flauschige Kanten, durchscheinender Stoff lässt den Hintergrund durchschimmern, und Haare oder Fransen überlappen die Kontur. Matting verfeinert die Maske zu einem Alphakanal, in dem jedes Kantenpixel teilweise transparent sein kann. Das verhindert, dass ein Mohairpullover aussieht, als wäre er mit der Schere ausgeschnitten.

Das Entfernen des Hintergrunds scheitert auf vorhersehbare Weise:

Die meisten dieser Fälle hängen eher am Foto als am Modell. Der Ratgeber Kleidung fotografieren für saubere Freisteller erklärt, mit welchem Licht, Hintergrund und Bildausschnitt du sie vermeidest.

Warum mehrere überlappende Kleidungsstücke schwieriger sind

Ein einzelnes Kleidungsstück auf einer schlichten Fläche kommt dem einfachen Fall nahe: ein Bereich, eine Maske, saubere Kanten. Ein komplettes Outfit, das eine Person trägt, ist ein viel schwierigeres Problem, und zwar aus drei Gründen.

Verdeckung. Eine Jacke verdeckt den Großteil des Hemds darunter. Ein Taschengurt verläuft quer über ein Oberteil. Verschränkte Arme verdecken den Bund der Hose. Die Segmentierung kann nur Pixel behalten, die da sind, also hat ein einfacher Freisteller des Hemds ein jackenförmiges Loch.

Gemeinsame Kanten. Wo ein eingestecktes Oberteil auf den Hosenbund trifft oder Stiefel auf Hosensäume, muss das Modell entscheiden, welchem Kleidungsstück jedes Pixel gehört. Kleine Fehler erzeugen einen schmalen Streifen des einen Teils, der am anderen klebt.

Haltung und Falten. Ein getragenes Kleidungsstück ist um einen Körper gebogen. Selbst wenn jedes Pixel sichtbar ist, sieht das Ergebnis aus wie ein Hemd in Menschenform, nicht wie ein Hemd, das du im Regal wiedererkennen würdest.

Deshalb sind Outfit-Fotos und Spiegel-Selfies anspruchsvoller als Flatlays, obwohl sie viel bequemer zu sammeln sind.

Warum manche Fotos von einem Bildmodell nachgezeichnet werden

Um Verdeckung und Körperhaltung zu umgehen, schneiden manche Systeme das Kleidungsstück nicht nur aus, sondern lassen es von einem Bildgenerierungsmodell nachzeichnen. Das Modell bekommt das Foto und den erkannten Bereich und soll das Kleidungsstück für sich allein erzeugen, vollständig und ordentlich ausgelegt, und dabei die verdeckten Stellen ergänzen.

Es ist dieselbe Modellfamilie, die Bilder aus Text erzeugt, hier aber an das echte Kleidungsstück gebunden statt nur an einen Prompt. Der Vorteil ist ein vollständiges, gut erkennbares Kleidungsstück, selbst wenn die Hälfte davon unter einem Mantel lag. Der Preis: Das Modell leitet ab, statt zu kopieren. Die verdeckten Stellen sind eine plausible Vermutung, und kleine Details können überall am Teil abweichen: Einem Logo fehlen Buchstaben, ein Druck verschiebt sich, Nähte verändern sich, und der Farbton kann sich leicht verschieben.

In Outfello wird jedes Kleidungsstück im Bild erkannt, nicht nur eines, und jedes wird einzeln freigestellt, ohne Hintergrund, und bekommt dann Name, Kategorie und Farben. Die meisten Freisteller einzelner Kleidungsstücke laufen auf Outfellos eigener Hardware; ein Foto mit mehreren Teilen auf einmal wird von einem KI-Bildmodell nachgezeichnet. So oder so landet nichts direkt im Kleiderschrank: Jedes Teil kommt zuerst in eine Prüfablage, wo du es umbenennen, einer anderen Kategorie zuordnen, seine Farben vom Freisteller aufnehmen, mit Detail-Tags versehen oder verwerfen kannst. Was danach passiert, zeigt die Seite zum digitalen Kleiderschrank.

Fotos, die sich sauber freistellen lassen

Wer die Stufen kennt, für den liegen die Tipps auf der Hand:

• Zeig das ganze Kleidungsstück, wenn du das ganze Kleidungsstück zurückbekommen willst. Offene Jacken verdecken weniger als geschlossene; Arme an den Seiten verdecken weniger als verschränkte.
• Nutze Kontrast. Ein helles Kleidungsstück auf dunklem Hintergrund oder umgekehrt macht die Segmentierung leicht.
• Nutze weiches, gleichmäßiges Licht, um harte Schatten zu vermeiden, die wie Stoff wirken.
• Fotografiere ein detailreiches Teil allein, wenn es auf Logo oder Druck ankommt, damit es freigestellt statt nachgezeichnet werden kann.
• Prüfe das Ergebnis. Ein kurzer Blick in der Prüfablage fängt eine falsche Kategorie, einen übrig gebliebenen Hintergrundfleck oder einen verschobenen Druck ab, solange das Foto noch zur Hand ist.

Verwandte Bildmodelle erledigen die umgekehrte Aufgabe: ein Kleidungsstück auf das Foto einer Person zu bringen. Der Ratgeber Virtuelle Anprobe mit KI erklärt diese Seite.