AIによる衣類の切り抜きと背景除去の仕組み

コーデを撮影してワードローブアプリで「インポート」すると、数秒後には無地の背景に整った衣類が並びます。ジャケット、Tシャツ、ジーンズ、スニーカー。この処理を、AIによる衣類の切り抜き（衣類抽出）と呼びます。1つの技のように見えますが、実際には別々の問題を順番に解いており、各段階が何をしているかを知れば、目にする奇妙な結果のほとんどは説明がつきます。

このガイドでは、各段階を一般的な言葉で説明したあと、難しいケースがどこから生まれるのか、それを避ける写真の撮り方を紹介します。

AIによる衣類の切り抜きの3段階

写真から服を取り出すシステムのほとんどは、作業を3つの段階に分けています。

1. 検出： 写真の中の各衣類を見つけ、そのまわりにおおまかな範囲を描き、何であるかのラベルを付けます。
2. セグメンテーションとマッティング： どのピクセルがその衣類に属するかを輪郭まで正確に割り出し、それ以外をすべて取り除きます。
3. 仕上げまたは再構成： 結果を使える切り抜き画像に整え、難しいケースでは、カメラに写らなかった部分を描き直します。

そのあとに、各アイテムを登録できるよう名前、カテゴリ、色のタグを付ける軽いステップが続きます。各段階は別々のモデルのこともあれば、1つの大きなモデルの一部のこともありますが、やるべき仕事は同じです。

検出：各衣類を見つける

画像認識モデルが画像全体を見て、衣類を含む範囲を提案します。各範囲にはラベル（シャツ、ジャケット、パンツ、スニーカー、バッグ）と信頼度スコアが付きます。従来の物体検出器はこれをバウンディングボックスで行います。新しい視覚言語モデルなら、「すべての衣類」を見つけて、見つけたものを説明するよう普通の言葉で頼むこともできます。

服の検出が、たとえば車の検出より難しい理由は2つあります。

• 服は形が変わる。 シャツは平置き、ハンガー掛け、裾をインしたとき、コートの下で前を開けて着たときで見た目が違います。モデルは、そのすべてで同じカテゴリだと認識しなければなりません。
• 服は隣り合っている。 トップスが終わるところからスカートが始まり、ジャケットはシャツの上に重なり、スカーフは両方を横切ります。範囲が重なり合い、モデルはどのピクセルがどの衣類に属するかを判断しなければなりません。

カテゴリと色の第一候補も、検出の段階で決まります。色は思ったより難しいものです。同じネイビーのセーターでも、暖色系の室内照明と涼しげな自然光で撮ると、ピクセルの値が変わります。多くのシステムは背景を除去したあとに衣類自体のピクセルから色を取るため、セグメンテーションが終わると色のラベルが改善されることがあります。

セグメンテーションとマッティング：背景を除去する

衣類の範囲がわかったら、セグメンテーションが1ピクセルずつ、それが衣類に属するかどうかを判断します。出力はマスク、つまり白が「衣類」を意味する白黒の画像です。人が着ている服の場合は、ヒューマンパーシングと呼ばれる関連技術が、体の各ピクセルを肌、髪、上半身の服、下半身の服、靴などに分類し、服とその中の腕や脚を切り分けるのに役立ちます。

輪郭がくっきりしたマスクだけでは、まだ十分ではありません。ニットは輪郭が毛羽立ち、透ける生地は背景が見え、髪やフリンジは輪郭に重なります。マッティングはマスクをアルファチャンネルに仕上げ、輪郭の各ピクセルを部分的に透明にできるようにします。モヘアのセーターがハサミで切り取ったように見えないのは、このおかげです。

背景除去が失敗するパターンは決まっています。

これらの多くは、モデルではなく写真に原因があります。それを避けるための照明、背景、構図については、きれいに切り抜ける服の撮り方で解説しています。

重なり合う複数の衣類が難しい理由

無地の面に置いた1着の衣類は、ほぼ簡単なケースです。範囲も1つ、マスクも1つで、輪郭もきれいです。人が着たコーデ全体となると、次の3つの理由から、はるかに難しい問題になります。

遮蔽（オクルージョン）。 ジャケットは下に着たシャツの大部分を隠します。バッグのストラップはトップスを横切ります。腕を組めば、パンツのウエストが隠れます。セグメンテーションは実際に写っているピクセルしか残せないため、シャツをそのまま切り抜くと、ジャケットの形の穴が開いてしまいます。

共有する輪郭。 インしたトップスとウエストバンドが接する部分や、ブーツとパンツの裾が接する部分では、モデルは各ピクセルがどちらの衣類のものかを判断しなければなりません。小さな誤りで、あるアイテムの切れ端が別のアイテムにくっついてしまいます。

ポーズとしわ。 着ている衣類は体に沿って曲がっています。すべてのピクセルが見えていても、結果は人の形をしたシャツになり、棚に並んでいるシャツには見えません。

コーデ写真や鏡越しの自撮りは、集めるのはずっと手軽なのに、平置き写真より処理が難しいのはこのためです。

画像モデルで描き直される写真があるのはなぜか

遮蔽やポーズの問題を回避するため、衣類を切り抜くだけでなく、画像生成モデルに描き直させるシステムもあります。モデルに写真と検出された範囲を渡し、隠れていた部分を補って、衣類単体を完全な形できれいに並べた状態で生成させるのです。

これはテキストから画像を生成するのと同じ系統のモデルで、ここではプロンプトだけでなく実際の衣類を条件として使います。利点は、半分がコートの下に隠れていても、全体がわかる衣類が得られることです。代償は、モデルがコピーではなく推測をしていることです。隠れた部分はもっともらしい推測にすぎず、アイテムのどこであれ細部がずれることがあります。ロゴの文字が欠けたり、プリントがずれたり、ステッチが変わったり、色味がわずかに変わったりします。

Outfelloでは、写真に写った衣類は1点だけでなくすべてが検出され、それぞれ背景を除去して個別に切り抜かれ、名前、カテゴリ、色のタグが付けられます。単体の衣類の切り抜きの大半はOutfello自身のハードウェアで処理し、複数のアイテムが一度に写った写真はAI画像モデルで描き直します。どちらの場合も、ワードローブに直接入るものはありません。各アイテムはまず確認トレイに入り、そこで名前の変更、別のカテゴリへの移動、切り抜き画像からの色の選択、詳細タグの追加、除外ができます。その後の流れはデジタルクローゼットのページで紹介しています。

きれいに切り抜ける写真の撮り方

各段階を理解すれば、アドバイスはシンプルです。

• 衣類全体を写す。 衣類全体を取り出したいなら、全体を見せましょう。前を開けたジャケットは閉じたものより隠す部分が少なく、腕を体の横に下ろせば、組んだときより隠れる部分が減ります。
• コントラストをつける。 暗い背景に明るい衣類、またはその逆にすると、セグメンテーションが簡単になります。
• やわらかく均一な光を使う。 生地と見間違えられるくっきりした影を避けられます。
• 細部の多いアイテムは単体で撮る。 ロゴやプリントが重要なら、描き直されるのではなく切り抜かれるようにしましょう。
• 結果を確認する。 確認の段階でさっと見れば、写真が手元にあるうちに、カテゴリの誤り、残った背景、ずれたプリントに気づけます。

関連する画像モデルは、逆の仕事も担います。人物の写真に衣類を着せる処理です。その仕組みはAIバーチャル試着の仕組みで説明しています。