ZOZO研究所、コンピュータグラフィックス分野のトップカンファレンス「SIGGRAPH Asia 2024」にて論文採択
株式会社ZOZO NEXT（本社：千葉県千葉市 代表取締役CEO：澤田 宏太郎）の研究開発組織「ZOZO研究所」は、当所研究員が執筆した論文「An Empirical Analysis of GPT-4V’s Performance on Fashion Aesthetic Evaluation」（邦題: ファッション美的評価におけるGPT-4Vのパフォーマンスに関する経験的な分析）が、コンピュータグラフィックスとインタラクティブ技術に関するトップカンファレンス「SIGGRAPH Asia 2024」のTechnical Communicationsに採択されたことをお知らせします。本研究成果は、当所研究員である平川 優伎によるものです。
＜研究背景＞
ZOZO研究所では、「ファッションを数値化する」というミッションのもと、最先端のAI技術を駆使してファッションに関する課題解決に取り組んでいます。その中でも、写真中の人物に似合うファッションコーディネートを予測する技術（以下、ファッション美的評価）は、従来の購買・閲覧履歴に基づく従来型推薦システムをファッション特化型推薦システムにアップデートするために必要不可欠な基盤技術です。一般的な美的評価課題において、高度な画像認識力と世界知識を持つマルチモーダル大規模言語モデルGPT-4Vによる評価と人間による評価は高い相関を示すことが知られています（※1）。そこで当研究所では、ファッション美的評価タスクにおいても同様の相関が存在するかを検証するために本研究に着手しました。
（※1）参考文献：Assessing the Aesthetic Evaluation Capabilities of GPT-4 with Vision: Insights from Group and Individual Assessments
＜論文内容＞
本研究では、ファッション美的評価におけるGPT-4Vの有効性を検証するため、数百人規模の人間の評価に基づく信頼性の高い検証用データセットを構築しました。検証用データセットは30代女性3名が多様なコーディネートを着用した多数のスナップ写真（※2）から成ります。本研究では、オンラインレーティングシステムOpenSkill（※3）を用いたアノテーションツールを開発し、同一人物が異なるコーディネートを着用した2枚のスナップ写真に対して、どちらが似合うか評価することを繰り返し実施することにより、各スナップ写真の似合う度合いに関する評価値を推定しました。また、GPT-4Vを用いて同様の評価をおこない、2枚のスナップ写真のどちらが似合うかを予測するプロンプトテンプレートを設計し、2枚のスナップ写真の入力順序を入れ替えた場合に予測の一貫性が失われる事例については引き分けとみなしました。
本研究では、GPT-4Vと人間の評価の整合性を定量化するために、人間の評価上位K%と下位K%（論文中ではK=10, 50を採用）のスナップ写真の分類精度および人間とGPT-4Vのファッション美的評価における順位相関を算出しました。実験結果から、GPT-4Vはファッションコーディネートアプリ「WEAR by ZOZO」のいいね数や閲覧数に基づく指標よりも人間の評価に整合する予測が可能であることが分かりました。ただし、コーディネートの色の多様性が低いデータセットに対しては人間の評価との整合度が低くなる傾向があることも確認されており、更なる改善の余地も存在することが分かりました。
（※2）衣服を着用した1人の人間を主要な被写体とする写真
（※3）参考文献：OpenSkill: A faster asymmetric multi-team, multiplayer rating system
＜今後の展望＞
本研究ではファッション美的評価におけるGPT-4Vの有効性を示唆するものです。今後は、より大規模な検証用データセットを用いたGPT-4Vの予測傾向のバイアスの分析や、ファインチューニングの有効性について検証を進めていきます。
＜論文の概要＞
■タイトル ： 「An Empirical Analysis of GPT-4V’s Performance on Fashion Aesthetic Evaluation」（邦題: ファッション美的評価におけるGPT-4Vのパフォーマンスに関する経験的な分析）
■著者 ： 株式会社ZOZO NEXT/平川 優伎
＜ZOZO研究所について＞
ZOZO研究所は、「ファッションを数値化する」をミッションに掲げるZOZOグループの研究機関です。ZOZOグループが保有するファッションに関する膨大な情報資産を基に、ファッションを科学的に解明するための研究開発をおこなっています。
■所名 ： ZOZO研究所（ZOZO RESEARCH）
■設立 ： 2018年1月31日
■URL ： https://research.zozo.com/
＜論文に関するお問い合わせ＞
ZOZO研究所：zozo-research@zozo.com
報道関係者のみなさまへ
本件に関しては、こちらまでお問合せください。