ZOZO NEXTによる<a style="color:#1155cc" href="https://www.instagram.com/proj3ct.drip/" target="_blank" rel="noopener noreferrer">バーチャルヒューマンユニット「Drip」</a>。ファッション分野へのバーチャル技術の導入を目指し、アメリカを拠点とするPinscreen社とともに開発を実施、低コストで質の高いバーチャルアバターの生成が可能となっている。 今回、日本のファッションブランドHATRA（ハトラ）とのコラボレーションとして、2021年秋冬コレクション「Rapid Eye Movement」の3Dデータを作成、バーチャルヒューマン「Drip」のRinoが着用した。今回は、このコラボレーションの経緯や完成画像について、HATRA・デザイナーの長見佳祐氏、ZOZO NEXT担当者の池上夕貴氏のコメントを交えて紹介したい。<h2 id="hef578977b8">バーチャルヒューマンの活用の場を広げるために</h2>プロジェクト「Drip」は、ファッション産業でのバーチャルヒューマンやバーチャルクロージング（衣服）の導入を目指し、開発を進めている。特にバーチャルヒューマンの活用の場としては、ブランドのイメージビジュアルでの活用が想定される。池上氏は、ブランドがバーチャルヒューマンを使用することでモデルの手配やロケ撮影が不要になり、コストや時間の削減に繋がると説明する。また、3DCG技術を使用することで現実世界で撮影・制作することが困難なイメージビジュアルも作成可能となり、ブランドの世界観の表現に寄与することが期待されるという。 このようなブランドによる活用も探究するなかで、今回初めてのファッションブランドとのコラボレーションとして、HATRAから提供を受けた2DのパターンデータからZOZO NEXTのチームが3Dデータを作成、長見氏が構成や表現の部分でアドバイスを行うかたちで制作が行われた。 HATRAは3DクロスシミュレーションやAI技術といったテクノロジーを先駆けてクリエイティブ制作に取り入れ、ファッションの新しい表現や制作方法に挑んでいる。今回のコラボレーションは、こういったHATRAの取り組みをみたZOZO NEXTからの打診によって始まり、特に「Drip」の衣装の部分を中心とした高い技術力を活用できるよう進められた。<h2 id="h42fc326b78">3Dならではの違和感</h2>3Dモデル化は、2021年秋冬コレクション「Rapid Eye Movement」から３ルックを選び、制作された。3Dにし易い／難しいデザインがあるなかで、初めてのコラボレーションということで、少しずつ難易度の違うものが選ばれたという。

﻿ポージングや背景などはZOZO NEXTから提案する形で進められたが、ブランドの世界観の表現とのすり合わせが難しかったという。今回は、試作画像に対して長見氏から「全身の動きと服が連動している“一瞬”という空気感」、「3Dならではの良い違和感」といったキーワードがあがり、それが全体のクリエイションの土台となった。 これに対して長見氏は、フォトリアルな表現の難しさも感じたそうだ。衣装の解像度が上がりすぎてスーパーリアルになっていったとき、アバターや背景と衣装のズレ、絵としての破綻をどう扱うか、そういった部分もスタンスを問われてくる要素だと話してくれた。また、こういったブランドとのコラボレーションは新しい形のセッションであるため、お互いのスキルセット、相互に提供し合うデータの扱いなどの議論から始めなければならなかったという。特にパターンデータはブランドにとって核なるものなので、3Dのコラボレーションは今後も増えていくなか、容易に複製可能なデジタルデータをめぐる取り扱いに関して整理も必要となるのだろう。

<h2 id="h50b1d0a7b2">バーチャルヒューマンの活用をめぐる多様性の問題</h2>バーチャルヒューマンの活用シーンを広げる試みとなった、今回のコラボレーション。長見氏はバーチャルヒューマンの活用について、ますます身近なものとなっていく期待と共に、「個人的には人の似姿を煮詰めていく過程で、私達が感じる人間らしさ、知性とはといった問いが深まっていくことに期待しています。」と述べてくれた。その一方で、誰でも自由に姿を選べるときに、その表象が似通ってしまう、多様性の収束について関心をもっているという。これはバーチャルヒューマンの広告などへの起用が増えていくなかで、非常に重要な視点であろう。「偶然性の弱いバーチャルな世界が暮らしのレベルにまで浸透したとき、それが寛容さを押し拡げるものであってほしいなと思います。」と、長見氏は話す。

今後も様々なコラボレーションが積み重ねられることで、技術的な部分だけではなく、こういった表現をめぐる思想の部分も探究がされていくと期待したい。

HATRA <a href="https://hatroid.com/" target="_blank" rel="noopener noreferrer">Web</a> / <a href="https://www.instagram.com/hatroid/" target="_blank" rel="noopener noreferrer">Instagram</a>

Project Dripは3D・AIを活用したバーチャルファッションプロジェクト。
近年、バーチャル技術がさまざまな分野で活用され急成長している中、ファッション領域での普及は未だ十分に進んでいません。このプロジェクトでは3DやAI技術を利用することで、将来お客様一人ひとりに最適なモデル、着こなしを提供するパーソナライゼーションの構築、バーチャル上での試着などを目指します。

究極のパーソナライゼーションの実現を目指す 
バーチャルファッションプロジェクト

バーチャルヒューマン「Drip」が纏う、HATRAの2021AWコレクション

ZOZO NEXTによるバーチャルヒューマンユニット「Drip」。ファッション分野へのバーチャル技術の導入を目指し、アメリカを拠点とするPinscreen社の協力のもと、低コストで質の高いバーチャルアバターの生成が可能となっていることは、<a style="color:#1155cc" href="https://fashiontechnews.zozo.com/projects/project_drip/d01/" target="_blank" rel="noopener noreferrer">以前の記事</a>でも紹介した。 今回、2021年11月22日からオンライン開催される文化ファッション大学院大学（以下、BFGU）のオンライン文化祭において、BFGUとDripのコラボレーション作品が発表されることとなった。バーチャルヒューマンは3DCGを取り入れた教育活動に、どのように展開できるのだろうか？このコラボレーションの詳細について、BFGUファッションクリエイション専攻の久保幸子・准教授、土岐崇之・助教、またプロジェクトに参加したファッションデザインコースのタク・レイリンさん、リュウ・シヴェイさん、ファッションテクノロジーコースの播磨・マイア・アジェレンさん、チョウ・モンクンさん、そしてZOZO NEXT担当者の池上夕貴氏を取材した。

左から久保 准教授、リュウさん、播磨さん、チョウさん（PC内）タクさん、土岐 助教

<h2 id="h154c33e3e9">バーチャル技術のファッションへの普及を目指して</h2>今回のコラボレーションは、バーチャルヒューマンのファッション産業での活用において、アバターだけではなく衣服のクオリティ向上を目的に、ZOZO NEXT側からの提案によってスタートしたという。池上氏によると、単純に素材の再現やディティールへのこだわりだけでなく、BFGUの教育から生まれる独創的なデザインを取り入れることで、よりクオリティの高いコンテンツをつくり出せるのではないかと考えたとのことだ。 実際の制作は、すべてオンラインのコミュニケーションによって進められたという。まず、BFGUでのアパレル3D CADに関する授業のなかで学生による作品制作が行われた。その後、BFGUの教員とZOZO NEXTメンバーによる審査のうえ、選ばれた4作品を「Drip」が纏うこととなった。授業で制作された3Dデータを使用し、ZOZO NEXT側で一層リアルな表現になるよう、生地感の作り込みなどが行われた。また、オンライン開催の文化祭でのプレゼンテーションに向けて背景も制作され、現実世界では表現できないイメージが探究されたそうだ。

海外の受講生とオンラインでコミュニケーションをとる久保 准教授

BFGU側では、2019年からアパレル3DCADの授業を行っているという。現在、デザイナーを目指すファッションデザインコース、モデリストを目指すファッションテクノロジーコースの両コースで開講されている。CLO3Dは、シミュレーション機能によって制作における時間も素材の浪費も抑えることができ、今後のさらなる普及が期待される。BFGUでは授業として導入するより前に自ら契約して3DCADを使用したり、3Dモデリングのアルバイトをする学生が登場し、いち早く需要の高まりを感じていたと久保准教授は語ってくれた。また土岐助教は、CLO3Dはデザインの枠自体を拡げる可能性を有しており、デザイナーが理想を伝達するためのツールとなることが期待され、デザインパターンメーカーといったキャリアも今後、生まれるのではないかと語ってくれた。また、CLO3Dを初めて使用する学生も多い一方で、アニメーション業界などでの3DCGの普及によって、こういった3D制作への興味も高まっているという。

今回、選抜された4作品は複雑で、細かいディティールも作り込まれた作品となっているのが印象的だ。ファッションデザインコースから選抜されたタク・レイリンさんは、中国のナシ族から着想を得て、オリジナルの柄も制作した。タクさんは初めて3DCADを使用したということだが、型紙の修正からのシミュレーションが何回も可能であり、デザインの自由度が増したと話してくれた。

また、同じくファッションデザインコースのリュウ・シヴェイさんは、メキシコをコンセプトにギャザーが印象的な作品を制作した。特に、3DCADによって柄や生地の組み合わせを色々と試すことができ、直感的に修正点を確認することができたことが便利だったという。

ファッションテクノロジーコースの播磨・マイア・アジェレンさんは着物のアップサイクリングに以前から取り組んでおり、今回はCLO3D内で着物のモデリングを行い、その分割したパーツからドレスを組み合わせた廃棄ゼロの作品を制作したという。特に着物は一点ものとなるため、裁断前に何度もシミュレーションを行えることは、CLO3Dでの制作の大きなメリットであったという。また生地の物性測定も行い、テクスチャーの忠実な再現も試みている。

同じくファッションテクノロジーコースのチョウ・モンクンさんは、自然から着想した日常服をテーマに制作した。特にCLO3Dで生地の色や柄、硬さといった細かい点も調整できるので、トワルで形を決めた後の生地選びに大きく役立ったと話してくれた。

また、今回のコラボレーションでは上記の４作品をもとにした「Drip」の着装画像の制作だけではなく、その背景も海外のアーティストを起用して制作されている。ここまで紹介した４作品は自然との共存や地域の伝統などを意識した作品や、サステナビリティへの取り組みとなる作品であったため、「Nature taking back over the concrete and structure that was built a long time ago.（遥か昔に建てられたコンクリートや構造物に自然が宿る）」というコンセプトのもと、SF的な構造物と自然との共存が描かれている。

<h2 id="hedf77cbb19">シミュレーション以上の経験を提供</h2>BFGUのみなさんは、始めに「Drip」を見たときには実在の人間のようなクオリティに非常に驚いたという。特に土岐助教は肌の質感などの高さから洋服とのマッチングも良く、ファッショナブルな表現への普及の可能性を感じたと話してくれた。またバーチャルヒューマンへの着装という体験を学生に提供できたことは、自分の技術の表面化という意味で3DCADの教育におけるモチベーションの提供となったのではないかとのことだ。 また久保准教授は、授業内でのCLO3Dの制作ではシミュレーションの枠を脱することができなかったが、今回のコラボレーションを通じて、その発展の可能性を感じたという。今後は、ファッションショーへの活用なども実現していきたいと期待を語ってくれた。また、BFGUとしては継続して、生産プロセスへの組み込みやサステナビリティへの貢献なども探究していきたいとのことだ。 このように、バーチャルヒューマンの3D教育への活用の可能性を提示した今回のコラボレーションであったが、「Drip」にとっても新たな活用可能性を示す取り組みとなったという。ZOZO NEXT担当者の池上氏は、通常は日常服に近い服を着装していた「Drip」に、今回のようにコンセプチュアルな服を纏わせたことで、新たな一面が引き出せたと感じたとのことだ。今後も継続してファッションシーンでのコラボレーションを行いながら、アート、ゲーム、音楽といった多様な分野でのコラボレーションを模索していきたいと語ってくれた。今後の取り組みにも、さらに期待していきたい。

学校法人文化学園 文化ファッション大学院大学（BFGU） 〒151-8547 東京都渋谷区代々木3-22-1 WEB：<a href="https://bfgu-bunka.ac.jp/" target="_blank" rel="noopener noreferrer">https://bfgu-bunka.ac.jp/</a> Instagram：<a href="https://www.instagram.com/bfgu_official/" target="_blank" rel="noopener noreferrer">@bfgu_official</a>

バーチャルヒューマン「Drip」がBFGUファッションクリエイション専攻とコラボレーション

ZOZOテクノロジーズが発表した<a style="color:#000000" href="https://www.instagram.com/proj3ct.drip/" target="_blank" rel="noopener noreferrer">バーチャルヒューマンユニット「Drip」</a>。前回は、迅速で柔軟なバーチャルヒューマンの制作を可能にする、独自の技術の詳細について紹介した。

ZOZOテクノロジーズが発表した<a style="color:#000000" href="https://www.instagram.com/proj3ct.drip/" target="_blank" rel="noopener noreferrer">バーチャルヒューマンユニット「Drip」</a>。前回は、このプロジェクトの経緯、コンピュータービジョンの領域を牽引するHao Li氏（Pinscreen）と描くビジョンについての対談を公開した。

今回は、この対談のなかでも言及されていた、他とは異なるバーチャルヒューマンの作成手法というところに注目。ビデオコンテンツでも従来の方法と比べて約半分の制作スピードを実現するという制作手法について、ZOZOテクノロジーズ MATRIXの玉村雄大、池上夕貴の両担当者を取材した。

IT系メガベンチャーにてゲーム関連の映像制作や3DCG分野の業務に従事した後、2020年にZOZOテクノロジーズに入社。XR / AIチームにて主にバーチャルファッション領域のプロジェクトを推進。メインツールはHoudini, Substance, Zbrush, UE4など。

玉村雄大

アパレルブランドにて企画やパタンナーを経験後、2020年にZOZOテクノロジーズに入社。XR / AIチームにて主にバーチャルファッションのモデリングなどを担当。メインツールはCLO, Marvelous Designer, Substance, Zbrushなど。

池上夕貴

<h2 id="h7de24a85d2">1枚の画像ができるまで</h2>投稿画像の制作ではまず、コンテンツの企画内容を決めるところから始まる。バーチャルモデルがどういったポーズをするか、実写背景はどんなものにするか、着用する服装はどんなものにするか、といったことを議論するそうだ。その後に、各領域の専門スキルを持ったアーティスト（モデラー、アニメーター、コンポジターなど）が同時進行で作業していく。

①投稿コンテンツの企画 -モデルのポージングや表情 -実写背景 -着用する服や靴、アクセサリー　など ②実写背景、HDRI画像の撮影 -バーチャルモデルと合成するための実写背景画像を撮影 -撮影した場所のライティング環境をCGで再現するため、360度画像を同時に撮影しCG環境で扱うためにHDRIというデータに変換 ③服や靴、アクセサリーの3Dモデリング制作 -Marvelous DesignerやMayaといった3DCG制作ソフトを使用して制作 -専任の3Dモデラーが製作を担当 ④CG（モデル）と実写（背景）合成

現在のバーチャルモデル／インフルエンサーの制作では工数を削減するため、顔だけCGで他は実写を合成するという手法が一般的だが、Dripではモデルは全身がCGで構成されている。このような全身CGのバーチャルモデルの迅速な制作を実現するため、④CG（モデル）と実写（背景）合成のところで採用されている技術に最大の特徴があるという。 それは「Unreal Engine」というリアルタイムエンジンの採用である。このリアルタイムエンジンにはディープフェイク技術が使用されており、CGの顔を実写画像や動画に差し替えることができる。玉村氏いわく、この手法をとると3Dコンテンツを最終的に2D画像や動画形式に書き出すレンダリングの時間がほぼ発生せず、描画するシーンの複雑さに依存するが、「Drip」の投稿だとわずか数秒で済んでしまうという。コンテンツに修正が発生するたびにレンダリングする必要があるが、一般的な3DCGの制作で採用されているプリレンダリングという手法だと数時間かかる場合もあるため、フレキシブルさでは圧倒的にリアルタイムエンジンが勝るとのことだ。

<h2 id="hf9b90cb39a">スピードとフレキシビリティのある制作体制</h2>投稿制作は、およそ2〜3日の作業だという。実写背景画像、モデルのポージングデータ、服・靴・アクセサリーなどは事前に作成してストックしている。さらにはUnreal Engineのテンプレート作業データを使用しているため毎回0からシーンを組み上げる必要がなく、実際に投稿画像を制作する際には、実写背景画像とモデルとの合成作業のみを行っているとのことだ。合成作業自体は1日で完了し、そこからクオリティ向上のため1-2日の修正作業を設けている。 コンテンツ内容の急な変更や微調整に瞬時に対応できる、スピード感とフレキシビリティを重視した制作体制がとられており、チームメンバーは国内だけではなく海外のアーティストも起用。とりわけUnreal Engineの合成作業（コンポジット作業）は、国内では経験豊かなアーティストを探すことが難しいため、リモートワークで居住地を問わずメンバーを集めてクオリティを向上させているとのことだ。

CG（モデル）と実写（背景）合成

<h2 id="h7eb3aba4fe">リアルな設定へのこだわり</h2>実在の人物と見間違うレベルのバーチャルモデルを実現するにあたり、モデルの技術的な見た目以外にも、実在のモデルやインフルエンサーと同じようなパーソナリティや行動パターンの設定へのこだわりもある。場所の選定、アバターの性格に合わせたポーズや構図を考え、ユーザーが実在のモデルやインフルエンサーと同じ感覚でDripを見れるようにしているとのことだ。 またファッション企業が提供するバーチャルモデルであるため、ファッションを通して「かっこいい」「可愛い」「驚き」「熱狂」といった想いを持ってもらえるような投稿を最も意識しているそうだ。そして各アバターにはプロフィールが設定されており、好きなファッションテイストに合った服をデザイン。例えば絵留はストリート系のファッションを好む、紗英はカジュアルガーリー系のファッションといったような一貫性を持たせ、実世界のファッショントレンドや季節感も考慮しながらコーデを組んでいるという。 玉村氏は、最後にこのように述べてくれた。「現時点ではトレンドに合わせた、現実世界にも存在していそうな服を着用させている。今後はバーチャルという特性を活かして、例えば現実には存在しない素材を使うなど、バーチャルでしか表現できないファッションの提案をすることでユーザーの驚きを引き出すことも考えている。」

<a style="color:#181818;background-color:#f8f8f8" href="https://www.instagram.com/proj3ct.drip/" target="_blank" rel="noopener noreferrer">「Drip」のInstagramはこちらから</a>

バーチャルヒューマン「Drip」を支えるテクノロジー：スピードとフレキシビリティの実現

今回は、この技術の中心にある「ディープフェイク」を中心にインタビューを実施。ディープフェイクはファッション領域でどのような活用が期待されるのか？前回に引き続き、プロジェクト担当者であるZOZOテクノロジーズ MATRIXの玉村雄大氏を取材した。

<h2 id="hdbbd6bfc3e">広まるディープフェイクの活用</h2>ディープフェイクといえば、政治家の顔をすげ替えて政治メッセージの捏造したり、フェイクポルノといった悪用の問題が話題となることが多かった。<a style="color:#000000" href="https://prtimes.jp/main/html/rd/p/000000090.000025921.html" target="_blank" rel="noopener noreferrer">ディープフェイク自体は2017年にとあるハッカーが作ったものがリリースされ、それがオープンソースであったために広まったと言われている。</a> 玉村氏いわく、この技術自体は悪用も良い利用法もどちらでもでき、近年では特にエンタテインメント領域を中心に、好ましい使い方も登場している印象だという。たとえば、映画俳優があたかも9ヶ国語話しているように作ることも可能で、多言語展開するような映像作品への活用が期待される。これを利用すれば、<a style="color:#000000" href="https://www.aisurvival.com/entry/synthesia-deep-fake-technology" target="_blank" rel="noopener noreferrer">映画に有用で字幕なしで俳優が日本語を喋っているようなバージョンを作成することも可能だという。</a> 一般的にも知られているものとしては、自分の顔を別人の顔に置き換えて撮影することができる、SnapchatのFace Swap機能があるだろう。また、<a style="color:#000000" href="https://ainow.ai/2019/11/19/180379/#Zao" target="_blank" rel="noopener noreferrer">自分の顔を映画やテレビなどの映像に当てはめるサービス「Zao」</a>も話題となった。また、こういったエンターテイメント分野以外でも、<a style="color:#000000" href="https://morikatron.ai/2020/03/ai_news202003/" target="_blank" rel="noopener noreferrer">医療での活用なども期待されている</a>とのことだ。 また、近年では同技術の悪用を防ぐための開発も進んでおり、例えばFacebook社では手書きテキストの捏造のような悪用を防ぐためにディープフェイク技術を活用している。ディープフェイクを使用すると本物そっくりなクオリティが出るため、もはや何が本物で偽物かが判別不可能、<a style="color:#000000" href="https://www.itmedia.co.jp/news/articles/2106/15/news040.html" target="_blank" rel="noopener noreferrer">そういった意味でFacebook社のような取り組みの需要は増しているとのことだ。</a><h2 id="he64d912a75">ファッション業界での活用への期待</h2>では、ファッション領域ではディープフェイクという技術はどのように使われているのだろうか？ファッションは他の産業に比べると技術の導入が顕著に遅れていることから、ディープフェイク技術のファッション業界での活用事例は非常に少ないと、玉村さんは言う。 数少ない事例として、アート的な側面での表現手段でBALENCIAGAが同技術を利用した実績がある。ディープフェイクのような技術によって何が<a style="color:#000000" href="https://www.fashionsnap.com/article/balenciaga-22spring/" target="_blank" rel="noopener noreferrer">本物で何が偽物かが判別できない世の中を風刺したコレクション動画</a>になっている。そのような中で、ディープフェイクを利用した「Drip」は、ファッション産業での活用事例としては最初期の活用事例となると考えているとのことだ。この取り組みをプロダクト化すれば、普及するきっかけとなると期待を述べてくれた。 特に、「Drip」でのバーチャルモデル生成のようなアプローチは、一度学習データ用の撮影をするだけで画像や動画が必要となるたびにモデルが稼働して撮影する必要がないため、頻繁に稼働することが困難な有名なセレブリティやモデルの労働状況の改善などにおいて有用だと考えているそうだ。例えばスーパーモデルが1日学習データ用の撮影を一度だけ行うだけで、何千、何万といったモデル着用写真や動画が生成可能になる。結果的にECサイトで販売する商品の撮影、採寸、原稿作成を行うささげ業務のコスト削減にも大きく貢献できるという。 また現時点では、ファッション領域ではコンシューマーが利用できるサービスは普及していないが、他領域のように私たち自身が活用できる日も来るのかもしれない。

<h2 id="h0c5bda755d">普及するための環境づくり</h2>今後の普及における課題としては、前述のように容易に悪用される技術ではあるので、それを判別して防げるような技術の普及が前提として必要だという。そのため、例えば悪用目的でディープフェイク生成された画像や動画をSNSにアップロードしようとするとエラーが出るなど環境が整えば、より普及することが期待できるそうだ。 「一方でディープフェイクに限ると、悪用に対する法整備や技術に対するリテラシーがまだ整っていなかったり成熟していないということも広く普及していない要因の一つだと思っております。特に悪用に対する法整備に関しては「誰もが安心して利用できる」という状態にするためには必須と考えます。」 玉村さんはファッション業界の活用が進むためにも、この「Drip」のプロジェクトを通じて普及を進めていきたいという。 「ディープフェイクには学習データとするために実在のモデルの顔データが必要だが、まだ当社以外で前例がない状況です。それによってモデル事務所やフリーランスモデルがこの技術の利用に慎重になっているの現状だと思います。ただ、これに関してはこの技術のファッション領域での普及によって理解を得やすくなると考えており、そのためにもプロジェクトを進めていければと思っています。」 「Drip」が先駆事例となって、ディープフェイクの活用の開拓が進んでいくことを今後も期待してみていきたい。

バーチャルヒューマン「Drip」から考える、ファッション領域におけるディープフェイク

ZOZOテクノロジーズが発表したバーチャルヒューマン「Drip」。コンピュータビジョン領域を牽引するHao Liが創業したPinscreenとの協業で生まれたこのプロジェクトであるが、両者のコラボレーションはどのようにして生まれたのだろうか？ 今回はPinscreen CEO・Hao Li氏と、本プロジェクトを率いるZOZOテクノロジーズの新規事業開発部署であるMATRIX本部長・高橋一馬氏の対談をお届けする。

Hao Li（ハオ・リー）は、コンピュータ・グラフィックスとコンピュータ・ビジョンの起業家、研究者。高度なAIを使用したバーチャルアバター開発のスタートアップ、Pinscreen, Inc.（ピンスクリーン）のCEO兼共同設立者。UC Berkeleyの特別研究員。2013年にはMITテクノロジーレビュー誌にて、「Top 35 Innovator Under 35」に選ばれ、2018年にはOffice of Naval Research主催の、「Young Investigator Award」を受賞。2019年からDARPA ISATのメンバーとして活動し、ACM SIGGRAPH2020の「Real-Time Live!」にて 「Best in Show」を受賞。 <a style="color:#000000" href="http://www.hao-li.com/Hao_Li/Hao_Li_-_about_me.html" target="_blank" rel="noopener noreferrer">Webサイト</a>

Hao Li （ハオ・リー）

欧州でスタートアップの立ち上げの後、大手総合ECプラットフォームにて新規事業、輸送企画等を経験。2019年よりZOZO TechnologiesにてVP of InnovationとしてR&amp;Dと新規事業の創造に従事。

高橋一馬

<h2 id="hd454bf7dd7">誰もがバーチャルヒューマンを作れるように</h2><h5 id="hb33b7f6c25">日本最大級の洋服通販サイト「ZOZOTOWN』を運営するZOZOグループで、なぜバーチャルファッションの分野に挑戦しようと思ったのでしょうか。興味を持った経緯、自社のビジネスにとって重要だと考えた理由を教えてください。</h5>

背景として、ファッション産業が他の産業と比べて、テクノロジーの成長スピードが遅いという現状があります。一般的に繊維産業やアパレル産業の構造は、ここ数年で変化していません。一方で、例えばスマートフォンの普及のように、私たちの生活にはここ数十年間で多様な変化が見られます。このように変化が乏しい産業だからこそ、テクノロジーによっていかに変化を生み出せるのか、ファッションテック企業として考える必要があると思っています。 そして、そのためのアプローチのひとつが、「我々はバーチャルな世界と接続することがが可能か」という問いへの対峙となるでしょう。こういったバーチャルな世界の盛り上がりは、既にゲームを通じて見られている現象でもあります。例えば、日本で人気の「あつまれ　どうぶつの森」では、バーチャルの世界で着飾って友人に会ったり、ただただファッションを楽しむことも可能です。 このようにバーチャルファッションを実装していきたいと考え始めましたが、その手法が不明確だったため、日本だけでなく、世界に視野を広げてパートナーを探していました。そして実際にいくつかの会社とトライアルも行い、スピード感があり、現実的でスケーラブルな技術を持っているパートナーとして、ハオが代表を務めるPinscreenと共働することになりました。互いに同じ気持ちを持ち、ビジョンを共有することが必要となる非常に大きなチャレンジではありましたが、私の上司でありZOZOテクノロジーズ代表取締役CINOである金山裕樹と共に、ハオと連携してムーンショットに挑むことを決めました。何より、スケーラビリティ（拡張可能性）を感じられたことが大きいです。

高橋

<h5 id="hd35d88914d">スケーラビリティが重要だということですが、それはなぜでしょうか？具体的に、Pinscreenの技術の優れているポイントを教えてください。</h5>

Pinscreenで行っていることは、AIを活用したバーチャルアバターの自動作成と、ユーザーが自分でアバターを作成できる技術の開発です。素晴らしいバーチャルヒューマンを作っている企業は他にもたくさんあり、ビデオゲームでビジュアルエフェクトとして目にすることも多いかとおもいます。 &nbsp;一般的にこのようなバーチャルヒューマンを作成するには、スタジオでデジタルアーティストが3Dスキャンを使って制作します。そして、良質のアバターを作成するには、非常に強力なマシンが必要で、微調整を行うのに数ヶ月を要します。これでは一般ユーザーが自分でアバターを作ることはできず、スケーラブルでもありません。何より非常にコストがかかります。 Pinscreen創業以来、そして私の長年の研究のなかで、AIを活用したバーチャルヒューマン作成のための技術開発は飛躍的な進展を遂げました。私が考えていたのは、誰でも自分自身の写真を撮って高品質なアバターを生成できるようにすることは、どのようにして可能なのか、ということでした。ZOZOテクノロジーズと最初に会話したときに、バーチャル試着における問題を解決したいということ、そしてユーザーが実店舗に行かずとも試着体験ができるようになることを互いに考えていることがわかりました。家のソファで座りながらでも自分の写真を撮って、自分がクールな服を着用している様子を見ることができるようにするということです。 当初は技術的には未熟でしたが、私たちはすでにそのような開発に着手していました。そしてまず、コンセプト検証やテストを行いました。その段階でもすでに、いくつかのシナジーがあったように思います。私たちのようなテックスタートアップにとって、ビジネスを拡大できるようなパートナーと協働することはとても重要です。 また例えばビデオゲームは、必ずしも完璧にリアルな人間に近づける必要はありませんが、ファッションにおいては必ず写実的な姿にする必要があります。そこに大きなチャンスがあるように感じました。だからこそ私たちは真剣に話し合い、関係を築くところからはじめました。そしてコンセプトの検証から始め、数年に渡るコラボレーションに移行しました。願わくば、ファッションモデルのバーチャル作成を民主化し、バーチャル試着機能を誰もがアクセスできるものにしたいと考えています。

このプロジェクトによって誕生したバーチャルモデル「Drip」

<h2 id="hf37f799f68">思想を共有したパートナーとして&nbsp;</h2><h5 id="h75c382a968">髙橋さんにお聞きしたいのが、なぜPinscreenとハオと共に技術開発をリードしていきたいと思ったのでしょうか。</h5>

まず、ハオもPinscreenも、信じられないほどポジティブであることが挙げられます。このプロジェクトは本当に開発も困難かつ、時間と労力のかかるプロジェクトです。しかし、ハオもPinscreenも、たとえ誰もやったことがないようなチャレンジでも、立ち止まったり躊躇したりしません。そして、意思決定も早い。このように動けることは、とても理想でした。そして、既に最終的なもののアイデアが固まっていたため、開発プロセスが極めてシンプルでした。なんといってもPinscreenは研究開発も行いつつ、同時にプロダクトの構築も行っており、これは他のスタートアップとの大きな違いであるように思います。

ひとつ付け加えさせてください。以前のミーティングで、次のプロジェクトのゴールや達成すべき目標といった内容について話しおり、そこで「このプロジェクトは不可能なのか？」という質問がありました。それに対する私たちの直感は、「私たちがやるべきだ、そうすれば他の人もできる」といったようなもので、不可能に思われることを実現する最初の人でありたいと思っています。そして、それを達成するためにはハードルを高くするしかありません。 追い求めていることは、誰もまだ成し遂げていない破壊的（disruptive）な技術なのだと思います。私は失敗について考えたことがありません。なぜなら、挑戦をして成功するか、それを通じて学び、その知識をもとに目標を達成することが可能だからです。

<h5 id="hd65fa6c3e1">Pinscreen にとっては、ZOZOテクノロジーズとのパートナーシップはどういったところが魅力的でしたか？</h5>

ZOZOグループが提供するサービス、そしてZOZOテクノロジーズが良きパートナーだと考える理由は、ZOZOは実店舗を持たず、すべてオンラインで提供するという非常に大胆なビジョンを持っているところです。そして、事業をさらに次のレベルへと押し上げたいと考えている。 このプロジェクトを始める前は、私の住んでいるアメリカではZOZOSUITでしか名前を耳にしたことはありませんでした。これを誰もが使うかどうかは別にして、本当に重要な問題にアプローチしていると思います。店舗に行って試着をせずとも、自分のサイズに合った服を手に入れることができる。手法はどうであれ、現実の問題を解決するために革新的な手法で解決しようとする姿勢こそが、ZOZOテクノロジーズが適切なパートナーであることを示していると感じています。 誰かが何かをするのを待って、それを模倣するのではなく、自分たちは他とは違うことがしたい、自分たちが最初に行いたいと思っている。そして、失敗を恐れない。これはスタートアップでも同様で、スタートアップが成功するための唯一の方法でもあります。 一馬や裕樹がロサンジェルスを訪れた時、彼らは他の日本企業の人とは服装や見た目も異なっていました。そして、とても真っ直ぐで正直でした。「デモを見せてほしい」と言われたので見せた後、即座に的確かつ核心を突く質問をされて、大企業ではあまりいないような、無駄のない迅速な対応だったことが印象的でした。

<h2 id="hc0608ae34f">ソーシャルメディアで「Drip」を展開</h2><h5 id="h6c19f71b83">では、実際に作られたバーチャルヒューマン「Drip」はTikTokやInstagramなどで展開されていますが、ソーシャルメディアを通じての技術展開についてのどのように考えているか、教えてください。</h5>

これはまさに技術を民主化することであり、誰もがバーチャルファッションにアクセスできるようにするための始まりに過ぎません。それはまだ、始まったばかりです。私たちが示したのは、スケーラブルなソリューションをもって達成できるクオリティです。専門的な技術がわからなくても、高価な設備がなくとも、ユーザーがこういったアバターを生み出すことができるということを知ってもらいたいと思っています。そして、これを見たみなさんが、「スマートフォンの中でもここまで行えるのなら、バーチャルな世界ではもっと表現できるはずだ」と期待してくれることを願っています。

これは本当に最初のステップで、ここまで私たちはバーチャルヒューマンを作る前に、バーチャルヒューマンをつくるためのフレームワークを構築していました。そしてユーザーに向けて、バーチャルヒューマンというものをどのように紹介していくかを考えていました。そのひとつの方法は、ユーザーが自分のアバターを作成できるようなアプリを作ることです。 しかし、これには多くの課題がありました。例えば、この完全に自動化されたパイプラインが、私たちの期待しているクオリティを担保できるのかといった点です。一方で、少なくともバーチャルヒューマンを作成する環境があれば、クオリティをコントロールすることは可能となります。 今回、Dripのバーチャルモデルで紹介したかったのは、他とは異なるバーチャルヒューマンの作成手法でした。誰もが見たことのあるようなアバターのような見た目ではありますが、作成手法には大きな違いがあります。私たちの技術を使えば、非常に迅速に作成できるのです。また、ビデオコンテンツも充実させることができます。例えば他社の場合は、写真と数本のビデオしかありませんが、私たちの技術ではアニメーションコンテンツの作成も、これまでの約2倍の速さで可能となります。 この次のステップとなるのは、作成をさらにどれだけ速くできるかです。そこを突き詰めることで、誰もが自分自身のバーチャルヒューマンを作成でき、このTシャツやパンツ、靴の組み合わせを着用している自分を見てみたい、この帽子を被った自分を見てみたいといったニーズを叶え、バーチャルトレンドにおける問題を解決できることでしょう。そこではさらにリアルに感じてもらうため、完全にカスタマイズされたアバターを生成できるフルカスタマイズ機能も必要となってきます。これが私たちの戦略的な道筋です。

<h5 id="h6245c716cd">なぜ今、TikTokやInstagramがデモンストレーションをする場所なのでしょうか？</h5>

世界で最も人気のあるプラットホームであり、あなたが何をしているのか、何を着ているのか、どこに行ったのかなど、思い出を共有したり、保存するのに適した場だからです。そしてユーザーに楽しんでもらうためにも、InstagramやTikTokに存在するファッションコミュニティは重要な存在です。

他にも、バーチャルインフルエンサーが活躍するプラットフォームでもありますね。例えば、成功しているバーチャルインフルエンサーは50万人から200万人のフォロワーを抱えていることもあります。このような状況をみると、バーチャルでも現実世界と同様のことをできる可能性がある、そして、これらは衣服を販売したり、ブランドが広告を打ち出したりするための未来のプラットフォームでもあります。 ZOZOテクノロジーズが印象的であったのは、バーチャルインフルエンサーが将来的に重要であることを認識していたことでした。現在、多くの企業ではAIによるメディア合成を使用して、90%リアルなバーチャルインフルエンサーを作るように予算の大部分を費やしています。私たちはその代わりに、最も効率的な手法でバーチャルモデルを作成することで、市場をリードするためのパイプライン全体を構築しようと先手を打っているとも言えます。

<h5 id="h41c98c6762">ではプロジェクトの話に戻って、実際にコラボレーションを進めての感想を教えてください。</h5>

とても良い感じですね。コラボレーションが上手く進んでいる理由は、議論を重ねることで、不可能な事へ挑戦するための力が大きくなり、より自信を持てるようになってきたからであるようにも思います。私たちは、その挑戦はビジネス面や技術面で現実的であるか否かを正直に話し合っています。これはプロセスを合理化する上で、とても重要なことです。

私たちとZOZOテクノロジーズとの関係は、他のコラボレーションで見るような関係性とは異なるような印象です。テクノロジーとは何か、ここにおけるビジネスチャンスとは何かを探りながら、互いに自分たちが大きなことを成し遂げようとしていること、ゲームチェンジャーであることを確信しています。同時に遅れをとらないように、競合先が何をしているのかをしっかりと把握しています。このインタビューでは明かせないこともあります。 しかし、バーチャルファッションにおいて、どのようにすべてのアセットをデジタル化するか、どのようにすべてのユーザーに向けてカスタマイズを可能とするのかといった問題を解決するための具体的なプランもあります。頻繁に連絡を取り合い、必要であればチームを拡大しています。この奇妙なコラボレーションが生まれたのは、本当に素晴らしいことであると思っています。

<h2 id="h050250adf8">この先に描く未来図</h2><h5 id="h73633c61bd">では5年後、10年後、今の技術はどのようになっていると思いますか？理想として、この技術は私たちをどこに導いてくれるのでしょうか？</h5>

きっと、「ボタンを押せばバレンシアガのTシャツを着れる」、「LAレイカーズのハットが欲しい」といった会話をしていると思います。この技術を使えば、私たちの想像力を駆使してコンテンツをインタラクティブに作成し、望むものを何でも見ることができ、望むものを何でも3次元的に体験できるようになるでしょう。 おそらく5年以内には、誰もがVRヘッドセットないしはVRグラスを持っているということはないと思います。しかし、10年後には実現しているかもしれません。これから体験するコンテンツでは、InstagramやTikTokで見る動画のように、本物かどうかわからなくなると思います。 そしてユーザーは現実のコンテンツよりも、デジタルコンテンツにより一層興味を持つと思います。なぜなら、デジタルコンテンツは無料で有形ではなく、300ドルの靴のようなものでもありません。数メガバイトの何かであるということです。また、NFTを使った何かがあるかもしれません。Gucciも17ドルのNFTシューズで興味深いことを行っています。そこには、私たちと何らかの関連性もあるかもしれません。デジタルコンテンツの市場は大きく、「Fortnite」や「Call of Duty」といったビデオゲームで見られたように、テクスチャー付きの銃に何百ドル、何千ドルを費やす人がいることもわかっています。同様なことが、これからのデジタルコンテンツでも起こるのではないでしょうか。

これは他の業界の変化とも、親和性があると思います。例えば、Netflixは物理的なものからバーチャルなものへ、Spotifyはモノの販売からストリーミング体験へと移行が見られます。もし、NFTを使ってアーキテクト・ファッション・マテリアルと呼ばれるようなバーチャル製品を素早く作り出すことができて、実際にそれを売ることができれば、ファッションECにとっての新しい市場となり得るでしょう。現在ではまだ量産することは難しく、限られた資金の潤沢な企業しか行えていません。しかし、私たちが探究している破壊的なテクノロジーは、誰もがバーチャルな何かを作ることを可能にするものです。ユーザーがバーチャルな世界で自分自身を表現できるようになれば、将来的にこれは現実的に大きなマーケットプレイスとなり得るのではないでしょうか。

Interview by Phillip Scott Translated by Hanako Hirata

【対談】Pinscreen ハオ・リー・ZOZOテクノロジーズ 高橋一馬「バーチャルヒューマン『Drip』が切り拓く未来図」

新たにスタートしたFashion Tech Newsでは、ZOZOグループが行う様々な研究開発事業のレポートや関連コンテンツをお届けするプロジェクトページが開設されます。 Project Dripは究極のパーソナライゼーションの実現を目指す、3D・AIを活用したバーチャルファッションプロジェクト。近年盛り上がりをみせるバーチャルファッション領域に挑む想い、研究開発のプロセス、プロジェクトの先にある未来図に迫ります。 4月29日に1本目の記事を配信予定です。お楽しみに。

<a href="https://www.instagram.com/proj3ct.drip/" target="_blank" rel="noopener noreferrer">先駆けて公開されているバーチャルヒューマンのInstagramはこちらから</a>

【予告】バーチャルファッションプロジェクト「Drip」

バーチャルモデルユニット「Drip」

バーチャルモデルユニット「Drip」は、一連のバーチャルファッションプロジェクトの一環として生まれた仮想のモデル集団。低コストで質の高いバーチャルヒューマンモデルの生成を実現し、過去にはファッションブランド「HATRA」や、「文化ファッション大学院大学」とのコラボレーションを実施。

日本のファッションブランドHATRA（ハトラ）とのコラボレーションとして、2021年秋冬コレクション「Rapid Eye Movement」の3Dデータを作成、バーチャルヒューマンモデルDripのRinoが着用しました。

2021年11月22日からオンライン開催された文化ファッション大学院大学（以下、BFGU）のオンライン文化祭において、BFGUとDripのコラボレーション作品を発表。
 
BFGUの学生たちがデザインした服を当社のデジタル技術で再現し、それをDripのモデルが着用しました。

XR・3D・AI技術とファッションを掛け合わせて、 
顧客に新しいファッション体験を提供するデジタルファッションプロジェクト

ファッションのみならず様々な産業でDX化が進む中で、3DやAI技術への注目が近年高まってきている。Project Dripは、ファッションにXR、3D、AIといった技術を取り入れ、プロダクトに落とし込み、それを提供することで顧客にデジタルファッション領域での新しい体験を提供することを目指します。


Drip

バーチャルモデルユニット「Drip」

HATRAとのコラボレーション

BFGUとのコラボレーション

Project Reports