AIBR プレミアム
田中専務
拓海先生、最近「3Dの未知物を見つけて名前を当てる」研究が話題だと聞きました。うちの工場で使えるか気になっているのですが、要するにどんなことができるんでしょうか。
AIメンター拓海
素晴らしい着眼点ですね！これは既存のデータにない物体を3Dスキャン上で見つけ、その機能や名前を推定できる技術です。要点は三つで、画像と言葉の知識を借りること、3D点群にその知識を紐づけること、偏りを抑えて物体を適切に分離することですよ。
田中専務
なるほど、画像と言葉の知識を借りるとは具体的に何をするのですか。社内の現場でどう役立つのか想像がつきません。
AIメンター拓海
簡単に言えば、インターネット上の大量の画像と言葉の組み合わせで学んだAI（Vision-Language foundation model／VL基盤モデル）に、工場の複数視点カメラ画像の説明文（キャプション）を生成させ、それを3D点群に結び付けます。イメージとしては、目撃者の説明を昔の百科事典に当てはめるような作業です。大丈夫、一緒にやれば必ずできますよ。
田中専務
でも、それって結局大量の画像とテキストが必要ということではないですか。うちのように専用データが少ない現場では難しいのでは。
AIメンター拓海
