Any 3D - 2D画像を瞬時に3D再構築へ変換

Any 3Dは、単一の2D画像からの3D再構築のための画期的なAIモデルです。オブジェクトの詳細な3D形状、テクスチャ、レイアウトを再構築するためのAny 3D Objectsと、正確な人体のポーズと形状の推定のためのAny 3D Bodyの2つのモデルが含まれています。画像をアップロードし、オブジェクトまたは人物を選択するだけで、Any 3Dは数秒で詳細な3D再構築を生成します。

複数の視点、専用のカメラ、または深度センサーを必要とする従来の方法とは異なり、Any 3Dは単一の日常の写真で機能します。何百万もの実世界の画像でトレーニングされたAIを使用して、2D画像から3D構造を理解し、他のアプローチでは困難な遮蔽、珍しいポーズ、複雑な背景を処理します。

Any 3D Objectsは、単一の画像からオブジェクトの3D形状、テクスチャ、レイアウトを再構築します。ゲーム用の3Dアセットの生成、Eコマース用の仮想製品モデルの作成（Facebook Marketplaceの「部屋に表示」など）、AR/VRコンテンツの構築、またはロボットアプリケーションへの3D認識の提供に使用します。

Any 3D Bodyは、遮蔽や珍しい姿勢がある場合でも、単一の画像から正確な3D人体のポーズと形状の推定を実行します。Meta Momentum Human Rig (MHR) 形式を使用します。アプリケーションには、モーションキャプチャ、VFX、スポーツ分析、フィットネストラッキング、ゲームや映画用のリアルなキャラクターアニメーションの作成が含まれます。

Any 3Dは、人間の好みテストで他の主要モデルに対して5：1の勝率を達成しています。約100万枚の注釈付き画像と314万個のモデル生成メッシュでトレーニングされており、3Dトレーニングデータとしては前例のない規模です。このモデルは、小さなオブジェクト、間接的なビュー、遮蔽など、現実世界の複雑さにおいて優れています。