SAM 3Dとは？提供モデル、できること、仕組み、性能、実画面付きの使い方まで徹底解説！

Metaは2025年11月19日、単一の2D画像から人や物体、シーン全体を高精度に3DでAI生成して再構成できる研究モデル「SAM 3D」を発表しました。実世界で撮影された静止画像を入力とし、形状や姿勢、空間的な配置関係までを立体的に理解・再構成できる点が大きな特徴です。

研究用途にとどまらず、AR/VR、ロボティクス、EC、医療・リハビリテーション、アバター生成など、現実世界と密接に関わる分野での応用が想定されています。

本記事では、SAM 3Dの概要をはじめ、モデルの種類、仕組み、できること、性能評価に加え、Segment Anything Playgroundを用いた実際の操作画面や動画付きの使い方まで、詳しく解説します。

画像認識に強いAI会社の選定・紹介を行います

今年度AI相談急増中！紹介実績1,000件超え！

・ご相談からご紹介まで完全無料
・貴社に最適な会社に手間なく出会える
・AIのプロが貴社の代わりに数社選定
・お客様満足度96.8%超
・物体検出、異常検知、類似画像検索等

完全無料・最短1日でご紹介 画像認識に強いAI会社選定を依頼する

SAM 3Dとは？

SAM 3Dは、Metaが発表したSegment Anything（SAM）ファミリーの一部として位置づけられる3D再構成モデル群です。単一の2D画像から、物体や人間の形状・姿勢・配置関係を直接3Dモデルとして生成して推定できます。

従来のSegment Anything Model (SAM)は、画像内の「どこに何があるか」を切り出す画像認識分野の2Dセグメンテーションで大きなインパクトをもたらしました。そして、SAM 3Dでは、「その物体が空間的にどのような形状か」という3Dで物体を検出した情報を提供します。

従来の3D再構成手法では困難だった、遮蔽や部分的にしか写っていない対象、複数の要素が混在する実環境画像に対しても実世界に即したグラウンデッドな3D理解を実現しており、静止画を単なる視覚情報としてではなく、操作可能な3D情報へと変換する新たなアプローチとして注目されています。

SAM 3Dは、物体・シーン向けの「SAM 3D Objects」と、人間の身体推定に特化した「SAM 3D Body」という2つのモデルで構成されています。

いずれも、実世界で撮影された自然画像を対象とし、形状・姿勢・空間的な関係性を含めた包括的な3D理解を行うことを目的として設計されています。

SAM 3Dの料金

SAM 3Dは、Metaが研究用途向けに無償で公開しているモデルであり、Segment Anything Playgroundで利用する場合でも、モデルをダウンロードしてローカル環境で実行する場合でも、料金は発生しません。

なお、商用利用に関する条件やライセンスの詳細については、公式ドキュメントをご確認ください。

参考：公式発表

画像認識に強いAI会社の選定・紹介を行います

今年度AI相談急増中！紹介実績1,000件超え！

・ご相談からご紹介まで完全無料
・貴社に最適な会社に手間なく出会える
・AIのプロが貴社の代わりに数社選定
・お客様満足度96.8%超
・物体検出、異常検知、類似画像検索等

完全無料・最短1日でご紹介 画像認識に強いAI会社選定を依頼する

SAM 3Dの提供モデルは？

SAM 3Dは、用途と対象の違いに応じて設計された2つのモデルで構成されています。物体の3D再構成に特化したモデルと、人間の身体再構成に特化したモデルを分けることで、それぞれの領域において高い精度と実用性を実現しています。

SAM 3D Objects

SAM 3D Objectsは、単一の自然画像から物体やシーンを3D再構成することを目的としたモデルです。

画像内で指定された任意の物体を対象に、形状・姿勢・テクスチャを含む詳細な3Dモデルを生成します。生成されたオブジェクトは独立した状態で扱うことができ、操作や配置、視点変更といったインタラクションにも適しています。

物体が一部隠れている場合でも、画像の文脈情報を活用して安定した再構成を行える点が特徴です。また、複数の物体を同一シーン内に配置することも可能で、実世界の空間構成を保った3D理解に対応しています。

SAM 3D Body

SAM 3D Bodyは人間の身体に特化した3D再構成モデルで、単一画像から人体の形状と姿勢を正確なメッシュ（3D形状）として推定することを目的としています。

骨格構造と体表形状を分離して表現できるMeta Momentum Human Rig（MHR）を用いることで、人体の構造を解釈しやすく、操作性の高い3Dモデルを生成します。

遮蔽や不自然な姿勢、部分的にしか写っていない状況でも高い頑健性を持ち、人体の形状や姿勢を安定して推定できる点が特徴です。理学療法、スポーツ解析、アバター生成など、人間の姿勢や動作を正確に扱う用途を主な想定分野としています。

SAM 3Dでできることは？

SAM 3Dでできることは以下の通りです。

物体の3D再構成

SAM 3Dは、実世界で撮影された単一の画像から、任意の物体を選択して高精度な3Dモデルを生成できます。再構成されるモデルには、物体の形状だけでなく表面のテクスチャ情報も含まれており、視覚的な質感を伴った立体表現が可能です。

また、遮蔽や部分的にしか写っていない物体に対しても、画像全体の文脈を考慮することで安定した3D再構成を行える点が特徴です。生成された3Dオブジェクトは、独立した状態で操作や配置ができ、インタラクティブな利用にも適しています。

人体の姿勢・形状推定

SAM 3D Bodyは、単一画像から人間の身体形状と姿勢を3Dで推定します。関節構造や体表形状を考慮した人体再構成が行われるため、自然で一貫性のある人体モデルを生成できます。

SAM 3D Bodyは人体の3Dメッシュを生成するために、処理を段階的に分けた構成を採用しています。

1. 入力画像に対してSegment Anything（SAM）を用いて人体領域を抽出し、背景と人物を分離します。
   人体に関する情報に集中した安定した推定が可能になります。
2. 画像エンコーダが人体の外観や姿勢に関する視覚的特徴を抽出します。
3. 特徴量はBody decoderに入力され、人体の骨格構造、身体形状、カメラ姿勢といった中間的な人体パラメータが推定されます。
   人体を立体的に理解するための基礎となる要素です。
4. Mesh decoderが推定された骨格・形状・カメラ情報を統合し、最終的な3D人体メッシュを生成します。

出力には、骨格構造と体表形状を分離して扱えるMeta Momentum Human Rig（MHR）が用いられており、人体構造を解釈しやすく、操作や編集にも適した形式となっています。また、セグメンテーションマスクや2Dキーポイントといったユーザープロンプトを処理フローに組み込むことで推定結果を反映・調整できる構造が採用されています。

上図は、SAM 3D Bodyが2D画像を入力として受け取り、人体領域の抽出、特徴量のエンコード、骨格・形状推定、メッシュ生成という一連の処理を経て、最終的にMHR形式の3D人体モデルを出力するまでの流れを示したものです。

遮蔽や部分的な可視性、非典型的な姿勢にも対応しており、人物の位置や向きを立体的に把握することが可能です。また、プロンプト入力によって推定結果を制御できる設計となっており、用途に応じた柔軟な人体再構成が行えます。

実世界画像を用いたシーン再構成

SAM 3Dは、スタジオ撮影や合成データではなく、実世界で撮影された自然画像を対象にシーン全体の3D再構成を行います。

屋内外を問わず、多様な環境において、形状や配置の整合性を保った再構成が可能です。これにより、単体オブジェクトの再現にとどまらず、空間構造を含めた実環境に近い3Dシーンを生成できます。

物体と人間を含む実世界3D認識

SAM 3Dは、物体と人間を同一の3D空間内に統合して再構成することができます。これにより、物体と人間がどのような位置関係や文脈で存在しているかを含めた、実世界に即した3D理解が可能になります。

複数の物体や人物を含むシーンにおいても、共通の座標系で再構成されるため、空間的な関係性を保った3D認識を実現します。

参考：Meta公式発表

画像認識に強いAI会社の選定・紹介を行います

今年度AI相談急増中！紹介実績1,000件超え！

・ご相談からご紹介まで完全無料
・貴社に最適な会社に手間なく出会える
・AIのプロが貴社の代わりに数社選定
・お客様満足度96.8%超
・物体検出、異常検知、類似画像検索等

完全無料・最短1日でご紹介 画像認識に強いAI会社選定を依頼する

SAM 3Dの性能

SAM 3Dは、物体・シーンの3D再構成および人体メッシュ復元の両分野において、既存手法を上回る性能を示しています。公式発表では、定量的なベンチマーク評価と人手による比較評価の双方から、その優位性が確認されています。

物体およびシーン再構成では、F1スコアやChamfer距離、3D IoU、ADD-Sといった指標において、SAM 3D Objectsが他モデルを大きく上回る結果を記録しています。これにより、単体の形状精度だけでなく、複数物体を含むシーン全体を一貫性のある構造として再構成できることが示されています。

また、3D形状やテクスチャに関する人手評価では、SAM 3D Objectsが競合モデルに対しておおよそ5対1以上の選好率を獲得しており、形状の自然さや質感表現の高さが評価されています。

人体メッシュ復元においては、SAM 3D Bodyが関節位置誤差（MPJPE）や頂点誤差（PVE）で低い誤差を示し、PCK指標でも安定した高精度を達成しています。人手による比較評価でも、姿勢の自然さや全体的な人体形状の一貫性が高く評価されています。

SAM 3Dを簡単に使ってみる方法は？

SAM 3Dには、Webブラウザ上で手軽に試せるプレイグラウンドを利用する方法と、モデルをダウンロードしてローカル環境で実行する方法の2つの使用方法があります。

Segment Anything Playgroundでの利用

Segment Anything PlaygroundでのSAM 3Dの操作は非常にシンプルで、「画像を選ぶ」「対象を指定する」「3Dモデルを生成する」という3ステップだけで完結します。ログインや事前設定は不要で、誰でもすぐに3D再構成を試すことが可能です。

対象が人物の場合はSAM 3D Body、物体の場合はSAM 3D Objectsと対応するモデルが異なるので上記の画像のどちらかを選ぶ必要があります。

今回は、SAM 3D Bodyで実際の操作手順に沿って使い方を解説します。

1. Segment Anything Playgroundにアクセスし、3D再構成を試したい画像をアップロードします。
   
2. 画像が表示されたら、画面上で人物や物体をクリックし、3D再構成したい対象を選択します。
   Segment Anythingのセグメンテーション機能が働き、選択した対象の領域が自動的に抽出されます。
3. 再構成処理が完了すると、生成された3Dモデルが画面上に表示されます。
   

   視点を自由に切り替えながら、形状や姿勢、立体構造を確認でき、静止画からどのような3D情報が推定されているかを直感的に把握できます。

このようにSegment Anything Playgroundでは、画像のアップロードから対象の選択、3D再構成結果の確認までを一連の流れとして操作できるため、SAM 3Dの挙動や再構成精度を素早く理解したい場合や、デモ・検証用途に適した利用方法といえます。

モデルをダウンロードして使用

SAM 3Dは、研究者や開発者向けにモデルのチェックポイントや推論コードが公開されており、これらをダウンロードしてローカル環境で実行することも可能です。ローカル環境での実行では、Playgroundでは扱えない実験的な検証や、独自データを用いた評価、研究用途での詳細な分析を行うことができます。

SAM 3Dには、2つのモデルが用意されており、それぞれ公式GitHub上で公開されています。詳しい導入手順や実行方法については、以下のリンク先をご参照ください。

• SAM 3D Objects（GitHub）
• SAM 3D Body（GitHub）

Segment Anything Playgroundで実際に試してみました！

写真画像から3D生成

SAM 3D Objectsのサンプル画像を使ってみました。ゾウ、シマウマそれぞれ3Dオブジェクトとして生成されました。それだけでなく、画像の情報からゾウとシマウマの位置関係や向き、大きさを理解して、3D再構成が行われました。

イラスト画像から3D生成

他にも写真だけでなく、上記の絵のような画像でもSAM 3D Objectsで3D生成できました。ソファとランプをオブジェクトとして追加し、ソファの上においてあるクッションを「Remove（取り除く）」を使って除外してみました。

その結果、ソファとランプの位置関係は画像の通りで、またソファからクッションが取り除かれており、指定したオブジェクト通りに3D生成できました。物体が重なってしまってもそれぞれ編集で切り分けられるので、自由自在にオブジェクトを3Dにすることができます。

このように、SAM 3D Objectsは、イラストであっても対象を選択して3D生成できるだけでなく、不要な要素を除外しながら、シーンとしての整合性を保ったまま編集・再構成できることができました。

SAM 3D Bodyを試してみると

SAM 3D Bodyに競馬をしている画像をアップロードしてみました。この画像はもともと上半身が切れてしまっている状態でしたが、SAM 3D Bodyでは、見えている部分の情報をもとに切れている部分も含めて全身3Dモデルが生成されました。

この結果から、SAM 3D Bodyは部分的にしか可視でない人物（partial visibility）に対しても、文脈や人体構造の事前知識をもとに立体的な人体推定を行えることが確認できました。

画像認識に強いAI会社の選定・紹介を行います

今年度AI相談急増中！紹介実績1,000件超え！

・ご相談からご紹介まで完全無料
・貴社に最適な会社に手間なく出会える
・AIのプロが貴社の代わりに数社選定
・お客様満足度96.8%超
・物体検出、異常検知、類似画像検索等

完全無料・最短1日でご紹介 画像認識に強いAI会社選定を依頼する

SAM 3Dの活用事例

SAM 3Dはすでに複数の実用分野で活用が始まっています。X上では、以下のような投稿が共有されています。

SAM 3D Objects

SAM 3D Body

SAM 3Dについてよくある質問まとめ

まとめ

SAM 3Dは、実世界画像を対象とした3D再構成において新たな基準を打ち立てるモデルです。

単一画像から人や物体、さらにはシーン全体を立体的に理解できる点は研究・産業の両面で大きなインパクトを持ちます。

一方で、解像度や相互作用推論などの課題も残されており、今後の進化が期待されます。現実世界とデジタル空間をつなぐ基盤技術として、SAM 3Dは今後の3D理解の方向性を示す重要な存在といえます。

自社の事業ドメインにおいて、SAM 3Dがどの程度の投資対効果をもたらすのか、あるいは具体的な導入ステップはどうあるべきか。より深い知見や、貴社環境に合わせた最適なAI実装プランについては専門のコンサルタントによる支援が不可欠です。

空間認識技術を競争優位性に変えるために、まずは一歩踏み込んだ議論を始めてみてはいかがでしょうか。