VAST-AI-Research/TripoSG

Tripo AI 出品的高保真图像转 3D 生成基础模型，1.5B 参数 Rectified Flow Transformer，处理照片/卡通/手绘均高质量，1.7k stars。

定位

TripoSG 是 triposr 的升级版，来自北京 VAST（Tripo3D 母公司）。采用大规模 Rectified Flow Transformer + 混合监督训练，在高保真度、语义一致性、泛化性三方面均达到 SOTA。

技术亮点

架构

1.5B 参数 Rectified Flow Transformer：线性轨迹建模 + Transformer，训练稳定高效
高级 VAE：使用 SDF（有符号距离函数）+ 混合监督（SDF loss + 表面法线引导 + Eikonal loss）
2048 latent token：高分辨率 3D 形状表征
训练数据：200 万精标 Image-SDF 对

性能

高保真细节：锐利几何特征 + 精细表面细节 + 复杂结构
强泛化：处理写实图片、卡通、手绘草图均可
VRAM：至少 8GB

快速使用

git clone https://github.com/VAST-AI-Research/TripoSG.git
cd TripoSG
 
# 安装依赖
pip install torch torchvision --index-url https://download.pytorch.org/whl/{cuda-version}
pip install -r requirements.txt
 
# 图像转 3D（自动下载模型权重）
python -m scripts.inference_triposg --image-input assets/example_data/hjswed.png --output-path ./output.glb
 
# 限制面数
python -m scripts.inference_triposg --image-input img.png --faces 5000 --output-path ./output.glb
 
# 草图 + 提示词模式（TripoSG-scribble）
python -m scripts.inference_triposg_scribble \
  --image-input scribble.png \
  --prompt "a cat with wings" \
  --scribble-conf 0.3 \
  --output-path output.glb

模型权重自动从 HuggingFace 下载（VAST-AI/TripoSG，~8GB）。

两个版本

版本	特点	输入
TripoSG（主版本）	1.5B 参数，高保真，2048 token	图像
TripoSG-scribble	CFG 蒸馏，512 token，快速原型	草图 + 提示词

VAST 生态工具链

VAST-AI-Research 同时维护：

tripo-mcp（185 stars）：MCP Server，直接接 Claude Code 等
ComfyUI-Tripo（336 stars）：ComfyUI 官方节点
tripo-python-sdk（51 stars）：Python SDK
tripo-3d-for-blender（49 stars）：Blender 官方插件

与同类产品对比

vs TripoSR：同为 VAST 出品，TripoSG 精度和泛化性更强，但速度稍慢
vs Meshy（meshy-3d-agent）：Meshy 是闭源商业服务；TripoSG 是可本地运行的开源模型

资源

GitHub：https://github.com/VAST-AI-Research/TripoSG
论文：https://arxiv.org/abs/2502.06608
HuggingFace 模型：https://huggingface.co/VAST-AI/TripoSG
HuggingFace Demo：https://huggingface.co/spaces/VAST-AI/TripoSG
项目主页：https://yg256li.github.io/TripoSG-Page/
Tripo3D 官网：https://www.tripo3d.ai

zhaoweiguo 的知识库

目录