1. 3D 版 SORA 来了!
DreamTech 官宣了其高质量 3D 生成大模型 Direct3D,并公开了相关学术论文 Direct3D: Scalable Image-to-3D Generation via 3D Latent Diffusion Transformer。
链接:https://arxiv.org/abs/2405.14832
这是首个公开发布的原生三维生成路线的 3D 大模型,通过采用 3D Diffusion Transformer (3D-DiT),解决了长期以来困扰行业的高质量三维内容生成难题。
Direct3D 的三维模型生成质量显著超越了目前主流的 2D 升维方法,主要得益于:
- 提出了类似 OpenAI SORA 的 3D VAE (Variational Auto-Encoder) 来提取 3D 数据的 latent feature
- 采用了 DiT 架构并对原始 DiT 进行了改进优化,引入了针对输入图像的语义级与像素级对齐模块,可实现输出模型与任意输入图像的高度对齐
- Direct3D 在训练中使用了大量自研合成的高质量 3D 数据
登录 https://www.neural4d.com, 可申请试用。