St

Stable Zero123

视觉大模型

Stable Zero123

发布时间: 2023-12-13

157
模型参数(Parameters)
40.0
最高上下文长度(Context Length)
2K
是否支持中文
不支持
推理能力(Reasoning)

模型基本信息

是否支持推理过程

不支持

最高上下文输入长度

2K tokens

最长输出结果
暂无数据
模型类型

视觉大模型

发布时间

2023-12-13

模型预文件大小

858

开源和体验地址

代码开源状态
开源不可商用
预训练权重开源
开源不可商用 - 不可以商用
GitHub 源码
Hugging Face
在线体验
暂无在线体验地址

官方介绍与博客

官方论文
DataLearnerAI博客
暂无介绍博客

API接口信息

接口速度(满分5分)
暂无数据
接口价格
暂无公开的 API 定价信息。

Stable Zero123模型在各大评测榜单的评分

当前尚无可展示的评测数据。

发布机构

Stable Zero123模型解读

模型简介

Stable Zero123是一个革命性的三维对象生成模型,基于Stable Diffusion 1.5开发。它专注于从不同角度理解和生成对象的新视图。与先前的Zero1-to-3或Zero123-XL模型相比,由于改进了训练数据集和高程条件化处理,Stable Zero123展示了更高质量的结果。

技术细节

  1. 数据集和渲染技术: Stable Zero123使用改进的训练数据集,从Objaverse中筛选出高质量的3D对象,并采用更加逼真的渲染方法。
  2. 高程条件化: 在训练和推断过程中,模型被提供了估计的相机角度,这使得它能做出更高质量的预测。
  3. 预计算数据集与高效数据加载器: 结合第一项创新,这些技术实现了与Zero123-XL相比40倍的训练效率提升。
  4. VRAM使用和性能: Stable Zero123在生成单个新视图时,消耗与SD1.5相同的VRAM。但是,生成3D对象需要更多时间和内存(推荐24GB VRAM)。

Stable Zero123的效果


将Stable Zero123与Zero123-XL在不同视角下的预测结果进行比较。对比如下,可以看到Stabe Zero123的细节更加细致一点。



使用方式

  • 这个模型是不可商用的,只能用于研究目的!
  • 3D对象创建: 改进了threestudio的开源代码,以支持Zero123和Stable Zero123,使用Score Distillation Sampling(SDS)优化NeRF,从而创建纹理化的3D网格。这个过程可以通过首先使用SDXL生成单一图像,然后使用Stable Zero123生成3D对象来适应文本到3D的生成。

结论

Stable Zero123代表了3D对象生成领域的一个重要进步,通过其创新的技术,为研究和非商业用途提供了强大的工具。虽然它目前不适用于商业目的,但它开启了3D视觉和图像生成技术新篇章的大门。

关注DataLearnerAI公众号

关注DataLearnerAI微信公众号,接受最新大模型资讯

DataLearnerAI WeChat