0
点赞
收藏
分享

微信扫一扫

单图生成 2D 和 3D 人物,高质量图像处理模型 CharacterGen来啦!

CharacterGen引入了一个简化的生成流程和一个图像条件的多视图扩散模型。该模型有效地将输入姿态校准到规范形式,同时保留输入图像的关键属性,从而解决了多样化姿态带来的挑战。

CharacterGen的另一个核心组成部分是基于Transformer的、可泛化的稀疏视图重建模型,它有助于从多视图图像创建详细的3D模型。还采用了纹理反投影策略来生成高质量的纹理贴图。此外,建立了一个动漫角色数据集,以多种姿态和视角渲染,用于训练和评估我们的模型。

单图生成 2D 和 3D 人物,高质量图像处理模型 CharacterGen来啦!_图像处理

使用云平台:OpenBayes

http://openbayes.com/console/signup?r=sony_0m6v

 登录到 OpenBayes 平台后,打开「公共教程」,找到「CharacterGen 单图生成高质量 3D 角色」的教程。

单图生成 2D 和 3D 人物,高质量图像处理模型 CharacterGen来啦!_多视图_02

进入到教程界面后,点击右上角「克隆」。

单图生成 2D 和 3D 人物,高质量图像处理模型 CharacterGen来啦!_深度学习_03

平台在克隆过程中以自动为我们配置好了模型文件,点击「下一步:选择算力」。

单图生成 2D 和 3D 人物,高质量图像处理模型 CharacterGen来啦!_人工智能_04

平台会自动选择合适的算力资源和镜像版本,这里使用的是英伟达 RTX 4090算力和 PyTorch 的镜像,点击「审核并执行」。可以使用文章开头的邀请链接,获得 RTX 4090 使用时长!

单图生成 2D 和 3D 人物,高质量图像处理模型 CharacterGen来啦!_人工智能_05

 确认模型信息无误后,点击「继续执行」。

单图生成 2D 和 3D 人物,高质量图像处理模型 CharacterGen来啦!_图像处理_06

稍等片刻,待系统分配好资源,状态栏显示为「运行中」后,打开工作空间。

单图生成 2D 和 3D 人物,高质量图像处理模型 CharacterGen来啦!_3D_07

新建一个「终端」,在终端中输入指令「bash setup.sh」完成初始化。

单图生成 2D 和 3D 人物,高质量图像处理模型 CharacterGen来啦!_多视图_08

单图生成 2D 和 3D 人物,高质量图像处理模型 CharacterGen来啦!_人工智能_09

接着输入「source~/.bashrc」来完成模型的配置。

单图生成 2D 和 3D 人物,高质量图像处理模型 CharacterGen来啦!_多视图_10

当返回一个新的终端后,接着输入「bash run.sh」。

单图生成 2D 和 3D 人物,高质量图像处理模型 CharacterGen来啦!_人工智能_11

显示 8080 后,点击右侧 API 地址处的链接就可以进入 Demo 界面了。需要注意的是使用 API 需要先进行实名认证~

单图生成 2D 和 3D 人物,高质量图像处理模型 CharacterGen来啦!_图像处理_12

单图生成 2D 和 3D 人物,高质量图像处理模型 CharacterGen来啦!_多视图_13

该模型为我们提供了两种模式,分别为 2D 生成和 3D 生成。2D 生成可以根据我们输入的图片来输出前后左右 4 个方向的姿态;3D 生成则可以直接生成一个 3 维模型。

 需要注意的是,如果我们想要生成 3D 模型,需要先完成 2D 生成再进行 3D 生成。下面我们选择一个图片来进行尝试。

单图生成 2D 和 3D 人物,高质量图像处理模型 CharacterGen来啦!_3D_14

可以看到模型生成了 4 个方向的姿态,点击「Generate 3D Mesh」生成 3D 模型。

单图生成 2D 和 3D 人物,高质量图像处理模型 CharacterGen来啦!_多视图_15

可以看到无论是 2D 生成还是 3D 生成,模型的效果都是不错的。

举报

相关推荐

0 条评论