ChatGPT给AI行业注入了一剂鸡血，曾经不敢想的事情，今天都变成了基础练习。
不断推进的Text-to-3D，被视为继扩散(图像)、GPT(文字)之后，AIGC领域的下一个前沿热点，受到了前所未有的关注。
这不，一款名为ChatAvatar的低调测试版产品迅速吸引了超过70万的浏览量和关注度，并被列入本周空间。
△ChatAvatar也将支持从AI生成的单视角/多视角原画生成3D风格化角色的Image to3D技术，受到了广泛关注
当前beta版生成的3D模型可以和PBR素材一起直接下载到本地。不仅效果好，更重要的是玩起来很自由。有网友惊呼:
这吸引了很多网友尝试，贡献自己的大脑。有人把这个产品和ControlNet结合起来，发现效果细腻逼真到有些出乎意料。
这款几乎零门槛的文字转3D工具名为ChatAvatar，由国内AI创业公司穆盈技术团队打造。
据了解，这是世界上第一个生产就绪的文本三维产品。通过简单的文本，如明星的名字或所需角色的外观，它可以生成电影和电视三维超现实的数字人类资产。
效率也很高。平均来说，做一张假脸只需要30秒——甚至是你自己的。
将来，生成字段将扩展到其他3D资产。
而且模型具有规则的拓扑结构，4k分辨率的PBR材质和绑定，可以直接连接Unity、Unreal Engine和Maya的制作管道。
那么，ChatAvatar是一款怎样的3D生成工具呢？背后用了什么技术？
30秒完成一幅“画”。
体验ChatAvatar的玩法，发现可以说是真实，零门槛。
具体来说，只要你在官网用白话向ChatBot描述你的需求，就可以按需生成一张3D人脸，并覆盖一张符合模型的真实“人皮”。
在整个对话过程中，ChatBot会根据用户的需求进行引导，尽可能多的了解用户对所需机型的想法。
在体验过程中，我们向聊天机器人描述了这样一个3D图像:
点击左边的生成按钮，平均不到10秒，屏幕上就会出现根据描述生成的9个不同3D人脸的初始原型。
你随意选择其中一个后，会基于选择继续优化模型和材质，最终会出现蒙皮模型的明暗处理结果，显示不同光影下的渲染效果——这些渲染会在浏览器中实时完成:
用鼠标拖动，还可以旋转头部，放大看更细致的局部效果。毛孔和粉刺清晰可见:
值得一提的是，如果用户是prompt工程方面的专家，也可以直接在左侧框中输入prompt来完成生成。
最后，您可以获得一个3D数字标题资产，它可以直接连接到制作引擎，并通过一键下载来驱动:
虽然测试版还没有推出发型功能，但整体来看，最终生成的3D数字人体资产与描述内容的匹配度很高。
官网还展示了很多ChatAvatar用户的生成资产，包括不同种族，不同肤色，不同年龄，喜怒哀乐，美丑胖瘦，各种长相。
总结ChatAvatar产品的亮点，以生成3D数字人类资产:
首先是好用；其次的世代跨度大，五官可以变化，可以生成贴合脸型的面具和纹身，比如这个:
根据官方宣传片，ChatAvatar甚至可以进一步生成超出人类范畴的角色，比如《阿凡达》等影视作品中的角色:
最重要的是，ChatAvatar解决了3D模型与传统渲染软件的兼容问题。
这意味着ChatAvatar生成的3D资产可以直接连接到游戏和电影的制作流程中。
当然，在正式进入工业化进程之前，第一轮公测，ChatAvatar已经吸引了数千名艺术家和专业艺术家参与，Twitter相关话题获得了近百万的浏览和关注。
随便一条推文，浏览量就能破50 K。
积累了大量的“自来水”不是没有原因的。3D看爱因斯坦的脸，问谁不说真的很像？
如果结合ControlNet，生成效果不亚于单反照片:
经过多次用户体验，我开始想象这种文字转3D工具在游戏、电影等行业应用中的大规模应用。
据了解，用户反馈将成为ChatAvatar团队快速迭代更新的重要依据，形成数据飞轮，从而及时提供更加完善、贴近需求的功能。
其实对于之前3D行业的设计师或者公司来说，大部分AI角色转化为3D应用已经不错了，但是在工业设计过程中实际落地还是有一定难度的。
ChatAvatar这次出圈背后的技术原因是什么？
生成符合行业要求的3D资产的难度是什么？
据说人工智能将取代人类。事实上，仅仅在文转3D领域，要想取代并不是那么容易。
最大的难点是让AI生成的东西从标准上满足业界对3D资产的要求。
你说的行业标准是什么意思？从专业3D美术设计的角度来看，至少有三个方面——
质量、可控性和生成速度。
首先是质量。尤其是对于强调视觉效果的影视、游戏行业，为了生成符合流水线要求的3D资产，拓扑规整性、纹理映射精度等“行业潜规则”是AI产品必须跨越的第一道坎。
以拓扑结构的规律性为例，本质上指的是3D资产布线的合理性。
对于3D资产，拓扑的规则性往往直接影响到对象的动画效果、修改效率和贴图速度:
根据业内对3D美术设计的介绍，人工重新拓扑的时间成本往往高于制作3D模型本身，甚至是倍数。这意味着，即使AI模型生成的3D资产很酷，如果生成的拓扑规则性达不到要求，也无法从根本上降低成本。更不用说纹理精度了。
△影眸科技的ChatAvatar项目在生成质量、速度以及标准兼容上相比先前的工作都有明显的提升
以游戏和电影行业普遍需要的PBR地图为例。反射率图、法线图等一系列地图相当于2D影像的PSD文件的“层”，是3D资产流水线生产的必备条件之一。
然而，目前AI生成的3D资产往往是一个“整体”，很少有能够按照要求独立生成符合工业环境的PBR地图。
二是可控性。对于生成式AI来说，如何让生成的内容更加“可控”，是CG行业对这项技术的另一大要求。
以众所周知的2D工业为例。在ControlNet出现之前，2D AIGC工业处于“半黑暗”状态。
换句话说，AI可以生成指定类别的物体图像，但无法生成指定姿态的物体，生成效果完全依赖于暗示工程和“玄学”。
ControlNet出现后，2D AI图像生成的可控性有了突飞猛进的提高。但是对于3D AI来说，要生成相应效果的资产，很大程度上还是要靠专业的提示工程。
最后是生成速度。与3D美术设计相比，AI生成的优势在于速度。但是，如果AI渲染的速度和效果无法与人工抗衡，那么这项技术仍然无法给行业带来收益。
以目前AI技术流行的NeRF为例，其产业化将面临速度和质量的兼容问题。
在生成质量较高的情况下，基于NeRF的3D生成往往耗时较长。但如果追求速度，即使是NeRF生成的3D资产，也根本无法投入工业使用。
但即使解决了这个问题，如何让NeRF兼容传统CG行业的主流引擎而不损失准确性，仍然是一个巨大的问题。
从上面的工业标准化流程中，不难发现绝大多数AI文转3D应用的实现都存在两个瓶颈:
一个是需要手动完成提示项目，对于非AI专业人士或者不懂AI的设计师来说不够友好；另一种是生成的3D资产往往不符合行业标准，即使好看也无法投入使用。
针对这两点，ChatAvatar给出了两个具体有效的解决方案。
一方面，ChatAvatar实现了人工输入提示项目之外的第二条路，也是更适合普通人的捷径:通过“甲方模式”直接对话描述需求。
根据该团队的官方推特，为了实现这一功能，ChatAvatar基于GPT的能力，开发了一种通过对话描述人像转换特征的方法。
设计师只需要不断和GPT聊天，描述自己想要的“感觉”:
GPT可以自动帮助完成提示项目，并将结果发送给AI:
换句话说，如果说ControlNet是2D行业的“游戏规则改变者”，那么对于3D行业来说，可以将文本转换为3D的ChatAvatar与行业内的游戏规则改变者无异。
另一方面，更重要的是ChatAvatar与CG管道完美兼容，即生成的资产在拓扑结构、可控性和速度上符合工业要求。
这不仅意味着3D资产生成后，下载的内容可以直接导入各种后期制作软件进行二次编辑，可控性更强。
同时，生成的模型和高精度材质贴图在后期渲染中也能达到极其逼真的渲染效果。
Deemos影眼科技，像88
为了达到这种效果，团队为ChatAvatar开发了渐进式3D生成框架DreamFace。
关键在于用于训练模型的底层数据，即影眼科技基于“穹顶光场”采集的全球首个大规模、高精度、多表情人脸高精度数据集。
基于这个数据集，DreamFace可以高效地生成产品级的3D资产，即生成的资产具有规则的拓扑、材质和绑定。
DreamFace主要包括三个模块:几何体生成、基于物理的材质扩散和动画能力生成。
通过引入外部3D数据库，DreamFace可以直接导出符合CG流程的资产。
△生成的资产驱动渲染的效果
上述两个技术瓶颈的解决，实质上进一步加速了AIGC洪流下“生成”将取代“搜索”的趋势——
影子团队认为，“代”将成为新一代数字资产的获取方式。
以前，当我们需要找到一张符合自己需求的图片或资产时，我们通常会使用搜索引擎进行查询。
ChatAvatar项目首页展示的巨大“搜索框”和整齐的资产卡片，看起来像是搜索引擎，但实际上是从搜索中寻找资产的完全不同的方式。
△ChatAvatar项目主页
穆盈科技CTO张祁萱是这样介绍的:
AIGC领域的下一个前沿热点
ChatGPT一石激起千层浪。进入AI2.0时代后，人们的目光也转向了包含图像、视频、3D等信息的多模态AI。
就3D生成领域而言，无论是影视还是游戏行业，3D内容的生产和消费市场都有足够大的规模，但受制于制作层面的技术难度。
比如在文字领域比较流行的Transformer，在3D生成领域还是比较局限的。
去年夏天，当文生图领域因扩散模型而取得成就时，人们开始期待文代3D也能有同样惊人的表现。一旦生成式AI的3D创作技术成熟，VR、视频等内容创作将会腾飞。
事实上，无论是科技巨头还是创业公司，确实都在偷偷往文字转3D的方向努力。
去年9月，谷歌发布了基于文本提示生成3D模型的FreamFusion，声称不需要3D训练数据，不需要修改图像扩散模型。然后，meta还推出了Make-A-Video模型，可以通过一次点击从文本生成视频。
后来在文字转3D的AI模型团队中，先后出现了NVIDIA Magic3D和OpenAI最新的开源项目Shap-E。将于今年8月举行的计算机图形峰会SIGGRAPH2023上发表的论文也与文本到3D有关。
影眼科技关于文本引导的渐进式3D生成框架DreamFace的论文就是其中之一。
到目前为止，ChatAvatar也是一个专注于3D数字人的资产方向的生成模型产品。
背后的AI创业公司穆盈科技是2020年从上海科技大学火星实验室孵化出来的。成立后获得奇迹创造和红杉种子两轮投资。
公司专注于计算机图形学和生成式AI的研究和产品化。2021年，在AIGC掀起巨大浪潮之前，该公司已经推出了国内首个AIGC ToC绘画应用Wand，其产品一度登顶AppStore分区。
而这个在业内有口皆碑的前瞻团队，平均年龄只有25岁。
在数字人中锚定了第一个商业场景之后，ChatAvatar是他们利用AIGC在这个方向上的最新进展。
作为一款新产品，ChatAvatar在兼容性、完备性、准确性等方面都超出了影视团队的预期。然而，在吴迪口中，走到这一步的过程“非常尴尬”。
主要原因无非是“缺人”。目前，穆盈已在多类别3D生成技术方面取得进展，下一步将推出“3D生成模型”。
△影眸科技将于5月上线首个多模态跨平台3D搜索引擎Rodin，打通Sketchfab等多个3D资产平台，支持以文搜3D、以图搜3D甚至以3D搜3D。搜索引擎只是Rodin的初级形态，影眸将把Rodin打造为3D生成大模型。
如果我们需要继续前进，我们需要更多拥抱生成式AI的工程团队、技术艺术和产品人才加入团队。作为一支以RD为背景的球队，这样的人才还是供不应求的。
“人是一切的尺度”，吴迪说。“我们需要更多志同道合的人加入我们，共同推动3D领域的创新和发展。”
可见，ChatAvatar背后的技术从无到有的构建，揭示了一个AI创业公司的不断创新；从这家公司对人才的渴望中，它揭示了每个细分市场都想在AIGC浪潮下从水下浮出水面的内心。
你愿意拥抱生成式人工智能，成为文本到3D领域的游戏改变者吗？
声明：本文内容整理自网络，观点仅代表原作者本人，投稿号仅提供信息发布服务。如有侵权，请联系管理员。
