入场元宇宙热潮，“虚拟形象”构建能力必不可少。相比于平面或动效的设计，元宇宙项目对设计师提出了新的挑战，不仅要好看，更要好用、好玩。本文将与大家分享我们虚拟人项目的探索过程以及过程中攻克的难题，项目仍在进行，欢迎大家交流指正。
项目背景
入场元宇宙势不可挡
2018年热门电影《头号玩家》精彩直观地呈现了一个沉浸式体验虚拟世界，去年Facebook更名为Meta投身元宇宙，百度上线“希壤”，各式各样的云宇宙概念应运而生，体验更加丰富、沉浸的虚拟世界必然是不可错过的商业机会，而虚拟形象则是元宇宙的入场券。网络截图
友商大力投入
在B端音视频领域，即构、相芯两家抢先入场，已具有相对成熟的解决方案。即构官网给元宇宙相关产品极大曝光，相芯更是将品牌升级为“元宇宙搭建者”，可见友商投入之大，这也给了我们很大压力。友商官网
客户有需求，抓住商机
音视频产品很大一部分客户在泛娱乐行业，涵盖了当下元宇宙应用的诸多场景，元宇宙相关能力与音视频已有的产品场景关联度以及客户重合度都很高，商业价值不容小觑。
设计定位
目标客户
我们的客户覆盖社交、教育、游戏、金融等多个行业，而对虚拟形象的需求会较为集中在泛娱乐场景。通过接入虚拟形象的能力，可以在产品中构建虚拟形象，进行社交、游戏、直播及内容创作等。社交app中的虚拟角色
风格定位
2017年苹果秋季发布会上Animoji横空出世，是虚拟形象大规模应用的第一个里程碑，随后各大手机厂商跟进， OPPO、小米、三星等都推出了虚拟形象；社交娱乐App方面，Zepeto在2018年大火，上线半年后霸榜App Store前十，QQ也在今年上线了超级QQ秀。
对比手机厂商、社交应用以及B端虚拟人形象，我们从“年龄感受”和“拟真度”两个维度定位虚拟形象的风格。从图中可以看到，社交属性较强的应用在年龄感上会偏向年轻和虚拟，而我们作为虚拟形象服务商，为了更灵动的映射人物表情，虚拟程度会更偏向真实感。虚拟角色象限定位
目标效果
相比于界面设计，虚拟人的设计更关注实现效果，并且需要根据设计侧和研发侧的实际能力评估可落地的实现目标。评估后我们计划在本阶段完成自定义捏脸、全身形象、拍照生成和语音驱动4个主要能力的搭建。
设计探索
对我们来说，虚拟人项目的设计落地涉及到一些比较陌生的技术领域。平常我们使用三维软件主要用于输出界面中的三维风格插图，而这一次将迎来的是“从图像到互动”的挑战，将运用Blendshape、AR、表情捕捉、动作捕捉、3D素材互动合成等技术。面对这个情况，我们探讨出两个策略：“先探路，再深入”以及“结合商机，动态攻坚”来推动项目进行。
2D设定
通过风格定位，我们把形象风格定位在偏向虚拟，年龄感偏青年的象限，结合我们泛娱乐场景的应用，注重情绪传达和表情的灵动。基于此我们把五官的表达进行强弱排序，眼睛的情绪表达和表情参与度是最高的，嘴巴其次，所以我们将脸宽五眼的比例调整到3.5眼宽，并拉开中庭。五官的刻画上也依照强弱顺序，眼部和嘴部会更细致和具体，其他五官相对弱化，圆润的脸型和较大的眉眼间距能让形象更活泼年轻，更显善意感。面部比例设定
3D模型设计
3D人像只作为图像设计是比较简单的，只要电脑不冒烟，对多边形面数没有要求，过惯了百万面数的奢华日子，面对虚拟人项目里引擎要求面数在两万以内顿时傻眼，为了最终在互动时保证性能流畅，模型减面工作必不可少。
在C4D中我们通常借用重拓扑插件来减少面数，但生成的效果不尽人意，布线并不贴合人脸肌肉走向，眼睛嘴巴变形严重。后来了解到S26版本的C4D更新了一项重拓扑工具，可选择样条用于保持原本布线走向，解决了重拓扑布线不贴合肌肉走向的问题。但由于面数要求苛刻，眼部嘴部的线条按重拓扑的方法会过于粗糙，后来又在拓扑出的模型上修补调整。面部拓扑布线
表情捕捉
表情捕捉在美术设计上属于专业细分领域，从0基础到可商用距离太远，但可以借助科技与狠活来解决效率问题。我们尝试了Avatary旗下的 Autoface软件和 Blender的 Faceit插件，两者都可以输出符合规范的52表情Blendshape，前者操作更加傻瓜式，容易上手，后者效果可控性更好，且涵盖了一些延展的功能便于捏脸功能的实现，所以最终我们选择了Faceit插件。
插件的动态效果
捏脸功能
捏脸功能是通过Blendshape来实现的，比如脸颊宽度，可雕刻出最宽形态设置值为“1”，最窄形态设置为“-1”，输入-1到1之间的数值即可实现自定义的捏脸效果。
通过雕刻生成Blendshape的实现方式也有一定的局限，在眉形的设计上，给每个眉形一个Blendshape，选择该眉形时调用其Blendshape的数值“1”，但对眉毛厚度长度的变形是公用的一个Blendshape，这样在不同眉形去调整时会出现不规整的效果，目前我们只能控制眉形数量来满足基础的调整。
面部参数调整
引擎调试
我们使用的引擎是腾讯特效引擎，同时也封装成SDK进行售卖，是基于ECS架构和自研的渲染引擎打造，真正意义上的跨平台SDK，感兴趣的同学可访问官网了解详情