"\u003Cdiv\u003E\u003Cp\u003E今天一起体验美图秀秀基于计算机视觉技术打造的“美图AI”\u003Cspan\u003E版块\u003C\u002Fspan\u003E，进一步加深对计算机视觉技术在美图的产品设计中应用的理解。\u003C\u002Fp\u003E\u003Cp class=\"ql-align-right\"\u003E作者 | Luna\u003C\u002Fp\u003E\u003Cp class=\"ql-align-right\"\u003E编辑 | 言有三\u003C\u002Fp\u003E\u003Cdiv class=\"pgc-img\"\u003E\u003Cimg src=\"http:\u002F\u002Fp3.pstatp.com\u002Flarge\u002Fpgc-image\u002Fdb1fd240cd12462885017ecc427d7070\" img_width=\"960\" img_height=\"1280\" alt=\"美图秀秀中的动漫化身和绘画大师功能分析\" inline=\"0\"\u003E\u003Cp class=\"pgc-img-caption\"\u003E\u003C\u002Fp\u003E\u003C\u002Fdiv\u003E\u003Cp\u003E上一期我们一起体验了抖音里的各项黑科技，见证了抖音以短视频为载体，基于\u003Cstrong\u003E人脸关键点检测、图像语义分割、风格迁移、表情识别、图像分类\u003C\u002Fstrong\u003E等计算机视觉技术为用户提供了专业、新奇、搞怪的体验。\u003C\u002Fp\u003E\u003Cp\u003E在AI产品专题的第二期，我们对\u003Cstrong\u003E美图秀秀AI版块\u003C\u002Fstrong\u003E进行体验及分析，由于该\u003Cspan\u003E版块\u003C\u002Fspan\u003E分为“动漫化身”、“绘画机器人”、“跨次元相机”、“少女照相机”、“梦幻娃娃机”等5个入口，但后四项底层的逻辑设计基本相同，因此本文将后四项当成一个整体展开，话不多说，开始我们的旅程吧~\u003C\u002Fp\u003E\u003Ch1\u003E\u003Cstrong\u003E1 动漫化身\u003C\u002Fstrong\u003E\u003C\u002Fh1\u003E\u003Cp\u003E\u003Cstrong\u003E用户-场景-需求分析\u003C\u002Fstrong\u003E\u003C\u002Fp\u003E\u003Cp\u003E“动漫化身”是美图秀秀几个月前才上线的新功能，该功能一方面是为了应对激烈的市场竞争，另一方面是基于平台发展及用户需求，为更好地理解该功能点，首先对其进行简单用户-场景-需求分析如下。\u003C\u002Fp\u003E\u003Cdiv class=\"pgc-img\"\u003E\u003Cimg src=\"http:\u002F\u002Fp9.pstatp.com\u002Flarge\u002Fpgc-image\u002F4d1000c674e64ba291526304342d8861\" img_width=\"1011\" img_height=\"474\" alt=\"美图秀秀中的动漫化身和绘画大师功能分析\" inline=\"0\"\u003E\u003Cp class=\"pgc-img-caption\"\u003E\u003C\u002Fp\u003E\u003C\u002Fdiv\u003E\u003Cp\u003E\u003Cstrong\u003E功能目的\u003C\u002Fstrong\u003E\u003C\u002Fp\u003E\u003Cp\u003E大家都知道，美图是一个工具型图像美化产品，其初衷在于打造一款最为简单的修图产品，过去也有人将其笑称为“傻瓜式Photoshop”。而结合美图产品更新的动态，迎着人工智能的东风，美图对用户提供的产品服务也开始呈现\u003Cstrong\u003E多元化及娱乐化\u003C\u002Fstrong\u003E。\u003C\u002Fp\u003E\u003Cp\u003E基于上述的用户-场景-需求分析，可见对用户而言，该功能可满足他们\u003Cstrong\u003E对于动漫、对美及对新鲜事物的兴趣、好奇心及虚荣心\u003C\u002Fstrong\u003E，而对平台而言，该功能的上线不仅为平台增加了一项服务，同时也使得产品定位\u003Cstrong\u003E不再局限于机械化的工具，变得更加丰满且有趣\u003C\u002Fstrong\u003E，而从商业角度，该功能的上线也使得美图的流量进一步增强，则平台的广告机会及变现能力也进一步强化。\u003C\u002Fp\u003E\u003Cp\u003E\u003Cstrong\u003E功能逻辑\u003C\u002Fstrong\u003E\u003C\u002Fp\u003E\u003Cdiv class=\"pgc-img\"\u003E\u003Cimg src=\"http:\u002F\u002Fp1.pstatp.com\u002Flarge\u002Fpgc-image\u002F1575fb774a914abe89b8a09d48cfc99f\" img_width=\"990\" img_height=\"1597\" alt=\"美图秀秀中的动漫化身和绘画大师功能分析\" inline=\"0\"\u003E\u003Cp class=\"pgc-img-caption\"\u003E\u003C\u002Fp\u003E\u003C\u002Fdiv\u003E\u003Cp\u003E基于上述“动漫化身”的逻辑流程，在进行相片（人脸）采集之后，系统通过\u003Cstrong\u003E检测人脸特征点\u003C\u002Fstrong\u003E后\u003Cstrong\u003E构建二元空间映射\u003C\u002Fstrong\u003E，并进行\u003Cstrong\u003E视觉配准\u003C\u002Fstrong\u003E，最终经\u003Cstrong\u003E渲染\u003C\u002Fstrong\u003E后生成用户的动漫形象。\u003C\u002Fp\u003E\u003Cp\u003E\u003Cstrong\u003E而更具特色的体验在于，生成动漫形象之后，用户还可以选择生成照片、视频或表情包的形式。\u003C\u002Fstrong\u003E\u003C\u002Fp\u003E\u003Cp\u003E且在制作视频\u002F表情包的过程中，画面中的卡通形象可随着用户的表情变化而动态变化，进行细节调整后生成的图像更细致。\u003C\u002Fp\u003E\u003Cp\u003E同时在动态的过程中，使得用户身临其境般地享受到变身的过程，对用户的吸引力更足。\u003C\u002Fp\u003E\u003Cp\u003E视频模式下，还可以进行\u003Cstrong\u003E音乐搭配\u003C\u002Fstrong\u003E，产品元素很丰富。此外，用户还可以根据不同的心情和喜好进行卡通人物形象的\u003Cstrong\u003E风格及装扮\u003C\u002Fstrong\u003E，进一步满足了不同性别、不同风格用户的\u003Cstrong\u003E个性化需求\u003C\u002Fstrong\u003E。\u003C\u002Fp\u003E\u003Cdiv class=\"pgc-img\"\u003E\u003Cimg src=\"http:\u002F\u002Fp9.pstatp.com\u002Flarge\u002Fpgc-image\u002Ff2ab914cdc4a4c04bd33a46a6c81b7ec\" img_width=\"665\" img_height=\"665\" alt=\"美图秀秀中的动漫化身和绘画大师功能分析\" inline=\"0\"\u003E\u003Cp class=\"pgc-img-caption\"\u003E\u003C\u002Fp\u003E\u003C\u002Fdiv\u003E\u003Cp\u003E如上图是“动漫化身”生成的效果图，左侧的赵丽颖的相片，通过算法处理后，风格完全改变，但在生成的图片中，对于五官及服饰一定程度上仍保留了原有的基本特征。\u003C\u002Fp\u003E\u003Cdiv class=\"pgc-img\"\u003E\u003Cimg src=\"http:\u002F\u002Fp3.pstatp.com\u002Flarge\u002Fpgc-image\u002Fec1dcd7883074df493f2681cf499e8d5\" img_width=\"230\" img_height=\"230\" alt=\"美图秀秀中的动漫化身和绘画大师功能分析\" inline=\"0\"\u003E\u003Cp class=\"pgc-img-caption\"\u003E\u003C\u002Fp\u003E\u003C\u002Fdiv\u003E\u003Cp\u003E如上图，是表情包模式下生成的图片效果，可以添加文字，也可以随意根据喜好变更表情，制作的效果栩栩如生，尤其是进行表情及面部细节微调时，那种互动的感觉可能是更让用户着迷的。\u003C\u002Fp\u003E\u003Cp\u003E\u003Cstrong\u003E功能上线及迭代\u003C\u002Fstrong\u003E\u003C\u002Fp\u003E\u003Cp\u003E“动漫化身”功能从\u003Cstrong\u003E2018年12月18日\u003C\u002Fstrong\u003E左右在美图秀秀8.3.5.0版本中上线，提出使用AI画手为你绘制专属动漫圣诞头像的超萌动画模式，享受捏脸换装小乐趣，该功能上线后受到许多用户的喜爱，至今已有\u003Cstrong\u003E154830805人\u003C\u002Fstrong\u003E体验，此后的版本迭代中，平台也显示出了极大的重视度，基本每次更新都有针对该功能的说明。\u003C\u002Fp\u003E\u003Cp\u003E\u003Cstrong\u003E技术分析\u003C\u002Fstrong\u003E\u003C\u002Fp\u003E\u003Cp\u003E综合上述分析可得，“动漫化身”功能以简单的流程，满足了平台服务的年轻群体追求卡通动漫的萌趣效果，整体体验流畅，渲染生成的速度较快且效果生动形象。\u003C\u002Fp\u003E\u003Cp\u003E但体验中发现，算法仍存在偶发性的视觉检测失灵，且可选的装扮选项比较单一，少数的装扮加载延时较长，这与后台算法的效率及稳定性有关。\u003C\u002Fp\u003E\u003Cp\u003E“动漫化身”使用的技术十分丰富，首先是\u003Cstrong\u003E人脸检测\u003C\u002Fstrong\u003E，用于检测及定位用户人脸，这一步是整个功能实现的核心基础。其次是\u003Cstrong\u003E人脸关键点检测\u003C\u002Fstrong\u003E，后续的视频、表情包动态调整及生成，都是基于人脸关键点的定位后进行的变换操作。再者还有\u003Cstrong\u003E人脸分割\u003C\u002Fstrong\u003E，通过人体、皮肤、头发、五官的等区域的精确分割，获得不同部位的具体位置，之后在进行风格调整时，才能进行具体替换。最后从整体的效果来看，通过建模生成的卡通人物的立体感及真实感体验都比较棒，这是\u003Cstrong\u003EAR现实增强\u003C\u002Fstrong\u003E处理的效果。\u003C\u002Fp\u003E\u003Cblockquote\u003E\u003Cp\u003E技术关键词：人脸检测、关键点定位、人脸分割、AR增强\u003C\u002Fp\u003E\u003C\u002Fblockquote\u003E\u003Ch1\u003E\u003Cstrong\u003E2 绘画大师Andy\u003C\u002Fstrong\u003E\u003C\u002Fh1\u003E\u003Cp\u003E\u003Cstrong\u003E用户-场景-需求\u003C\u002Fstrong\u003E\u003C\u002Fp\u003E\u003Cp\u003E绘画机器人Andy可以算是美图秀秀比较独特的一个功能点，Andy和“动漫化身”功能存在一定的关联，但又不完全相同，二者在底层用户的需求及具体地实现中还是存在一些区别，该项功能点的用户-场景-需求分析如下。\u003C\u002Fp\u003E\u003Cdiv class=\"pgc-img\"\u003E\u003Cimg src=\"http:\u002F\u002Fp1.pstatp.com\u002Flarge\u002Fpgc-image\u002Fa9eb45ba33454d63b6986fda3b1b5218\" img_width=\"1008\" img_height=\"520\" alt=\"美图秀秀中的动漫化身和绘画大师功能分析\" inline=\"0\"\u003E\u003Cp class=\"pgc-img-caption\"\u003E\u003C\u002Fp\u003E\u003C\u002Fdiv\u003E\u003Cp\u003E从中可见，绘画机器人\u003Cstrong\u003EAndy聚焦于满足用户以一种更省时省力的方式获得自画像的需求\u003C\u002Fstrong\u003E，而“漫画化身”，则更注重满足用户“化身”漫画形象并进行动态互动的需求，概括地说，前者专注于结果，而后者过程的体验更具特色。\u003C\u002Fp\u003E\u003Cp\u003E\u003Cstrong\u003E功能目的\u003C\u002Fstrong\u003E\u003C\u002Fp\u003E\u003Cp\u003E基于上述用户-场景-需求的分析，我们可以从中对Andy提出的目的进行简单分析。从用户的角度，该功能对于那些比较宅的、爱美的以及勤俭节约的用户而言，可以满足他们足不出户、不花一分钱，就可以打造出独属于自己风格的插画及各种形象，享受全方位的“绘画服务”，而且画不好重来几乎没有任何成本，\u003Cstrong\u003E直观地可理解为美图爸爸直接为用户提供了一个私人“画师”。\u003C\u002Fstrong\u003E\u003C\u002Fp\u003E\u003Cp\u003E而从平台的角度，同样离不开的逻辑是，怎么才能在保持核心功能清晰明了的情况下，将同一项技术无限扩展，打造出更多样化的服务，满足不同用户群体的个性化需求，而美图一直都在践行这样的逻辑。\u003C\u002Fp\u003E\u003Cp\u003E\u003Cstrong\u003E功能逻辑\u003C\u002Fstrong\u003E\u003C\u002Fp\u003E\u003Cdiv class=\"pgc-img\"\u003E\u003Cimg src=\"http:\u002F\u002Fp9.pstatp.com\u002Flarge\u002Fpgc-image\u002F5fe4cc49c9a94b37b233be2fe17779d3\" img_width=\"1080\" img_height=\"2134\" alt=\"美图秀秀中的动漫化身和绘画大师功能分析\" inline=\"0\"\u003E\u003Cp class=\"pgc-img-caption\"\u003E\u003C\u002Fp\u003E\u003C\u002Fdiv\u003E\u003Cp\u003E可见绘画机器人Andy在照片采集部分的流程之前和\"动漫化身\"的流程逻辑基本一致，但不同之处在于，\u003Cstrong\u003E图像生成之后，绘画机器人Andy和用户之间就没有屏幕上的实时互动进行细节调整了，只需静静等待，即可生成自画像。\u003C\u002Fstrong\u003E\u003C\u002Fp\u003E\u003Cp\u003E同时和“动漫化身”一样，也可以选择不同的风格生成，而且亲身验证，不同风格选项生成的效果区分度还挺大的，以下是体验效果展示。\u003C\u002Fp\u003E\u003Cdiv class=\"pgc-img\"\u003E\u003Cimg src=\"http:\u002F\u002Fp1.pstatp.com\u002Flarge\u002Fpgc-image\u002F5343f06834c546ef8d0919f3e8499b04\" img_width=\"665\" img_height=\"665\" alt=\"美图秀秀中的动漫化身和绘画大师功能分析\" inline=\"0\"\u003E\u003Cp class=\"pgc-img-caption\"\u003E\u003C\u002Fp\u003E\u003C\u002Fdiv\u003E\u003Cp\u003E从该结果中看出，Andy 根据左侧相片画出的图像比较精美，细节的刻画也比较到位，且相较“动漫化身”而言，绘画机器人的效果更为贴近原图，艺术创作的成分较少，如头发、配饰等，刻画中和原图保持了一致，可见后台算法设计的严谨度。\u003C\u002Fp\u003E\u003Cp\u003E\u003Cstrong\u003E功能细分对比\u003C\u002Fstrong\u003E\u003C\u002Fp\u003E\u003Cp\u003E值得指出的是，美图AI版块虽然在设计中设置了“动漫化身”、“绘画机器人”、“跨次元相机”、“少女照相馆”、“梦幻娃娃机”等入口，但实际上，后四项动能在整体的功能逻辑上是基本相同的。\u003C\u002Fp\u003E\u003Cp\u003E因此，\u003Cstrong\u003E“跨次元相机”、“少女照相馆”、“梦幻娃娃机”可视作和绘画机器人同一功能下的不同效果\u003C\u002Fstrong\u003E，但它们发布的时间更早。换个角度来看，可以理解成，它们是美图在推出Andy之前美图秀秀利用计算机视觉技术做出的一些尝试，也正是因为这些积累，使得平台的数据及算法都获得了较大的改进和提升，才促成了Andy的出现。\u003C\u002Fp\u003E\u003Cp\u003E为了进一步理解Andy和其剩余几项本质的不同，我们结合各自上线时间、体验人数进一步做出说明。\u003C\u002Fp\u003E\u003Cdiv class=\"pgc-img\"\u003E\u003Cimg src=\"http:\u002F\u002Fp1.pstatp.com\u002Flarge\u002Fpgc-image\u002F5726055381dc47399e7ecace386cae3f\" img_width=\"772\" img_height=\"567\" alt=\"美图秀秀中的动漫化身和绘画大师功能分析\" inline=\"0\"\u003E\u003Cp class=\"pgc-img-caption\"\u003E\u003C\u002Fp\u003E\u003C\u002Fdiv\u003E\u003Cp\u003E如图，其中\u003Cstrong\u003E“跨次元相机”\u003C\u002Fstrong\u003E最早上线于\u003Cstrong\u003E2017年1月10日\u003C\u002Fstrong\u003E，已有\u003Cstrong\u003E860240131\u003C\u002Fstrong\u003E人进行了体验，而随后在\u003Cstrong\u003E2017年5月28日\u003C\u002Fstrong\u003E和\u003Cstrong\u003E2017年9月26日，\u003C\u002Fstrong\u003E美图又进一步上线了\u003Cstrong\u003E“少女照相馆”\u003C\u002Fstrong\u003E和\u003Cstrong\u003E“梦幻娃娃机”\u003C\u002Fstrong\u003E，但是这两项的体验人数相对就低很多，而\u003Cstrong\u003E2017年11月30日\u003C\u002Fstrong\u003E上线的绘画机器人，获得的效果就比较突出，直接达到了\u003Cstrong\u003E749224112\u003C\u002Fstrong\u003E，按照当前的走势，极有可能赶超“跨次元相机”。\u003C\u002Fp\u003E\u003Cp\u003E究其原因，从体验中分析认为，“跨次元”包含的风格选项较多，同时该功能上线时间较早，并且在上线之初还利用了明星效应（anglababy）以及一些节日主题（元旦、春节等）进行运营，所以体验人数较多。\u003C\u002Fp\u003E\u003Cp\u003E而绘画机器人取得的效果明显更为优异的原因在于，平台在数据和技术上的积累更为成熟，使得图像处理的算法更为准确和良好，我们可以明显地看到，由Andy生成图像的质量及细节处理都更加优秀。\u003C\u002Fp\u003E\u003Cp\u003E如图，是这四种不同功能效果的对比。\u003C\u002Fp\u003E\u003Cdiv class=\"pgc-img\"\u003E\u003Cimg src=\"http:\u002F\u002Fp1.pstatp.com\u002Flarge\u002Fpgc-image\u002F7e61f0bd0b1644e69f4c86618a9d94b1\" img_width=\"665\" img_height=\"665\" alt=\"美图秀秀中的动漫化身和绘画大师功能分析\" inline=\"0\"\u003E\u003Cp class=\"pgc-img-caption\"\u003E\u003C\u002Fp\u003E\u003C\u002Fdiv\u003E\u003Cp\u003E对应原图，从左到右依次为“绘画机器人”、“跨次元相机”、“少女照相机”、“梦幻娃娃机”，各个图像最终的成像特点和本身的命名对应较为明显，尤其是反复来回体验后它们的区别和特色就会更为清晰。也可以通过这四项功能，更为清楚地认知到，\u003Cstrong\u003E美图秀秀在产品功能的进步，与其自身技术的发展一直紧密结合。\u003C\u002Fstrong\u003E\u003C\u002Fp\u003E\u003Cp\u003E不可否认，基于机器学习原理，Andy接受的训练数据越来越多，“绘画经验”越来越丰富，它已经从一个机械死板的绘画小白，变得越来越成熟，而美图爸爸给它的终极定位是向它的兄弟微软小冰看齐，称霸AI绘画界。\u003C\u002Fp\u003E\u003Cp\u003E在体验的过程中，相对动漫化身功能而言，Andy绘画功能的灵活性互动性差一些，但整体观感上，Andy的成像更具风格及艺术性，所以可能更得女性用户青睐。但体验中有一个微小的不足在于，点击对比按钮的时候，原图像和绘画生成的图像呈覆盖关系，而不是放到一个屏幕中进行对比，这可能也是受限于手机屏幕太小的原因。\u003C\u002Fp\u003E\u003Cp\u003E\u003Cstrong\u003E技术分析\u003C\u002Fstrong\u003E\u003C\u002Fp\u003E\u003Cp\u003E该项功能涉及的技术除了\u003Cstrong\u003E人脸检测\u003C\u002Fstrong\u003E外，还包括\u003Cstrong\u003E图像生成技术\u003C\u002Fstrong\u003E。基于人脸检测及分析，算法初步捕获了人脸特征，而后将这些特征输入训练好的图像生成网络\u003Cstrong\u003EDrawNet\u003C\u002Fstrong\u003E处理后生成用户的照片画像，其中DrawNet网络由美图自主研发并完成搭建及训练，最终部署于平台。同时，从生成的效果图中也可以看出，Andy在绘画的过程对于人物照片的肤色、发型、服饰等信息的捕获也比较准确，这是因为他们使用了专门用于\u003Cstrong\u003E头发检测\u003C\u002Fstrong\u003E及\u003Cstrong\u003E肤色检测\u003C\u002Fstrong\u003E的算法。\u003C\u002Fp\u003E\u003Cp\u003E美图爸爸期待Andy随着更多用户的参与，获得更多训练学习的样本后，绘画技艺可以得到一定的成长和改变，不至于很快就被用户厌弃，希望这个希望不仅仅是希望吧！\u003C\u002Fp\u003E\u003Cblockquote\u003E\u003Cp\u003E技术关键词：人脸检测 头发检测 肤色检测 图像生成等\u003C\u002Fp\u003E\u003C\u002Fblockquote\u003E\u003Ch1\u003E\u003Cstrong\u003E总结\u003C\u002Fstrong\u003E\u003C\u002Fh1\u003E\u003Cp\u003E通过本期对美图秀秀AI版块的进一步分析，同时结合上一期对抖音的体验，我们可以更深入地意识到，目前类似于人脸检测、关键点识别、人体分割及图像生成等技术在产品中的应用非常广泛，也有很多新奇的玩法，不过依然还有很多的成长空间可以探索。\u003C\u002Fp\u003E\u003C\u002Fdiv\u003E"