长期以来，计算机硬件和软件的创新是相互推动的，人工智能已经成为最新的驱动力。许多行业开始关注运行深度学习系统的硬件，而现有的人工智能芯片的局限性也日益明显。这导致有越来越多的投资者相信，人工智能可能是创建新兴的半导体公司的独特机会。

而且从长远来看，人工智能能力的产品的部署势头将继续增强，但需要越来越复杂的半导体设备来支持新一代智能产品。本文着重介绍了三家半导体厂商——Graphcore、GreenWavesTechnologies以及Gyrfalcon Technology Inc（GTI），它们提供创新的AI芯片，以推动这一趋势。下面就让我们一窥他们的真正实力。

英国AI芯片独角兽Graphcore—IPU将成为未来趋势？

Graphcore作为英国人工智能芯片硬件设计初创公司致力于为机器学习开发者制造专用的硬件和软件框架，用以加速AI应用，Graphcore的目标是成为“机器智能处理器市场的领导者”，这家公司的产品叫做IPU（Intelligence Processing Unit）智能处理单元，它的成长速度之快令人为之惊叹。

Graphcore成立于2016年，主要业务是开发深度学习程序所需要的芯片。随后，便完成了A轮3000万美元融资；在2017年11月，他们有收到了资本方的追捧，融资金额为5000万美元。2017年，Graphcore再度完成了3000万美元的B轮融资，领投方为Atomico，现在，他们有完成了2亿美元的D轮融资，在完成本轮融资之后，该公司的估值达到了17亿美元。

在众多神经网络芯片的初创公司中，Graphcore 凭借处理同一块多核芯片上的训练及推理问题的多核方法鹤立鸡群，其中他们的旗舰智能处理单元（IPU）有着非常大的吸引力。

Graphcore 开发的是一种新型智能处理器IPU可以用来帮助加速AI应用计算。他们开发了一套可以帮助用户无缝使用 TensorFlow和 MXNet 等机器学习框架的接口，并提供了AI开源软件框架 Poplar。与GPU不同，Graphcore 所设计的IPU是专为机器学习系统打造，比同类产品的性能提升了 10~100 倍。这种AI芯片应用广泛，包括自动驾驶、云计算以及机器人等领域。

Graphcore的IPU有着丰富的功能，它能够提供高效的机器学习功能，这与很多程序都很吻合，例如智能语音助理和自动驾驶技术等。它既可以用在数据中心内，也可以用在车辆之中，因此它能够帮助我们减少开发所需的时间，并且降低开发的难度。

亮点总结：

1. 同时支持Training和Inference，对于这一点，Grophcore有自己的一些独特的看法。

2. 采用同构多核（many-core）架构，超过1000个独立的处理器。每个处理器核的处理能力和具体支持的操作还不清楚。支持all-to-all的核间通信，采用Bulk Synchronous Parallel的同步计算模型（又是上个世纪80年代提出的）。

3. 采用大量片上memory，不直接连接DRAM。这可能是他们的架构中最激进的一个选择。

独到的Training/Inference设计理念

Graphcore认为先做Training然后做Inference的机制，未来一定会被Learning取代。也就是未来理想的机器智能应该能够在部署之后还能保持持续的学习和进化。然而随着时间的推移，下一代系统将持续不断学习和改进，在未来的系统中，我们将会看到，Training和Inference之间的区别会越来越小。

他们把自己特有的想法融合到了IPU架构的设计之中，Graphcore认为存储将会是限制未来进步的一道关卡。对于机器智能任务，GPU和CPU的性能受到其对外部存储器的带宽的限制。传统的外部DRAM系统（如DDR4或GDDR5）带宽太低，而且没有伸缩性。HBM（High Bandwidth Memory ）在具有非常高的布线密度的硅衬底上使用垂直堆叠的DRAM die，但生成困难；此外，把DRAM带入处理器的thermal envelope之中，处理器只能以较低速度运行。

基于此，Graphcore设计的架构和常见的芯片不尽相同，IPU采用了大量分布式片上memory的设计。其目标是把所有的model都能够放在片上memory当中。具体来讲，IPU把大量的面积用于SRAM，所谓memory-centric chip，而适当减少运算单元fpu的面积，最终实现对power的充分利用。而GPU主要使用片外的memory，片上的面积中只有40%用于Machine Learning（fpu），而其它的50%的面积用于其它应用（Grahics，HPC）。由于GPU本身是面向多种应用的，这种设计也是很合理的。

Graphcore的IPU在架构设计上还是有很多想法的，非常值得讨论。不过，感觉上IPU这种同构多核架构在Cloud端应用应该更合适一些。

Graphcore CEO Toon认为：机器智能努力的方向之一就是Continuous Learning。如果在一个架构上能够同时很好的支持Training和Inference当然非常理想。不过从目前的实践来看，Deep Learning中的Training和Inference还是有较大的差异的，运算量的巨大差别，精度要求不同，算法差别，部署的Constraints等等。Graphcore最终推出的IPU能否很好的解决这些问题，还有待观察。

如今，Graphcore在市场上面临着激烈的竞争，既有SambaNova、Cerebras Systems、Cambricon Technology和Horizon Robotics等初创企业，还包括英特尔和英伟达等芯片制造巨头。另外，苹果等设备制造商也将会在芯片领域开始发力。那么，AI芯片制造商Graphcore会蚕食Nvidia的份额么？看来只有时间来证明。

GreenWaves——深耕RISC-V生态，嵌入式AI处理器的变革者

近年来，随着人工智能和物联网的兴起，市场上兴起了对端侧人工智能的追逐，在类似安防设备、智能手表或者其他任何设备上嵌入AI，成为了厂商追求的热点。但考虑到现有方案的性能问题，于是市场上兴起了一大批针对端侧应用自研芯片的公司，而GreenWaves则是其中一个佼佼者。

GreenWaves由前意法半导体的执行副总裁兼首席战略官Loic Lietar和其他业内专家于2014年联合创立，在过去几年里，公司一直致力于为图像、声音和震动等传感设备中的的AI处理部分设计具有颠覆性的超低功耗嵌入式解决方案。到2018年2月，公司终于对外成功发布了其使用55nm超低功耗工艺制造的第一代产品GAP8。

谁能想到这款专为AI边缘网络计算打造的处理器GAP8一经问市便收到了众多企业的关注，它也成为了GreenWaves将来站稳脚跟的王牌武器。它有这么神吗？可千万别小看这块处理器。

作为全球首款物联网应用处理器，GAP8芯片基于RISC-V开源处理器架构打造，将解决其他处理器无法应对的问题，这让它拥有极致的能效架构。其次，其搭配的硬件卷积加速引擎，可以将将神经卷积计算提速三倍，能源节约五倍，加上集成了电源管理等功能，GreenWaves为整个SoC设定了六种工作模式，让电压和频率可以相应地动态调整，功耗也只是任何给定任务所必须的功耗。据透露，在深度睡眠的情况下，功耗只有1uA，就算是在满载的情况下，功耗也只是80mw左右。这样的能效比是目前市面上大多数处理器所不具备的。

AI产品如自动驾驶汽车或城市使用的罪犯探测摄像头将在未来采集海量数据。通常情况下，收集的数据会传输到数据中心的计算机中，但由于这些物联网设备采集的数据量过大，从而导致整个网络瘫痪。因此，较理想的方式是在传感器中处理数据。而RISC-V能开发出开源处理器，但无法启用它，而GreenWaves可以做到。GreenWaves作为ARM的竞争对手，将其拥有的专利RISC架构授权给许多芯片设计公司使用。而ARM销售的知识产权可以结合到芯片制造商制作的芯片中。相比而言，GreenWaves能提供更多的灵活性。

GreenWaves一直所坚持的是最优的能效比，目的是让AI可以在由电池供电的边缘设备上长期运行，这也是公司一直在践行与努力的方向。

资本方看中了GreenWaves在RISC-V的潜力，在今年这家法国半导体初创公司GreenWaves Technologies 已获得700万欧元的A轮融资。本轮融资资金将主要用于拓展业界首款电池驱动的超低功耗、物联网人工智能处理器GAP8 的销售渠道，以及下一代产品的研发。

无惧挑战，下一代产品将会有大幅度提升

为了这个万亿的物联网市场，GreenWaves不会是唯一的有意者，包括Arm、ST、NXP和瑞萨在内的众多厂商也在对“AI+MCU”这个方向虎视眈眈。如意法半导体发布了其代号为Orlando Project，应用于超低功耗MCU的专用卷积神经网络加速器；瑞萨的可配置协处理器；就连Arm也针对这个市场推出了一个扩展指令集，在巨头环伺的情况下，GreenWaves如何突围？

如此多的厂商关注这个市场，尤其是Arm推展扩展指令集这个决定，从多个方面证明了GreenWaves所从事业务的可行性和正确性。从技术储备上看，他们从三年以前就开始了相关的研发，现在就算有新加入者，也是要两年后才能看到效果。这时候GreenWaves的先发优势就凸显出来。据悉，GreenWaves新一代产品将会在今年亮相，卓越的性能提升会让GreenWaves的优势进一步拉大。与GAP8相比，新一代产品将在能效上更加突出。

AI新贵Gyrfalcon(GTI)

致力打造AI定制芯片——这个酝酿了三十年的想法，在硅谷初创企业Gyrfalcon Technology Inc.（简称：GTI）的手中变成现实。GTI获得了三星等大客户的青睐，正在迅速打造属于自己的多款芯片产品。

有梦想就有收获

随着深度学习技术的成熟及应用，原有芯片算力已经难以应对巨大的算力消耗。简单来说，深度学习的过程可以抽象理解为利用大量标注的数据进行训练，训练出一个行之有效的模型，再将这一模型运用于新数据的推理。因为这一算法是建立在多层大规模神经网络之上的，后者本质上是包含了矩阵乘积和卷积操作的大运算量函数，往往需要先定义一个包含回归问题的方差、分类时的交叉熵的代价函数，再数据分批传递进网络，根据参数求导出代价函数值，从而更新整个网络模型。这通常意味着至少几百万次的相乘处理，计算量巨大。

基于此，GTI的联合创始人杨林教授是一为很有远见的人，早在30年前，加州大学伯克利分校的博士生杨林就想研发出一种特制芯片，能够加快人工智能（AI）的运算速度。

杨林教授感觉如今科技发展之迅速以超越了我们的预料，如今PC已经和手机融为一体，通讯都已经做到第五代，并且目标直指 IoT。但是物与物连在一起很难交流。所以就需要赋予这个物体一定的感觉的能力和判断的能力。这也就是所谓的人工智能要解决的问题。可是IoT 已经发展了多少年了，主要目的就是为了连接。随着5G的实施，现在急需的就是连接的产业化，受益于现在的计算能力，深度学习，也就是多层卷积神经网络的机器学习的概念得以落到现实，这也是成立创立ＧＴＩ的初衷。

因此，它看中了其中的市场机遇并召集了一些志同道合之人，于2017年一起创业，在硅谷创办了Gyrfalcon Technology，希望打造AI芯片。没想到的是，这一小撮人在创业最开始的八个月里废寝忘食致力于一款芯片的研发，这标志着Gyrfalcon正式进军芯片角斗场，一款改变AI界的产品迅速博得了市场的青睐。

在众多巨头和初创公司纷纷加入的AI战场上，这家小型公司为何能够赢得三星等大品牌的竞逐的对象？不得不介绍一下他们过硬的产品。

Gyrfalcon第一代人工智能处理器芯片——Lightspeeur 2801S 已于今年九月从TSMC下线，该芯片采用28nm工艺，拥有高达5.6 TOPS/Watt 的卓越能耗效率比，在人工智能边缘计算与数据中心机器学习领域相比市场上其他方案高出几个数量级。Gyrfalcon认为这将在人工智能计算中占到很大比例，在未来，公司将考虑开发一款具备集成人工智能引擎和主机CPU的系统级芯片（SoC）。

Gyrfalcon坚信这将拥有比竞争对手领先至少一年的技术优势。核心团队表示，许多对手只是在模拟神经网络，而LightSpeeur则是基于研发团队过去30年对神经网络的研究，塑造了真正的数字神经网络电路。据悉，目前已有多家一线国际产业巨头在对LightSpeeur 2801S进行产业化设计，用于其包括AI服务器、手机、智能城市产品和监控摄像头等在内的多种应用中。

目前，ＧＴＩ已经有5个核心基本专利

Lightspeeur的成功主要是因为两大创新：

一是采用了不同于传统处理器架构，而是采用了二维的矩阵芯片架构，第一代的芯片产品已经可以做到 168核X168个核的矩阵架构，相当于片上集成28000个运算单元。

二是自研了 APiM架构（存储计算融合一体的本地并行AI运算），消除了数据搬运的环节，解决了数据搬运墙难题。AI算法在芯片实现时遇到的核心问题不是计算资源而是存储问题，强如GPU提供众多的计算资源，但实际计算能力与计算资源大为降低，很多情况下芯片80%左右的功耗都用于了数据搬运上。

GTI的产品可以适用于深度学习的训练、推理环节，同时可以适用于云端和终端。团队分析，推理环节会是未来AI芯片的重要应用场景，但在云端很难撼动NVIDIA的优势，因此聚焦终端的推理环节才是他们未来的发展方向，据了解GTI正在为建立Hardware Design Engineer的普及平台而努力着。

目前的产品主要包括单芯片、计算棒、板卡等多种形态，适用于移动边缘计算、智能监控、智能玩具、智能家居、VR AR、机器人、自动驾驶等。GTI产品致胜的关键在于其具备绝佳的能效，在性能方面胜过英特尔传统中央处理器（CPU）与Nvidia图形处理器（GPU）。

至目前为止，公司已经完成来自中、日、韩的两轮融资，中国上市公司华西股份有参投。团队透露，公司2018年将有望实现盈亏平衡。

当年一些具有洞察力的想法如今变成了现实，与此同时，杨博士作为首席科学家创立的初创公司GTI野心勃勃，不断发展，专注于打造与众不同的AI芯片，以期在竞争日益激烈的芯片市场独占鳌头。GTI正在一步步为实现杨博士在30年前提出的：同步运算矩阵乘法的相同电路矩阵，从而加快神经网络的基本运算这一绝妙想法而奋斗者。