关灯

依图颜水成:AI芯片设计要深度融合算法,才能实现极致性能

0
回复
340
查看
[复制链接]
发表于 3 天前 | 显示全部楼层 |阅读模式
 
  新智元导读】数据、算法和算力被称为“AI三要素”。今天,面对超大数据量、算法策略失效、算力不足等新问题,过去的方法已经不再适用。依图科技CTO、IEEE Fellow颜水成博士以AI学者和产业从业者的双重视角,对如何解决目前围绕“AI三要素”的新问题分享了自己的真知灼见。若想了解更多AI资讯,欢迎来新智元 AI 朋友圈与大咖一起讨论~
中国CAE 部落 www.caeunion.com 中国CAE 部落 www.caeunion.com
中国CAE 部落 www.caeunion.com 中国CAE 部落 www.caeunion.com 中国CAE 部落 www.caeunion.comDSC0000.jpg 中国CAE 部落 www.caeunion.com 中国CAE 部落 www.caeunion.com 中国CAE 部落 www.caeunion.com

中国CAE 部落 www.caeunion.com 中国CAE 部落 www.caeunion.com  各位领导、各位朋友,大家好!
中国CAE 部落 www.caeunion.com 中国CAE 部落 www.caeunion.com  今天我是以一个新的角色来跟大家分享的。我是一名学者,同时也是一个产业界的从业者,我想从这两个身份的角度跟大家分享过去几年“AI三要素”的发展给我们带来了哪些新的机遇。
中国CAE 部落 www.caeunion.com 中国CAE 部落 www.caeunion.com
中国CAE 部落 www.caeunion.com 中国CAE 部落 www.caeunion.com 中国CAE 部落 www.caeunion.comDSC0001.jpg 中国CAE 部落 www.caeunion.com 中国CAE 部落 www.caeunion.com 中国CAE 部落 www.caeunion.com

中国CAE 部落 www.caeunion.com 中国CAE 部落 www.caeunion.com  作为依图的CTO,首先和大家分享一下依图AI的定位。
中国CAE 部落 www.caeunion.com 中国CAE 部落 www.caeunion.com
中国CAE 部落 www.caeunion.com 中国CAE 部落 www.caeunion.com 中国CAE 部落 www.caeunion.comDSC0002.jpg 中国CAE 部落 www.caeunion.com 中国CAE 部落 www.caeunion.com 中国CAE 部落 www.caeunion.com

中国CAE 部落 www.caeunion.com 中国CAE 部落 www.caeunion.com  依图其实是从算法起家,逐步布局智能城市领域,后来把业务拓展到了智慧医疗,同时基于算力的考虑,在三年前开始布局芯片。
中国CAE 部落 www.caeunion.com 中国CAE 部落 www.caeunion.com  “求索”芯片发布以后,依图完成了从AI软件提供商向AI基础设施提供商和AI解决方案提供商的升级,同时也在制药维度有所布局,我们希望通过AI技术加速和癌症相关药物研制的效能。
中国CAE 部落 www.caeunion.com 中国CAE 部落 www.caeunion.com
中国CAE 部落 www.caeunion.com 中国CAE 部落 www.caeunion.com 中国CAE 部落 www.caeunion.comDSC0003.jpg 中国CAE 部落 www.caeunion.com 中国CAE 部落 www.caeunion.com 中国CAE 部落 www.caeunion.com

中国CAE 部落 www.caeunion.com 中国CAE 部落 www.caeunion.com  在过去四年中,大家对“AI三要素”关注的方式发生了极大的变化,过去只要是AI,业界就非常开心、愿意投资,到了2017年业界要敦促AI落地,到了2018年还需要让AI商业模式变得非常清晰。
中国CAE 部落 www.caeunion.com 中国CAE 部落 www.caeunion.com  要想让好的商业模式回归商业的本质,最核心的就是两点:首先是达到精度的极限,其次是达到速度的极限。
中国CAE 部落 www.caeunion.com 中国CAE 部落 www.caeunion.com
中国CAE 部落 www.caeunion.com 中国CAE 部落 www.caeunion.com 中国CAE 部落 www.caeunion.comDSC0004.jpg 中国CAE 部落 www.caeunion.com 中国CAE 部落 www.caeunion.com 中国CAE 部落 www.caeunion.com

中国CAE 部落 www.caeunion.com 中国CAE 部落 www.caeunion.com  要想达到精度的极限,因为数据和算力的约束,其实当前的峰点性能已经从学术界开始转移到了工业界。
中国CAE 部落 www.caeunion.com 中国CAE 部落 www.caeunion.com  要想追求速度的极限,重点要实现AI算法和AI芯片的相互优化,所以现在AI的焦点已经慢慢地从训练侧向推理侧转移。
中国CAE 部落 www.caeunion.com 中国CAE 部落 www.caeunion.com  超大数据环境下的算法策略失效问题
中国CAE 部落 www.caeunion.com 中国CAE 部落 www.caeunion.com
中国CAE 部落 www.caeunion.com 中国CAE 部落 www.caeunion.com 中国CAE 部落 www.caeunion.comDSC0005.jpg 中国CAE 部落 www.caeunion.com 中国CAE 部落 www.caeunion.com 中国CAE 部落 www.caeunion.com

中国CAE 部落 www.caeunion.com 中国CAE 部落 www.caeunion.com  首先从数据的维度来看,大家都在说要研究大数据,其实不是的。现在的数据研究已经分成了三个不同的等级:小数据、大数据和超大数据。
中国CAE 部落 www.caeunion.com 中国CAE 部落 www.caeunion.com  十五年前,我在研究人脸识别的时候,样本只有15个人,每个人一张图片,当时我们想出了一些很奇怪的算法,比如把图像看成一个矩阵,通过2D形式提升人脸识别的性能。
中国CAE 部落 www.caeunion.com 中国CAE 部落 www.caeunion.com  但当面对大数据的时候,以前所有的这些东西就没有任何价值了。同样,当我们从大数据转向超大数据时,需要应付的是城市级的应用场景。在这种情况下更需要思考,现在最主流的深度学习的各种常见的策略,面对超大数据还有没有效?
中国CAE 部落 www.caeunion.com 中国CAE 部落 www.caeunion.com
中国CAE 部落 www.caeunion.com 中国CAE 部落 www.caeunion.com 中国CAE 部落 www.caeunion.comDSC0006.jpg 中国CAE 部落 www.caeunion.com 中国CAE 部落 www.caeunion.com 中国CAE 部落 www.caeunion.com

中国CAE 部落 www.caeunion.com 中国CAE 部落 www.caeunion.com  为此,我们做了一些Tolerance实验,按数据规模分成小、大和超大三个等级,采用当前常见的提升深度学习训练的策略,让数据分布更加优化、让网络结构变得更大,让网络结构更好优化等等,同时对数据进行清理。结果发现,面对超大数据,有些策略还有用,而有些策略就一点价值也没有了。
中国CAE 部落 www.caeunion.com 中国CAE 部落 www.caeunion.com  比如优化数据分布,在大数据场景中还继续有效,但到了超大数据场景收益逐渐收敛。增大网络模型在小的数据集上效果并不是很明显,到了超大数据集的时候价值就变得越来越大。优化网络结构在小的数据集上的效果非常好,到了超大数据业务场景时,其实已经没什么太大的价值了。
中国CAE 部落 www.caeunion.com 中国CAE 部落 www.caeunion.com
中国CAE 部落 www.caeunion.com 中国CAE 部落 www.caeunion.com 中国CAE 部落 www.caeunion.comDSC0007.jpg 中国CAE 部落 www.caeunion.com 中国CAE 部落 www.caeunion.com 中国CAE 部落 www.caeunion.com

中国CAE 部落 www.caeunion.com 中国CAE 部落 www.caeunion.com  同样,在面对超大数据的时候,数据清理也变得没有太大的价值。另外,在小规模数据的情况下,大网络发挥的价值是非常小的,达不到量级的提升,而在超大规模数据下,其优势就非常明显了。
中国CAE 部落 www.caeunion.com 中国CAE 部落 www.caeunion.com
中国CAE 部落 www.caeunion.com 中国CAE 部落 www.caeunion.com 中国CAE 部落 www.caeunion.comDSC0008.jpg 中国CAE 部落 www.caeunion.com 中国CAE 部落 www.caeunion.com 中国CAE 部落 www.caeunion.com

中国CAE 部落 www.caeunion.com 中国CAE 部落 www.caeunion.com  数据优化策略方面我们也在调整性别和人种的分布,无论是大数据还是超大数据都非常有价值,但是数据清理方面,大家常见的这种Trick,小数据集上是有效果的,到了大数据集上就没有了明显的效果。
中国CAE 部落 www.caeunion.com 中国CAE 部落 www.caeunion.com  “产学结合”解决AI算力短缺
中国CAE 部落 www.caeunion.com 中国CAE 部落 www.caeunion.com
中国CAE 部落 www.caeunion.com 中国CAE 部落 www.caeunion.com 中国CAE 部落 www.caeunion.comDSC0009.jpg 中国CAE 部落 www.caeunion.com 中国CAE 部落 www.caeunion.com 中国CAE 部落 www.caeunion.com

中国CAE 部落 www.caeunion.com 中国CAE 部落 www.caeunion.com  在算力方面的变化趋势同样明显。NAS第一版平均每天训练只需要80多个GPU,到了Facebook的Instagram研究,已经需要将近7400个GPU了。第一版的BERT需要256TPU。在这种巨大的算力要求面前,学术界实际上很难进行有价值、有影响力的工作,因为没有这样超大GPU集群,算力远远跟不上。
中国CAE 部落 www.caeunion.com 中国CAE 部落 www.caeunion.com
中国CAE 部落 www.caeunion.com 中国CAE 部落 www.caeunion.com 中国CAE 部落 www.caeunion.comDSC00010.jpg 中国CAE 部落 www.caeunion.com 中国CAE 部落 www.caeunion.com 中国CAE 部落 www.caeunion.com

中国CAE 部落 www.caeunion.com 中国CAE 部落 www.caeunion.com  综合起来可以发现,目前,如果追求精度极限,需要闭环的超大数据集,包括大型GPU算力集群,这些都是学术界缺乏的,但正是产业界具备很大优势的领域。
中国CAE 部落 www.caeunion.com 中国CAE 部落 www.caeunion.com  同时,有些达到很好峰点性能的算法和模型,产业界并没有公开发表,学术界并不知道,所以我们经常在一些学术论文上看到有“刷榜”的情况,实际上如今的开源数据集价值已经大大不如当年ImageNet了。
中国CAE 部落 www.caeunion.com 中国CAE 部落 www.caeunion.com
中国CAE 部落 www.caeunion.com 中国CAE 部落 www.caeunion.com 中国CAE 部落 www.caeunion.comDSC00011.jpg 中国CAE 部落 www.caeunion.com 中国CAE 部落 www.caeunion.com 中国CAE 部落 www.caeunion.com

中国CAE 部落 www.caeunion.com 中国CAE 部落 www.caeunion.com  现在学术界做的实验,基本上只能在大数据集上进行检验,一个事实就是,在大数据实验上有效的算法和Trick,所有的“微创新”,绝大多数在超大数据集上没有任何价值。现在AI领域每年发表6000多篇学术论文,真正能解决业务场景实际问题的论文凤毛麟角,几乎可以忽略。学术界和产业界迫切需要进行深度合作,才能更好地推动整个生态环境的改变,促进峰点性能的提升。
中国CAE 部落 www.caeunion.com 中国CAE 部落 www.caeunion.com  为了追求速度的极限,就要让AI算法和AI芯片实现相互优化。由于物联网的迅速发展,生成的数据量会极速增加,在数据量剧增,同时计算资源有限的情况下,加快速度就显得尤为重要。
中国CAE 部落 www.caeunion.com 中国CAE 部落 www.caeunion.com  另外一个维度是,因为5G的发展,人们对低时延的期待普遍提升了。除了5G本身的低时延,产生时延另外一个因素是AI算法,要想让用户真的更好地体验低时延,也要从AI算法上下功夫。
中国CAE 部落 www.caeunion.com 中国CAE 部落 www.caeunion.com  依图视觉计算平台:AI算法与芯片设计的“连接器”
中国CAE 部落 www.caeunion.com 中国CAE 部落 www.caeunion.com  正是基于这些原因,科技部依托依图建设了视觉计算国家新一代人工智能开放创新平台,这是一个什么样的平台呢?
中国CAE 部落 www.caeunion.com 中国CAE 部落 www.caeunion.com  首先是开放的生态,我们将为视觉计算开发者提供更加标准和高效的支持与服务,提升智能芯片、智能算法和智能产品的整体产业能力。我们希望这个平台能起到“连接器”的作用,使得算法方和芯片方在相互优化的同时,又能够实现分层解耦。
中国CAE 部落 www.caeunion.com 中国CAE 部落 www.caeunion.com  在平台提供的各种服务中,有一项是算法-芯片优化测试。简单来说,所有的算法设计者把深度学习的模型上传到平台,自动转化成为可以在不同的芯片上运行的深度学习模型,然后进行深度测试,并提供测试报告。
中国CAE 部落 www.caeunion.com 中国CAE 部落 www.caeunion.com
中国CAE 部落 www.caeunion.com 中国CAE 部落 www.caeunion.com 中国CAE 部落 www.caeunion.comDSC00012.jpg 中国CAE 部落 www.caeunion.com 中国CAE 部落 www.caeunion.com 中国CAE 部落 www.caeunion.com

中国CAE 部落 www.caeunion.com 中国CAE 部落 www.caeunion.com  这些测试报告有什么用?算法的设计者拿到测试报告以后,就知道自己的算法在不同的卷积类型、不同的操作类型、不同的I/O大小的情况下的运行时间,从而更好地设计深度学习模型。
中国CAE 部落 www.caeunion.com 中国CAE 部落 www.caeunion.com
中国CAE 部落 www.caeunion.com 中国CAE 部落 www.caeunion.com 中国CAE 部落 www.caeunion.comDSC00013.jpg 中国CAE 部落 www.caeunion.com 中国CAE 部落 www.caeunion.com 中国CAE 部落 www.caeunion.com

中国CAE 部落 www.caeunion.com 中国CAE 部落 www.caeunion.com  提到模型设计,其实一个高质量的深度学习模型设计方案分为两部分:一是利用人的智能来设计基础的深度学习模型的模块,比如我的团队提出的1×1卷积,1×1卷积在不同的深度学习模型当中都得到了广泛应用,特别是在图像领域,很多时候作为基础模块使用。另一个则是把这些基本模块输入NAS 搜索空间,再把不同类型模块的时间消耗考虑进去,就可以做专门针对不同芯片类型的NAS结构搜索。
中国CAE 部落 www.caeunion.com 中国CAE 部落 www.caeunion.com
中国CAE 部落 www.caeunion.com 中国CAE 部落 www.caeunion.com 中国CAE 部落 www.caeunion.comDSC00014.jpg 中国CAE 部落 www.caeunion.com 中国CAE 部落 www.caeunion.com 中国CAE 部落 www.caeunion.com

中国CAE 部落 www.caeunion.com 中国CAE 部落 www.caeunion.com  最近我的学生和Facebook做的Octave卷积,指出Feature Map与图像相似,会有一些 Map 描述高频的部分,另一些描述低频的部分,对于低频的部分可以进一步压缩, 保存在低分辨率下并在低分辨率下处理。
中国CAE 部落 www.caeunion.com 中国CAE 部落 www.caeunion.com
中国CAE 部落 www.caeunion.com 中国CAE 部落 www.caeunion.com 中国CAE 部落 www.caeunion.comDSC00015.jpg 中国CAE 部落 www.caeunion.com 中国CAE 部落 www.caeunion.com 中国CAE 部落 www.caeunion.com

中国CAE 部落 www.caeunion.com 中国CAE 部落 www.caeunion.com  于是我们就让Feature Map变得异构化,既有大的也有小的,可以设计相应卷积的操作,输出的也是异构Feature Map,模型会比以前变得更小。因为仅对低频部分进行压缩, 信息损失很小,同时这种多尺度结构增加了感受野, 模型分类效能可以显著提高。同时因为模型资源开销变小,所以能够训练更大的模型。
中国CAE 部落 www.caeunion.com 中国CAE 部落 www.caeunion.com
中国CAE 部落 www.caeunion.com 中国CAE 部落 www.caeunion.com 中国CAE 部落 www.caeunion.comDSC00016.jpg 中国CAE 部落 www.caeunion.com 中国CAE 部落 www.caeunion.com 中国CAE 部落 www.caeunion.com

中国CAE 部落 www.caeunion.com 中国CAE 部落 www.caeunion.com  从芯片开发者的角度出发,大量的深度学习模型需要进行深度测试,这些测试报告可以让芯片开发者知道,下一版的芯片以及工具链应该优化的方向和目标。
中国CAE 部落 www.caeunion.com 中国CAE 部落 www.caeunion.com  更重要的是,深度学习领域每年都会有非常好的模型被提出来,但是又很快被淹没。一个主要的原因在于,这些模型的理论加速比是很高的,但是在当前的AI芯片架构下,这些模型的理论加速性能实际上无法实现。
中国CAE 部落 www.caeunion.com 中国CAE 部落 www.caeunion.com
中国CAE 部落 www.caeunion.com 中国CAE 部落 www.caeunion.com 中国CAE 部落 www.caeunion.comDSC00017.jpg 中国CAE 部落 www.caeunion.com 中国CAE 部落 www.caeunion.com 中国CAE 部落 www.caeunion.com

中国CAE 部落 www.caeunion.com 中国CAE 部落 www.caeunion.com  打个比方,两年以前我就提出一个模型叫做More is Less,我们发现现在的深度学习卷积完成后,ReLU可能有超过40%的值都是零,这样ReLU之前的数值就不是很重要,能不能用极小的计算预知这些位置,然后把相应的卷积剔除掉呢?
中国CAE 部落 www.caeunion.com 中国CAE 部落 www.caeunion.com
中国CAE 部落 www.caeunion.com 中国CAE 部落 www.caeunion.com 中国CAE 部落 www.caeunion.comDSC00018.jpg 中国CAE 部落 www.caeunion.com 中国CAE 部落 www.caeunion.com 中国CAE 部落 www.caeunion.com

中国CAE 部落 www.caeunion.com 中国CAE 部落 www.caeunion.com  当时我们就提出More is Less,ReLU之后再做Element乘法,理论上来说和原始模型相比是没有精度损失的,但是在执行推理任务的时候,计算复杂度会大幅度降低。但是,这种模型在当前的AI芯片架构上是完全没有可能实现的。
中国CAE 部落 www.caeunion.com 中国CAE 部落 www.caeunion.com  算法即芯片:深度融合AI算法和芯片设计
中国CAE 部落 www.caeunion.com 中国CAE 部落 www.caeunion.com  现在,有了依图视觉计算开放创新平台,算法设计者和芯片设计者可以都来这个平台上交流沟通,实现互相链接,通过合作让算法模型的理论的加速比变成实际加速比。
中国CAE 部落 www.caeunion.com 中国CAE 部落 www.caeunion.com  依图的“求索”芯片是今年5月份发布的,当时我们采用“插电发布”,将200路视频连接到AI服务器,现场进行实时人脸检测和人脸识别。基于求索芯片的AI服务器和边缘盒子都可以直接快速部署到用户的业务场景。
中国CAE 部落 www.caeunion.com 中国CAE 部落 www.caeunion.com
中国CAE 部落 www.caeunion.com 中国CAE 部落 www.caeunion.com 中国CAE 部落 www.caeunion.comDSC00019.jpg 中国CAE 部落 www.caeunion.com 中国CAE 部落 www.caeunion.com 中国CAE 部落 www.caeunion.com

中国CAE 部落 www.caeunion.com 中国CAE 部落 www.caeunion.com  依图在AI芯片和AI算法融合方面已经取得了成果。现在,一个依图的高密度AI服务器机柜,能够支撑10000路视频的解析,这样带来的直接好处就是,用户的建设费用会降低,而且在使用时,因为机柜减少了、功耗下降了,运维的成本也会大幅度降低。
中国CAE 部落 www.caeunion.com 中国CAE 部落 www.caeunion.com
中国CAE 部落 www.caeunion.com 中国CAE 部落 www.caeunion.com 中国CAE 部落 www.caeunion.comDSC00020.jpg 中国CAE 部落 www.caeunion.com 中国CAE 部落 www.caeunion.com 中国CAE 部落 www.caeunion.com

中国CAE 部落 www.caeunion.com 中国CAE 部落 www.caeunion.com  依图另外一个核心的理念就是要发展多模态的AI技术。依图过去在美国国家技术标准局组织的人脸识别的Vendor Test中,曾经连续三年获得第一。
中国CAE 部落 www.caeunion.com 中国CAE 部落 www.caeunion.com  从去年开始,依图语音识别也取得了不俗的成就,在中文语音识别方面曾经在一个时间段达到SOTA水平。今年,在牛津、MIT等组织的国际声纹识别竞赛上,依图的声纹识别也取得了冠军。
中国CAE 部落 www.caeunion.com 中国CAE 部落 www.caeunion.com  在NLP方面,依图基于电子病历进行儿科疾病诊断的相关成果发布在了《Nature Medicine》上。今年厦门的多媒体信息识别技术竞赛,依图在11项比赛当中,有10项获得了A类证书,是所有参赛队伍当中获得冠军最多的。
中国CAE 部落 www.caeunion.com 中国CAE 部落 www.caeunion.com  总结一下对“AI三要素”的观察,就是:
中国CAE 部落 www.caeunion.com 中国CAE 部落 www.caeunion.com  为了追求极致的精度,其实现在峰值性能因为数据和算力的限制,已经逐步从学术界转移到了工业界。
中国CAE 部落 www.caeunion.com 中国CAE 部落 www.caeunion.com  为了追求极致的速度,我们需要将AI的算法和AI的芯片相互优化,协同开发。
中国CAE 部落 www.caeunion.com 中国CAE 部落 www.caeunion.com
中国CAE 部落 www.caeunion.com 中国CAE 部落 www.caeunion.com 中国CAE 部落 www.caeunion.comDSC00021.jpg 中国CAE 部落 www.caeunion.com 中国CAE 部落 www.caeunion.com 中国CAE 部落 www.caeunion.com

中国CAE 部落 www.caeunion.com 中国CAE 部落 www.caeunion.com  依图已经形成了比较明确的AI核心理念,基于多模态的峰点算法模型,算法及芯片相互优化和融合的推理方案,不断解锁不同的AI向善的业务场景。
中国CAE 部落 www.caeunion.com 中国CAE 部落 www.caeunion.com
中国CAE 部落 www.caeunion.com 中国CAE 部落 www.caeunion.com 中国CAE 部落 www.caeunion.comDSC00022.jpg 中国CAE 部落 www.caeunion.com 中国CAE 部落 www.caeunion.com 中国CAE 部落 www.caeunion.com

中国CAE 部落 www.caeunion.com 中国CAE 部落 www.caeunion.com  用一句话概括,解决“AI三要素”问题三个关键词就是:多模态、软硬一体化和科技向善。
中国CAE 部落 www.caeunion.com 中国CAE 部落 www.caeunion.com  谢谢大家!
中国CAE 部落 www.caeunion.com 中国CAE 部落 www.caeunion.com
中国CAE 部落 www.caeunion.com 中国CAE 部落 www.caeunion.com
 
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

微信搜索:CAE部落

官方微信

客服微信

全国服务热线:

+86 15229295336

西安总部:陕西省西安市高新区丈八街办高新二路15号瑞吉大厦8层10801-8366室

深圳办事处:深圳市龙华区民治大道690号东盟大厦3楼B08室

邮编:710000 Email:1517399482@qq.com

Copyright   ©2018-2019  陕ICP备19017035号-1