一枚芯片的赶考之路:究竟该如何看待“AI评测”?

脑极体 2019-01-09 智造
27700 16

半导体产业发展了数十年,有一个词从来没有离开过,那就是“评测”。

对硬件处理能力的评测,想必今天大家都已经不陌生。“一言不合就跑分”据说是科技行业的惯例;而普通人买手机买电脑,也要先了解一下CPU多少分、GPU处理能力达到多少分之类的数据。

而在AI变得越发重要的今天,是不是也应该有对AI算力进行评测的方案呢?

这个问题值得认真思考一下。

无论是对谷歌、英伟达,还是高通、联发科而言,今天的AI芯片和AI算力已经成为了CPU和GPU之后的“第三大计算版图”,评测AI算力的意义是毫无疑问的。然而另一方面,AI面向的并不是单一的计算任务,而是若干种类计算任务、计算架构的集合,这也让测试AI性能变得史无前例的棘手。

要知道,即使CPU评测这件在今天看起来并没有难度的事,也是从90年代就开始启动,由无数公司与产业组织共同努力,才最终完成了行业标准确立。

那么AI评测这个陌生的东西,需要面对的技术规则挑战可想而知。然而今天我们在手机芯片等领域,正在不断看到越来越多的AI评测规则、评测报告出炉。结论往往混乱不堪,吃瓜群众也搞不清楚这里的门道到底在哪。

让我们今天“打破砂锅问到底”,来看看AI评测“到底是怎么测的”。

手机芯片领域的AI算力评测,是一项争议和复杂度远超想象的工程。今天为数不少的AI评测报告,或许都欠缺一抹严肃与逻辑自洽能力。

都想当“江湖百晓生”:风起云涌的AI芯片评测

看过《小李飞刀》系列的人都知道,排兵器谱的江湖百晓生虽然本身武力值不高,但江湖地位卓然不群。而今在AI高速前行的时代,给AI芯片排名这件“差事”,自然也是诱惑力十足。

在服务器AI芯片领域,很多组织和机构都在酝酿算力评测方案。国内的中国人工智能产业发展联盟(AIIA)已经多次组织学界与产业界研讨AI算力评测方案,并已有相关讨论稿。而在海外,谷歌、英伟达等AI巨头也在酝酿AI算力评测的相关章程,希望建立国际范围内通行的AI芯片测试标准。

而在手机芯片领域,这两年随着麒麟970开始搭载独立的NPU处理单元,之后苹果在A11中开始跟进,在A12中搭载了具备相当算力的AI加速模块;今年骁龙855也采取了专用加速模块的架构,联发科也讲起了AI故事,手机芯片基本已经在AI方向上达成了共识。那么如何来评价每一家的AI加速能力,自然成为了新的迫切需求。

目前,移动和电信都在组织自己的手机AI芯片评测报告。鲁大师很早就推出过一个AI跑分规则,引发了很多争议,而它的竞品安兔兔也在酝酿AI领域的评测。在国外,苏黎世理工ETH也发布了SoC的AI性能评测方案AI Benchmark。

 

然而如果有朋友看过不同的端测AI评测报告,可能会发现这样一个问题:各家评测结果出入很大,经常陷入“公说公有理”的状态。

这背后的根本原因在于,AI加速并不是一个通用计算能力,而是面向不同任务、不同网络模型给出的差异化提速效果。甚至每款芯片能够覆盖的AI加速任务种类都有极大不同。举个例子,短跑选手之间可以比赛排名,田径队和体操队碰上了怎么比呢?

十分为难的评测方,在今天这个缺乏统一标准的AI评测时代,基本只能采取一种办法:不管那么多,先测了再说。

于是,片面的标准和随之而来的混乱,是AI评测这个行当的当前状态。

“比武”也要讲逻辑:不全面AI评测的隐忧

今天AI评测最大的问题,在于每家芯片厂商最开始做AI专项加速的时候,对这门复杂技术有着不同的理解。摸索期过去,当各自作品“登上舞台”,评测机构可能会有点傻眼:这谁跟谁都不一样,可怎么测啊……

在AI没有通用接口的前提下,各家SoC厂商可能会选择各自的兼容格式,不同的编程接口,以及不同的计算框架。甚至对于AI加速单元到底要为哪些AI任务加速,各家厂商的选择都是不同的。

在这种情况下,如何将评测项目快速上马?最简单粗暴的逻辑,就是找一个大家都能做的来测一下。

鲁大师的AI跑分之所以饱受质疑,原因就在于它只用了一个AI识图的任务来测试不同的手机,然而AI识图只是众多应用中很小的一部分。甚至数据集和算法的不同,也会让AI识图这件事产生相差悬殊的结果。这种单一任务决定分数高低的测试方法,有点像一张试卷只有一道选择题——显然是无法做到公允的。

即使评测机构想要把逻辑做的更复杂一点,在今天很可能依旧无法摆脱“折中主义”的评测思路。

比如说,不久之前发布的《中国移动2018年智能硬件质量报告》把骁龙855和麒麟980的AI性能进行了评测对比。然而我们如果看一下这个评测的逻辑,会发现依旧无法摆脱片面折中的尴尬现象。

 

由于骁龙芯片和麒麟芯片对于AI加速的理解有很大区别,两款芯片加速的AI任务也有很大不同。于是在移动端的AI评测中,其逻辑是寻找两款芯片都能做的AI任务,找到几个典型算法和典型场景,然后进行评测对比;评测标准是,在固定时间内,谁能完成更多的突破分类、图片分割等运算任务,则谁更强。

然而这里首先暴露出的一个问题就是,折中主义方案下依然可能带来不公平。因为很多芯片产品真正擅长,能给消费者带来体验改进的算法加速,可能是对方芯片模块中所不具备的能力,结果却被评测方主动屏蔽了。

这有点像华山论剑中,强行要求东邪西毒南帝北丐分门别类进行比试。主办方一琢磨,北丐会降龙十八掌,东邪会落英神掌,那公平起见你们就比掌法好了。然而北丐的掌法是看家本领,东邪的掌法只是十大神功之一,弹指神通玉箫剑法之类的,都被主办方强行禁止了。

不全面的折中方案,其实恰好意味着不公平。然而这也是在仓促起事的AI评测中难以避免的。

更深层次的问题在于,折中主义方案其实是妥协于今天已经比较完善、容易得出分数对比的AI模型,比如图像分类等等。然而问题来了,端侧AI必然是不断发展的,用户对AI算法的复杂度也在日益提升。当AI算力和应用不断发展,用户不会只满足于拍照识图这种极简单,并不需要强劲算力的AI应用。然而对复杂算法的加速,也因为标准难以统一被今天的AI评测屏蔽了。

比如说,中移动的评测报告中提到了麒麟980对于浮点运算的加速能力更好。游戏玩家可能更清楚浮点运算这一概念,在游戏中任务的运动效果、打击感、与自然环境的贴合度,都是由处理器对浮点型任务的支撑能力决定的。复杂网络和高精度的AI任务想要运行,往往需要强浮点计算能力的支持,而这一点的重要性,显然在评测中并没有体现出来,这也导致麒麟980比骁龙855的AI处理能力低了半星。显然,这个结论很难具备说服力。

这里引申出的一个问题就是,抛开精度谈速率,其实是一种不靠谱的算力比较。这就像答题答得快并不意味着成绩好。更快的识图速度如果建立高错误率的基础上,或者只能固定数据集快速识别,拿到现实生活中就识错,那显然也并不意味着AI算力足够强大。

整体来看,今天快速上马的AI评测,根本问题在于想要在缺乏行业通用标准的情况下自己搞一个标准。往往是针对于眼前能获取到的、容易跑分的算法,并且着眼于各家产品间的能力重叠部分,进行测试。

这套逻辑虽然够快,但首先没有看到各家产品的独特性,也没有看到未来大负载的复杂AI任务必将成为主流这一核心趋势。

这种套路下得出的结论,显然难以令人信服。

如何构建相对公允的AI评测方案?

讨论了手机AI芯片评测中的种种不公平,那么是不是有某种方式可以构建相对公允的AI评测机制呢?

说老实话,在今天AI芯片还缺乏行业统一标准,甚至对于行业目标都不甚清晰的状况下,公允的AI算力评测方案是很难确立的。这有赖于整个AI产业与半导体产业的长期工作。

而就今天情况来看,至少我们可以预测到未来公允的AI评测方案的几个主要趋势:

1、着眼于高精准(High Quality)的AI模型加速,而不是目前简单易用的AI方案。从CPU、GPU的逻辑来看,复杂任务一定是评测算力的最高标准。比如今天我们在评测GPU时,都知道开一个画质特别好的游戏作为标准。没有人会用90年代的游戏来评测今天的GPU,这一点在AI评测上同样适用。

2、分任务类别,进行相对详细的AI评测。今天的AI评测集中于图片识别与处理上,然而视频的AI加速、游戏的AI赋能、语音类的AI任务,都需要不同的AI算力赋能方式。相对公允的评测方案,应该建立在对AI任务分门别类,构建一整套评测机制的前提下。

3、浮点计算是AI评测的重要方面。AI的精准度,会是未来提升用户体验的主要方向。比如说视频里的抠图、高精人像留色等等,这都需要浮点运算能力对AI的支持。这种直接提升用户体验的能力,应该纳入AI评测重点考虑的范畴。

 

4、从应用端的体验来评测AI算力。AI任务的最终目的是应用,那么从应用体验角度,通过完整的AI应用来测试加速效果,构建围绕用户的核心坐标系来反向测评硬件算力,也是一个可以探索的方案。让AI评测回到以用户为重心,显然比折中主义方案更加靠谱。

当然了,到底如何构建一个评测方案,将未来趋势、用户体验等维度完整纳入AI算力的测试范畴,是一项任重道远的工作。而同时我们也应该注意到,在AI芯片领域,绝不应该构建一个“算力跑分为王”的机制,毕竟消费者是否体验和热爱AI,才是最好的衡量标准。

AI的本质是“经世致用”:评测之外,更应该关注体验赛场

不同于CPU和GPU,AI算力不是在加速某一种恒定的运算任务,而是对千奇百怪的任务构建加速体系。

这或许可以看作AI和经典计算在本质上的区别。AI的本质目标是带来体验差异化。让消费者可以获得有温度、有感知、千人千面的终端体验。换句话说,AI在手机中的归宿,不是数据化表现,而是算力经历产品化之后带给消费者的综合体验。

而消费者最终的感受,其中很大一部分显然是无法用数据来衡量的。但这也不是说移动AI就不应该进行数据评测,而是应该认识到这一产业的复杂性,将那些不好量化的体验维度纳入考量体系。

AI最终能否让消费者体验到真正的价值,依靠的是手机的产品化能力和应用开发者。如果产品端、开发端没有将AI算力进行有效利用,那么再强的算力也是枉然。这就好像仓库里有各种名贵食材,然而厨师不会做或者不想做,那食客也只能望着仓库怆然涕下。

从用户体验出发,反向来思考手机AI的问题,我们会发现最重要的是算力-产品-开发者,三方必须构成有效的组织关系。产品端将AI具象成拍照、视频、游戏等底层能力,开发者将AI幻化成千变万化的脑洞,这样AI才有长治久安的生命力。

这条AI体验的赛道中,今天来看有三个要素构成了竞争力的核心:

1、算力与硬件设备一体化联动能力:为什么骁龙芯片也在强调AI算力,但是大部分安卓机的AI表现却参差不齐?原因在于手机制造商与芯片厂商是脱离的,从技术选择、开发上都将面临不同的问题。而高通需要保证的是全球市场的性价比和可使用性,也不会为单独厂商定制AI算力。于是我们看到,苹果和华为在手机产品的AI化上具有先天优势,搭载骁龙芯片的安卓机想要追赶,必须在硬件与芯片的一体化能力上下更大功夫才行。

2、开发生态的赋能与扶持:如何引导AI开发者走入算法的世界,构建脑洞清奇的AI应用开发,这是一项百川归海的开发者革命。其中需要的或许不仅是强劲算力的支持,还有开发平台的完善,以及商业生态的勾勒。

3、云端一体化能力:直到今天,到底用服务器还是终端来处理AI任务,还是一件具有争议的事情。从无延迟体验和安全性上来说,端侧AI是大势所趋。而从未来趋势上看,云端一体化的AI体验或许才是真正的答案。那么如何从架构、算力、开发平台等多方面保证云端可以在手机背后无缝合作,是值得深思的问题,这也是让用户收获AI体验的关键一环。

总而言之,AI的任务是“经世致用”,是让用户感觉到设备变得不同——而不是主动阉割各种能力之后的跑分与评测。

中国人是最了解考试这门学问的。今天很多给AI设计的考试,都还处在未经雕琢的原始阶段,颇有点让AI写八股文的影子。

一场完善的AI考试,是整个行业所强烈期待的,但是心急不能解决问题。无论是AI评测还是AI本身,都还是一场山高路远的冒险。

 

欢迎搜索关注钱塘号的微信公众号: 定时推送,福利互动精彩多

14

相关阅读

评论
评论

0/500

最新评论

点击加载更多评论
X

请先登录

登录
忘记密码?

没有注册? 注册

已有账号登录
X

注册

>>>请拖动滑块完成拼图>>>

注册
已经注册? 登录
X

找回密码

>>>请拖动滑块完成拼图>>>

确定