触觉复苏奇迹阿里含光800 AI芯片在三大场景中展现超越GPU的卓越性能瘫痪男子大脑植入芯片后感受前
在2023年的一次线上云栖大会上,阿里巴巴集团的首席技术官兼阿里云智能总裁张建锋再次推出了他们自研的AI芯片——含光800。这款芯片在2019年的杭州云栖大会上首次亮相时,就以其强大的性能和高调的发布方式赢得了广泛关注。
一年后,阿里云异构计算产品研发总监龙欣在今年的线上论坛中分享了含光800推出近两年的最新进展。他宣布,含光800 NPU实例已经正式对外服务,无需白名单即可在阿里云实例上购买。该实例支持8核NPU和96核vCPU、384G内存,以及网络带宽最高达到30Gbit/s,主要面向数据中心的CNN类型模型推理加速,其业务包括城市大脑、图像视频审核以及拍立淘等。
更值得注意的是,这款未对外发售的芯片性能通过阿里云输出。据雷锋网去年报道,科技巨头自研芯片是因为有大量数据,在内部AI需求推动下,以提升效率和性价比为目的。而龙欣也指出,阿里巴巴内部拥有广阔的AI应用场景,如电商应用、视觉应用、语音交互、自然语言理解以及机器翻译等。
一个典型案例就是拍立淘,它拥有两千多万日活用户,每天需要通过一张图片搜索4亿多商品,并且进行个性化推荐,这就需要极强的AI能力。因此,阿里的目标是通过自研硬件到软件方案来提升性价比。在硬件方面,含光800具有深度优化CNN及视觉类算法,加速卷积和矩阵乘,以及针对特定模型如ResNet-50、SSD/DSSD、高能效低延时、高密度计算与存储等优化功能。此外,还提供软硬协同支持权重稀疏压缩和量化压缩,以及可编程模型扩展指令集。
尽管去年发布时张建锋提到含光800在业界标准ResNet-50测试中的性能达到了78563 IPS,比目前业界最好的AI芯片性能高4倍;能效比500 IPS/W,是第二名的3.3倍,但是在昨天分享中并没有提及峰值性能,而是强调其可用性。为了让用户能够开箱即用,Arizone提供自动安装NPU驱动和SDK系统支持公共镜像CentOS 7.6/7.7 和Ubuntu 16.04,并预装主流深度学习框架,如TensorFlow 和 MXNet。
具体到三大场景中的表现,其中包含城市大脑、大规模图像视频识别以及直播内容增强等领域,都展示了含光800相对于GPU有4-11倍甚至更高级别提升。此前给出的数据显示,在行人检测中,可同时处理100路视频;车辆检测则可以处理85路视频;而在短视频内容识别中,可以实现帧率20000 FPS,对于点播HDR,则可实现66 FPS,与传统GPU相比,大幅提高了性能加速水平。但至于语音交互或自然语言理解方面具体优势尚未公布详细数據。
虽然这一次共享与去年相比略显简洁,而且由于当前贸易紧张关系可能导致话题更加谨慎,但我们仍然看到了一个事实:即便有强大的团队迅速设计出一款芯片,大规模落地依旧需要长时间,这个过程软件发挥着直接作用,同时获得客户认可也并不容易。未来是否会看到新的版本或者其他创新产品,只待时间证明。不过,从现在的情况来看,即便如此挑战性的项目,也不能阻止技术创新者的脚步,他们继续追求卓越,为数字经济贡献力量。