芯片革命阿里含光800 AI处理器闪耀登场GPU对手无力匹敌
2019年杭州云栖大会上,阿里巴巴集团首席技术官兼阿里云智能总裁张建锋在简短的介绍中推出了阿里的第一款AI芯片——含光800。这款当时最强大的AI推理芯片的发布不仅引发了巨大的关注,也可以说是高调亮相。
今年的线上云栖大会有一个芯片设计发展现状与未来的论坛,阿里云异构计算产品研发总监龙欣分享了含光800推出近一年后的最新进展。他表示:“含光800 NPU实例已经正式对外服务,不需要白名单就可以在阿里云实例上购买,实例名称是ebman1.24xlarge,最多支持8核NPU和96核vCPU,384G内存,网络带宽最高达到30Gbit/s。主要面向数据中心的CNN类型模型推理加速,业务包括城市大脑、图像视频审核、拍立淘等。”
更令人关注的是含光800在具体应用中的表现。虽然它还未对外发售,但其性能通过阿里云输出。在去年的文章中提到过科技巨头自研芯片是因为有大量数据,在内部的AI需求驱动下,以提升效率和性价比为目的。周五线上的分享中,龙欣也指出,这种自研芯片正受到广泛应用,其中包括电商应用、视觉应用、语音交互以及自然语言理解等。
例如拍立淘,每天会处理2000万用户使用图片搜索商品库中的4000亿张图片,并进行个性化推荐,这要求极强的人工智能能力。而为了提升这种硬件到软件方案上的性价比,加速卷积和矩阵乘,以及针对ResNet-50、SSD/DSSD、Faster-RCNN、Mask-RCNN及DeepLab等模型优化都是关键点。
据报道,在业界标准ResNet-50测试中,其推理性能达到了78563 IPS,比目前业界最好的AI芯片性能高4倍;能效比500 IPS/W,是第二名3.3倍之高。不过在昨天分享中并没有提及峰值性能,而是在强调其可用性:作为未曾公开市场销售的芯片,它通过阿里云输出提供服务。
为了让包含NPU驱动和SDK,让购买实例用户能够自动安装系统方面支持公共镜像CentOS 7.6/7.7和Ubuntu 16.04,还预装主流深度学习框架,如TensorFlow和MXNet示范教程。此外龙欣强调,该产品适用于数据中心或大型端口设备,以CNN类模型推理加速为主,可扩展到其他DNN模型。在三大场景落地后,其表现显示GPU相比之下提高了4至11倍性能。
去年给出的案例展示了如何利用含光800加快行人检测(100路视频)与车辆检测(85路视频)的速度,以及直播增强(500 FPS)、点播HDR(66 FPS)功能。在这些场景下的实际操作效果显著超越传统GPU,使得涉足内容识别领域的大量企业感兴趣,同时也揭示了未来可能出现更多竞争力新的硬件解决方案。