白家电

在科技的盛宴上阿里含光800这颗神秘的芯片悄然登场它携带着AI处理器的新希望据说在三大关键场景中这颗

在阿里巴巴集团的云栖大会上,首席技术官兼阿里云智能总裁张建锋向世界展示了公司的新希望——含光800,这是一款专为AI处理器设计的芯片。它以高调亮相赢得了科技界的关注。

一年后,阿里云异构计算产品研发总监龙欣在2020年的线上云栖大会上更新了含光800的情况。在那次分享中,他指出,尽管含光800并没有对外发售,但其NPU实例已经正式开放,对外服务,不需要白名单即可购买。该实例名为ebman1.24xlarge,它支持8核NPU和96核vCPU、384G内存,以及最高30Gbit/s的网络带宽。主要面向数据中心CNN类型模型推理加速,并应用于城市大脑、图像视频审核以及拍立淘等领域。

更令人振奋的是,在具体应用中的表现如何?据雷锋网去年的一篇文章所述,自研芯片是因为有大量数据驱动内部AI需求,以提升效率和性价比。此时周五的分享中,龙欣再次强调了这一点:内部有广阔的AI应用,如电商应用、视觉应用、语音交互、自然语言理解和机器翻译等。

拍立淘作为一个典型案例,其用户每天使用图片进行搜索,从4亿多商品库中寻找合适商品,而这项功能依赖于极强的AI能力。因此,阿里巴巴希望通过自研硬件方案来提升性价比。

含光800在硬件方面展现出三个特色:深度优化CNN及视觉类算法,加速卷积与矩阵乘法,以及针对特定模型如ResNet-50、SSD/DSSD、高能效低延时设计,并且支持权重稀疏压缩以及量化压缩,同时提供可编程模型扩展。

至于性能测试,与去年发布时相比,此次分享未提及峰值性能,而是重点强调其可用性。实际操作中,由于不在公开市场销售,通过阿里云输出。这意味着购买实例可以自动安装NPU驱动和SDK,同时系统支持公共镜像CentOS 7.6/7.7和Ubuntu 16.04,还预装主流深度学习框架,如TensorFlow 和 MXNet 等,为用户提供示范教程。

三大场景中的性能提升情况如下:

在城市大脑实时处理杭州主城区交通视频,比传统GPU快40倍。

拍立淘商品库每天新增10亿商品图片,比传统GPU识别时间从1小时缩短至5分钟。

行人检测支援100路视频,比主流GPU25路性能提升4倍;车辆检测支援85路视频,比主流GPU10路性能提升8.5倍;ResNet50 V2 模型帧率达到20000 FPS,比主流推理GPU1800 FPS性能加速11倍;Inception V4 模型5000 FPS,比460FPS性能加速10.8倍;直播视频增强500 FPS,对比50 FPS增加10倍;点播HDR66 FPS,可以实现6.6倍加速比。

然而,没有关于语音交互或自然语言理解等语言方面应用示例。在今年云栖大会上的介绍较少,也没有引起太大的关注,这可能是由于当前贸易关系紧张而采取谨慎态度。此外,即使拥有强大的团队快速设计芯片,大规模落地仍需长时间软件配合工作才能获得客户认可与采用,因此涉及到更多挑战。而对于下一代AI芯片何时推出,则尚无明确消息。