##核心技术情况：
公司的第五代智能处理器微架构、第五代智能处理器指令集均在研发中。新一代智能处理器微架构的升级除了在编程灵活性、性能、功耗、面积等方面能够大幅提升产品竞争力之外，还针对新兴的智能算法重点应用领域，比如广告推荐系统、新兴自然语言处理算法等进行了重点优化，能够大幅提升产品在相关领域性能的竞争力。
##云端新产品思元370情况：
思元 370 是寒武纪首款采用 Chiplet（芯粒）技术的云端智能芯片。在一颗芯片中封装 2 颗人工智能计算芯粒（MLUDie），每一个 MLU-Die 具备独立的人工智能计算单元、内存、IO 以及MLU-Fabric 控制和接口，通过 MLU-Fabric 保证两个MLU-Die 间的通讯。
思元 370 通过不同 MLU-Die 组合出了三款不同规格、符合不同场景需求的加速卡产品LU370-S4、MLU370-X4、MLU370-X8，在同样的研发费用之下，满足了更多市场需求。MLU370-S4体积小巧、能效出色，可在服务器中实现高密度部署，适合于对计算密度要求较高的数据中心场景。MLU370-X4 主要面向互联网行业等推理任务或训推一体场景，适合于对单卡算力需求较高的应用场景。MLU370-X8 搭载双芯片四芯粒思元 370，集成寒武纪 MLU-Link™多芯互联技术，主要面向对算力和带宽要求较高的训练任务，在业界应用广泛的YOLOv3、Transformer 等训练任务中，8 卡计算系统的并行性能平均达到 350W
RTX GPU 的 155%。
##软件平台及生态方面：
公司的基础系统软件平台主要包括训练软件平台和推理软件平台。训练软件平台支持丰富的图形图像、语音、推荐以及训练任务，在实际训练业务中达到业界较为领先的硬件计算效率；同时提供模型快速迁移方法，帮助用户快速完成现有业务模型的迁移。对于推理软件平台，公司新增推理加速引擎MagicMind，在 MLU、GPU、CPU 训练好的算法模型上，借助 MagicMind，用户仅需投入极少的开发成本，即可将推理业务部署到寒武纪全系列产品上，并获得颇具竞争力的性能。
问：公司的基础系统软件平台目前分为训练软件栈和推理软件栈，请分别介绍下最新的优化进展。
答：公司持续推进基础系统软件平台的优化和迭代工作：
1.针对推理软件平台，公司持续完善了推理加速引擎 MagicMind及其周边生态。功能上，MagicMind 持续增加分通道量化、权值热更新等基础特性，算子支持数持续增加，公开Benchmark模型和非公开私有模型支持数量持续增加，最新版本已全面支持图像分类、视频理解、语义分割、相似度检测、文本检测、OCR、语音处理、自然语言处理、搜索、推荐等多领域的云边端推理业务。模型部署优化上，支持了 QAT 模型直接部署。性能上，MagicMind 持续优化内部实现，在上述多个领域的典型模型上，均取得不弱于同规格友商产品的性能表现。周边生态上，公司完成了 MagicMind 到主流机器学习框架ytorch、Tensorflow 的集成，使得寒武纪Pytorch、Tensorflow 用户无需做代码迁移也能够享受 MagicMind 带来的推理性能加速，更好地支撑了训推一体战略。
2.对于训练软件平台，功能上，Pytorch 增加了新版本的支持，算子覆盖度达到 70%，Tensorflow 的算子数量及交付网络模型均有所增加；加强了对 PaddlePaddle 的支持，分布式训练框架 Horovod 增加了对 XLA 的支持，支持 MoE 模型分布式训练。最新版本软件栈已全面支持图像分类、视频理解、语义分割、相似度检测、文本检测、OCR、语音处理、自然语言处理、搜索、推荐等多领域的训练业务。性能上，Pytorch 框架层通过 IO 类算子融合等优化，明显提升了带宽密集类模型的性能；TF 通过支持 XLA，对 Bert 模型实现了 1.9 倍的性能提升。周边生态上，推出了开源算子库 mluops，支持 BangC 和 BangPy两种开发语言，社区已开始基于两种开发语言编写和提交新算子。开源算子库可以汇聚社区的力量丰富算子生态，同时也能方便社区开发者学习算子开发技术，降低算子开发门槛。公司会持续与社区合作，推进开源算子库继续完善。
加载中，请稍候......
喜欢
加载中…