强强联手，邀你来测！九源联合体构筑 AI 加速卡权威评测体系
九源智能计算系统生态联合体（英文名称：China9S Intelligent Computing Ecosystem Alliance，缩写：China9S ICEA），是由启元实验室牵头，国内智能计算系统领域企事业单位、高等院校、科研院所、社团组织及行业用户等，基于自愿、平等、互利、合作原则结成的跨行业、开放性、非营利性社会组织。
为进⼀步推动人工智能算力评测体系的标准化与权威化建设，联合体理事长单位启元实验室与副理事长单位正式达成评测合作，双方将在评测能力、报告体系及技术方案等方面展开深度协同，凭借各自在人工智能领域的深厚积累和强大实力，共同推动智能加速卡及相关计算平台的评测质量迈向新高度，为国产智能计算生态的建设贡献重要力量。
合作框架：三层级评测互认与协同机制
本次合作构建了分层递进的评测互认与联合机制，具体分为以下三个层次：
评测报告互认机制
双方在各自独立开展评测工作的基础上，实现评测报告的跨机构互认。凡加盖理事长单位启元实验室印章的评测报告，副理事长单位予以认可；反之亦然。这一机制打破了机构之间的壁垒，提高了评测报告的通用性和可信度。
联合评测机制
双方共同承担评测任务的执行与质量把控，最终评测报告由联合体理事长单位启元实验室与副理事长单位联合署名、双章出具，进一步提升报告的专业性与权威性。
官方评测认证协调
在前述互认与联合评测基础上，双方进一步探索引入“官方评测认证”体系：
- 在满足更高标准的评测要求下，引入第三方权威认证机制；
- 涉及该层级的测试技术方案由启元实验室负责出具；
- 最终形成三方认证的评测报告，分别加盖官方认证机构、理事长单位启元实验室及副理事长单位印章。
目前，相关认证流程与技术细则正在持续完善中，后续将在具体评测项目中逐步落地实施，更多细节及实践案例将陆续发布，敬请关注。
评测技术方案开源与共享：推动行业透明化与统一化
为了促进评测体系的透明化与可复现性建设，启元实验室同步推进核心评测技术方案的开源与共享。当前发布的《智能加速卡测评方案》围绕公平性（黑盒评测）、可复现性、全面性等核心原则构建。
公平性（黑盒原则）：所有评测均采用统一的、内部定义的输入数据与测试配置，不公开具体输入输出、算子规模或批处理设定，确保不同平台比较的客观公平性。
可复现性：评测流程、指标定义、判断标准均采用规范化设计，使任何平台在标准化环境中均可重复得到一致结果。
全面性：覆盖算子级、框架级、端到端训练、端到端推理及能效表现，适用于大模型与传统模型的典型工作负载。
该方案覆盖算子级、框架级及端到端训练/推理场景，从基础性能（单卡算力、整体算力利用率、通信性能）、可用性（模型训练与推理能力、领域特定语言能力支持）、能效比三大维度展开评测，构建规范化的指标体系与测试流程。
评测方案及开源地址
评测方案地址：https://gxtctab8no8.feishu.cn/docx/LJFid09NooKrkcxagXyc3ShKnXg
开源地址：https://github.com/InfiniTensor/InfiniBench
开源测试方案：全面、先进、开放、简单
硬件测评基于团体标准评测方法，以国际主流芯片的性能作为对标，对送测芯片进行技术规格、软件生态、功能、性能等多维度测试，并按季度产出硬件评测报告。
上海 AI 实验室“司南”的芯片评测工作每季度开展一次，旨在协助芯片厂商更加客观地发现自身软硬件产品的优劣势，促进产品迭代，同时为算力市场产品选型提供参考依据。此次方案采用英伟达新款芯片测试并更新了全量基准值，AI 芯片评测实施方案新增具身智能仿真评测项目。
该测评目前包含 《AI 芯片评测实施方案》 、《基于大模型的 AI 芯片评测实施方案》 、《面向具身智能渲染及仿真能力的 GPU 评测方案》，特点如下：
- 全面：广泛涵盖送测芯片的基础技术规格、软件生态、传统模型和算子功能、性能等多方位测试，专注于深入评估大模型训练、微调、推理支持能力以及模型训练的稳定性指标。
- 先进：评测方案与人工智能领域的发展同步更新，按季度调整以反映学术和行业进展，积极吸纳参评单位的合理建议，持续演进和完善。
- 开放：评测方案和代码完全开放，确保评测过程公平、公正、透明，为所有参与者提供公平竞争和透明的环境。
- 简单：提供易于执行的评测方案，包括完整的实施指南、数据收集工具和评测代码，并提供及时的技术咨询服务，确保评测流程顺畅无阻。
硬件测评可作为芯片生产厂商、应用厂商、前场销售及第三方机构对深度学习训练芯片进行设计、采购、评测的参考，促进技术、市场和用户需求之间的有效连接，助力国内芯片产业的持续繁荣和创新发展。
评测方案获取
DeepLink 硬件评测具体方案、评测流程、周期和代码详见：https://deeplink.readthedocs.io/zh-cn/latest/doc/Chip_test/Introduction.html
诚邀各方参与，共筑评测生态
我们诚挚邀请芯片厂商、应用厂商及第三方机构等多方参与评测工作。通过各方协同推进，不断完善评测体系，提升评测结果的准确性与可靠性，构建面向大模型时代的算力评测体系，促进人工智能产业的健康发展。