AI框架发展白皮书（2022年）.pdf

AI 框架发展白皮书 中国信息通信研究院 2022年2月 No.202201 （2022 年） 版权声明 本白皮书版权属于中国信息通信研究院，并受法律保护。转载、摘编或利用其它方式使用本白皮书文字或者观点的，应注明“来源：中国信息通信研究院”。违反上述声明者，本院将追究其相关法律责任。 前 言 AI 助力当前经济社会步入智能经济时代。世界正在进入以新一代信息技术驱动发展的重塑时期，人工智能（AI，Artificial Intelligence）作为其中重要的使能技术，对激活实体经济具有溢出带动性很强的“头雁效应”，对构筑国家科技影响力具有举足轻重的意义。人工智能成为了全球各国新的科技热点，人工智能基础设施建设也成为重要抓手与着力点。未来十年是全球发展数字经济、迈入智能经济社会的黄金发展期，着力发展人工智能基础设施，将为我国人工智能产业发展壮大、数字经济蓬勃发展提供强大牵引力。 AI 框架是智能经济时代的操作系统。作为人工智能开发环节中的基础工具，AI 框架承担着 AI 技术生态中操作系统的角色，是 AI学术创新与产业商业化的重要载体，助力人工智能由理论走入实践，快速进入了场景化应用时代，也是发展人工智能所必需的基础设施之一。随着重要性的不断凸显，AI 框架已经成为了人工智能产业创新的焦点之一，引起了学术界、产业界的重视。 在此背景下，白皮书致力于厘清 AI 框架的概念内涵、演进历程、技术体系与作用意义，通过梳理总结当前 AI 框架发展现状，研判 AI框架技术发展趋势，并对 AI 框架发展提出展望与路径建议。由于 AI框架仍处于快速发展阶段，我们对 AI 框架的认识还有待持续深化，白皮书中存在的不足之处，欢迎大家批评指正。 目 录 一、 AI 框架技术持续演进，已形成较为完整的体系 ............................................ 1 (一) AI 框架演进步入深化阶段 ........................................................................ 1 (二) AI 框架技术演化出三个层次 .................................................................... 5 (三) AI 框架重要性愈加突显 .......................................................................... 13 二、 全球 AI 框架繁荣发展，多元化竞合态势渐显 ............................................. 14 (一) 供给主体方面，企校贡献最活跃 .......................................................... 14 (二) 开源生态方面，全球进入活跃期 .......................................................... 16 (三) 市场格局方面，双寡头持续引领 .......................................................... 18 (四) 支撑应用方面，科研与产业齐驱 .......................................................... 20 (五) 推广途径方面，三条路齐发并进 .......................................................... 25 三、 应对未来多样化挑战，AI 框架有六大技术趋势 .......................................... 27 (一) 泛开发：AI 框架将注重前端便捷性与后端高效性的统一 ................. 27 (二) 全场景：AI 框架将支持端边云全场景跨平台设备部署 ..................... 28 (三) 超大规模：AI 框架将着力强化对超大规模 AI 的支持 ....................... 29 (四) 科学计算：AI 框架将进一步与科学计算深度融合交叉 ..................... 31 (五) 安全可信：AI 框架将助力提升 AI 模型可解释性与鲁棒性 ............... 32 (六) 工程化：AI 框架将加速 AI 应用产业规模级工程化落地 ................... 34 四、 AI 框架生态远未成熟，未来发展空间可观 .................................................. 36 (一) 从硬件适配向算子接口标准化演进 ...................................................... 36 (二) 强化开源社区打造与开源氛围营造 ...................................................... 36 (三) 重视与高校科研院所广泛开放合作 ...................................................... 37 (四) 推进融入 AI 基础设施布局落地 ............................................................ 37 (五) 支持深度赋能大模型及科学计算 .......................................................... 38 图 目 录 图 1 AI 框架技术演进 ................................................................................................ 2 图 2 AI 框架核心技术体系 ........................................................................................ 5 表 目 录 表 1 Github 社区中主流 AI 框架情况（2022.1） .................................................. 16 表 2 Gitee 社区中主流 AI 框架情况（2022.1） .................................................... 18 AI 框架发展白皮书（2022 年） 1 一、AI 框架技术持续演进，已形成较为完整的体系 AI 框架是 AI 算法模型设计、训练和验证的一套标准接口、特性库和工具包，集成了算法的封装、数据的调用以及计算资源的使用，同时面向开发者提供了开发界面和高效的执行平台，是现阶段AI 算法开发的必备工具。当前，人工智能基础性算法理论研究创新日益活跃，深度神经网络日趋成熟，各大厂商纷纷投入到深度神经网络算法的工程实现并发力建设算法模型工具，进一步将其封装为软件框架供开发者使用，这个过程中 AI 框架（业界也称 AI 开发框架、深度学习框架等）应运而生。AI 框架负责给开发者提供构建神经网络模型的数学操作，把复杂的数学表达转换成计算机可识别的计算图，自动对神经网络进行训练，得到一个神经网络模型用于解决机器学习中分类、回归的问题，实现目标分类、语音识别等应用场景。 (一) AI 框架演进步入深化阶段 结合人工智能的发展历程和 AI 框架的技术特性来看，AI 框架的发展大致可以分为四个阶段，分别为萌芽阶段（2000 年初期）、成长阶段（2012~2014 年）、稳定阶段（2015 年~2019 年）、深化阶段（2020 年以后）。其发展脉络与人工智能，特别是神经网络技术的异峰突起有非常紧密的联系。 中国 AI 框架发展白皮书（2022 年） 2 来源：中国信息通信研究院 图 1 AI 框架技术演进 萌芽阶段：受限于计算能力不足，这一阶段的神经网络技术影响力相对有限，因而出现了一些传统的机器学习工具来提供基本支持，也就是 AI 框架的雏形，但这些工具或者不是专门为神经网络模型开发定制的，或者 API 极其复杂对开发者并不友好，且这些工具并没有对 GPU 算力进行支持。这一阶段的 AI 框架并不完善，开发者不得不进行大量基础的工作，例如手写反向传播、搭建网络结构、自行设计优化器等。 成长阶段：2012 年，Alex Krizhevsky 等人提出了一种深度神经网络架构，即著名的 AlexNet，在 ImageNet 数据集上达到了最佳精度，并碾压第二名，引爆了深度神经网络的热潮。自此极大地推动了 AI 框架的发展，出现了 Caffe、Chainer 和 Theano 等具有代表性的早期 AI 框架，帮助开发者方便地建立复杂的深度神经网络模型，如 CNN、RNN、LSTM 等。不仅如此，这些框架还支持多 GPU 训AI 框架发展白皮书（2022 年） 3 练，让开展更大、更深的模型训练成为可能。在这一阶段，AI 框架体系已经初步形成，声明式风格和命令式风格为之后的 AI 框架趟出了两条不同的发展道路。 稳定阶段：2015 年，何恺明等人提出的 ResNet，再次突破了图像分类的边界，在 ImageNet 数据集上的准确率再创新高，也终于凝聚了产业界和学界的共识，那就是深度学习将成为下一个重大技术趋势。在这一到两年里，Google 开源了著名的 TensorFlow 框架，它至今仍是机器学习领域最流行的 AI 框架。Caffe 的发明者加入了Facebook（现更名为 Meta）并发布了 Caffe2；与此同时，Facebook AI 研究团队也发布了另一个流行的框架 PyTorch，该框架拓展自Torch 框架，但使用了更流行的 Python API。微软研究院开发了CNTK 框架。Amazon 采用了 MXNet，这是华盛顿大学、CMU 和其他机构的联合学术项目。国内的百度则率先布局了 PaddlePaddle 飞桨深度学习框架并于 2016 年发布。 TensorFlow 和 CNTK 借鉴了 Theano 的声明式编程风格，而PyTorch 则继承了 Torch 的直观和开发者友好的命令式编程风格。Francois Chollet 几乎是独自开发了 Keras 框架，该框架提供了神经网络和构建块的更直观的高级抽象。同时各种 AI 框架不断进行迭代，为框架提供各种面向高效友好开发的核心组件，例如几乎所有AI 框架都支持的自动微分能力，TensorFlow 提供了分布式版本的AI 框架和支持 iOS 系统的能力，PyTorch 则在完全拥抱 Python 的基中国 AI 框架发展白皮书（2022 年） 4 础上提供了一整套包括优化器、库函数、API 工具等支持。AI 框架迎来了繁荣，而在不断发展的基础上，各种框架不断迭代，也被开发者自然选择。 经过激烈的竞争后，最终形成了两大阵营，TensorFlow 和PyTorch 双头垄断。2019 年，Chainer 团队将他们的开发工作转移到PyTorch；Microsoft 停止了 CNTK 框架的积极开发，部分团队成员转而支持 PyTorch；Keras 被 TensorFlow 收编，并在 TensorFlow2.0版本中成为其高级 API 之一。 深化阶段：随着人工智能的进一步发展，新的趋势不断涌现，例如超大规模模型的出现（GPT-3 等），向 AI 框架提出了更高的要求。随着人工智能应用场景的扩展以及与更多领域交叉融合进程的加快，越来越多的需求被提出，如对全场景多任务的支持、对高算力的需求等，这就要...