以大模型和内容生成为代表的新一代人工智能技术已经对科学研究、工程应用和社会发展产生变革性影响，我国人工智能技术的发展和应用存在哪些困难和挑战？大模型如何赋能千行百业？本报告将分析我国人工智能生态的发展现状和挑战，并介绍清华大学计图（Jittor）深度学习框架的创新，以及基于计图框架的大模型推理、训练和专用大模型的实践，包括 Jittor 的元算子融合机制、统一计算图、软硬件协同优化与国产芯片支持、大模型推理与分布式训练加速、代码大模型等。

量子物理的百年发展深刻地改变了人类对微观物质世界的理解，极大地推动了现代科技的进步。然而，如何跨越从微观到宏观、从物理发现到产业应用的巨大鸿沟，是当今量子科学研究面临的重大挑战。与此同时，人工智能（AI）也经历了近百年的演进，正掀起一场新的科技革命。本报告将针对量子物理与 AI 的前沿交叉领域，探讨量子物理的实验、理论和计算如何与 AI 技术相结合，并探索这一融合带来的潜在创新与突破。以计算物理为例，AI 技术的引入为其突破精度效率瓶颈、迈向智能化提供了全新机遇。基于量子力学基本原理的第一性原理计算能够提供大规模的微观层面的计算数据，其与 AI 的初步结合已展现出广阔的发展前景，为实现 AI 驱动的新物理与新材料发现提供了全新思路。可以预见，量子物理与 AI 的深度融合将深刻影响未来科技的发展。

近年超大规模预训练模型取得突飞猛进的发展，OpenAI 发布大规模自然语言预训练模型 GPT-4、4o、sora，语言、推理还有使用工具的能力都大大加强，实现多模态融合。本报告介绍团队自研的支持 40 多款国产芯片GLM 系列模型，并分享对于 AGI 的一些思考，同时分析一下未来的 AI 之路和可能面临的技术挑战。开源代码库：https://github.com/THUDM/  GLM 模型：https://chatglm.cn  MaaS 平台：https://bigmodel.cn 

以大模型为特征的生成式人工智能近年来迅猛发展，正深刻影响并变革着科学技术的研究范式与工业革命进程。按照流行的认识 ，大模型的能力之所以强大源自它可能存在的智能涌现（Intelligent Emergence）。然而 ，什么是智能涌现？是什么要素摧生了智能涌现？大模型在什么情况下才会出现智能涌现？对这些问题充满着疑惑和争论。本报告提出一个数学框架和数学理论来对此加以解析。我们的核心思想是：利用三元随机函数ℰ(N,P,∂ℓ)来度量大模型泛化性 ，利用 ℰ(N,P,∂ℓ)的极限行为/极限速度(N→∞,P→∞,∂ℓ→0)来度量大模型的尺度变化律(Scaling Law) ，并以此为基础来解译智能涌现，这里 N是用以训练大模型的数据规模 ，P 是模型尺寸(包含参数个数) ，∂ℓ 是训练损失达到极小的程度。我们定义“极限架构”这一无穷维系统概念 ，说明大模型智能涌现的新特征/新行为即是该极限架构的特征和行为(其泛化能力由 ℰ(∞,∞,0)度量)。我们提出 ℰ(N,P,∂ℓ)- ℰ(∞,∞,0)的标准误差分解 ，即将其分解为权值误差 ℰ(N,P,∂ℓ)- ℰ(N,P,0)，架构误差 ℰ(N,P,0)- ℰ(N,∞,0)和样本误差 ℰ(N,∞,0)- ℰ(∞,∞,0)之和 ，然后分别应用随机逼近工具、非线性 Lipschitz 算子工具 ，无限维 Bayes 估计工具来对这些误差进行估计。最终 ，我们获得了大模型泛化误差的如下极限速度估计：∣ℰ(N ,P,∂ℓ)- ℰ(∞,∞,0)≤〖β(N,P)〗^(1/‖∂l‖^2 )〖+O( (Lip(T))〗^P)∨O(e^(-m(A) ln⁡f()P ) )+〖O(N〗^(-(α+κ)/(2α+2κ+d)))其中，β(N,P)<1（随 N,P 趋于无穷趋于 1），Lip(T) ，m(A)分别是大模型基块的 Lip 数和 Dahlquits 数，α是真解的光滑性程度 ，κ是与网络架构组装方式相关的常数 ，d 是数据的维数。根据这一估计 ，我们发现：1）大模型泛化性能与模型规模的尺度率在亚指数率与指数律之间；2）大模型泛化性能与训练数据规模的尺度率为亚指数率；3）当大模型的权值最优设定 ，而且其基块满足 Lip(T)<1 或 m(A)>0 时，模型规模、训练数据规模趋于无穷将导致大模型出现智能涌现。对于线性大模型情形 ，我们进而应用大维随机矩阵理论详细刻画了大模型的极限行为 ，导出了模型尺寸与训练数据规模的最优配置律，展现了大模型完全不同于小模型的统计学习规律。最后 ，我们提出与本研究直接关联的系列公开问题。

人工智能与生命科学的结合正在产生一个新的科研范式，即将引发一场新的科学革命，其范畴很可能远超出生命科学本身。本报告将讨论这一领域的现状、前景、机遇和挑战。