阿里云正式发布《AI 原生应用架构白皮书》

人工智能时代，应用构建的核心特征转变为自然语言编程与上下文工程，复杂决策下沉至模型推理环节，实现了业务智能化自适应。这为应用架构带来了全新变革。

然而，在AI应用开发实践中，开发者仍面临诸多挑战：开发阶段依赖模型黑盒特性导致可控性不足与幻觉频发，从原型验证到生产部署需数月调优，核心痛点在于调试效率与业务适配；上线后则面临推理延迟、稳定性波动、安全风险与成本过高等问题，这些折射出企业级AI应用在稳定性、性能、安全与成本控制上的系统性难题。

针对这些挑战，《AI 原生应用架构白皮书》围绕AI原生应用的DevOps全生命周期，从架构设计、技术选型、工程实践到运维优化，对概念和重难点进行系统拆解，并尝试提供解题思路。

白皮书覆盖AI原生应用的11大关键要素，获得业界多位专家联名推荐，汇聚一线工程师实践经验，全书合计超20万字，分为11章。

第 1 章 AI 原生应用及其架构

本章从大模型技术发展切入，阐释了技术突破如何催生应用繁荣，梳理了应用架构的演进路径，明确定义了AI原生应用需要具备的核心能力及其架构成熟度模型，作为企业综合衡量技术实现、业务融合与安全可信水平的参考标准。

应用架构是指导如何系统性地构建应用。在AI原生应用架构下，目标是满足可扩展、可观测、安全合规的同时，最大化释放大模型智能潜力。以下是典型架构，涵盖模型、应用开发框架、提示词、RAG、记忆、工具、网关、运行时、可观测、评估和安全等要素。

在此架构之上构建的AI原生应用，以大模型为认知基础，以Agent为编排和执行单元，以数据为决策和个性化基础，通过工具感知与执行实现智能应用。其核心能力包括大模型推理决策、Agent编排执行、数据优化决策、工具调用与环境连接，标志着智能软件形态的根本性转变。

第 2 章 AI 原生应用的关键要素

本章介绍了构建AI原生应用所需的11个关键要素，并在每节描述各要素的角色和功能，为读者提供全局了解。

1. 大模型：扮演大脑角色，负责核心理解、推理与生成任务，赋予应用灵活的思考与决策能力。
2. AI开发框架：框架各有设计哲学，定位清晰便获开发者青睐，一家独大难以出现。
3. 提示词：Prompt质量直接决定AI生成内容的质量、相关性和准确性。
4. RAG：价值从解决幻觉向赋能业务演进，多模态RAG正助力媒体娱乐领域检索音频视频片段。
5. 记忆：实现会话连贯性、个性化与深度推理，但长期记忆存在保真度损失并增加系统复杂度与延迟。
6. 工具：主流模型厂商已内建工具调用能力，但存在时延、参数准确性、安全鉴权等问题。
7. 网关：解决模型切换、Token经济、语义缓存和内容风控等AI原生需求，为系统带来秩序与安全。
8. 运行时：处理动态不确定性执行计划，需为整个过程提供稳定、高效、安全保障。
9. 可观测：需具备端到端全链路追踪、全栈可观测和自动化评估功能，应对行为不可预测等挑战。
10. 评估：引入LLM-as-a-Judge范式构建高效自动评估系统，推动持续优化与可靠性提升。
11. 安全：从应用、模型、数据、身份、系统和网络五方面构建全栈保护框架。

第 3 章 AI 应用开发框架

本章从开发简单Agent开始，介绍标准智能体开发流程与主流开发范式，围绕工作流模式、对话模式展开，并探讨多智能体、A2A协议的实践，认为多智能体是必然形态。

以某多智能体类型为例，其Agent定义与类继承关系可分为以下3类：

1. ReactAgent：Agent基本定义，多智能体即编排多个ReactAgent协作解决复杂问题。
2. FlowAgent：包含多个ReactAgent按特定流程协作。
   1. SequentialAgent，串行依次执行多个智能体。
   2. ParallelAgent，可并行执行多个智能体。
   3. LoopAgent，循环执行直到满足条件退出。
   4. LlmRoutingAgent，由大模型决策执行哪个智能体。
3. A2RemoteAgent：属于分布式Agent范畴，有独立段落展开。

以下是LlmRoutingAgent模式的基本架构图和工作原理，特点是通过模型决策下一个子智能体走向。

如上图所示，RoutingAgent内置Prompt定义如下，它会根据当前职责、可用子Agent能力、用户请求，使用LLM智能决策下一个流程节点。

第 4 章 上下文工程

上下文工程是提升输出效果的重要手段。本章介绍了提示词、RAG、Memory的定义、功能与业内主流技术方案及演进方向，并提供一线实践，如提示词调优、RAG检索构建与流程优化、多级记忆系统构建等。

上下文工程通过协同工作的核心组件，为LLM构建动态认知环境。

1. 外部知识库动态供给：通过RAG技术从外部来源检索相关信息，结合提示词形成准确实时上下文。
2. 长期与短期记忆系统：短期记忆管理当前对话，长期记忆存储跨周期关键信息，实现连贯个性化交互。
3. 运行时上下文管理：通过压缩、摘要、重排等策略高效管理窗口，提升长上下文处理可靠性。

通过对这些组件的系统性设计与优化，上下文工程为构建高效可靠的AI原生应用提供了坚实基础。

第 5 章 AI 工具

工具是大模型向物理世界延伸的载体，也是上下文工程的一部分。本章介绍Function Calling和MCP两种主流技术，并重点围绕MCP介绍从零构建和基于存量资源改造两种实践路径。

Function Calling虽出现较早，但因规格碎片化、治理缺位等问题导致生态效应不强。MCP以统一协议取代碎片化集成，将模型获取外部数据的方式转为一对多模式，显著简化并提升可靠性，广受开发者欢迎。

但MCP也面临新问题，如工具过多时模型选择困难、上下文长度限制、Token消耗加剧等。白皮书提供了可行应对方案：

1. 基于Nacos MCP Registry，用户将MCP服务统一注册，通过Router根据任务语义筛选最匹配服务。
2. 模型请求经AI网关调用LLM时，利用工具精选能力压缩tool_calls数组数量，提升响应速度与选择精确性。
3. AI网关创建"All-in-One" MCP Server，统一聚合管理所有工具，提供智能语义化检索，实现高效发现与调用。

第 6 章 AI 网关

AI网关是大模型最重要的集成能力之一。本章完整介绍网关演进历程，解释其在架构中的重要性，并探讨基于网关构建AI应用的实践及API与Agent货币化的基础设施。

无论是Single模式、Sub Agent还是Multi Agent，AI网关作为入口中间件发挥关键作用：

1. 多模型袋里：统一入口接收请求，负载均衡到后端模型，实现同接口对接多模型，平衡成本与性能，提升可用性。
2. 多模型回退/容灾：当单模型故障时自动fallover到备选模型，确保服务连续性。
3. 消费者认证：识别请求来源，进行计费、权限管理与个性化服务。
4. 内容安全防护：通过插件在模型请求前后进行内容审查，过滤有害信息，确保安全合规。
5. Token限流：从单个用户和服务总流量两个维度控制调用频率与总量，防止滥用与成本激增。
6. 语义缓存：接入Redis实现缓存，提高效率、降低成本、保持输出一致性。
7. 可观测性：提供详细日志、性能指标监控和端到端链路追踪，支持问题定位与优化。
8. MCP袋里：面向MCP Server提供袋里、安全认证、观测限流等治理能力，支持REST API转MCP及协议卸载。
9. 工具动态组装与路由：经Query改写及Rerank压缩大量工具，降低调用耗时，增加选取准确性。
10. 工具智能路由：将注册的工具集合以MCP形态提供语义搜索，客户端基于Query动态搜索最符合需求的工具。

第 7 章 AI 应用运行时

Agent运行时具有丰富资源供给形态，选型取决于业务场景。本章详细介绍Serverless运行时的演进历程，围绕智能体、工具、沙箱三类方案及降本实践。

从已落地的企业级AI业务用例中，可勾勒出AI应用的共同画像：会话式、工具增强、事件驱动、精益成本。这汇聚成对理想运行时的7大核心诉求：

1. 会话管理：支持会话亲和调度，高效管理长程会话与状态。
2. 流程编排：内建或集成复杂任务流编排能力。
3. 安全沙箱：提供轻量、快速、强隔离的安全执行环境。
4. 极致弹性：对CPU和GPU异构资源按需伸缩。
5. 应用管理：管理十万至百万级应用，创建无额外费用。
6. 一直在线：逻辑长时运行，上下文持久化，请求时恢复，无请求时缩零。
7. 成本效益：匹配AI应用稀疏、不确定的调用模式，实现按价值付费。

白皮书将详细描述Serverless运行时应对这些诉求的解题思路。

第 8 章 AI 观测

大模型驱动的AI应用更加复杂，可观测性是全面洞察的关键。本章介绍AI应用可观测的挑战与应对方式，围绕Agent、AI网关、推理引擎的可观测及端到端全链路追踪的技术实现与实践。

AI应用面临传统软件所没有的独特挑战，总结有3大类：

1. 性能与可靠性问题：大模型资源密集导致延迟峰值与瓶颈，可观测精确定位根源并简化调试。
2. 成本问题：按Token计费可能意外飙升，可观测追踪指标并发出警报。
3. 质量问题：大模型输出可能继承偏见或产生幻觉，可观测通过评估工具检测不当内容。

高效的AI可观测解决方案应具备端到端全链路追踪、全栈可观测和自动化评估功能，其中前两者将在本章展开，自动评估在第9章提供方案。

第 9 章 AI 评估

大模型应用具有黑盒和不确定性特征，AI评估成为必备要素。本章介绍评估体系的基础二分法，探讨从静态到动态评估的演进，并给出自动化评估实践。

AI应用本质上是非确定性和概率性的，相同输入可能产生不同输出。缺乏评估可能导致严重后果。理解AI评估可从两个基本维度开始：

1. 内在评估：孤立评估模型输出固有质量，如流畅性、连贯性、事实准确性等。
2. 外在评估：衡量模型在特定下游任务中的应用效果。
3. 自动化评估：利用计算指标或其他AI模型对输出打分。
4. 人工评估：依赖人类评估员判断主观维度如帮助性、创造力等。

实践中最佳策略是自动与人工评估的混合模式，自动进行大规模筛选，人工精细评估关键案例。

第 10 章 AI 安全

AI的非预期行为与输出不可预测性加剧了治理挑战，安全成为重要顾虑。本章介绍常见安全风险：

1. 系统风险：AI模型软件供应链、暴露面与算力劫持风险。
2. 网络风险：面向公网入侵与内网隔离风险。
3. 身份风险：非人类身份管控、越权访问、身份冒充等。
4. 数据风险：训练数据投毒、输入输出敏感信息泄漏等。
5. 模型风险：恶意诱导、提示词攻击等。
6. 应用风险：Web入侵、DDoS攻击导致服务不可用等。

白皮书从应用、模型、数据、身份、系统和网络视角全方位阐述防护思路、框架与解决方案。

第 11 章 通向 ASI 之路

ASI的到来是技术、场景、治理、社会持续协同进化的结果。本章从技术架构、应用场景、治理体系、社会形态四个视角总结发展历程并展望趋势。以技术架构为例，其发展趋势分为：

1. 模型能力进化：从大语言模型到世界模型，通过强化学习与动态反馈实现持续进化，构建对物理世界的完整感知。
2. 数据飞轮升级：从静态积累到动态进化，包括上下文工程突破与合成数据广泛应用。
3. AI原生应用架构：从通用Agent发展到多Agent协同，大模型主导复杂任务，小模型执行简单任务，AI中台沉淀基础能力。

写在最后

编写团队在此前技术白皮书的编写中积累了丰富经验，但在发起这本《AI 原生应用架构白皮书》时，仍深感AI时代产品创新速度之快、架构复杂度之高、学科交叉度之广远超以往，技术成熟度仍处于发展初期。编写过程中借助AI提升了内容结构化程度，并逐字进行人工校对。

我们期望以抛砖引玉的姿态，为AI原生应用的标准化、体系化发展提供参考框架，并计划不定期更新，持续呈现前沿思考。欢迎业内各方参与共同更新，推动AI从概念走向产业，成为驱动全球产业升级的核心力量。

白皮书从架构设计到工程实践，系统性地覆盖了AI原生应用全生命周期的关键要素，为技术团队提供了体系化的参考指南，助力企业在AI时代实现技术落地与价值转化。