通用AI智能体的自我进化能力已从理论走向实践，基于大语言模型的智能体通过多环境交互与自主探索，正逐步实现无需人类监督的能力提升，为人工智能领域带来全新突破。
基于大语言模型的智能体已不再依赖人类监督者的持续介入，正式迈入「自我进化」的全新阶段。该智能体在学习了专家轨迹之后，获得了基础通用能力，可以在更广泛且真实的未知环境与任务中进行探索和学习，并在外部反馈作用下持续提升自身表现。近期，复旦大学语言与视觉团队推出的 AgentGym 平台打通了大语言模型智能体「数据采样、训练微调、自我进化、能力评测」的完整流程。基于该平台提出的 AgentEvol 算法首次探索了通用智能体的自我进化能力，在多项智能体任务上表现卓越，与 GPT-4、Claude 等顶级模型比肩。
论文链接：https://arxiv.org/abs/2406.04151AgentGym代码仓库：https://github.com/WooooDyy/AgentGym研究背景开发一个能够解决并适应复杂任务的多任务通用智能体，始终是人工智能社区长期追求的重要目标。与人类的学习过程相似，通用智能体首先通过模仿来学习最基础的知识与技能。随着基础能力的逐步掌握，我们不仅期望智能体可以通过与不同环境的交互持续学习和适应诸多未见过的任务，还希望它能够从自身经验以及外部反馈中汲取丰富智慧，发展出一定程度的泛化能力。
图1：基础通用智能体实现自我进化的示意图。该智能体首先在人类监督下进行行为克隆，随后在不同的外部环境和任务中探索学习，以实现自我进化。大语言模型凭借其卓越的通用能力，被视为构建此类智能体的重要基础之一。当前研究领域正沿两个主要方向推进智能体技术的进一步发展。依赖人类监督的行为克隆方法需要智能体逐步模仿专家提供的轨迹数据。这种方法虽然有效，但由于标注资源有限，难以扩展环境探索的深度，容易遭遇性能或泛化性的瓶颈。允许智能体根据环境反馈持续提升能力的自我改进方法减少了对人类监督的依赖，同时丰富了环境探索的深度。然而，这类方法通常在特定任务的孤立环境中训练，最终产生一批难以有效泛化的专家智能体。面对上述挑战，团队首次探讨了一个具备基础能力的通用智能体在多种环境和任务中实现自我进化的潜力。为实现这一研究目标，团队确定了推动智能体自我进化的三大关键支柱，这些支柱构成了研究的核心要素。第一，多样化的环境和任务，允许智能体动态且全面地进行交互与训练，而非局限于某个孤立环境。第二，一个适当规模的轨迹数据集，帮助智能体配备基本的指令遵循能力和基础任务知识。第三，一种有效且可扩展的进化算法，激发智能体在不同难度环境中的泛化能力。
图2：AgentGym 平台示意图。平台共涵盖14个跨越不同类别的环境，每个环境作为HTTP服务部署。客户端为智能体提供封装好的统一接口，便于与环境互动。通过 AgentEvol 方法，团队探索了智能体在不同环境和任务中的自我进化。平台还提供了测试集 AgentEval 对智能体进行全面能力评估。围绕这三大支柱，团队的研究工作体现在以下几个方面。AgentGym，一个包含14种具体环境、89种具体任务类型的交互平台，为大语言模型智能体训练提供支持。该平台基于HTTP服务，为不同环境提供统一的API接口，支持轨迹采样、多轮交互、在线评估和实时反馈。AgentEval，一个具有挑战性的智能体测试基准。AgentTraj 和 AgentTraj-L 是通过指令增强和众包或SOTA模型标注构建的专家轨迹数据集，经过格式统一和数据过滤，帮助智能体学习基本的复杂任务解决能力。AgentEvol，一种激发智能体跨环境自我进化的全新算法。该算法的核心动机是让智能体在面对未见过的任务和指令时进行自主探索，从新经验中学习并优化自身。AgentGym 平台是一个全新支持大语言模型智能体轨迹采样、自我进化、能力评测的框架，其特点在于提供多样、实时、并发且格式统一的反馈，旨在帮助人工智能社区更便利地探索具备通用能力的LLM智能体。AgentGym——交互式训练与评测一体化的智能体平台AgentGym 集成了多种环境、丰富的轨迹数据和全面的基准测试。它通过统一的环境操作接口简化了环境配置过程。具体而言，AgentGym 拥有以下特点。多样化的环境：AgentGym 包含14种环境和89项任务，涵盖网页导航、文字游戏、具身控制、工具使用和代码等类别。无论是构建专用型智能体还是通用型智能体，AgentGym 框架均能提供相应支持。其中，每个环境独立部署，避免了不同环境之间的依赖冲突，确保了平台的可扩展性。例如，WebShop 环境作为一个用于网络购物任务的交互式平台，仅通过一行命令即可轻松完成部署。数据驱动：AgentGym 的轨迹数据采用统一的 ReAct 格式，该格式通过Thought-Action对将推理步骤与行动序列结合。图2左上方提供了一个轨迹数据示例。平台通过广泛收集和增强指令，构建了包含20509条指令的集合，并从中挑选出1160条具有多样性的指令构建基准测试集 AgentEval，用于全面评估基于LLM的智能体。同时，团队使用 GPT-4-Turbo 和众包标注收集轨迹数据，基于奖励或正确性严格筛选，构建了6130条高质量轨迹的集合 AgentTraj。为进一步展现行为克隆方法的性能潜力，研究者扩展得到了包含14485条轨迹的 AgentTraj-L。
图3：AgentGym 平台14种环境的统计数据。模块化的架构与高效的Pipeline：AgentGym 平台采用模块化设计，开发者可以轻松添加或更改环境。环境被部署在不同的服务器上，通过HTTP服务实现灵活高效的交互。客户端封装了与环境交互所需的函数，提供相应的操作接口。核心组件 AgentController 作为智能体与环境之间的中间媒介，提供了优化智能体策略的训练器，以及支持多环境性能评估的评估器。统一的操作接口简化了智能体与环境的交互，使用户能够专注于算法优化和智能体训练。
图4：AgentGym 平台架构概览。独特优势：与其他框架相比，AgentGym 的优势在于不仅提供了广泛的环境集合，还通过交互平台为智能体提供实时环境反馈，支持智能体的训练与评估。同时，AgentGym 支持在多个环境中实现智能体的全面进化，极大增强了智能体的泛化能力，使其在不同任务和环境中都能表现出色。
图5：AgentGym 与其他代理框架的比较。AgentEvol——通用智能体进化算法基于 AgentGym 套件，研究者可以方便地对智能体进行采样、训练与评测。复旦语言与视觉团队为探究通用智能体在自我进化方面的潜力，提出了 AgentEvol 算法，帮助智能体在多环境、多任务下实现各项能力的提升。该算法的核心思想是让智能体通过探索和学习来提升自身性能，尤其在面对之前未见过的任务和指令时。
图6：AgentEvol 算法框架AgentEvol 首先基于收集到的 AgentTraj 轨迹数据集，通过行为克隆的形式训练一个基础通用智能体，使其具备基本的指令遵循能力和必要的先验知识。在此过程中，智能体逐步模仿专家的轨迹，包括思考过程和行动。随后，这一基础通用智能体与不同环境交互，完成自我进化。它面对来自不同环境的更多样化的指令与查询，逐渐提升完成各项任务的能力。这一过程受到机器学习中RL as Inference方法的启发，将交互强化学习视为一个概率推断问题。该方法与传统强化学习不同，不是直接寻找最大化期望回报的轨迹，而是先定义一个关于轨迹的最优策略分布，再通过迭代过程优化该分布。具体而言，该过程包含两个交替进行的步骤。探索步骤：智能体在当前策略下与环境交互，生成新轨迹并评估其奖励，形成估计的最优策略分布。具体来说，智能体与多个环境交互，生成一系列行为轨迹。每条轨迹是智能体根据当前策略与环境互动的产物，包含智能体的思考、行为以及环境的观测。随后，环境端根据轨迹与任务目标的匹配程度，为每条轨迹给出奖励信号。学习步骤：智能体根据估计的最优策略分布更新参数，使其更接近最优策略。具体而言，智能体利用探索步骤中收集的轨迹与奖励数据，通过基于轨迹奖励加权的优化目标函数来优化自身。值得注意的是，在学习步骤中，为减少过拟合，团队始终优化基础通用智能体，而非上一轮优化得到的智能体。通过交替探索和学习步骤，AgentEvol 算法逐步优化智能体，显著提升其在多环境下的能力，实现自我进化的目标。实验介绍任务概述：本研究通过 AgentGym 框架对智能体进行了一系列跨环境探索和进化实验。实验旨在评估基础智能体在多样化环境中进行自我探索和进化的能力。为此，团队采用更广泛的指令集来扩展智能体的探索空间。主要结果：在11个不同环境中，使用 AgentTraj 数据集训练的智能体展示了良好的基础交互能力。进一步，通过在更大的 AgentTraj-L 数据集上实施行为克隆，智能体实现了显著的性能提升。本文提出的 AgentEvol 方法，尽管初始阶段仅基于有限的专家数据，但通过交替的探索和学习步骤，智能体能够在未见过的探索集上做出正确决策，实现自我进化。在多个智能体任务上，AgentEvol 方法超越了其他同类模型和SOTA模型。这一发现揭示了智能体具备适应和解决更复杂任务的潜力，为开发更高级的通用智能体提供了坚实基础。
图7：多任务环境下各种模型和智能体的性能对比分析实验：该团队从四个角度展开了一系列消融实验，分别是数据合并策略、进化迭代次数、探索范围和采样次数。实验发现，将智能体当前生成的轨迹与初始专家轨迹集合并，可以带来更稳定的性能提升。而利用前一迭代的探索轨迹则可能导致过拟合，出现性能波动。随着进化过程中迭代次数 M 的增加，性能逐步提升，但最终会趋于稳定和收敛。
图8：数据合并策略和迭代次数的消融实验在 AgentEvol 探索过程中，通过对每个指令执行采样，生成多样化的轨迹促进了智能体的学习。将智能体的探索范围限制在已知指令集内，即进行有限空间探索，可能会限制 AgentEvol 性能的进一步提升。
图9：采样数目与探索范围的消融实验此外，研究者还在不同的基座模型上进行实验。结果表明，AgentEvol 方法在不同规模的模型上均表现出色。
图10：不同基座模型上的性能比较文章还探讨了在通用智能体进化过程中，成功与失败的经验轨迹是否都能发挥作用。实验采用直接偏好优化方法，基于探索过程中的成功-失败轨迹进行训练。结果表明，智能体能够在多任务场景下从错误经验中学习，但其整体性能仍然不如 AgentEvol 方法。
图11：基于成功和失败轨迹的 DPO 训练本研究通过AgentGym平台与AgentEvol算法验证了通用智能体在多环境下的自我进化可行性，为构建具备广泛适应性的自主智能系统提供了坚实的技术基础与重要研究方向。
