你是否幻想过影视剧中无所不能的智能助理成为现实？

当你惬意地靠在沙发上看书时，说一句“我渴了”，就能为你拿来饮料；当你高烧躺在床上无法下地，只需说一句“我发烧了”，就有退烧药和温水放在手边。

现在，这个“懂你”又“靠谱”的智能体将成为现实！

近日，西北工业大学光电与智能研究院李学龙教授和同事们在大模型异构智能体方面取得重大进展，实现了大模型对无人机集群、机器狗、机械臂三种智能体的真机协同控制。该成果展示了大模型在智能体控制方面的能力，也为智能无人系统的研究提供了无限可能。

在人工智能领域，大模型控制智能体是大势所趋。团队提出了一种大模型驱动的异构智能体协同控制算法框架，使异构智能体系统具备高层语义理解能力、自身技能认知能力和复杂任务执行能力。该框架可将一个跨场景、跨智能体的复杂任务，通过语义理解和任务分解拆分成异构智能体协同执行的多个子任务，然后通过无人机集群、机器狗、机械臂的联合控制，实现异构智能体的高效协作

懂所思、知所能、行所意，是大模型异构智能体的主要能力。

01 懂所思：高层语义理解能力

如何充分发挥大模型的语义理解能力，让无人机、机器狗、机械臂等人造智能体能够根据输入的自然语言分工合作，是智能体在现实场景中执行复杂任务的前提条件。

针对该问题，团队利用国产大模型作为语义理解底座，以无人机集群、机器狗、机械臂三种异构智能体作为协同控制平台，设计了融合环境信息与自身状态的语义交互框架，实现了对异构智能体任务理解、硬件控制、协调合作等复杂需求的高层语义交互。

02 知所能：自身技能认知能力

智能体的行为能力易受周围环境、自身机械结构等限制因素的影响。如何在多变的外界环境下让智能体准确地认知当前自身的行为能力，是异构智能体协同的关键环节。

为了实现这一目标，团队提出了异构智能体通用中层技能认知算法，实现了异构智能体间精细的硬件协同控制。在此基础上，智能体通过自主环境感知、自身状态建模、协同运动规划，自适应地调整技能执行。

03 行所意：复杂任务执行能力

为了完成复杂任务目标，异构智能体协作需要依据子任务间的依赖关系和环境约束，设计安全合理的子任务执行次序和方式。

针对该问题，团队设计了多智能体闭环反馈的任务执行机制，实现了异构智能体在任务执行层面的自主协同。在任务执行的过程中，智能体向任务分解模块报告子任务执行状态，形成任务分配与执行动态闭环，实现任务目标导向的异构智能体高效协同。

该成果是大模型算法和智能体硬件交叉的创新性研究，实现了用更自然、更直观的方式进行多种智能体的控制，降低了人机交互的门槛。同时，该研究也将促进异构智能体之间协作的自主性和流畅度，对人工智能在灾难救援、工业生产等复杂场景下的灵活应用具有重要意义。

西北工业大学光电与智能研究院（iOPEN）在李学龙教授带领下主要开展临地安防（Vicinagearth Security）技术体系的人才培养、科研与工程，依托两个理论：“信容（Information Capacity，信息与数据的比值）”与“正激励噪声（Positive-incentive Noise，Pi/π-Noise，有用的噪声，通过增加噪声或利用噪声让任务做得更好）”，面向低空安防、水下安防、跨域安防，进行多模态认知计算、跨域遥感、稳定探测、涉水光学、群体智能决策、相干光探测的技术创新，服务于高水平人才培养和国家重大战略需求。

光电与智能研究院官网

出品丨党委宣传部

来源丨 光电与智能研究院

文案｜赵斌

图片｜王栋

视频｜王之港、王丞泽

编辑丨潘子祺

审核｜马西平