机器之心最新一期线上分享邀请到了微软亚洲研究院研究员宋恺涛，为大家分享他们近期的开源项目 JARVIS。

在最近一段时间内，以 ChatGPT 为代表的大语言模型（Large Language Models，LLMs）在工业界和学术界掀起了巨大的关注。然而，以处理文本为主的 LLMs，在解决许多复杂并且具有挑战的 AI 任务上，依然存在着许多瓶颈：

1、受限于语言模型的输入输出形式，当下的 LLMs（如 ChatGPT）缺少能够处理复杂模态信息的能力（如图像、语音、视频等）。

2、一些复杂的 AI 任务需要先进行规划，分解多个子任务，并协调不同模型的调度和协作执行。而这些要求也超出了 LLMs 本身的能力。

3、在针对一些特定任务上，LLMs 尽管在零资源或者低资源下展现非常好的效果，但依然要弱于一些专家模型（例如微调模型）。

因此，如何解决问题也成为 LLMs 走向通用人工智能的关键一步。为此，JARVIS 项目团队指出如果 LLMs 要实现这一目的，它们应当能够利用外部模型的力量。而关键点就在于如何寻找一个合适的关键件来连接大语言模型和 AI 模型。

JARVIS 项目团队注意到任何 AI 模型都可以通过总结其模型功能来获取一种文本表示，并因此提出一个概念：语言是 LLMs 用于连接 AI 模型的通用接口。基于这一理念推出 JARVIS，一种模型协作系统用于连接 LLMs（例如 ChatGPT）以及机器学习库（例如 Hugging Face）等。该系统将 LLMs 作为大脑，并利用语言的能力来管理不同 AI 社区中的不同模型，具体流程分为 4 步：任务规划、模型选择、任务执行、生成反馈。

在这一框架下，模型具备了分解和管理不同任务的能力，并且能够处理包括文本、语音、图像、视频等不同模态的复杂信息。这一框架也吸引了越来越多的人来探索 LLMs 与外部模型或者工具进行协作调度的应用前景。

分享主题：JARVIS – 连接 ChatGPT 和 HuggingFace 解决 AI 问题

分享嘉宾：宋恺涛，微软亚洲研究院研究员。本科和博士毕业于南京理工大学，其研究方向包括自然语言处理，语音识别等，包括预训练语言模型，内容生成等。其在 ICML，NeurIPS，ICCV，KDD，ACL，IJCAI，AAAI 等国际顶级会议上发表多篇论文。

分享摘要：尽管大语言模型表现出非常优异的性能，但在实际解决一些复杂的 AI 任务中依然存在许多瓶颈。因此，在本次分享中，我们会介绍如何构建大语言模型与 AI 社区的连接以及多模型协作以解决更具挑战的 AI 任务，并探讨对于未来的展望。