理论是计算机科学的基础，也是计算机技术发展的动力。2021年12月，微软亚洲研究院理论中心正式成立，通过搭建国际学术交流与合作枢纽，微软亚洲研究院理论中心已促发了很多关于计算机理论研究的前沿探讨。

在此背景下，我们正式推出了微软亚洲研究院理论中心前沿系列讲座。讲座每两周进行一次，将邀请全球站在理论研究前沿的研究者介绍他们的研究发现，主题涵盖大数据、人工智能以及其他相关领域的理论进展。通过这一系列讲座，我们期待与大家一起探索当前理论研究的前沿发现，并建立一个活跃的理论研究社区。欢迎对理论研究感兴趣的老师和同学们参与讲座并加入社区（加入方式见后文），共同推动理论研究的进步，加强跨学科研究的合作，助力打破 AI发展瓶颈，实现计算机技术实质性发展！

今天我们为大家整理了前三期的讲座回顾，错过直播也不必担心！同时，欢迎大家锁定B站“微软中国视频中心”直播间，更多精彩的讲座信息也在等着你！

回放地址

B 站“微软中国视频中心”直播间

https://live.bilibili.com/730

第一期

Unveiling Transformers with LEGO

（通过 LEGO 数据集探索 Transformer 中预训练和泛化的机理）

讲座回顾：在讲座中，微软研究院首席研究员 Sébastien Bubeck 为大家介绍了他和团队最新提出的合成数据集“LEGO”。给定一个（半）群及其上群作用，“LEGO”的求解目标是基于含有取群中元素值的未知量的一系列方程，求解未知量的值。通过使用 Transformer 求解“LEGO”，Sébastien 深入探讨了 Transformer 中预训练和泛化的机理。随后大家就数据集构造的出发点，Transformer 中各模块的作用等方面提出了问题，得到了 Sébastien 的解答。

讲者：Sébastien Bubeck 微软研究院首席研究员

Sébastien Bubeck 是微软研究院首席研究员。在加入微软之前，他曾是普林斯顿大学运筹研究与金融工程系的助理教授。他曾于2015年获斯隆奖，并多次在机器学习领域的全球顶级会议上获得最佳论文奖。他的研究兴趣包含在线决策、凸优化以及对抗学习等等。

第二期

Toward Understanding Self-Supervised Pre-training

（深度理解自监督预训练）

讲座回顾：近年来，自监督预训练取得了成功，但预训练模型为什么成功以及它是如何工作的，在很大程度上仍然是一个谜。来自斯坦福大学的马腾宇教授在讲座中介绍了他在预训练的理论理解方面的工作。他特别指出，对比学习可以视为是在一个所谓总体正对图上进行谱聚类的算法。观众们积极踊跃地提出了自己对预训练的看法与疑问，并得到了马教授的解答。

讲者：马腾宇 斯坦福大学助理教授

马腾宇为现任斯坦福大学计算机系与统计系助理教授，博士曾就读于普林斯顿大学，其主要研究兴趣是机器学习和算法方面的研究，课题包括非凸优化、深度学习及其理论、强化学习、表示学习、凸松弛、高维统计等。马腾宇曾获得 ACM 博士论文奖荣誉奖，斯隆奖及 NSF Career Award。

第三期

Local Elasticity of Neural Networks and Inspired Theory

（神经网络的局部弹性及其所启发的理论）

讲座回顾：在第三期讲座中，邓准博士向大家介绍了他在机器学习泛化误差分析领域的两个最新工作。在讲座的前半部分，邓准博士介绍了如何引入“局部弹性稳定性”来刻画神经网络的局部弹性，并给出了基于“局部弹性稳定性”的泛化误差界；在后半部分，邓准博士介绍了如何通过非空覆盖来提升基于算法鲁棒性的泛化误差界。观众们就能否从优化方面探究局部弹性的原因等方面提出了问题，并与邓准博士进行了交流。

讲者：邓准 哥伦比亚大学研究员

邓准是哥伦比亚大学的研究员。博士毕业于哈佛大学，本科毕业于浙江大学数学系。他的研究兴趣是理论计算机科学、机器学习和社会科学的交叉领域。其工作旨在使数据科学更可靠、更严谨，并与社会价值保持一致。

加入理论研究社区

你可以向 MSRA.TheoryCenter@outlook.com发送以"Subscribe the Lecture Series"为主题的邮件，订阅讲座信息。

关于微软亚洲研究院理论中心

2021年12月，微软亚洲研究院理论中心正式成立，期待通过搭建国际学术交流与合作枢纽，促进理论研究与大数据和人工智能技术的深度融合，在推动理论研究进步的同时，加强跨学科研究合作，助力打破 AI 发展瓶颈，实现计算机技术实质性发展。目前，理论中心已经汇集了微软亚洲研究院内部不同团队和研究背景的成员，聚焦于解决包括深度学习、强化学习、动力系统学习和数据驱动优化等领域的基础性问题。