服务粉丝

我们一直在努力
当前位置：首页 > 财经 >

北大获奖，清华、人大等提名，ICLR 2023杰出论文奖出炉

日期： 来源：机器之心收集编辑：
机器之心报道
机器之心编辑部

昨日，ICLR 2023 获奖论文公布！来自北京大学的张博航、罗胜杰、王立威、贺笛获得杰出论文奖，清华大学孔祥哲、中国人民大学高瓴人工智能学院黄文炳、清华大学刘洋获得杰出论文奖提名。

ICLR 全称为国际学习表征会议（International Conference on Learning Representations），今年将举办的是第十一届，将于 5 月 1 日至 5 日在卢旺达首都基加利线下举办。

在机器学习社区中，ICLR 是较为「年轻」的顶级学术会议，它由深度学习巨头、图灵奖获得者 Yoshua Bengio 和 Yann LeCun 牵头举办，2013 年才刚刚举办第一届。不过 ICLR 很快就获得了学术研究者们的广泛认可，被认为是深度学习的顶级会议。在 Google Scholar 的学术会议 / 杂志排名中，ICLR 目前排名第十位，要高于 NeurIPS。

据今年 2 月份公布的接收数据，在今年的接收统计中， ICLR 共接收近 5000 篇投稿，整体接收率为 31.8%，接近于去年的 32.26%。今年还有一个变化是接收论文的 tag 会有两个，一个是论文类型（oral、spotlight、poster），另一个是 presentation 的方式。

位于 top5% 论文内容涉及 Transformer、in-context learning、扩散模型等内容。

在近日公布的获奖论文中，共有 4 篇论文获得杰出论文奖，5 篇论文获得杰出论文奖提名。其中，来自北京大学的张博航、罗胜杰、王立威,、贺笛共同获得一篇杰出论文奖，清华大学孔祥哲、中国人民大学高瓴人工智能学院黄文炳、清华大学刘洋共同获得一篇杰出论文奖提名。

杰出论文奖

  • 论文 1：Universal Few-shot Learning of Dense Prediction Tasks with Visual Token Matching

  • 作者：Donggyun Kim, Jinwoo Kim, Seongwoong Cho, Chong Luo, Seunghoon Hong


  • 机构：KAIST、微软亚研


  • 论文链接：https://openreview.net/pdf?id=88nT0j5jAn



该论文提出了一种用于密集预测任务的少样本学习 pipeline，密集预测任务包括语义分割、深度估计、边缘检测和关键点检测等。该研究提出了一个简单的统一模型，可以处理所有密集预测任务，并包含多项关键创新。该研究将激发密集预测的进一步发展，所提方法 —— 例如视觉 token 匹配、情景（episodic）元学习 —— 可以用于相关的多任务学习问题。

  • 论文 2：Rethinking the Expressive Power of GNNs via Graph Biconnectivity
  • 作者：张博航, 罗胜杰, 王立威, 贺笛
  • 机构：北京大学
  • 论文链接：https://openreview.net/pdf?id=r9hNv76KoT3

该论文基于双连通性（biconnectivity）提出一种 GNN 表达性度量新指标。具体来说，该研究提出了一种利用节点间距离的新算法，并在合成数据和真实数据中进行了演示。该研究表明：双连通性问题在理论和实践中都有着广泛的潜在应用。 

  • 论文 3：DreamFusion: Text-to-3D using 2D Diffusion
  • 作者：Ben Poole, Ajay Jain, Jonathan T. Barron, Ben Mildenhall
  • 机构：谷歌研究院、加州大学伯克利分校
  • 论文链接：https://openreview.net/pdf?id=FjNys5c7VyY

该论文提出了一种基于文本生成 3D 模型的有效方法，而无需 3D 模型作为训练数据。该论文的关键思想是利用本生成图像的扩散模型，并通过将误差信号反向传播到 3D 模型的神经辐射场来生成 3D 模型。该方法是 SOTA 图像生成和 3D 建模的巧妙组合，在实践中效果极好，并将启发各种后续工作，包括基于文本的 3D 视频生成。
 
  • 论文 4：Emergence of Maps in the Memories of Blind Navigation Agents
  • 作者：Erik Wijmans, Manolis Savva, Irfan Essa, Stefan Lee, Ari S. Morcos, Dhruv Batra
  • 机构：佐治亚理工学院、Meta AI 等
  • 论文链接：https://openreview.net/pdf?id=lTt4KjHSsyl

该论文基于认知科学和机器学习的跨学科方法，让仅具备自我运动（egomotion）（不具备其他任何感知）的导航智能体学得有效表征，并实现有效导航。该研究对表征学习具有重要意义。

杰出论文奖提名

除了 4 篇杰出论文，ICLR 2023 还有 5 篇论文获得杰出论文奖提名。

  • 论文 1：Towards Understanding Ensemble, Knowledge Distillation and Self-Distillation in Deep Learning
  • 作者：Zeyuan Allen-Zhu, Yuanzhi Li
  • 机构：Meta、MBZUAI
  • 论文链接：https://openreview.net/pdf?id=Uuf2q9TfXGA

该论文试图从一个新的理论视角来理解知识蒸馏。作者认为对于自然的多视图结构，没有蒸馏的情况下神经网络只能训练为仅依赖于部分特征，而蒸馏可以缓解这个问题。这篇论文提供了证明这一点的简化示例，有助于人们更好地理解知识蒸馏的有效性。

  • 论文 2：Mastering the Game of No-Press Diplomacy via Human-Regularized Reinforcement Learning and Planning
  • 作者：Anton Bakhtin, David J Wu, Adam Lerer, Jonathan Gray, Athul Paul Jacob, Gabriele Farina, Alexander H Miller, Noam Brown
  • 机构：Meta AI、MIT
  • 论文链接：https://openreview.net/pdf?id=F61FwJTZhb

该论文的主题是多回合、多阶段、多人游戏的算法开发，提出使用一种类似于自我对弈（self-play）的策略来找到游戏均衡（equilibrium）状态，并在一个受人类玩家欢迎的复杂多人棋盘游戏上测试了该算法。其中，将寻求平衡的策略与行为克隆相结合。

  • 论文 3：On the duality between contrastive and non-contrastive self-supervised learning
  • 作者：Quentin Garrido, Yubei Chen, Adrien Bardes, Laurent Najman, Yann LeCun
  • 机构：Meta AI 等
  • 论文链接：https://openreview.net/pdf?id=kDEL91Dufpa

在自监督学习领域，各种方法似乎没有任何共同点，但在实践中却表现相似。该论文对各种自监督学习方法进行了分析探究，发现了它们的共同点。该论文展开研究了一些流行的自监督学习方法，证明其提出的理论能用于实际方法。这篇论文对自监督学习领域具有重要意义。

  • 论文 4：Conditional Antibody Design as 3D Equivariant Graph Translation
  • 作者：孔祥哲，黄文炳，刘洋
  • 机构：清华大学计算机系，清华大学智能产业研究院，中国人民大学高瓴人工智能学院，北京智源人工智能研究院
  • 论文链接：https://openreview.net/pdf?id=LFHFQbjxIiP

抗体设计是药物研发的一个重要问题，具有重要的应用前景。本文提出一种基于等变图神经网络的抗体设计方法 MEAN，在给定抗原、抗体重链和轻链的条件下，实现了抗体 CDRs 的设计和优化。与以往方法不同，MEAN 不但考虑了更全的「上下文信息」，而且能直接生成抗体 CDRs 的 1D 氨基酸序列及其 3D 构象，具有更高效率。在多个数据集的完整实验上，MEAN 显著优于已有方法。论文有望为后续湿实验研究提供一种高效的算法工具。

  • 论文 5：Disentanglement with Biological Constraints: A Theory of Functional Cell Types
  • 作者：James C. R. Whittington, Will Dorrell, Surya Ganguli, Timothy Behrens
  • 机构：斯坦福大学、牛津大学、UCL
  • 论文链接：https://openreview.net/pdf?id=9Z_GfhZnGH

该研究受生物学启发，揭示了机器学习和神经科学之间有趣的联系，并从数学上证明机器学习中的约束会导致线性网络解缠结（disentanglement）。该研究还通过实验表明，相同的约束对于非线性情况也是有效的。总的来说，这项研究从数学的角度对单个神经元和大脑结构给出了更深层的理解。

参考链接：https://blog.iclr.cc/2023/03/21/announcing-the-iclr-2023-outstanding-paper-award-recipients/

探寻隐私计算最新行业技术，「首届隐语开源社区开放日」报名启程


春暖花开之际，诚邀广大技术开发者&产业用户相聚活动现场，体验数智时代的隐私计算生态建设之旅，一站构建隐私计算产业体系知识：

  • 隐私计算领域焦点之性

  • 分布式计算系统的短板与升级策略

  • 隐私计算跨平台互联互通

  • 隐语开源框架金融行业实战经验

3月29日，北京·798机遇空间，隐语开源社区开放日，期待线下面基。

点击阅读原文，立即报名。

© THE END 

转载请联系本公众号获得授权

投稿或寻求报道：content@jiqizhixin.com

文章推荐

相关阅读

  • 一次性帮你解决毕业论文所有排版问题

  • 文章转载自：人民日报 前言： 有朋友建议我出一期论文排版方面的内容，可以有效地帮助正在忙碌于写毕业论文的兄弟姐妹们。正写着呢，结果在网上一搜，发现了这个非常给力的教

  • 你敢想吗？可以利用ChatGPT这么做科研

  • 这位研究僧，GPT-4都发布了，你还在纯人工搞科研吗？已经有人实测：ChatGPT科研全流程都能用，尤其是对于英语非母语的科研人员，可以极大地提高日常科研工作效率。连写给导师的请假信，都

  • 想要加速发表SCI论文，这12个小技巧不容错过！

  • 1. 在脑子里画出图表以发表论文为导向来设计关键试验，包括合理的试验安排和控制，可以减少重复工作所浪费的时间，从而获得更完整的可呈现的数据。此外，我们建议作者尽早起草图表

  • 专题征文 | 生成式AI与软件自动化

  • 生成式AI与软件自动化专题征文 生成式AI在2023年所取得的进展，无疑引起了极具颠覆性的行业海啸。Open AI发布的ChatGPT仿佛成了数字时代的阿拉丁神灯，你可以随时召唤来实现梦

  • 人工智能的国际安全挑战及其治理

  • 朱荣生 清华大学战略与安全研究中心特约专家冯紫雯 澳门城市大学葡语国家研究院在读研究生陈琪清华大学战略与安全研究中心副主任，国际关系学系教授陈劲 清华大学经济管理学

聚合标签

中国 自己的 美国 都是 疫情 的人 亿元 的是 三星 手机 华为 这款 车型 万元 企业 日本 小米 俄罗斯 民警 项目

热门文章

  • “复活”半年后　京东拍拍二手杀入公益事业

  • 京东拍拍二手“复活”半年后，杀入公益事业，试图让企业捐的赠品、家庭闲置品变成实实在在的“爱心”。 把“闲置品”变爱心 6月12日，“益心一益·守护梦想每一步”2018年四

最新文章

  • 高通用第二代骁龙7+，给手机芯片来了次降维打击

  • 机器之心原创作者：泽南好的 AI 应用，就是要让更多的人能玩得起来。上星期，OpenAI 发布 GPT-4 让语言大模型的发展进入了新纪元，AI 的智商显著提高，还有了识别图像的多模态能力，微