编辑：Aeneas 好困
正值AAAI 2023论文截止提交之际，知乎上突然出现了一张AI投稿群的匿名聊天截图。
其中有人声称，自己可以提供「3000块一个strong accept」的服务。
爆料一出，顿时引起了网友们的公愤。
不过，先不要着急。
知乎大佬「微调」表示，这大概率只是「口嗨」而已。
据「微调」透露，打招呼和团伙作案这个是任何领域都不能避免的问题。随着openreview的兴起，cmt的各种弊端也越来越清楚，未来留给小圈子操作的空间会变小，但永远会有空间。因为这是个人的问题，不是投稿系统和机制的问题。引入open review和bid+随机匹配可能会有帮助。
而且他的个人观点是，文章发在NeurIPS还是AAAI还是IJCNN都无所谓，充分宣传让大家知道你在做什么就行了，citation会证明这东西有没有用。
那么，这种风气是否在如今的顶会论文审稿中普遍存在呢？又是否已经有人因此「名利双收」了呢？
在讨论之前，我们先来简单说一下这个bid到底是啥。
为了方便分配审稿人，有的会议会设置一个bidding环节让审稿人自己选择感兴趣的文章。然后系统就可以参考这些审稿人的选择进行论文的分配了。不过，审稿人在这个阶段只能看到论文标题和摘要。
而这其中，可就大有文章了。
各种匿名爆料
另有知乎匿名网友表示，格局小了吧，有微信聊天截图为证，其实连best paper都是能互相bid的，这点小事算个啥。
有网友表示，今年投稿AAAI时，还一本正经地让填conflicted users、conflicting domain等等，但实际上作用不大。
这位知乎匿名用户甚至提出了令人拍案叫绝的解决方案：用图神经网络、推荐系统等自动挖掘出以各个导师为中心的关系网络，再检查各大会议的bid数据、审稿数据、给分情况，这样异常节点和关系就可以轻而易举地挖出来，因为它们在图神经网络里像恒星一样耀眼。
或者干脆举办个顶会bid数据挖掘大赛。
不过也有网友指出，这个所谓「3千块包SA」，其实是有bug的：
要知道，就算你强推了，其他审稿人一个borderline加一个weak reject，直接白给。毕竟这东西又不是算平均分录取的。而且分歧很大的话，AC也不可能给过的。
所以就算要给钱，也要用在「刀刃」上。这么一想，那就得找SPC或者AC了。但这时，你就需要考虑两个问题了（其实是一个）：第一，人家这种level的，你给3000块就想搞定？第二，如果人家真给你搞定了，只会收你3000？
当然，除了吐槽外，还有一位「见义勇为」的senior reviewer表示，如果自己看到有审稿人给了「水文」高分，就会直接strong reject，然后写小作文狠狠地diss，而且现在连模板都已经拟好了。
据说，所有会议和期刊都有类似的问题，只是比例和严重程度不同。此文中就不便多讲了。
某匿名用户的建议，属实有才
AI顶会审稿的随机性究竟有多大呢？
在2021年，NeurIPS就曾做过一次审稿一致性实验。
根据港中文CS博士「电光幻影炼金术」的视频介绍，在这个实验中，同一份稿件有10%的概率会送给两组审稿人，两组审稿人互相不知道对方的存在。
两组审稿人会分别进行评分，有两个领域主席对评分的结果作出决定。这样就可以定量分析，同一份稿件会有多大概率得到不同的审稿结果。
结果显示，第一组审稿人accept、第二组审稿人reject的概率是52%，这概率已经超过一半了。
而如果第一组审稿人reject，第二组审稿人也reject的概率是83%。
这个结果和李飞飞的观点也是符合的。
李飞飞就曾发表过一篇很著名的讨论审稿的文章，提出了这两个观点：
1.审稿过程是高度随机的。
2.差的论文会得到差的审稿意见，这是随时间和随机性都不会改变的黄金规则。
NeurIPS官方还进行了这样一个比较，每篇论文不进行审稿，随机决定，然后根据接收率和分歧率制成一条曲线，横轴是接收率，纵轴是分歧率。
图中可见，如果接收率非常低或非常高，那么分歧率是不大的。
而中间的分歧率是最大的，如果说接收率是50%的话，分歧是最大的。
AAAI和IJCAI都是采用这种模式，用高拒绝率，来换取较小的随机性。
最后，「电光幻影炼金术」给出这样一份关于人工智能审稿的结论小结。
当初，AAAI 2022的审稿结果就饱受争议。
有人在社交媒体上表示，自己的论文得到了4个accept，最后还是被拒了。
下面这位作者表示，4位审稿人均给出了「偏向接收」或「接收」的意见，在审稿意见中也都是正面评价：idea有趣、模型足够solid、实验和分析也够全面。
但最终结果却是：拒稿。
对于AAAI 2023来说，采用的依然是两阶段+双盲的审稿形式。
在第1阶段中，每篇论文会得到两名审稿人。如果收到的两份意见都是负面的，那么这篇论文就会被直接拒绝。其余的将进入到第2阶段。
在第2阶段中，每篇论文会得到至少两名新的审稿人。在新的审稿人提交自己的意见之前，他们是不会看到第1阶段的审稿结果的。
而进入第2阶段的论文作者，可以针对所有的审稿意见进行回应。程序委员会和高级程序委员会将会根据作者的反馈进行讨论。
至于具体的操作方法，可以参考下面的这篇论文。
该论文提出了一种新颖的审稿人-论文匹配方法，并且已经在AAAI 2021、ICML 2022、AAAI 2022和IJCAI 2022上得到了应用（全部或部分）。
论文地址：https://arxiv.org/abs/2202.12273
最后只能说，目前看来投稿时能整的花活不多，投稿人唯一能做的就是尽量写出好文章，让自己的paper成为NeurIPS实验曲线里最右边的那一小搓。
参考资料：
https://www.zhihu.com/question/548211913
https://www.zhihu.com/zvideo/1453042479734304768
https://www.zhihu.com/question/548211913/answer/2628893619
https://www.zhihu.com/question/548211913/answer/2628807013
| 留言与评论（共有 0 条评论） “” |
