点击上方蓝字关注我们

在论文发表之前，我需要为所有阅读这篇文章的研究人员做一个关于人工智能的声明：我们不需要更大的模型；我们不需要更大的模型；我们需要解决方案。虽然公司已经达到了万亿参数大关，但在医疗人工智能等实际问题上几乎没有取得任何进展，或者放宽了解决新问题所需的数据要求。

01

Deep Learning is Not All You Need (2021)

Shwartz-Ziv, Ravid, and Amitai Armon. “Tabular data: Deep learning is not all you need.” Information Fusion 81 (2022): 84–90.

论文链接：https://arxiv.org/abs/2106.03253

今年是 AlexNet 神经网络提出十周年。从那时起，深度学习变得比人工智能本身更加突出，机器学习现在听起来已经过时了，不了解 A* 搜索的数据专业人士的数量不断增加。尽管如此，老式的机器学习技术仍然与许多任务一样相关。

在本文中，作者展示了 XGBoost 如何在各种表格数据集上匹配或优于深度学习解决方案，无论是否进行调整。此外，它还显示了自动调整的 XGBoost 分类器可以比未调整的自身好多少。

推荐原因

1. 人工智能不是深度学习而是更多。特别是如果您是初学者数据科学家，请充分尊重经典技术，例如线性和逻辑回归、决策树、SVM 和助推器。
2. 在现实生活中，很容易忽略自动调优方法如何在 XGBoost 等高效模型上创造奇迹。在本文中，作者使用 HyperOpt 的贝叶斯优化比基线提高了约 30%。（也许是时候学习一些 HyperOpt了)

02

A ConvNet for the 2020s (2022)

Liu, Zhuang, et al. “A ConvNet for the 2020s.” arXiv preprint arXiv:2201.03545 (2022).

论文链接：https://arxiv.org/abs/2201.03545

虽然卷积神经网络 (CNN) 超越了之前的大部分计算机视觉文献，但视觉转换器 (ViT) 正在推动超越 CNN 所征服的空间。在这方面，ViT 尚未这样做的普遍同意的原因是它们的计算成本，这仍然是一个悬而未决的问题。

本文表明，经过仔细调整和训练的 ResNet 模型可以在 ImageNet、COCO 和 ADE20k 上匹配或优于 Transformers。换句话说，CNN 可能会停留更长时间。作者将他们现代化的ResNet称为“ConvNeXt”。

推荐原因

1. 这是一篇非常实用的论文。几乎所有对 ResNet 的更改都可以扩展到其他模型。尤其是第 2.6 节，它非常可操作，并且可以在今天为您提供结果。
2. 对transformers有相当大的宣传。然而，这些论文不仅仅是 Attention。本文展示了如何将其中一些元素反向移植到无聊的旧模型中可能是您所需要的。遵循与第一篇相同的趋势，流行语模型可能不是您任务的最佳模型。事实上，关于计算机视觉，ResNet 可能仍然是最安全的选择。

03

A Survey of Transformers (2021）

Lin, Tianyang, et al. “A survey of transformers.” arXiv preprint arXiv:2106.04554 (2021).

论文链接：https://arxiv.org/abs/2106.04554

从 2020 年到 2022 年，更多的地球资源被塑造成人工智能突破。如今，说“全球变暖需要关注”是一种奇怪的讽刺。尽管如此，在这个不断变化的领域中，对周围最热门话题的调查，通过传递性，是可用的最热门论文。

推荐原因

1. 尽管有 N² 复杂性，但transformers仍然存在。任何数据专业人员都需要了解自然语言处理 (NLP) 中发生的最新情况。
2. 在撰写本文时，没有一个 X-former 被广泛采用作为原始 Transformer 的继任者，尽管有些人声称具有线性复杂性。今天任何设计神经网络的人都有兴趣了解迄今为止作者如何尝试改善注意力。

04

SimCLR (2020)

Chen, Ting, et al. “A simple framework for contrastive learning of visual representations.” International conference on machine learning. PMLR, 2020.

论文链接：https://arxiv.org/abs/2002.05709

到目前为止，所有提到的论文都涉及监督学习：学习将 X 映射到 y。然而，整个世界都致力于一个“无 y”的世界：无监督学习。更详细地说，该领域解决了没有明确答案的问题，但可以获得有用的问题。例如，我们可以通过多种方式对一组客户进行聚类：性别、年龄、购买习惯等，我们可以根据这些聚类得出有利可图的营销策略。

在本文中，作者简化了现有的对比学习文献以创建 SimCLR。该方法被证明可以产生更好的下游结果，同时比竞争方法简单得多。从某种意义上说，您可以将这项工作理解为相当于 Word2Vec 的 Vision——一种从大型图像语料库中提取有用特征的系统方法。

推荐原因

1. 如果你仔细想想，大多数人类学习都是无监督的。我们不断地观察世界，并在我们所看到的东西上画出图案。我坚信对通用智能的任何突破都将带来相当大的无人监督成分。因此，密切关注这个领域几乎与人工智能领域的任何人相关。
2. 过去十年左右的 NLP 突破来自无监督预训练。到目前为止，还没有在图像中看到类似的革命。关注这个话题的另一个原因。

05

EfficientNet (2019)

Tan, Mingxing, and Quoc Le. “Efficientnet: Rethinking model scaling for convolutional neural networks.” International conference on machine learning. PMLR, 2019.

论文链接：https://arxiv.org/abs/1905.11946

手动调整神经网络通常感觉就像在玩乐高积木。您可以添加/删除层和神经元，使用激活函数，调整训练计划等。大多数情况下，我们的行为是任意的，例如将事物加倍/减半。

在这项工作中，Tan 和 Quoc 研究了一种使用神经架构搜索 (NAS) 来扩大和缩小网络的更有原则的方法。他们的探索发现，当深度、宽度和分辨率一起缩放时，可以获得最佳结果。此外，他们发布了一组从微型到超大型的预训练模型，实现了最先进的结果。

推荐原因

1. 这篇论文是一个很好的例子，说明自动调整策略（如 NAS 和贝叶斯优化）如何比手动调整模型更具成本效益。此外，您可以轻松控制调整预算。
2. 提防只有“怪异”设置的模型。健壮的模型总是可以从小到大扩展，同时保持最先进的重要性。EfficientNet 就是一个很好的例子。
3. 最近，骨干架构的重要性一直在增长，无论是在视觉还是 NLP 任务上。虽然我们仍然看到头部网络的进步，但很难说真正的收益来自哪里。

06

StyleGAN 3 (2021)

Karras,Tero,etal."Alias-free generative adversarial networks.” Advances in Neural Information Processing Systems 34 (2021).

论文地址：

https://proceedings.neurips.cc/paper/2021/hash/076ccd93ad68be51f23707988e934906-Abstract.html

贯穿整篇文章的一个主题是深度学习中的任何事物都可能发生变化或可能出错——甚至乘法也不是安全的。最初的 StyleGAN 论文从根本上改变了我们在 GAN 上使用噪声的方式。在第三次迭代中，作者邀请我们重新解释数据如何在网络中流动，而不是作为一个离散的实体，而是作为一个连续的信号。

简而言之，他们认为边界填充、上采样和 ReLU 等操作可能会泄漏位置数据或对信号产生不需要的高频。实际上，这会使生成器学习不需要的偏差，例如始终将眼睛和鼻子放在相同的坐标上。作者重新设计了这些元素，改进了网络对平移和旋转的等效性。

推荐原因

1. 我们知道 CNN 在空间上是不变的。有时事情比我们意识到的要多。这提醒我们应该如何对我们所有的信念保持灵活。
2. 所有三篇 StyleGAN 论文都是关于数据可视化和呈现的活生生的课程。它们值得单独为视觉效果打开。
3. 最近的生成模型（例如 StyleGAN）显示了人工智能对于新颖的图形应用程序的成熟度。也许这篇论文可以启发你想出一些创业点子。
4. 
   

以上就是所有阅读建议，让您及时了解 AI 和数据科学领域的最新研究内容以及最新进展。