服务粉丝

我们一直在努力
当前位置：首页 > 财经 >

Nat. Commun. 速递：CNN 中的尺度分离与特征学习的热力学描述

日期： 来源：集智俱乐部收集编辑：集智编辑部


关键词：深度学习，快慢变量，尺度分离，热力学



论文题目：Separation of scales and a thermodynamic description of feature learning in some CNNs
论文来源：Nature Communications
论文链接：https://www.nature.com/articles/s41467-023-36361-y


深度神经网络（DNN）是压缩和提取信息的强大工具。它们的规模和复杂性通常涉及数十亿个相互依赖的参数，这使得直接的微观分析变得困难。在这种情况下，一个常见的策略是识别慢变量，平均快速微观变量的不稳定行为。

近日发表于 Nature Communications 的这项研究发现了在完全训练的有限过参数化深度卷积神经网络（CNN）和完全连接网络（FCN）中发生的类似的尺度分离。具体地说，研究展示了DNN层仅通过其激活和预激活的第二个累积量（内核）耦合。而且，后者以接近高斯的方式波动。对于无限宽度的DNN，这些内核是惰性的，而对于有限宽度的DNN，它们适应数据并产生易处理的数据识别高斯过程。由此产生的深度学习热力学理论可以在各种情况下做出准确预测。此外，它还提供了分析和理解一般DNN的新方法。

图1：特征学习状态与高斯过程无限极限。

图2：理论与实验。


复杂科学最新论文


集智斑图顶刊论文速递栏目上线以来，持续收录来自Nature、Science等顶刊的最新论文，追踪复杂系统、网络科学、计算社会科学等领域的前沿进展。现在正式推出订阅功能，每周通过微信服务号「我的集智」推送论文信息。扫描下方二维码即可一键订阅：




推荐阅读



点击“阅读原文”，追踪复杂科学顶刊论文

文章推荐

相关阅读

  • 毕业难？文科硕士毕业论文，10大环节要注意！

  • 硕士毕业是人生大事，硕士毕业论文也需经历重重考验才能达到学校以及教育部规定的毕业要求。一篇优秀的毕业论文不仅能代表真材实料的学历，还能证明学生的学习能力、学术能力以

  • 关于开设研究生论文写作指导课程的通知

  • 各研究生培养单位：根据《教育部 国家发展改革委 财政部关于加快新时代研究生教育改革发展的意见》（教研〔2020〕9号）的精神，以及本学期研究生教学工作布置会的要求，为进一步增强

  • 这些公众号，治好了我的精神内耗

  • 题图作者：Madeleine Bialke拓宽眼界，增加深度，在阅读的世界里，我们往往能找到不一样的态度，提升朋友圈质量，从关注这几个公众号开始.轻扫一下二维码就行，你可以试试，肯定会有意外收

  • 一本关于真正的爱、勇气与尊严的成长教科书

  • 《杀死一只知更鸟》作为一本世界级名著，相信无论大家是否读过，都或多或少听说过它。而今天我给大家推荐的一套书，无论从故事性，文学性，启迪性都能够媲美知更鸟，在美国也同样是人尽

  • 多篇SCI一区=120平米住房奖励+安家费100万上下

  • 多篇SCI一区=120平米住房奖励+安家费100万上下，近期这样的新闻频频上热搜，足以可见SCI论文的含金量以及发表难度之高，除了SCI本身论文质量，SCI期刊对论文的格式及排版都有极高的

  • 知网，你可能一直都没用对！

  • 2019年，翟天临在直播时问出了科研圈载入史册的一个问题：知网是什么？这个问题衍生出的一系列后续事件想必大家都不陌生了，由于其影响的广泛性与严重性，2019年也被称为“天临元年”

聚合标签

中国 自己的 美国 都是 疫情 的人 的是 亿元 三星 手机 华为 这款 车型 万元 企业 小米 日本 俄罗斯 民警 项目

热门文章

  • “复活”半年后　京东拍拍二手杀入公益事业

  • 京东拍拍二手“复活”半年后，杀入公益事业，试图让企业捐的赠品、家庭闲置品变成实实在在的“爱心”。 把“闲置品”变爱心 6月12日，“益心一益·守护梦想每一步”2018年四

最新文章

  • 沙尘天气后 太原将全城“洗脸”

  • 3月11日，太原市改善省城环境质量领导小组办公室发布通知：要求在沙尘天气过后，全市尽快组织开展全城大清洗。从3月10日起，沙尘天气影响太原市全域，造成PM10指标快速升高，截至3月11

  • @山西人 本周中后期，冷空气将再度来袭

  • 3月12日，山西省气象台消息，本周中后期，冷空气将再度来袭，届时我省夜间的最低气温将在0℃上下徘徊。上周日的早晨，从冷飕飕开始，受冷空气影响，我省各地气温显著下滑，最低气温降温幅度

  • 太原古县城万人徒步大会开始报名

  • 3月10日，太原古县城2023年万人徒步大会报名通道开启，有徒步兴趣的市民可通过微信公众号“太原古县城游客服务”报名，报名截止时间4月2日。太原古县城第二届徒步大会由市文化和