服务粉丝

我们一直在努力
当前位置：首页 > 财经 >

反向用随机梯度下降来优化人生

日期： 来源：Datawhale收集编辑：
 Datawhale干货 
作者：电光幻影炼金术，来源：Smarter


编辑：极市平台、机器学习算法与自然语言处理

沐神对本回答的评论，hhh

看完李沐老师的文章‍亚马逊首席李沐 | 用随机梯度下降来优化人生‍，深受感慨，本人阅读大量文献，提出了下面“反向用随机梯度下降来优化人生“的方案。下文与李沐老师的文章一一对应，李沐老师的放在了引用块里。

不是很懂优化这块，欢迎批评指点。

李沐：目标要大。不管是人生目标还是目标函数，你最好不要知道最后可以走到哪里。如果你知道，那么你的目标就太简单了，可能是个凸函数。你可以在一开始的时候给自己一些小目标，例如期末考个80分，训练一个线性模型。但接下来得有更大的目标，财富自由也好，100亿参数的变形金刚也好，得足够一颗赛艇。
反向：目标要小而具体。如果目标过大，很容易导致因为噪声过大，奖励过于稀疏而发散[1]。收敛情况很好的，往往是图片分类这种目标非常明确而具体的。比如真实机器人面临的搜索空间很大的任务，很容易发散[2]。
李沐：坚持走。不管你的目标多复杂，随机梯度下降都是最简单的。每一次你找一个大概还行的方向（梯度），然后迈一步（下降）。两个核心要素是方向和步子的长短。但最重要的是你得一直走下去，能多走几步就多走几步。
反向：该放弃时就要放弃。一个简单也很有效的解决梯度策略发散的技巧就是抛弃过大的梯度[3]。如果遇到很大的梯度还不选择抛弃，很容易会导致发散的结果。另外一种解释是，很多场合训练几个epoch就能发现梯度越来越大，这时候一定要停下来检查数据，不然一晚上过后只能得到一个nan的结果。
李沐：痛苦的卷。每一步里你都在试图改变你自己或者你的模型参数。改变带来痛苦。但没有改变就没有进步。你过得很痛苦不代表在朝着目标走，因为你可能走反了。但过得很舒服那一定在原地踏步。需要时刻跟自己作对。
反向：拒绝内卷。优化有两种模式，一种很陡峭曲折的（比较艰难，对应内卷），一种是比较平滑的（比较轻松，对应佛系和不卷）。这里我引用一篇顶会论文中[4]的可视化结果，
左边的（a)对应很内卷，优化曲面不平滑；右边的（b）对应很平滑的过程
那么究竟是(a)好呢，还是(b)好呢？想必大家已经猜到了，(b)这种优化模式要远远好于(a)，错误率小两倍多（错误率：(b)5.89%，(a)13.31%）。因此，大家一定要学会拒绝内卷，保护自己平滑的优化过程。
李沐： 四处看看。每一步走的方向是你对世界的认识。如果你探索的世界不怎么变化，那么要么你的目标太简单，要么你困在你的舒适区了。随机梯度下降的第一个词是随机，就是你需要四处走走，看过很多地方，做些错误的决定，这样你可以在前期迈过一些不是很好的舒适区。
反向：别走太远。正则化是深度学习乃至机器学习中非常常见的技巧，要想取得好的收敛效果，往往需要加以约束，不能走得太远[3]。
李沐： 赢在起点。起点当然重要。如果你在终点附近起步，可以少走很多路。而且终点附近的路都比较平，走着舒服。当你发现别人不如你的时候，看看自己站在哪里。可能你就是运气很好，赢在了起跑线。如果你跟别人在同一起跑线，不见得你能做更好。
反向：起点不重要。Facebook的一篇论文[5]用大量实验事实证明，接受预训练的模型，虽然一开始会好一些，但是后面跟随机初始化的模型相差无几。有实验结果图为证：
李沐： 很远也能到达。如果你是在随机起点，那么做好准备前面的路会非常不平坦。越远离终点，越人迹罕见。四处都是悬崖。但随机梯度下降告诉我们，不管起点在哪里，最后得到的解都差不多。当然这个前提是你得一直按照梯度的方向走下去。如果中间梯度炸掉了，那么你随机一个起点，调整步子节奏，重新来。
反向：太远就到不了了。如果间隔时间太长，奖励函数的折损会非常严重，这会严重影响强化学习的成功率。这也是为什么现在强化学习仍然只是在模拟器中成功。
李沐：简单最好。当然有比随机梯度下降更复杂的算法。他们想每一步看想更远更准，想步子迈最大。但如果你的目标很复杂，简单的随机梯度下降反而效果最好。深度学习里大家都用它。关注当前，每次抬头瞄一眼世界，快速做个决定，然后迈一小步。小步快跑。只要你有目标，不要停，就能到达。
反向：越结构化的模型越好。文献显示[6]，拓扑结构复杂的模型，在同样的梯度下降算法之后会产生更小的泛化误差。而过于简单的模型，往往会容易收敛到平凡解。
拓扑参数更复杂的模型，泛化能力更强
有些点没讲到，是因为找不到特别好的文献，或者读起来没那么有趣。
如果要我说，人生反正不是监督学习，更像是强化学习甚至无监督学习。
当然，也可能人生就是随机挑战。

参考

  1. Hare, Joshua. "Dealing with sparse rewards in reinforcement learning." arXiv preprint arXiv:1910.09281 (2019).
  2. Peters, Jan, and Stefan Schaal. "Policy gradient methods for robotics." 2006 IEEE/RSJ International Conference on Intelligent Robots and Systems. IEEE, 2006.
  3. Schulman, John, et al. "Proximal policy optimization algorithms." arXiv preprint arXiv:1707.06347 (2017).
  4. Li, Hao, et al. "Visualizing the loss landscape of neural nets." arXiv preprint arXiv:1712.09913 (2017).
  5. He, Kaiming, Ross Girshick, and Piotr Dollár. "Rethinking imagenet pre-training." Proceedings of the IEEE/CVF International Conference on Computer Vision. 2019.

  6. Corneanu, Ciprian A., Sergio Escalera, and Aleix M. Martinez. "Computing the testing error without a testing set." Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2020.

整理不易，点赞三连↓

文章推荐

相关阅读

  • 群聊被曝光！是故意的还是不小心？

  • 春季伊始年轻人们都忙着打造新一年的聪明得体高素质人设表面上一本正经心里原来在想这些嘘~别出声！小E邀请你加入群聊话题 A红包21:56过年收了红包，想换个好点儿的电脑主机，朋

  • 新年开工，如何从管理的角度提高团队工作效率？

  • 新年开工的这几天，大家的状态是这样？这样？还是这样？<滑动查看下一张图片>这回压力给到老板这边，管理层如何快速调整团队工作状态，这份攻略奉上。如何做好团队目标管理？作为团队管理

  • 如何快速做出产品MVP

  • 这是一篇面向独立开发者的文章，整理自12月我在生财有术海外工具小航海里的分享。两个月前，我在生财有术分享了《如何获得产品idea》。下一步，就是把idea变成MVP。今天我们聊聊，

  • TED演讲 | 每天10分钟，重启大脑

  • | 简介大家好，我是墨安，你上一次10分钟什么都没做是什么时候？不发短信，不说话，甚至不思考？正念专家安迪·普迪科姆(Andy Puddicombe)描述了这样做的变革力量：每天花10分钟让你的头

  • 我在B站上大学，小破站真的有点东西！

  • 这个世界对于普通人最大的公平就是，人人都能有免费的途径学习，学习能改善所有人的生活。不公平的地方是，你只能改善，比原本的自己更好，因为起点和背景的确就是不一样，你上几代人都

  • 我有一些开心的事想和大家分享~

  • 喵~大家周四好呀~ 经过连续50天无休之后，我昨天在家睡了几乎一整天，今天又满血复活啦~ 今天这篇文章主要想和大家分享我近期各种喜悦的事。想说的话太多，发现一篇文章写不完，于

  • 新年flag要怎么立，才不容易倒？

  • 新年伊始，flag总会呈井喷式爆发这个时候的大家，仿佛都特别有决心：今年一定要看完20本书；今年一定要瘦10斤；今年一定要考上研究生；……然而，新年计划很激动，列出清单很感动，一旦开始不

聚合标签

中国 自己的 美国 都是 疫情 的人 的是 亿元 三星 手机 华为 这款 车型 万元 企业 小米 日本 俄罗斯 民警 项目

热门文章

  • “复活”半年后　京东拍拍二手杀入公益事业

  • 京东拍拍二手“复活”半年后，杀入公益事业，试图让企业捐的赠品、家庭闲置品变成实实在在的“爱心”。 把“闲置品”变爱心 6月12日，“益心一益·守护梦想每一步”2018年四

最新文章

  • 反向用随机梯度下降来优化人生

  • Datawhale干货 作者：电光幻影炼金术，来源：Smarter编辑：极市平台、机器学习算法与自然语言处理沐神对本回答的评论，hhh看完李沐老师的文章‍亚马逊首席李沐 | 用随机梯度下降来优

  • 最新！2022高校毕业生薪酬排名发布

  • Datawhale干货 方向：高校毕业生信息，编辑：HJ说《2022年全国高校毕业生薪酬指数排行TOP100》由中国薪酬指数研究机构发布，其数据来源于全国各高校毕业生进入用人单位满一年后的

  • 2022牛津大学全奖博士offer，回顾这一年的成长

  • Datawhale干货 作者：墨箫，牛津大学，Datawhale成员前言2022年对我来说是收获的一年，也是不断适应变化并锻炼自己的一年。上半年更多的是忙碌和长时间积累所得的收获，而下半年经历

  • Datawhale新春组队学习来了！

  • Datawhale学习 贡献团队：Datawhale、开源学习联盟本月组队学习，包含了AI专题和大数据两个方向，共4个学习内容。⭐表示难度系数开源学习联盟相关高校学院、协会、实验室、社团

  • 法拉第未来拿到“中国户口”丨时光机

  • 欢迎搭乘时光机！我们每周为大家奉上过去一周硬科技领域的动态信息。本篇为现代出行与绿色经济领域重要信息汇总。出门在外快速导览法拉第未来中国总部将落黄冈小鹏汽车宣布降

  • 你过春节的时候发生了这些事 | 时光机

  • 春节带来了七天假期，但经济的齿轮却从未停转。相信大部分读者今天已经回到工作岗位，如果你还没有找回工作状态，我们建议你从这篇时光机开始。各位好，我是机长，欢迎搭乘时光机！我们