服务粉丝

我们一直在努力
当前位置:首页 > 财经 >

GPT系列大模型在文本生成方向有哪些最新尝试?

日期: 来源:PaperWeekly收集编辑:
最近爆火到出圈的ChatGPT,让大家看到了文本生成领域的更大可能性,它不再是大众印象中呆板漏洞百出的聊天机器人,而是思路清晰有逻辑,像一个人类一样的聊天回答。更推动了文本生成领域研究的再一次火热。

可以说没有文本生成大模型,就没有ChatGPT。

计算机要实现自然语言处理,主要有两方面的工作:自然语言理解(Natural Language Understanding,NLU)和自然语言生成(Natural Language Generation,NLG),而“文本生成”是其中重要的一个分支。它是自然语言处理中一个重要的研究领域,具有广阔的应用前景。

通俗来讲,文本生成就是从非语言的表示生成人类可以理解的文本,以神经网络的使用为分界线,整个文本生成的发展可以分为两个阶段:传统文本生成和基于神经网络的文本生成。基于神经网络的文本生成大致分为“自回归”和“非自回归”两种思路,自回归就是给定条件和已知的词,逐步生成下一个词,例如大名鼎鼎的“seq2seq + attention”。而attention再进一步,便产生了震惊世人的Transformer,彻底解决了RNN中顺序计算无法并行化的问题,之后GPT系列生成模型被陆续提出。

GPT系列大模型在文本生成方面还有哪些可改进的点?大模型在文本生成方向有哪些最新尝试的工作?
3月1日,我们邀请北京大学计算机博士蒋老师,和大家直播梳理文本生成方向的大模型,带大家寻找论文的创新点及idea.

扫码预约大咖直播课

领取文本生成论文合集

文本生成还有很多可以探索的方向,例如现在的可控文本生成主要集中在情感关键词方面,而篇章的可控,多样性的可控,细粒度的可控等等都还有很大的研究空间。

从历年ACL,EMNLP和NAACL的论文收录情况来看,文本生成相关论文收录数始终名类前茅。而作为AI研究中应用前景广阔的一个分支,也一直是各大厂的招聘热门。

扫码预约大咖直播课

领取文本生成论文合集

但看搞科研和就业求职越来越卷的趋势,没有手握几篇顶会真的让人心慌慌。有没有顶会论文已经成为一项重要的考核指标,而想要从科研小白变身顶会大神,我觉得有两点至关重要:

1、紧跟风口,把握住最近的热门研究风向。

尤其是对于科研还没什么思路的小白,顺着领域内的研究趋势确定自己的方向,是一个正确的选择,毕竟热门研究方向意味着,创新点和idea远比其他非热门领域多。比如刚刚推荐的画质增强。

2、有一位有经验有能力的前辈指导。选对一个好的老师,掌握正确的科研思路和写作方法!

都说SCI论文只有0篇和无数篇的区别,这句话告诉我们,其实做科研写论文也是有方法有套路可循,掌握了窍门,后面的路才会走得通畅。

但是作为一个小白,还在“蹒跚学步”阶段,怎么去掌握窍门?来自前辈的指点必不可少。

一个好的指导老师的作用是,没有课题,能够结合所在课题组具体情况,结合最近热门研究方向,帮你规划课题,如果有了课题而缺少创新方向,老师能够快速帮你找到几种切入点,几种框架,甚至连需要读哪些文献都帮你想好了......

为了论文,大家都在努力的设计新网络、新策略、新training算法,只要能够在某一问题上做到一个很好的performance,论文就水到渠成。而想要快速达到,来自前辈的指点不可或缺。

扫码获取大佬的科研指导

领取最新顶会论文、书籍


课程福利





作为日常为了论文而忙碌的科研人,小编知道大家一定很需要一些资料。因此,小编精心整理了一份超过20GAI顶会论文大礼包!包含最新顶会论文、书籍等资料,以及英文论文写作指导保姆级资料,从文献阅读到论文写作全部帮你整理好~


扫码免费领课程资料↑

-END-

相关阅读

  • 别了,"刘三姐"

  • 2月下旬,电影《刘三姐》中“歌仙”刘三姐的扮演者黄婉秋病危的消息牵动各界。据北京日报报道,今(4)日凌晨,著名表演艺术家黄婉秋在桂林医院重症监护室因抢救治疗无效逝世,享年80岁
  • 回暖信号出现!重磅数据 超预期|檀几条

  • 文章一共2402字 预计阅读时间:7分钟明天投资必看的财经解读要闻解读1 重磅数据 超预期!央视网讯,3月1日,国家统计局网站公布2023年2月中国采购经理指数运行情况;2月份,制造业
  • 【视野】在日本 感受专注和精细

  • 2017年9月4日,我们学校的赴日交流访问团抵达日本长崎,开始为期五天的交流学习。五天里,我们先后参观了心医疗福祉专门学校、火山灾害遗址、丰田汽车厂、灾害体验中心等地,其中在
  • 福利来袭 | 你阅读,我送礼!“阅读”越幸运!

  • 看文章 | 集碎片 | 赢福利“阅读”越幸运! 上海黄浦 送福利啦!动动手指,看看推文,就有机会赢奖?没错!上海黄浦这个活动了解一下↓活动介绍为鼓励广大网友踊跃阅读公众号文章上海
  • Nature Water: 二维材料膜污水处理及海水淡化

  • 01【导读】利用二维纳米片之间堆叠形成的层间空隙,构建具有亚纳米尺寸的选择性通道已在人工仿生学和分子筛分领域引起了的广泛关注。通过堆叠纳米片构筑的二维层状膜,可以用作

热门文章

  • “复活”半年后 京东拍拍二手杀入公益事业

  • 京东拍拍二手“复活”半年后,杀入公益事业,试图让企业捐的赠品、家庭闲置品变成实实在在的“爱心”。 把“闲置品”变爱心 6月12日,“益心一益·守护梦想每一步”2018年四

最新文章

  • 杰普特2022营收11.78亿元 净利同比下降10.79%

  • 杰普特披露2022年年度业绩快报。据公告显示,2022年度,公司实现营业收入11.78亿元,同比下降1.77%;实现利润总额0.85亿元,同比下降16.58%;实现归属于母公司所有者的净利润0.81亿元,同
  • GPT系列大模型在文本生成方向有哪些最新尝试?

  • 最近爆火到出圈的ChatGPT,让大家看到了文本生成领域的更大可能性,它不再是大众印象中呆板漏洞百出的聊天机器人,而是思路清晰有逻辑,像一个人类一样的聊天回答。更推动了文本生