导语
本次读书会由肖达和李嫣然两位老师进行分享。分享将通过对比不同翻译任务时期完成该任务方式和解决的问题，梳理GPT家族的发展演化脉络，并简要介绍涉及到的Transformer自注意力、预训练/微调、in-context learning、instruction tuningRLHF等技术和概念。过程中穿插反思OpenAI GPT路线的成功的启示。
当前有很多工作观察到大模型迭代发展趋势和现象，现象背后的根源仍众说纷纭。这些讨论主要集中在大模型涌现出的 Chain-of-Thoughts思维链推理能力、In-Context Learning能力及不理想的Hallucination生成幻觉问题。本次读书会将会梳理一些大模型的迷思、提出探讨角度，尝试将大模型与更多领域研究关联在一起。
集智俱乐部的“后 ChatGPT”读书会由北师大教授、集智俱乐部创始人张江老师联合肖达、李嫣然、崔鹏、侯月源、钟翰廷、卢燚等多位老师共同发起，旨在系统性地梳理ChatGPT技术，并发现其弱点与短板。同时，结合集智俱乐部常年来积累的各种人工智能技术讨论，展望后GPT时代的人工智能都有哪些可能性？读书会自2023年3月3日开始，每周五晚上举办，持续时间预计6周，欢迎对本话题感兴趣的朋友报名参加！
与读书会整体主题之间的关系
与读书会整体主题之间的关系
肖达老师部分
梳理GPT家族的发展演化脉络，介绍涉及到的主要概念和技术，为后续讨论打下基础
李嫣然老师部分
尽管通过 Instruction Tuning、RLHF 等训练出的大模型“涌现”出了很多惊人的能力，但在这些现象背后仍然有很多引人深思的问题，仍待解决。比如，为什么会涌现出这些能力？这些能力是否有更好的获取途径？大模型现在仍然表现不好的地方，是否有其它技术可以帮助解决？信息论、因果推断、神经科学等等学科的一些研究成果是否能帮助我们更好地理解现状？
主要涉及到的知识概念
主要涉及到的知识概念
分享简介
分享简介
肖达老师部分
以翻译任务为例，按四个时期
1）统计机器翻译、神经机器翻译（RNN S2S -> CNN S2S -> Transformer）；
2）预训练+微调(GPT-1、BERT)；
3）基于PLM和涌现的few-shot learning和prompt programming（GPT-2/3）；
4）基于PLM和指令微调+RLHF的zero-shot learning（GPT-3.5/ChatGPT）
通过对比每个时期完成这个任务的方式和解决的问题，梳理GPT家族的发展演化脉络，并简要介绍涉及到的Transformer自注意力、预训练/微调、in-context learning、instruction tuning、RLHF等关键技术和概念。
李嫣然老师部分
分享大纲
分享大纲
肖达老师部分
古典时代：神经机器翻译（RNN S2S -> CNN S2S -> Transformer）
中世纪：预训练+微调(GPT-1、BERT)
文艺复兴：基于PLM和涌现的few-shot learning和prompt programming（GPT-2/3）
主讲人
主讲人
直播信息
直播信息
扫码参与读书会，加入群聊获取本系列读书会的视频回放权限、资料权限，与社区的一线科研工作者和企业实践者沟通交流。
“后ChatGPT”读书会启动
集智学园最新AI课程推荐，
张江教授亲授
课程定价：399元