学生论坛-From MTer to LLMer 一个 NLPer 的十年-中国科学院软件研究所.pdf

1、From MTer to LLMer:一个 NLPer 的十年1陆垚杰中文信息处理实验室中国科学院软件研究所2024/11/102提纲 个人介绍 MTer 深度学习在 NLP 中崛起 IEer 预训练模型的风口 LLMer 大模型时代的开启 总结3 最初的想法：我要做人工智能 初识 NLP：2014 年夏天阅读的第一篇论文：COLING 2014 Best Paper学习的第一个项目：Word2Vec，600 lines C code旅程的起点4提纲 个人介绍 MTer 深度学习在 NLP 中崛起 IEer 预训练模型的风口 LLMer 大模型时代的开启 总结5初识 MT：From SMT t

2、o NMT源语言统计机器翻译目标语言源语言统计机器翻译目标语言神经网络源语言神经机器翻译目标语言分词、对齐、调序、13 年-15 年14 年底-至今分词、对齐、6 好奇心驱动，广泛阅读论文 科研探索，大胆尝试神经网络与传统方法的结合神经网络新结构的探索 第一次投稿：ACL/EMNLP 15虽然手忙脚乱，但是乐在其中科研初体验-Passion7提纲 个人介绍 MTer 深度学习在 NLP中崛起 IEer 预训练模型的风口 LLMer 大模型时代的开启 总结8From 特定模型 to 统一模型从静态词表示到上下文词表示桥接 Pre-train 与 Fine-tune 的任务形式生成范式：统一生成框

3、架建模多任务BERT,NAACL 2019 Best PaperELMo,NAACL 2018 Best PaperT5,JMLR 2020GPT-2,Arxiv 20199Passion 燃烧的岁月 不知情时的乐观 知情后的悲观 信念危机（读博意义的危机）崩溃与浴火重生（可选）知情后的乐观实际上，我的（approximate）博士生涯我的Idea又被人发了！这听起来很常见。10 找到属于自己的关键词 把时间和精力放在你能够改变的事情上 多读X，读好X，勤写X，where X 论文、代码、文档、笔记，我是如何走出来的?对待科研怎么找 Idea 看论文 做实验写论文CWMT 2014CCL 20

4、1911 如何读一篇论文五页 PPT 讲清楚一篇论文一句话讲清楚一篇论文 把阅读的论文拆解成你的科研弹药库 从树到森林：构建科研方向领域地图我是如何走出来的?论文阅读针对针对 XXX 问题问题，基于，基于 XXX 思路思路，设计了设计了 XXX 方法方法，取得了，取得了 XXX 效果效果。12IDEA 的发现过程更像是采矿1.明确目标（准）：锁定主题，确定边界2.勘探矿脉（广）：大量阅读文献3.小范围试采（快）：原型实验与数据观察4.大规模开采（精）：精益求精地实验、撰文、迭代 IDEA 的核心是谁看的准，谁挖的深，谁的想法就更好、更深入、更具创新性。IDEA 初期可能不完美，但关键在于如何挖

5、掘出“不work”的价值。快速迭代：尽快实现最小可行模型并改进。不断优化：通过错误分析和借鉴资源，从弹药库里找弹药，逐步提升模型。我是如何走出来的?一个 Idea 的一生13 论文写作的基础：整体呈现问题、方法和结果（击败巨龙营救公主）1.问题：公主被巨龙抓走（研究要解决的核心问题）2.挑战：巨龙难以对付（问题的难度和重要性）3.方法：王子手持绝世神剑（方法的独特性，优于已有方案）4.实验：王子如何击败巨龙（方法的实验过程）5.贡献：王子和公主幸福生活在一起（研究的价值和意义）如何练习写论文：最重要的练习是重写 分析好的论文，把他们变成你的训练集我是如何走出来的?论文写作14提纲 个人介绍 M

6、Ter 深度学习 for NLP 的崛起 ACL 2015 IEer 预训练模型的风口 ACL 2019 LLMer 大模型时代的开启 ACL 2024 总结15初识 LLM超大规模数据+超大规模模型LLMWhere is the capital of French?事实知识The capital of French is Paris.Which is bigger?House or car?常识知识POS analysis of I like summer”.语言知识Houses are significantl