学生论坛-浅谈大模型时代的科研选题-南京大学.pdf

1、浅谈模型时代的科研选题李家欢 南京学模型带来的机遇与挑战 模型的出现深刻改变了NLP的研究 些传统任务、范式的研究必要性减弱:词性标注/句法分析、模型架构探索 新任务、新法层出不穷：扮演/本成、指令微调/RLHF科研课题的选择与实施 科研同学最容易问的问题:如何从现在海量的论中找到有价值的论阅读？如何阅读论？如何判断个课题能不能做、适不适合？如何找到并完成个好的科研课题？-三阶段案 头脑暴阶段:多收集科研课题候选集合 课题分析阶段：多维度分析科研课题，选取最有价值的课题 课题实施阶段：开展科研研究 头脑暴阶段 泛阅读，积累阅读量 可加深对感兴趣向理解的论 和研究向直接相关的论 其他向的有趣论，

2、可借鉴技术 从多收集可能的研究课题 综述 对于论的总结 与他的讨论 头脑暴从综述中获取研究课题 综述章 从Future Work/Open Questions 中筛选研究课题 综述博客头脑暴从会议论中寻找研究课题 ACL Anthology/ICLR/ICML 对章进类型划分，追踪研究趋势 总体统计数据 逐篇章标注关键词 筛选出感兴趣的章 维护有趣的论列表，时常回头翻看头脑暴 从讨论中寻找研究课题 与同学、师关于某课题展开讨论 关注分歧，思考分歧背后的本质问题是什么 找到“Unknown Unknown”头脑暴阶段的些建议 获取他反馈 课题是否重要/是否已经有类似的研究 对研究课题进优先级划分

3、 持续维护更新课题列表 随着技术的进步，之前法完成的课题有可能可以实现课题分析阶段 标：从多维度考虑课题是否适合，并制订简单的研究计划 步骤：思考并标注课题的特性 潜在影响:有多少会觉得这个课题重要？可操作性：这个课题是否可以分解成系列具体的问题？我是否有明确的 法来处理这个课题？适宜性：这个课题是不是与我所在的团队匹配？我本的能是否能为这个 问题提供独特的解决办法？学习价值：通过这个课题，我能够学到什么新东？课题属性标注例充实课题信息，撰写研究提案 选取具有优先级的课题，继续充实信息 背景:这个课题的想法由何来？这个课题的基本假设是什么？研究课题：具体的研究问题是什么？是否有明确的法可评估该

4、课题进展？法：准备使什么样的技术处理这个问题？潜在收益/险:我能从这个课题获得什么？这个课题如果失败，最可能的原因是什么？应该找谁讨论：导师、有相关背景的同学、相关作的作者 相关参考献 综合所有信息，挑选最想做的课题，撰写研究提案研究提案的例 课题实现阶段 点建议 点建议 安排实验时，最先做的实验应该是最有信息量的实验，不是最容易做的实验（Fail Fast)关键假设是否成 模型为是否符合预期 灵活调整，最终论可能与最初设想课题完全不样 失败乃兵家常事，关键是加深对问题的认识,让成为某个领域的专家之 总结失败经验，加候选课题列表，待时机成熟时继续研究 结论 模型时代带来了许多机遇，掌握更好的科研法论可以帮助我们搭上这辆快 选题：泛阅读；多维度评估；提前计划 实施：快速迭代；获取反馈；成性态