学生论坛-亲测有效的几种研究选题方式-启元实验室.pdf

1、亲测有效的几种研究选题方式王 硕CCMT 2024三种选题方式2“先发制人”：选择一个全新的研究问题，或者用创新的方法解决现有的难题，开辟新的方向“后发制人”：根据当前主流方法中的不足，提出有针对性的优化或改进策略，或者扩展已有思想的应用场景，实现新的突破“移花接木”：借鉴其他领域的思想或方法，如计算机科学的其他分支、甚至是跨学科的理论，来解决本领域的难题“先发制人”不拘泥于现有的研究框架，开辟全新的领域，或者提出全新的方法 遵从第一性原理：一个最基本的命题或者假设，不能被省略，也不能被违反3全新的领域2014年神经机器翻译出现自回归的生成范式基本确定全新的方法2017年Transformer

2、出现奠定大模型的模型基础优势竞争不激烈，好做挑战观点难以服人新技术探索空间大举例：使用大模型做狼人杀游戏 研究动机：大模型是否具备群体博弈的能力4Idea形成的过程遇到的挑战使用大模型玩游戏专注于文字冒险游戏多模态模型能力欠佳研究群体博弈游戏，狼人杀 or 谁是卧底单人游戏已有TextWorld等前人工作开源模型能力不足没有成熟的GPT API服务GPT-3.5也无法保证游戏的顺利完成回合数多了之后超出GPT-3.5窗口大小举例：使用大模型做狼人杀游戏 技术挑战：从头搭建狼人杀模拟平台，有很多工程工作需要耐心处理5开发日志平台效果举例：使用大模型做狼人杀游戏 实验发现：大模型在游戏过程中已经可

3、以在一定程度上表现出类似人类的行为6信任关系的涌现历史经验的影响“后发制人”分析当前最好的、或者最具代表性的方法存在的问题是什么“先发制人”需要克服万难的信念感，“后发制人”需要“敌进我退”的灵活性7针对当前方法不足做改进优势目标明确一般超过基线方法即可挑战基线方法往往很强同期工作往往很快解决KV-Cache过大的问题举例：面向生成式任务的LoRA组合方法 研究动机：组合训练好的LoRA模块，实现模型能力的快速扩展 前人方法：为每个LoRA模块分配一个组合权重，权重是人工设定的或学习得到的8手工设定组合权重Few-Shot方式学习组合权重举例：面向生成式任务的LoRA组合方法 前期观察：现有工

4、作多数在分类任务上进行的实验，在生成式任务上表现如何？猜想假设：对于生成式任务，不同类型的token对各个LoRA模块的依赖程度是变化的9现有工作实验结果猜想：生成式任务需要动态组合权重举例：面向生成式任务的LoRA组合方法 方法设计：增加一个参数量很小的融合模块，以Few-Shot的方式学习动态组合权重 新增成本：融合模块参数量仅为LoRA模块的0.2%，仅需200个样本训练10方法设计举例：面向生成式任务的LoRA组合方法 实验分析，这个方法确实可以再生成式任务上学习到有效的LoRA组合模式11可视化分析举例：面向生成式任务的LoRA组合方法 实验发现，在生成式任务上，动态组合权重可以明显

5、提升方法的组合效果12与前人工作对比消融实验“移花接木”相信“它山之石可以攻玉”，广泛阅读其他领域的前沿工作/经典工作，汲取灵感13AI其他领域计算机学科其他领域计算机视觉强化学习机器人图神经网络算法与数据结构数据库系统软件工程操作系统举例1：受Git版本管理启发的模型参数压缩 相信“它山之石可以攻玉”，广泛阅读其他领域的前沿工作/经典工作，汲取灵感14Git版本管理v1V2v3v4v5v6v1存储所有版本存储版本增量查阅文件系统资料举例1：受Git版本管理启发的模型参数压缩 借鉴差分编码（Delta Encoding）思想，实现对模型的版本管理15Git版本管理存储N个模型存储1个主干模型和

6、N个Delta模型举例1：受Git版本管理启发的模型参数压缩 方法设计：基于观察到的差值矩阵的低秩特性，使用高位宽编码特征值较大的参数，使用低位宽编码特征值较小的参数，实现混合精度压缩16对Delta参数进行混合精度压缩模型压缩：low-bit或者low-rankDelta压缩和模型压缩有什么不同？Delta参数具有明显的低秩特性（长尾分布）混合精度Delta压缩举例1：受Git版本管理启发的模型参数压缩 实验发现：混合精度压缩方法平均可以达到与压缩前模型可比的效果17实验结果数学评测代码评测Chat评测多模态评测举例1：受Git版本管理启发的模型参数压缩 实验发现：与传统PEFT方法相比，各