吕仲琪-大语言模型内涵知识的度量与油气行业知识的嵌入.pdf

1、吕仲琪 中国石油大学（北京）副教授，人工智能学院计算机系系主任北京大学软件与微电子学院特聘硕士生导师，深圳市海外高层次人才，深圳市科创委科技专家。研究领域覆盖推荐系统、数据挖掘、自然语言处理等方向。代表研究成果推荐系统“时间流动性”，被广泛应用于工业实践，曾在腾讯广告、微软必应、阿里巴巴天猫等企业推广。相关技术成果发表国际顶级会议学术论文十余篇，被引用一千余次，承担多个省级、国家级课题。演讲主题：大语言模型内涵知识边界的度量与油气行业知识的嵌入大语言模型内涵知识的度量与油气行业知识的嵌入吕仲琪中国石油大学（北京）知识结构方面的变化，也改变了知识的形态和性质。当知识变得网络化之后，房间里最聪明的

2、那个，已经不是站在屋子前头给我们上课的那个，也不是房间里所有人的群体智慧。房间里最聪明的人，是房间本身：是容纳了其中所有的人与思想，并把他们与外界相连的这个网。David Weinbergerhttps:/cyber.harvard.edu/people/dweinberger计算信息量SELECT*FROM table1;df hls lstd:set:count()大语言模型包含了多少知识？大语言模型在专业领域包含了多少知识？知识度量的难点：1.信息量不等于知识量2.回答错不等于不知道三个思路如何度量知识？参数量 回答问题的质量 自问自答的质量自问自答的质量1.如何从问答过程到知识的度量？

3、2.知识的度量可以引导下一个问题吗？1.如何从问答过程到知识的度量？对于一个非常专业的研究方向，大语言模型能“理解”多深？参考学生学习.Item Response TheoryItem Response Theory 用来分析考试成绩或者问卷调查数据的数学模型。这些模型的目标是来确定的潜在特征（latent trait）是否可以通过测试题被反应出来，以及测试题和被测试者之间的互动关系。目前广泛应用在心理和教育测量领域。Item Response Theory 3PL模型，3-parameter Logistic model 所绘制出的曲线也叫做项目特征曲线（Item Characteristi

4、c Curve,ICC）。其意义在于描述出“成功解答某一特定考试项目的可能性”和“被测试者能力”（在函数中以表示）之间的关系。Item Response Theory项目特征曲线（ICC）Item Response Theory 参数a叫做区分度参数（item discrimination）。在数学上，a/4的值是ICC曲线拐点处的斜率，即斜率的最大值。在这一点上，能力值微小的改变会造成最大的P值（回答正确率）变动。所以a体现的是该项目的最大区分度。Item Response Theory 参数b叫做项目难度参数，也称为项目难度（item difficulty）。b一般表示在ICC曲线最陡的那

5、一点所对应的值。参数c所代表的是ICC的下限，其直观意义为：当一个被测试者的能力值非常低（比如接近负无穷），但是他仍然能够有可能做对这道题目的概率c就是他猜测的能力。Concept Enhanced Item Response Theory 把知识衡量限定在专业领域的概念范围内.人工定义专业领域需要关注的概念 用参数概念、区分度、难度定义回答的“质量”Concept Enhanced Item Response Theory 用信息熵衡量增益，定义损失函数：在收到每一轮回答后，评估概念的数值。基于CEIRT的知识度量的可视化 基于一组对话的结果，计算在五个概念维度的度量 相对量，可比 数值越大

6、，知识的度量越大知识的度量可以引导下一个问题吗？自问自答：如何从问答过程到知识的度量？知识的度量可以引导下一个问题吗？Until 知识度量无法增加.知识的度量可以引导下一个问题基于知识的度量，推荐下一个问题Recommend to Ask Good Questions.方法对比Recommend to AskChain of Thought商用LLM互答方法对比更短的对话轮数提高采收率相关文献包括但不限于：录井工程1700余篇 石油地球物理勘探8000余篇 油气地质与采收率1