张宁豫-基于大模型智能体的知识发现与数据科学应用(终版）.pdf

1、基于大模型智能体的知识发现与数据科学应用张宁豫 浙江大学 从知识抽取、知识发现到数据科学知识与人工智能AI的发展:游走于神经与符号之间参数化知识结构化知识非结构化知识外部非参数 化知识知识图谱知识问答生命科学海洋工程Q:美国总统是谁？A:拜登神经网络文本掌握知识一直是人工智能系统发展的核心追求知识与人工智能行业知识库领域知识是大模型行业落地的关键要让大模型更好的“懂得”行业知识，需要更为精细的知识增强方法知识增强是行业领域应用精准性和可靠性的重要基础和基本保障 1 DSBench:How Far Are Data Science Agents to Becoming Data Science

2、Experts?传统AI处理知识的基本范式AI通过数据和语言（文本语言、代码语言等）学习知识:p 符号压缩:信息抽取、知识图谱构建 p 参数压缩:预训练数据知识应用符号化知识图谱参数化大模型知识与人工智能信息（知识）抽取HusbandJack is married to the microbiologist known as Dr.Germ in the USA.microbiologistJackDr.GermUSA Named Entity Recognition(NER)isSpouseOfEntity PairJack is married to the microbiologist

3、known as Dr.Germ in the USA.Relation Extraction(RE)Jack is married to the microbiologist known as Dr.Germ in the USA.Dr.GermUSAMarryWifePlaceTriggerArgumentJackmarriedRole Event Extraction(EE)知识与大模型:RAGFrom Local to Global:A Graph RAG Approach to Query-Focused Summarization(2024)HippoRAG:Neurobiolog

4、ically Inspired Long-Term Memory for Large Language Models(NeurIPS 2024)HippoRAGGraphRAG信息（知识）抽取目前已成为大模型RAG系统中的重要组成部分之一传统信息（知识）抽取基本范式标注数据稀缺！任务模式复杂！Generative Knowledge Graph Construction:A Review(EMNLP 2022)基于知识提示学习的关系抽取:KnowPrompt KnowPromptWWW22 基于知识图谱中的先验知识(Schema)作为提示的思想提升对关系抽取任务的感知并激发大模型的潜能主要挑战

5、q 语义关系的复杂性问题 :_ _ 和 :_ _ 等关系无法在词表找到合适的独立标签词q 知识图谱的归纳偏置问题实体类型和关系类型之间存在隐式的约束，如 :_ _ 的头实体一定是person，尾实体一定是locationKnowPrompt:Knowledge-aware Prompt-tuning with Synergistic Optimization for Relation Extraction(WWW 2022)基于知识提示学习的关系抽取:KnowPrompt KnowPrompt:Knowledge-aware Prompt-tuning with Synergistic Opt

6、imization for Relation Extraction(WWW 2022)Code is available in https:/ KnowPrompt在低资源数据集上取得提升基于大模型的信息（知识）抽取范式LLMs for Knowledge Graph Construction and Reasoning:Recent Capabilities and Future Opportunities(WWWJ)ChatGPT数学推理知识问答翻 译内容创作指令理解One model for anythingPretrain+RLHF医疗问答事实问答信息抽取擅长可以做，但是不能直接落地P