范元凯-datafun-nl2sql-20240420.pdf

1、数据库系统的然语交互法探索From Database Query to Natural Language Query范元凯 复旦学 博后研究员汇报提纲l背景介绍背景介绍l生成-排序的NL2SQL翻译方法l统一的NL2SQL优化框架l大模型与NL2SQL模型l交互式NL2SQLl总结汇报提纲l背景介绍背景介绍l生成-排序的NL2SQL翻译方法l统一的NL2SQL优化框架l大模型与NL2SQL模型l交互式NL2SQLl总结l智能化数据分析一直以来是企业和研究机构追求的目标，通过这种分析可以更有效地挖掘数据中的价值，做出更明智的决策背景“The future of BI is Conversatio

2、nal.”-GartnerTheres a growing disconnect between business leaders expecting a data-driven organization,and employees who either arent comfortable questioning metrics or leveraging data analysis to drive actions.https:/ 的核心是通过语义解析理解自然语言查询，并将其转换为对应的数据库查询语句，可以在给定的数据库上进行数据查询操作NL2SQL技术的出现NL2SQL需要解决的问题l自然

3、语言理解(NL Understanding)o复杂语言中语义的解析l视图剪枝(Schema Pruning)o快速过滤不相关的数据视图结构l视图链接(Schema Linking)o自然语言查询中提及或涉及哪些视图元素l约束解码(Constrained Decoding)o基于SQL语法的有效生成过程NL2SQL难在哪？l复杂的数据模型l复杂的查询语言表达形式l复杂的数据库查询操作l海量数据的有效访问l使用seq2seq框架实现o分别在编码器侧、解码器侧进行模型设计基于深度学习的NL2SQL法输入编码器解码器输出SQL查询自然语言问题数据视图BERT关系感知的Transformer架构中间表示

4、(NatSQL)Coarse-fine方法RATRAT-SQL+NatSQLSQL+NatSQLSQL查询自然语言问题数据视图GRAPPA关系感知的Transformer架构中间表示(线性代数)Bottom Up解析器SmBoPSmBoPhttps:/ learning)实现NL2SQL过程LLM即NL2SQL模型LLM即NL2SQL模型https:/arxiv.org/abs/汇报提纲l背景介绍l生成生成-排序的排序的NL2SQL翻译方法翻译方法l统一的NL2SQL优化框架l大模型与NL2SQL模型l交互式NL2SQLl总结l大部分传统的翻译方法将NL2SQL视为一种语言翻译任务，并依赖通用

5、的语言模型实现更好的自然语言的语义理解l局限性局限性:通用语言模型很难利用世界知识理解每个数据库中存在的独特结构和语义信息o例如,现有的翻译方法出现的大部分错误都发生在一些复杂查询上l现状现状:领域数据库中可能存在一些历史查询数据(查询日志)，模型无法有效使用STARTcount(amount)from.ViewtotalsalesthisyearNL2SQLModelsselectselectcount(amount)from传统NL2SQL翻译法成-排序的NL2SQL法-GARYuankai Fan,Tonghui Ren,Zhenying He,X.Sean Wang,Ye Zhang,

6、Xingang Li.GenSQL:A Generative Natural Language Interface to Database Systems.In 39th International Conference on Data Engineering(ICDE 23 Demo)Yuankai Fan,Zhenying He,Tonghui Ren,Dianjun Guo,Lin Chen,Ruisi Zhu,Guanduo Chen,Yinan Jing,Kai Zhang,X.Sean Wang.GAR:A Generate-and-Rank Approach for Natura