1、GeoScene大模型技术应用与GIS智能体建设汇报人:王越GeoScene大模型技术应用大模型概念大模型是指具有大规模参数和复杂计算结构的机器学习模型。这些模型通常由深度神经网络构建而成,拥有数十亿甚至数千亿个参数。大模型的设计目的是为了提高模型的表达能力和预测性能,能够处理更加复杂的任务和数据。大模型在各种领域都有广泛的应用,包括自然语言处理、计算机视觉、语音识别和推荐系统等。大模型通过训练海量数据来学习复杂的模式和特征,具有更强大的泛化能力,可以对未见过的数据做出准确的预测。大模型特点:参数和层规模巨大深度学习框架和海量语料库多任务能力上下文理解计算资源密集视觉大模型 SAMMeta 的
2、 FAIR 实验室发布的一种最先进的图像分割模型,该模型将自然语言处理领域的prompt范式引入计算机视觉领域,可以通过点击、框选和自动识别三种交互方式,实现精准的图像分割,突破性地提升了图像分割的效率。SegGPT国内的智源研究院视觉团队提出了通用分割模型SegGPTSegment Everything in Context,首个利用视觉上下文完成各种分割任务的通用视觉模型 PrithviIBM、NASA(美国国家航空航天局)同时在官网宣布,在HuggingFace上开源全球最大的地理空间大模型Prithvi。据悉,Prithvi由NASA提供大量地理、气候、灾害等卫星遥感数据,在IBM的w
3、atsonx.ai模型上预训练、微调而成。Prithvi主要用于预测气候变化、洪水映射、跟踪森林砍伐、预测作物产量等。多模态遥感基础模型多模态遥感基础模型SkySense蚂蚁集团基于蚂蚁百灵大模型平台能力开发的多模态遥感模型,20亿参数。数据显示,SkySense在17项测试场景中指标均超过国际同类产品,其可用于地貌、农作物观测和解译等,有效辅助农业生产和经营。商汤日日新商汤日日新地界遥感大模型地界遥感大模型涵盖30+智能遥感分析算法,覆盖地物分类、变化检测、目标识别等应用场景。适配多种卫星传感器、季节、地域及地貌,具备业界领先的算法精度与泛化能力。达摩院遥感通用分割模型达摩院遥感通用分割模型
4、 AIE-SEG V3.0(4.10)以视觉/多模态统一基础模型为底座,可实现“万物无需样本”的目标提取、全要素地物分类、变化检测等多个场景,同时支持文本提示、视觉提示、交互式提示等多模态信息输入。AIE-SEG V3.0,用户可以基于“基础模型+微调”,输入少量样本定制训练细分场景的遥感AI模型,轻松识别万物!GeoScene与视觉大模型的结合产品中内置 智能标注GeoScene与视觉大模型的结合产品中内置 基于Prithvi的预训练模型作物分类过火区域洪水淹没区域语言大模型概览语言大模型进化树GeoScene与语言大模型的结合场景 数据提取:常见NLP任务结构化数据提取:提取空间数据属性结
5、构实体,关系提取:构建知识图谱智能地址治理 工具调用:为大模型做插件扩展大模型空间检索,空间分析等能力 知识库检索:扩展大模型的知识面(RAG)行业内文本资料作为知识输入到大模型知识库检索基于文件问答基于关系数据库,知识图谱库问答GeoScene与语言大模型的结合 智能地址文本治理GeoScene与语言大模型的结合 扩展大模型空间数据处理能力GIS智能体建设智能体架构用户输入/环境变更环境/用户接收并结构化输入读写调用工具、制定计划执行具体功能智能体核心智能体核心感知模块感知模块记忆模块记忆模块规划与决策模块规划与决策模块工具调用模块工具调用模块LLM应用方式基础应用-问答系统文本处理摘要推理
6、翻译扩展创作生成文案生成代码生成艺术创作多模态视频分析图文结合音频处理工作流Agent应用反思工具调用规划多智能体协同LLM主要应用方式智能问答:最简单的应用智能搜索:超越搜索引擎编写代码:提升编码效率编写文案:对文章润色生成图片:对UI的挑战问答系统知识库是智能问答系统中用于存储和组织大量信息的系统,它包含了系统需要了解的各类知识。这些知识经过精心筛选和整理,确保平台能够提供准确和有依据的回答。在智能问答系统中,当用户提出问题时,系统会从知识库中检索相关信息,并基于这些信息生成回答。因此,知识库的质量直接决定了智能问答系统回答的准确性和可信度。不同类型的知识,可选择不同的数据库。例如,指标类