AIGC时代的多模态知识工程思考与展望.pdf

1、DataFunSummit2023：知识图谱与AIBC论坛AIGC时代的多模态知识工程思考与展望分享人：李直旭（研究员、博导）复旦大学计算机科学技术学院知数据工程与多模态智能研究组DEMIDataology中福工场2023.03.18#page#分享人简介李直旭复旦大学计算机科学技术学院研究员、博士生导师复旦大学知识工场实验室执行副主任、数据工程与多模态智能研究组负责人上海市数据科学重点实验室办公室主任中国计算机学会高级会员、数据库专委会委员中国中文信息学会语言与知识计算等专委会委员个人简历澳大利亚昆士兰大学计算机科学博士中国人民大学信息学院计算机学士&硕士前苏州大学计算机学院教授、博导前科大

2、讯飞苏州研究院副院长（兼）主要研究方向为知识图谱、知识工程与认知智能、自然语言处理等已累计在知名期刊与国际会议上发表论文150余篇拥有授权发明专利20余项主持国家级和省部级纵向科研项目累计近十项与华为、阿里、科大讯飞等人工智能企业保持长期合作#page#01AIGC时代：未来已来02AIGC的阿克硫斯之睡日03多模态认知智能录04 AIGC for MMKG05 MMKG for AIGC06AIGC+MMKG#page#ChatGPT的爆红出圈宣告了生成式人工智能（AIGC）时代的到来1950年，艾伦图灵提出2014年，LanJ.Goodfellow著名的“图灵测试”，给提出生成式对抗网络G

3、AN2007年，世界上出判断机器是否具有第一部完全由人能”的方法2018年，英伟达发布工智能创作的小StyleGAN模型用于自动生成说1TheRoad高质量图片问世NVIDIA1966年，世界第一AIGC典型2019年，DeepMind发布款可人机对话机器DVD-GAN模型用于生成连续事件DeepMind人“Eliza”问世性视频2012年，微软展示语全自动同声传2022年，OpenAI发布80年代中期，IBMSOpenATMicrosoft译系统，可将英文IBMChatGPT模型用于生成自然能创造语音控制打字语音自动翻译成中语言文本机“Tangora”文语音AIGC发展AIGC从实验性向实用

4、性转变，受特点受限于技术水平，AIGC仅限于小深度学习算法不断选代，人工智能生成内容限于算法瓶颈，无法直接进行内范围实验百花齐放容生成人工智能总沉淀积累阶段早期萌芽阶段快速发展阶段体阶段（20世纪90年代-21世纪10年代（20世纪50年代-90年代中期）（21世纪10年代中期-至今）中期）上图摘录自：国泰君安证券ChatBpI研究框架（2023）随着算法的不断送代，生成式人工智能技术（AIGC）不断发展。#page#AIGC时代：万物皆可AI生成HumanitysLastweet.人类的最后一篇推文Jasper、copy.Ai、文本生成ChatBPT、Bard、BTP4EditBAN、Dee

5、pfake、图像生成DALL-E、 Stable DifusinnAIGCDeepMusic、WaveNet、音频生成Deep Vuic、 MusicAutBotDeepfake、 VidenBPT、视频生成BliaCloud、 ImageViden（一个很有意思的画来自互联网）AIGC可生成的内容形式已囊括文本、图像、音频和视频。#page#多模态大模型的分类与发展脉络WSCDDatasetM6-CorpusRedcaps4MEP-3MAtTextProductiMLAITWuDaoMM4MSProduct车YFCC-100MCC3MHT100MCC12M LAION-400MWukongL

6、ocalized Narratives多模态统一大模型O2021支202220192020支VATTGuP FamingoUNITERUnicoder-vLCLIPGPT-4LXMERTLERNIEVLicode BnvLVisuaIBERTOSCARPaLM-ECoCaOPT惠PixelBERTDALL-E12-IN-1VideoBERTAlgorithmAudoCUPNUWANOWACogViewERNIE-ViLGDALL-E2stable-difusionBaa度stability aiOpenAI注摩院octnyDe2021Ap.2022way.202o2021多模态文图生成大模型F