BAAI：2021-2022年度智源人工智能前沿报告（243页）.pdf

《BAAI：2021-2022年度智源人工智能前沿报告（243页）.pdf》由会员分享，可在线阅读，更多相关《BAAI：2021-2022年度智源人工智能前沿报告（243页）.pdf（234页珍藏版）》请在三个皮匠报告上搜索。

1、2021-2022 年度智源人工智能前沿报告BAAI AI Frontiers北京智源人工智能研究院2021 年 12 月AIAI FrontiersFrontiers ReportReport目录智源人工智能前沿报告丨 2目录目录2审订专家和编者9报告贡献情况12摘要13前言16第一章 人工智能科研和技术发展情况19一、科研发展情况20（一）人工智能基础理论201.信息模型、具身模型和脑模拟机器人的结合将诞生超级人工智能202.对深度神经网络工作机制的理论研究热度上升22（二）预训练模型技术241.系统研究超大规模智能模型发展和影响的新兴领域已经形成242.超大规模预训练模型研发竞赛进入白热

2、化阶段273.多模态预训练模型成为下一个大模型重点发展领域324.加速方法创新提升超大参数规模模型的训练效率39AIAI FrontiersFrontiers ReportReport目录智源人工智能前沿报告丨 35.预训练模型在生物学研究和互联网等场景实现应用43（三）机器学习461.深度学习模型事后可解释性研究出现新范式462.神经网络算法持续改进优化，降低算力依赖并提升任务性能50（四）自然语言处理551.Prompt Tuning 成为预训练语言模型新型训练范式552.提升性能和效率成为预训练语言模型发展的新路线63（五）计算机视觉671.Transformer 成为计算机视觉领域的重

3、要网络架构672.遮盖图像建模替代对比学习成为视觉自监督学习的新热点733.非 Transformer 架构在视觉任务上仍有发展潜力744.神经辐射场（NeRF）启发图像生成、三维重建等研究785.脉冲视觉开辟机器视觉新路线79（六）智能体系架构与芯片811.生物神经元与芯片结合成为类脑芯片的研究热点812.高性能、低能耗 AI 芯片不断涌现833.存算一体 AI 芯片设计、应用步伐加快85AIAI FrontiersFrontiers ReportReport目录智源人工智能前沿报告丨 44.由 AI 辅助设计成为芯片发展新趋势88（七）智能信息检索与挖掘901.Web 模型成为新型信息搜索

4、范式的核心支撑902.预训练语言模型助力信息检索性能提升933.数据驱动的新方法推动定量分析在社会科学领域实现应用94（八）人工智能的认知神经基础961.借鉴脑神经和认知科学研究成为启发类脑智能研究的重要来源962.无线高带宽、微创、结合 AI 算法等成为脑机接口的发展重点100（九）AI for Science1071.传统科研领域成为人工智能发展的“新战场”1072.人工智能技术提升智能产品和服务的性能115（十）强化学习1171.提升训练效率成为强化学习领域的研究重点1172.强化学习环境成为发展泛化性更强、适应复杂环境智能体的重要支撑1183.Transformer 渗透强化学习领域1

5、21（十一）其他值得关注的 AI 研究和热点1221.Transformer 和图神经网络结合产生更强的性能表现122AIAI FrontiersFrontiers ReportReport目录智源人工智能前沿报告丨 52.神经网络解码脑电信号，有望提升机器控制能力1243.因果推断在经济学、社会学研究中广泛应用1254.基于视觉的机器人通用抓取研究实现突破1275.AI 在环境和可持续发展研究实现应用128二平台和工具发展情况130（一）AI 系统1301.构建基于超大规模智能模型的AI开放平台成为研发机构和企业的重点发展思路 1302.大规模深度学习的分布式训练势在必行1313.超大规模智

6、能模型支撑的行业应用进入探索落地阶段133（二）AI 算法和代码库1361.开源社区复现超大规模预训练模型1362.多个领域开放 AI 代码库助力研究应用发展137（三）算力平台1461.AI 算力成为超算性能比拼的新“擂台”146（四）基准测试和数据集1491.面向复杂语言理解任务的基准测试涌现1492.AI 为人类科学家提供领域数据集，助力基础科学研究155AIAI FrontiersFrontiers ReportReport目录智源人工智能前沿报告丨 6第二章 人工智能产业发展情况158一、人工智能应用层企业159（一）智能医疗1591.总体趋势1592.医疗影像1603.AI 药物研