《6.16 Foodtalks沙龙+中国科学院计算技术研究所+闵魏庆+中文.pdf》由会员分享,可在线阅读,更多相关《6.16 Foodtalks沙龙+中国科学院计算技术研究所+闵魏庆+中文.pdf(100页珍藏版)》请在三个皮匠报告上搜索。
1、ChatGPT与食品智能计算演讲人:闵魏庆2023年6月16号Institute of Computing Technology,Chinese Academy of Sciences大纲p 人工智能和ChatGPT技术介绍p 食品领域介绍及人工智能在食品领域的发展p 我们在食品计算领域的工作进展p ChatGPT技术在食品领域的应用分析p 总结和展望2Institute of Computing Technology,Chinese Academy of Sciences人工智能的发展趋势n人工智能的关键三要素:算法、算力、数据数据总量指数增长模型参数越来越大算力总量和需求剧增Sevilla
2、 et al.,arXiv 2022.Tulchinsky et al.,World Economic Forum Annual Meeting,2022.Driess et al.,arXiv,2023.人工智能已走向大数据、大模型、大算力时代3Institute of Computing Technology,Chinese Academy of Sciences人工智能的重要性第四次技术革命推出创新神经技术脑研究计划CSIS发布国防2045评估报告2015.11DARPA未来30年技术愿景白宫成立人工智能委员会2015.102013.42016.5人工智能上升为各大国国家战略,相关技术成
3、为技术竞争的核心领域美国中国制造2025新一代人工智能发展规划的通知2017.7第十三个五年规划纲要新一代人工智能标准体系建设2016.32015.52020.7中国法国公布人工智能发展战略欧盟发布欧洲数据战略2020.2德国通过人工智能战略欧盟发布人工智能法案2018.112018.32021.4欧盟4Institute of Computing Technology,Chinese Academy of Sciences语言与视觉模型的发展201420172020CNN类架构Transformer类架构AlexNetVGGResNetDenseNetVision Transformer视觉
4、识别引入注意力机制(关注重点)大模型成为趋势引入人工反馈强化学习LSTM类架构Transformer类架构Seq2SeqGRUTransformerBERTChatGPTGPT-1GPT-2GPT-3语言处理XLNet由于具有通用建模能力和良好的可扩展性,Transformer被广泛应用到各种语言、视觉任务中5Institute of Computing Technology,Chinese Academy of Sciences视觉预训练模型n基于视觉语言关联数据集训练表示模型,视觉语言关联任务的任务性能获得较大提升April.28th,2021Dec.7th,2021Jan.7th,202
5、2June.12nd,2022Feb.11st,2021Dec.2nd,2021Dec.16th,2021Dec.23rd,2021May.4th,2022CLIP(150M)400M samplesFlorence(893M)900M samplesGLIP(400M)27M samplesOpenSeg(490M)1B samplesGLIPv2(1.5B)935M samplesALIGN(490M)1B samplesLIMoE(5.6B)7.6B samplesDenseCLIP(105M)400M samplesSLIP(345M)30M samplesCoCa(2.1B)4.8B
6、 samplesNow2021BEiTv3(1.9B)35M samples160GB documents July.6th,2022Aug.22th,2022Jan.20th,2022SWAG(634M)3.6B samplesSAM(636M)1B masks11MB imagesApr.5th,20236Institute of Computing Technology,Chinese Academy of Sciences视觉领域自监督学习n在不使用人工注释的情况下从未标记数据中学习特征n根据不同训练目标归纳为:生成式,对比式,和对抗式xy监督学习!y自监督学习xyxx”模型自监督学习