《LanguageX:ChatGPT全景图:聊聊技术、产品和未来(2023)(22页).pdf》由会员分享,可在线阅读,更多相关《LanguageX:ChatGPT全景图:聊聊技术、产品和未来(2023)(22页).pdf(22页珍藏版)》请在三个皮匠报告上搜索。
1、4月15日 北京 梅花创投&腾讯科技 ChatGPT全景图全景图聊聊技术、产品和未来聊聊技术、产品和未来LanguageX李光华|David Lee2CONTENT背景篇背景篇CONTEX PAGE技术篇技术篇TECHANICAL PAGE产品篇产品篇PRODUCT PAGE几点建议几点建议ADVICES背景篇背景篇EFFECT PAGE争论:争论:ChatGPT算不算技术革命算不算技术革命4回应吴军老师“ChatGPT不算新技术革命”致敬和感恩不要炒作不要拿着锤子找钉子,勉强找机会语言模型是一个1972年就出现的老古董,只是概率计算下一个词意味着理解,世界模型GPT4评测ChatGPT擅长写
2、作,但仅是鹦鹉学舌涌现灯下黑:工程创新、产品创新影响:影响:IN MARKET WE TRUST5Anthropic(Claude)CohereLLaMABLOOM百度(文心一言)阿里(通义千问)商汤(日日新)华为/鹏城(盘古)澜舟科技(孟子)达观数据(曹植)昆仑万维腾讯(混元)京东(Chat JD)出门问问王慧文(光年之外)李开复 Project AI 2.0王小川(百川智能)复旦、清华、西湖大学团队工程和产品胜利工程和产品胜利6语言作为AGI切入点语言的边界即思想的边界讨论虚构的事物是智人语言最独特的功能符号主义 VS 连接主义极少发布专利和论文数据标注团队迭代思维大语言模型之大大语言模型
3、之大参透万象参透万象724T的跨语言文本知识是人类的群体智慧预训练模型是世界的压缩镜像和世界模型1750亿参数4.398 万亿个参数将GPT-3的惊人表现推演到未来,可以得出的结论是:生命、宇宙和万物的答案,只是4.398万亿个参数而已。Jeffery Hinton大语言模型之小大语言模型之小大道至简大道至简8预训练VS独立模型InstructGPT VS Fine-tuningUI交互:大道至简技术篇技术篇TECHNICAL PAGEChatGPT的技术地基的技术地基10算法符号主义VS连接主义预训练模型Transformer算力GPT-3.5 在 Azure AI 超算基础设施(Nvidi
4、a V100 GPU)训练成本:500-1200万美元/次推理成本:35万美元/天(1万GPU)数据3000亿单词,24T文本大小,英文占92.6%预训练模型参数1750亿60%来自于 2016-2019 的 C4+22%来自于 WebText2+16%来自于Books+3%来自于WikipediaChatGPT的三个核心技术:情境学习的三个核心技术:情境学习 In context Learning11ChatGPT的三个核心技术的三个核心技术思维链思维链 Chain-Of-Thought12ChatGPT的三个核心技术的三个核心技术人类反馈强化学习人类反馈强化学习RLHF13产品篇产品篇PR
5、ODUCT PAGE市场格局市场格局15A16ZSam Altman微软微软GPT生态生态16创业公司关于创业公司关于GPT的机会的机会17内容生产:roomGPT办公AI新交互LanguageX的一点尝试:引擎市场的一点尝试:引擎市场18LanguageX官网LanguageX的一点尝试:引擎定制和问答的一点尝试:引擎定制和问答19几点建议几点建议ADVICES几点非结构化的建议几点非结构化的建议21AIGC只是开始:文案撰写、图像生成、视频生成平民化比0-1大:书籍、计算机、大模型一手信息:看论文、看访谈、自己用机会点:内容生成、效率工具、新交互你能看到多远的过去,就能看到多远的未来AI安全值得关注:要么高估,要么低估一些关于一些关于AI安全的警告安全的警告22我们正处于一个堪与人类生命崛起相提并论的变革边缘。弗诺文奇机器智能将是人类需要做出的最后一项重要发明。尼克博斯特罗姆我认为任何一种对人类心灵的冲击都比不过一个发明家亲眼见证人造大脑变为现实。尼古拉特斯拉人工智能远比核武器要危险。马斯克人工智能可能自行启动,以不断加快的速度重新设计自己。而人类局限于缓慢的生物进化过程,根本无法竞争,最终将被超越彻底开发人工智能可能导致人类灭亡。霍金