《甲子光年:2023甲子星空坐标系:AIGC通用大模型产品测评篇(18页).pdf》由会员分享,可在线阅读,更多相关《甲子光年:2023甲子星空坐标系:AIGC通用大模型产品测评篇(18页).pdf(18页珍藏版)》请在三个皮匠报告上搜索。
1、甲子光年3n5甲子星空坐标系:AIGC通用大模型产品篇发布甲子星空坐标系研究模型工具分析大模型产品用户画像与客群细分特征发布用户使用热度Top10的大模型产品发布大模型产品用户价格接受度发布大模型产品市场地位评估结果发布大模型产品商业潜力评估结果发布大模型产品应用场景商业潜力评估结果出品机构:甲子光年智库发布时间:2023.07#page#甲子光年甲子星空坐标系用户测评简述测评产品:AIGC通用大模型产品本轮测评对象聚焦AIGC基础层的通用大模型产品,其他行业/专用大模型、应用层等不在本轮测评范围内。甲子光调研样本:产品实际使用者调研对象是使用过AIGC通用大模型产品至少1次及以上的用户(包含
2、普通个人用户和开发者用户),只针对其使用过的相关产品进行评价打分。中子测评方式:李克特量表评分+问卷调研本次赋值打分采用的量表是李克特量表,采用的分值是10分制(1分代表非常差,10分代表非常好),调研方式以间卷调研+专家验证方式开展,最终汇总所有参与评价的用户和专家意见获得总得分结果入选条件:用户使用热度Top10甲子星空坐标系具有入选门槛。本次设定入选甲子星空坐标系通用大模型产品的条件是用户使用热度Top10的产品,未进入前十名的产品无法入选星空坐标系。测评时间:2023年6月-7月0本次实际使用者的测评调研时间是2023年6月-7月,问卷调研时间为6月15-30日,专家评议时间为6月30
3、-7月7日。展现形式:甲子星空坐标系本次针对AIGC通用大模型产品的测评结果,将以甲子光年智库自研模型一一甲子星空坐标系进行展现。不W数据来源:甲子光年智库#page#甲子光年图:AIGC算法层的技术架构理子微模型:个性化场景模型微数据:追求数据专业度和个性化需求应用层小算力:算力需求小,边缘算力即可满足低投入:训练成本投入较少多样化、个性化、场景化的应用落地多样化:满足干行百业需求,多样化、场景化,定制化中小模型:专用/行业大模型中间层小数据:不追求数据规模,而泊求数据深度和专业度中算力:算力需求中等,不依赖超算能力练模型低投入:训练成本投入较少低能耗:能源消耗较少山L甲子光年大模型:通用大
4、模型基础层大数据:数据规模大,追求广度大算力:算力需求高,逾练成本高高按入:高成本投入,+高能耗:高能源消耗w本次测评对象为AIGC通用大模型产品。甲子光年智库认为当下的AI技术栈不能满足ChatGPT推动下的新一代人工智能浪潮,未来的AI技术栈将呈现新的技术架构体系。,甲子光年智库将新一代人工智能的技术架构划分为五层:算力层、平台层、基础层、中间层和应用层,其中,基础层、中间层和应用层可归纳为算法层。基础层主要是通用大模型产品,以大数据、大算力、高投入和高能耗为特点,中间层主要是专用/行业大模型产品,应用层则主要是个性化场景微模型和应用产品。本次AIGC大模型测评对象为基础层,即AIGC通用
5、大模型产品。WWW3数据来源:甲子光年智库批#page#甲子光年图:AIGC通用大模型产品测评指标体系测评指标体系智能化水平赋能空间应用厂信度多样性一致性可控性实用性拟人性满意度效度度H甲子用户可以模型生成生成内容整体满意度、产品生成使用相关业务布局模型生成,模型生成的内容具,的内容具控制模型的内容具具有一定与期望的差答案的准产品可有应用行业有多样性有一致性生成的内有实用价情感表达异性、与完确率效提升工与场景的和创造性和连贯性容,如指值,可以水平,符美产品的差作效率的广度与普赋能日常合人的情异性、推荐比例适性定主题、风格等工作生产感认知意愿等甲子光测评指标体系:智能化水平赋能空间基于三定律所揭
6、示的两条路径,甲子光年智库推导确定AIGC通用大模型产品的测评指标体系,用智能化水平反映其先进性,用赋能空间反映其普适性。不抢,甲子光年智库认为,在智能化水平方面,AIGC通用大模型产品需要体现内容的多元与创造能力,前后生成内容要一致且连贯,生成内容要使用户有一定的可控能力,且具有较高实用性,并可以像人一样进行沟通。因此,智能化水平从多样性、一致性、可控性、实用性、拟人性五大维度进行测评;在赋能空间方面,AIGC通用大模型产品需要体现用户使用后的满意情况,生成内容需要有一定准确性且可有效提升工作效率,并具有一定的应用广度。因此,赋能空间主要从满意度、信度、效度、应用广度四大维度进行测评W7学W