2023人工智能研究公司Open AI盈亏分析报告.pdf

1、2 0 2 3 年深度行业分析研究报告一、算力的逻辑：“一、算力的逻辑：“10%10%的精度的精度 vs 50%vs 50%的算力”的算力”二二、OpenOpen AIAI的总体盈亏分析的总体盈亏分析三三、OpenOpen AI“AI“单用户单用户”盈亏分析盈亏分析四四、如何提高如何提高GPTGPT-4 4付费率付费率4目录5一、算力的逻辑：“一、算力的逻辑：“10%10%的精度的精度 vs 50%vs 50%的算力”的算力”算力与精度的关系：根据算力与精度的关系：根据YufanYufan LiuLiu等人的论文研究，模型精度每下降等人的论文研究，模型精度每下降10%10%，算力可能减半。，算

2、力可能减半。模型的大小由其参数量及其精度决定，精度通常为FP64、FP32、FP16、BF16、TF32、INT8、IN4等，精度下降使得算力承载扩大的同时，也会导致性能在一定程度上下降。根据Yufan Liu等人的研究，其模型测试精确度降低到原来的90%左右时，模型被修剪后剩余FLOPs的数量约占原始网络中FLOPs总数的50%。因此，可以通过使用更低的精度来减少GPU需求，具体关系大约为精度每下降10%，所需算力减少到原来的二分之一。61、算力与精度的关系图表：模型算力与精度的关系算力=原算力2log0.9精度原精度图表：在假设条件为模型每降低10%，算力减半的背景下：模型算力与精度的计算

3、公式资料来源：Learning to Explore Distillability and Sparsability:A Joint Framework for Model Compression、Hugging Face、方正证券研究所2、单张A100芯片每日吞吐量测算单张单张A100A100卡的每日吞吐量测算：卡的每日吞吐量测算：根据英伟达官网数据，NVIDIA DGX A100 640GB的服务器，包含8个NVIDIA A100 80GB Tensor Core GPU，DGX A100具有高达640GB的总GPU显存，可将大规模训练作业的性能提升高达3倍，并将MIG实例的大小增加一倍，

4、从而从容应对颇为复杂的大任务，以及简单轻松的小任务。据微软官方介绍，每个ND A100 v4 series虚拟机有8块A100芯片，对于Davinci 3模型（GPT-3.5）使用英伟达80G显存的NDA100芯片，若需要大约3个虚拟机，共需要约24块芯片。考虑到高并发和低并发的情况，Davinci 3模型在低并发情况下平均每秒可以处理0.28个请求；而在高并发状态下，平均每秒钟可以处理0.34个请求，此时，一张卡每天的吞吐量大约为1224次（0.34*60 Secs*60 Mins*24 Hrs/24 GPU Cards）。但在实际使用时，若芯片全部打满容易出现崩掉的情况，因此需要考虑芯片的

5、使用效率。图表：模型算力支持拆解因素0.34*60 Secs*60 Mins*24 Hrs/24 GPU Cards=1224 turns/Card*day资料来源：NVIDIA、Microsoft、方正证券研究所73、精度和算力的换算资料来源：QLoRA:Efficient Finetuning of Quantized LLMs、Theory of Mind May Have Spontaneously Emerged in Large Language Models、华尔街见闻、方正证券研究所不同模型得分及精度转换：不同模型得分及精度转换：根据Tim Dettmers等人的论文，团队使用

6、大模型GPT-4当裁判，对不同模型的回答进行打分，以GPT-3.5的成绩作为100%，最终GPT-4自己的得分是114.5%。Michal Kosinski的研究表明，GPT-3可以解决70%的心智理论任务，而GPT-3.5解决了93%的任务，以GPT-3.5的成绩作为100，GPT-3的分数约为75（70/93*100）。如果使用分数对精度进行衡量，则GPT-4精度相当于GPT-3.5的1.145倍，GPT-3精度相当于GPT-3.5的0.75倍。此外，如果New Bing目前使用的模型为压缩约6倍后的模型，所需算力约减少到原来的六分之一。同样，模型的质量会受到一定的影响，压缩后大约从GPT