王楠-寻找 AI 变革下的不变需求：工具开发者视角下的 2023-掘金.pdf

1、王楠Jina AI联合创始人兼CTO寻找AI变革下的不变需求：工具开发者视角下的2023BerlinHQ$38MShenzhenBeijingJina AI成立于2020年2月累计融资美金当大家都去挖金矿时你应该去卖铲子PromptPerfect：优化200+万条提示词SceneX：处理150+万张图片全球首款支持8k输入长度的开源向量模型性能与闭源商业模型齐平HuggingFace下载约100万次支持英文、中文、德语jina(19.4k)clip-as-service(12k)DocArray(2.6k)disco-art(3.8k),dalle-flow(2.8k)从神经搜索到大模型应用变

2、化，工具开发者的焦虑jina vs langchainSource:https:/github.blog/2023-11-08-the-state-of-open-source-and-ai/ChatGPT is announced在焦虑中开始变化1：AI应用开发工具使用者Source:h=ps:/arxiv.org/pdf/2306.15033.pdf/流行的AI应用工具第一时间支持javascript生成AI项目总数相比2023增248%Hugging Face Hub模型总数相比2023增加300%Reference:https:/huggingface.co/blog/cv_state

3、,2024.1.18,there are 471,831 models 变化2：AI模型的使用方式Source:https:/pypistats.org/packages/modalSource:https:/pypistats.org/packages/replicateSource:h=ps:/pypistats.org/packages/cog 主流模型部署平台的持续增长 主流模型厂商都提供API接口 本地部署框架下载量下降变化3：开发工具本身 大模型数量在2023年快速增长 模型加速工具不断涌现 vllm,deepspeed,tgi,fasDransformer,tensorRT,me

4、gatron,colossal-AI,BMTrain 应用框架变化相对不大 RAG应用搭建主流依旧是langchain,LlamaIndexSource:h=ps:/pypistats.org/packages/langchainSource:https:/pypistats.org/packages/llama-index原因1：模型更强 模型在通用任务上的表现追评人类专家 使用SFT工具快速完成任务适配 自然语言作为交互形式，效果直观可见 缩短Time-to-MarketSource:https:/arxiv.org/abs/2303.08774原因2：模型更大7B Model=10Gb

5、VRAMRTX 3090 or 409013B Model=12Gb VRAMRTX 3090 or 409070B Model=80Gb VRAMA100 80Gb Llama 70b：￥3万/月 云厂商和大模型厂商的在补贴大家的使用Source:https:/www.1001epochs.ch/blog/hosting-llama-2-a-comprehensive-guide-to-costs-model-sizes-and-cloud-requirementsSource:h=ps:/pypistats.org/packages/langchain原因3：模型和商业应用都有待继续探索

6、国外发布大模型138个，中国累计发布130个 多数生成AI项目并没有投入生产Source:赛迪顾问2023大模型现状调查报告开发者不变的需求：节省开发时间Dos#2Dos#1理解开发者日常工作（使用LLM搭建QA bot，Hugging Face提供Transformers微调模型）理解开发者实际遇到的问题（LLM无法准确处理长文本）理解开发者的实际任务需求（搭建探索性项目）融入现有生态系统（Langchain支持400+工具，支持Kubernetes部署）与开发者的日常工具集成（LLMs提供python、node