致网科技：2026年Token原生AI基础设施技术白皮书（71页）.pdf

核心结论速览： Token已成为AI基础设施的核心计量与治理单元：在大模型从单点试用走向规模化落地的过程中，Token不再仅是文本分词的基本单位，而是贯穿算力消耗、网络传输、服务调度、安全审计和商业计量的核心运行单元。 AI应用正经历从“资源建设”到“平台运营”的范式转移：智算中心的建设重心正在从“如何采购和堆叠GPU算力”转向“如何高效运营AI算力”，粗放式的资源分配已无法满足企业精细化运营需求。 Token原生AI基础设施以Token为核心重构智算中心：将异构算力资源、模型服务、API调用、应用编排和安全治理统一纳入平台化管理，实现算力从“资源管理”走向“Token运营”。 AI推理工作负载正从“训练密集”转向“Token密集”：随着AI Agent、RAG和多模态应用的普及，Token消耗量呈指数级增长，CPU与GPU的协同调度成为系统瓶颈。 KV Cache已成为大模型推理中最关键的显存资源：输入Token越多、输出Token越长、并发请求越多，KV Cache占用越大，直接影响推理系统的并发能力和稳定性。 智算云操作系统需建立Token级资源管理能力：平台不仅需要监控GPU利用率，还需要识别不同类型Token在不同阶段、模型、硬件和租户下的真实消耗。 致网科技已形成覆盖Token全生命周期的产品矩阵：致启·AI（Token计算）、致选·Token（Token调度与治理）、致联·Agent（Token驱动应用）三类产品共同构成Token原生AI基础设施。H2：研究背景与产业全景。过去两年，行业客户的大模型建设主要处于单点试用和概念验证阶段。然而，当大模型应用从“单点试用”走向“规模化落地”时，企业IT基础设施面临着前所未有的挑战：从单点调用到多场景、多租户、多模型服务；从“资源建设”到“平台运营”的转变；以及性能、成本、安全与可运营性的多重博弈。传统的以“虚拟机/容器”或“模型进程”为管理粒度的IT基础设施已难以支撑大模型服务的精细化运营。大模型系统需要一种全新的、能够贯穿底层算力与上层业务的“原子级”度量与管理对象——这就是Token。在自然语言处理领域，Token通常被理解为文本分词后的基本单元。但在企业级AI基础设施的语境下，Token的内涵已被极大扩展：在计算层面，Token的数量和序列长度直接决定了KV Cache的显存占用、Prefill与Decode阶段的算力消耗；在业务层面，Token是API计量计费的标准尺度，也是衡量RAG和Agent任务链路复杂度的关键维度；在治理层面，对Token流的拦截、审计、脱敏和限流构成了企业大模型安全合规的基石。Token原生AI基础设施，正是以Token为核心计量、调度、审计和优化对象，将异构算力资源、模型服务、API调用、应用编排和安全治理统一纳入平台化管理的新型AI基础设施体系。H2：Token全生命周期技术框架。围绕Token在系统中的流转，其全生命周期可划分为五个关键技术阶段：Token生产与表达：文本、代码、多模态数据通过Tokenizer转化为TokenID，并结合Embedding和位置编码形成模型可理解的上下文向量。不同模型使用不同的Tokenizer规则，同样一段文本在不同模型中可能被切分为不同数量的Token。Token推理与计算：Token序列进入Transformer架构后，经历Prefill（上下文并行计算）与Decode（自回归逐Token生成）两个阶段。Prefill阶段处理全部输入Token，计算量大、并行度高；Decode阶段每次只新增一个Token，存在明显的串行依赖。此阶段的核心挑战在于异构算力的统一纳管、KV Cache的显存优化以及面向Token吞吐的推理加速。Token传输与调度：生成的Token通过流式协议（如SSE）低延迟地传输给客户端；在企业级网关中，基于租户配额、成本预算和SLA要求，对Token请求进行智能路由、限流与多模型协同调度。Token审计与治理：在Token的输入与输出双向链路上，实施敏感信息检测、Prompt注入防护、数据脱敏与合规留痕；同时基于Token消耗量进行多维度的成本核算与FinOps分析。Token驱动的应用：Token机制向上支撑RAG中的长文档切片与上下文拼接、Agent中的多步推理与工具调用，最终转化为可落地、可运营的行业智能应用。H2：推理计算与资源消耗。大模型推理通常可以拆分为Prefill和Decode两个阶段，区分这两个阶段是分析推理性能的基础。Prefill阶段：用户提交Prompt后，模型一次性处理全部输入Token。输入Token越多，Prefill需要处理的Token越多，首Token之前的等待时间越长。长文档问答、合同分析等场景面临较高的Prefill压力。Decode阶段：Prefill完成后，模型开始逐Token生成输出。Decode阶段每次只新增一个Token，存在串行依赖。输出Token越多，Decode持续时间越长，模型实例占用越久。KV Cache是大模型推理中最关键的显存资源之一。它缓存历史Token在Attention计算中的Key和Value，使模型在后续Decode阶段不必重复计算历史上下文。但KV Cache的代价是显存占用：输入Token越多，Prefill阶段写入的KV Cache越多；输出Token越多，Decode阶段追加的KV Cache越多；并发请求越多，系统需要同时保存的KV Cache越多。在生产环境中，模型权重占用通常相对固定，而KV Cache是动态增长的。很多时候推理服务无法继续接收新请求，并非因为模型权重太大，而是因为KV Cache容量已经接近上限。H2：Token调度与治理。多模型、多租户和高并发场景下，调度系统不能只按请求数做负载均衡。一个短问答请求和一个长文档生成请求在请求数上都是一次调用，但对Prefill、Decode、KV Cache和成本的影响完全不同。Token感知的调度的核心，是把每个模型请求看作一个可度量的Token计算任务。调度决策需要综合多个因素：模型大小决定基础计算成本；输入Token数决定Prefill压力；输出Token数决定Decode持续时间；上下文长度决定显存占用；租户等级决定调度优先级；SLA决定时延约束。平台按租户、部门、应用、用户、模型和时间窗口统计输入Token、输出Token和总Token消耗，设置不同层级的限制：单次请求最大上下文长度、单次输出最大Token数、分钟级Token速率、日累计Token上限、月度预算和Agent任务最大执行步数。H2：致网科技Token原生AI基础设施产品矩阵。围绕Token原生AI基础设施体系，致网科技形成了三类核心产品：致启·AI（Token计算与智算资源层） ：异构智算纳管与资源池化平台，负责异构GPU/NPU纳管、资源池化、训练推理调度、算力运维、Token计算能力供给。平台已覆盖超过20家厂商、60余款型号的GPU/NPU设备，支持GPU、CPU、边缘算力及多类国产异构芯片的一站式纳管。致选·Token（Token调度与治理层） ：大模型统一接入、Token路由、审计与成本治理平台，负责多模型统一接入、Token感知路由、配额限流、Prompt/Response审计、Token成本归集。平台遵循国家标准GB/T43331构建Token计量体系，计量误差低于0.1%，支持按部门、项目、用户、应用四级维度进行配额配置和成本分摊。致联·Agent（Token应用与智能体层） ：企业级智能体应用开发与运行平台，负责RAG知识库、Agent编排、工具调用、上下文治理、应用运营闭环。平台提供可视化画布编排能力，用户通过拖拽配置工具、知识库、任务逻辑等节点，零代码搭建行业智能体。H2：未来展望与成熟度模型。Token原生AI基础设施的演进将集中在五个方向：一是推理需求增长推动基础设施从资源管理走向Token运营；二是长上下文、多模态与Agent放大Token治理压力；三是Token调度从规则驱动走向语义感知和负载感知；四是安全、审计与成本治理走向一体化；五是云边端协同与行业化交付成为重要方向。致网科技提出了Token原生AI基础设施成熟度模型，划分为五个阶段：阶段1为基础资源纳管；阶段2为推理加速优化；阶段3为动态调度治理；阶段4为安全审计合规；阶段5为全面应用运营。这一模型帮助建设方判断自身AI基础设施所处阶段，明确从“算力可用”到“Token服务可运营”再到“行业智能体可落地”的演进路径。延伸阅读：以上为报告核心趋势分析，如需获取完整报告详细数据及全部案例，请访问下载页下载完整PDF报告。FAQ区块：问：什么是Token原生AI基础设施？答：Token原生AI基础设施是以Token为核心计量、调度、审计和优化对象，将异构算力资源、模型服务、API调用、应用编排和安全治理统一纳入平台化管理的新型AI基础设施体系。如果说“云原生”是以容器和微服务为核心重构了传统IT架构，那么“Token原生”则是以Token流为核心重构了智算中心的服务控制平面。问：大模型推理中的Prefill和Decode有什么区别？答：Prefill阶段是用户提交Prompt后，模型一次性处理全部输入Token的过程，计算量大、并行度高，主要影响首Token时延。Decode阶段是Prefill完成后，模型逐Token生成输出的过程，每次只新增一个Token，存在串行依赖，主要影响输出速度和流式体验。两者对系统资源的要求不同，Prefill更偏计算密集，Decode更偏显存带宽敏感。问：KV Cache为什么是大模型推理的关键资源？答：KV Cache缓存历史Token在Attention计算中的Key和Value，避免Decode阶段重复计算历史上下文。但KV Cache会占用大量显存，输入Token越多、输出Token越多、并发请求越多，KV Cache占用越大。很多时候推理服务无法接收新请求，并非因为模型权重太大，而是KV Cache容量已接近上限。问：致网科技的产品矩阵如何覆盖Token全生命周期？答：致启·AI负责Token计算能力供给（异构算力纳管、推理加速）；致选·Token负责Token调度治理控制（统一接入、智能路由、配额限流、安全审计、成本归集）；致联·Agent负责Token驱动应用落地（RAG知识库、Agent编排、工具调用、应用运营）。三者共同构成从“算力可用”到“Token服务可运营”再到“行业智能体可落地”的完整能力路径。问：Token原生AI基础设施成熟度模型分为几个阶段？答：分为五个阶段：阶段1基础资源纳管、阶段2推理加速优化、阶段3动态调度治理、阶段4安全审计合规、阶段5全面应用运营。早期应优先解决资源纳管和基础监控；中期重点建设推理优化、Token计量和动态调度；高级阶段需将安全审计、应用运营和行业场景交付纳入统一管理。数据来源说明：本报告基于致网科技《以Token为核心，重构AI算力基础设施——计算、推理、传输调度、审计治理、应用》技术白皮书。