神经网络架构拆分以及DeepSeek开源项目所处的环节 DeepSeek开源周项目主要围绕隐藏层开展工程创新,创新方向是减少每一环节及每一任务在时间和空间维度上的冗余,具体包括:DAY1减少自注意力层缓存占用的FlashMLA、DAY2减少FFN层通信启动成本的DeepEP、DAY3提高矩阵运算效率的DeepGEMM、DAY4提高流水线并行与专家并行效率的DualPipie/EPLB以及DAY5加速输入层文件读取的3FS。 行业数据 下载Excel 下载图片 原图定位