4-RV23-昆明湖CoupledL2缓存的设计与实现V4.pdf

《4-RV23-昆明湖CoupledL2缓存的设计与实现V4.pdf》由会员分享，可在线阅读，更多相关《4-RV23-昆明湖CoupledL2缓存的设计与实现V4.pdf（22页珍藏版）》请在三个皮匠报告上搜索。

1、昆明湖架构 CoupledL2 缓存设计与实现陈熙1 张林隽2 王凯帆1 蔡洛姗1 李昕11中国科学院计算技术研究所2北京开源芯片研究院2023 年 8 月 24 日 第三届 RISC-V 中国峰会中国科学院计算技术研究所(ICT,CAS)2 2背景 内存墙矛盾 内存的性能增长速度远低于处理器 程序员想要低延迟地访问大量的内存 基于时间&空间局部性，设计缓存 缓存技术的演进 单级缓存 多级缓存 Blocking Non-Blocking(MSHR)替换算法、预取算法MEMCPU核心目标：降低延迟提升带宽中国科学院计算技术研究所(ICT,CAS)3 3南湖 L2 HuanCun 架构回顾中国科学

2、院计算技术研究所(ICT,CAS)4 4南湖 L2 存在的问题 Hit latency 较长 所有请求都需要分配 MSHR按照 MSHR 状态机运行再向 L1 发送响应 对于命中的请求可以不需要 MSHR 直接处理中国科学院计算技术研究所(ICT,CAS)5 5南湖 L2 存在的问题 set 同 Set 请求只能串行处理 同 Set 会相互影响 为了简化设计，限制只能同时处理一个 对于某些访存 pattern，会造成严重性能损失中国科学院计算技术研究所(ICT,CAS)6 6南湖 L2 存在的问题 验证复杂度爆炸 L2 采用 Non-inclusive 策略 仍然需要维护上层目录信息 有着更加

3、多样的一致性策略L2L2中国科学院计算技术研究所(ICT,CAS)7 7南湖 L2 存在的问题 验证复杂度爆炸 L2 采用 Non-inclusive 策略 仍然需要维护上层目录信息 有着更加多样的一致性策略 需要维护 I/D 一致性 导致 corner case 众多，验证困难L2L2中国科学院计算技术研究所(ICT,CAS)8 8采用主流水线架构同 Set 请求可以并行Inclusive 策略ICache 为非一致性节点 新 L2 的优化南湖 L2 存在的问题 Hit latency 较长 同 Set 请求只能串行 验证复杂度爆炸+New Features中国科学院计算技术研究所(ICT,

4、CAS)9 9昆明湖缓存 CoupledL2 整体框架设计维度 一致性：Directory Based 包含关系：Inclusive 参数：1MB,4 Slices,8 way16 MSHRs per Slice 非阻塞式主流水线 替换算法：Random/PLRU/DRRIP 预取算法：BOP/SMS 和 L1 做一些耦合以提升性能中国科学院计算技术研究所(ICT,CAS)1010香山 CoupledL2 硬件结构中国科学院计算技术研究所(ICT,CAS)1111香山 CoupledL2 硬件结构通道控制器通道控制器目录数据存储主流水线MSHR请求仲裁中国科学院计算技术研究所(ICT,CAS)

5、1212Transaction 处理逻辑接收主动请求查询目录读数据向 L1 响应以 L1 Acquire 为例中国科学院计算技术研究所(ICT,CAS)1313Transaction 处理逻辑接收主动请求查询目录MSHR 状态机运行向 L3AcquireL2 miss 的情况中国科学院计算技术研究所(ICT,CAS)1414Transaction 处理逻辑L3 返回重填数据MSHR 状态机运行向 L1 响应更新目录写入数据再次进入流水线中国科学院计算技术研究所(ICT,CAS)1515香山 CoupledL2 硬件结构数据暂存数据暂存请求暂存预取器减少数据的传递降低功耗暂存未能处理请求减少对总

6、线的阻塞中国科学院计算技术研究所(ICT,CAS)1616设计点 1 L1-L2 协同优化 观察：访存单元 miss 时存入 Load Replay Queue(图中)在 收到重填信号 和 需要用到数据 之间相隔 3 拍 新设计：让 L2 提前给出 Hint 信号 加速 Load Replay Queue 的唤醒和重发 具体做法：设置一个 Monitor 监测主流水线 在 Refill 前 3 拍向 L1 发送 Hint 信号 需要综合考虑可能的延迟，计算准确的 Hint 时机中国科学院计算技术研究所(ICT,CA