020-肖琳杰.pdf

1、 面向机器学习推理应用的全同态编译器框架ANT-ACE肖琳杰程序设计语言与编译器实验室全同态加密(FHE)隐私计算云计算、金融数据分析、医疗数据处理，适用于需要在不泄露原始数据的情况下进行复杂计算的场景应用场景提供最强的隐私保护，适合高度敏感的数据处理优点计算成本高，性能较低，尚未广泛应用于实际生产环境中缺点慢数百倍到数十万倍解密猫加密用户端云端密文、集中计算编译器的作用域密文推理训练建模评估微调训练阶段预训练模型推理阶段密文推理FHE编译器明文推理推理引擎支持模型密文推理支持硬件加速器(RISC-V架构)接入支持ONNX，可扩展PyTorch,TensorFlow等支持CKKS,可扩展BGV

2、/BFV/TFHE等支持ANT-RTLIB，可扩展第三方加密库预训练模型FHE加密01 编译时02运行时CPU、硬件加速器功能特性ANT-ACE 编译器ResNet模型推理(FHE)实测数据ANT-ACE 编译器AI128位安全性CIFAR-10/1001000张图片推理推理精度*对比FHE-MP-CNN(手写全同态加密程序)发表于ICML22，目前唯一开源的CNN模型全同态推理项目性能提升对比手写ANT-ACE 编译器推理效率1倍提升单图片推理时间(S)ANT-ACE(左)FHE-MP-CNN(右)内存使用7倍减少运行时内存占用(GB)ANT-ACE(左)FHE-MP-CNN(右)5层IR架

3、构设计ANT-ACE 编译器DSL编译器前端多项式计算库CPUEXE加速器RISC-V专用指令加速多项式操作扩展RISC-V指令集为正确的分析和变换提供正确的IR使优化更有效，避免模式匹配允许使用更简单的算法，减少出错的可能性向量中间表示02张量中间表示01方案无关同态中间表示03CKKS IRHybrid/BFV04多项式中间表示05Util模块MemoryPool,Option,Binary,Timing,Perf,unittest,benchmark,example,支撑工具代代码生成码生成CGIR，TargetInfo,Assembler,X86_64,RISC-V加速器接入加速器接入

4、算法实现SSA,CFG,DFG,性能优化逐逐层层LoweringONNX2AIR，VECTOR,SIHE,CKKS,POLY,计算图核心算子核心算子Base-Opcode,NN-Opcode,FHE-Opcode,IR设计Base模块Container，node，Visitor,AIR基础设施组织与实现ANT-ACE 编译器软/硬件协同设计和优化调整的性能工具ANT-ACE 编译器IR数据流和控制流内存层次的抽象建模编译器优化设计与实验中间表示层ASMCycle评估模型和轨迹分析内存访问(类型和模式)延迟和并行性汇编层VISUAL计算视图可视化内存使用视图可视化数据可视化TEST单元测试、组合

5、测试集成测试、回归测试性能测试、基线测试基线和单元测试集生成目标文件和可执行程序加速器接入中间表示IR逐层Lowering明文到密文转换多项式IR生成IR扩展RISC-V机器表示汇编代码生成汇编代码生成ASMRISC-V可可执行程序执行程序编译目标文件链接可执行程序加速器程序生成EXEIRLoweringCGExtend RISC-VAssemblerRISC-VLinkerRISC-VExecuteRISC-VObjectfileObjectfilesData LayoutEncodeCKKSPOLY多项式计算仿真&验证加速器接入RISC-V扩展指令多项式计算指令验证计算结果加速器程序QEM

6、U内核态仿真用户态仿真仿真器CmodelLSU(modadd,modsub,modmul,)NTT/AUTOU/TRASPOSE,.多项式计算CompileStartSimulatorProlog(inst_*)TargetRISC-VQemuCmodel(lib)CodeGenInstruction SetEpilogRun on X86_64Run on Qemu(RISC-V)示例：modadd计算加速器接入隐私保护与数据安全符合监管要求提高数据利用率AI推理性能优化业