使用LLamaFactory和EasyR1在SageMaker零代码高效微调和GRPO训练及推理.pdf

1、 2025,Amazon Web Services,Inc.或其附属公司。保留所有权利。2025,Amazon Web Services,Inc.或其附属公司。保留所有权利。*前述特定亚马逊云科技生成式人工智能相关的服务仅在亚马逊云科技海外区域可用，亚马逊云科技中国仅为帮助您发展海外业务和/或了解行业前沿技术选择推荐该服务。?LlamaFactory?EasyR1?GRPO?LlamaFactory&EasyR1?AI?2025,Amazon Web Services,Inc.或其附属公司。保留所有权利。*前述特定亚马逊云科技生成式人工智能相关的服务仅在亚马逊云科技海外区域可用，亚马逊云科技中

2、国仅为帮助您发展海外业务和/或了解行业前沿技术选择推荐该服务。?2025,Amazon Web Services,Inc.或其附属公司。保留所有权利。*前述特定亚马逊云科技生成式人工智能相关的服务仅在亚马逊云科技海外区域可用，亚马逊云科技中国仅为帮助您发展海外业务和/或了解行业前沿技术选择推荐该服务。1.?2025,Amazon Web Services,Inc.或其附属公司。保留所有权利。*前述特定亚马逊云科技生成式人工智能相关的服务仅在亚马逊云科技海外区域可用，亚马逊云科技中国仅为帮助您发展海外业务和/或了解行业前沿技术选择推荐该服务。?2025,Amazon Web Services,I

3、nc.或其附属公司。保留所有权利。*前述特定亚马逊云科技生成式人工智能相关的服务仅在亚马逊云科技海外区域可用，亚马逊云科技中国仅为帮助您发展海外业务和/或了解行业前沿技术选择推荐该服务。?2025,Amazon Web Services,Inc.或其附属公司。保留所有权利。*前述特定亚马逊云科技生成式人工智能相关的服务仅在亚马逊云科技海外区域可用，亚马逊云科技中国仅为帮助您发展海外业务和/或了解行业前沿技术选择推荐该服务。?2025,Amazon Web Services,Inc.或其附属公司。保留所有权利。*前述特定亚马逊云科技生成式人工智能相关的服务仅在亚马逊云科技海外区域可用，亚马逊云科

4、技中国仅为帮助您发展海外业务和/或了解行业前沿技术选择推荐该服务。?FP32?QAT?去?1.58bit LLM?PTQ?去?GPTQ?Llama-8B?FP32?32GB?Int8?8GB?Int4?4GB?2025,Amazon Web Services,Inc.或其附属公司。保留所有权利。*前述特定亚马逊云科技生成式人工智能相关的服务仅在亚马逊云科技海外区域可用，亚马逊云科技中国仅为帮助您发展海外业务和/或了解行业前沿技术选择推荐该服务。DeepSpeed ZeRO?DeepSpeed ZeRO?128GB8+ZeRO2?44GB8+ZeRO3?16GB 2025,Amazon Web

5、Services,Inc.或其附属公司。保留所有权利。*前述特定亚马逊云科技生成式人工智能相关的服务仅在亚马逊云科技海外区域可用，亚马逊云科技中国仅为帮助您发展海外业务和/或了解行业前沿技术选择推荐该服务。LoRA&GaLorenLoRA?Adapter?nGaLore?Llama-8B?128GB?-16GB?2025,Amazon Web Services,Inc.或其附属公司。保留所有权利。*前述特定亚马逊云科技生成式人工智能相关的服务仅在亚马逊云科技海外区域可用，亚马逊云科技中国仅为帮助您发展海外业务和/或了解行业前沿技术选择推荐该服务。Flash AttentionFlash Att

6、ention?对?O(n)?8k?45GB?-20GB?2025,Amazon Web Services,Inc.或其附属公司。保留所有权利。*前述特定亚马逊云科技生成式人工智能相关的服务仅在亚马逊云科技海外区域可用，亚马逊云科技中国仅为帮助您发展海外业务和/或了解行业前沿技术选择推荐该服务。ActivationCheckpointingActivation Checkpointing?8k?60GB?-20GB?2025,Amazon Web Services,Inc.或其附属公司。保留所有权利。*前述特定亚马逊云科技生成式人工智能相关的服务仅在亚马逊云科技海外区域可用，亚马逊云科技中国仅为