使用直接偏好优化在SageMaker AI中定制Nova模型

解决方案概述

在某中心纽约峰会推出的Nova基础模型定制方案，提供了一套完整的模型训练生命周期管理能力。这些能力以即用型配方形式提供，涵盖预训练、监督微调和对齐等阶段。

技术架构

1. 用户选择特定的Nova定制配方，这些配方提供了控制训练参数、模型设置和分布式训练策略的完整配置
2. 2. 通过API向SageMaker AI控制平面提交请求，传递Nova配方配置
3. 3. SageMaker使用训练任务启动脚本在托管计算集群上运行配方
4. 4. 根据所选配方自动配置基础设施、协调分布式训练，完成后自动释放资源

业务用例实现

本文重点展示如何优化Nova Micro模型以增强结构化函数调用能力，适用于特定应用场景的智能工作流。通过DPO技术，模型在F1分数上实现了81%的提升，ROUGE指标提升达42%。

关键技术点

• 直接偏好优化(DPO)：通过展示成对响应(人工标注的优选和非优选响应)来调整模型输出
• • 参数高效微调：支持LoRA等高效微调方案，降低训练成本
• • 评估框架：提供gen_qa和llm_judge等多种评估方案，量化模型改进效果

实施步骤

数据准备

使用nvidia/When2Call数据集，该数据集包含：

• 用户查询
• • 工具选项
• • 基于真实场景标注的偏好数据 数据处理流程包括：

1. 加载原始数据集
2. 2. 转换为Nova Micro要求的格式
3. 3. 分割训练/测试集
4. 4. 上传至对象存储服务

DPO训练配置

estimator = PyTorch(
    output_path=f"s3://{bucket_name}/{job_name}",
    base_job_name=job_name,
    role=role,
    instance_count=instance_count,
    instance_type=instance_type,
    training_recipe=recipe,
    recipe_overrides=recipe_overrides,
    max_run=18000,
    sagemaker_session=sess,
    image_uri=image_uri
)

模型评估

提供两种评估方案：

1. gen_qa任务评估：测量响应准确性、精确度和推理质量
2. 2. llm_judge任务评估：使用LLM作为评判员比较模型输出 评估结果显示：

• F1分数提升81%
• • ROUGE-1提升39%
• • ROUGE-2提升42%

模型部署

通过创建自定义模型API部署到推理服务：

1. 指定模型检查点路径
2. 2. 创建自定义模型
3. 3. 监控部署状态
4. 4. 配置按需推理

资源清理

为避免产生额外费用，需要：

1. 删除未使用的SageMaker资源
2. 2. 删除自定义模型部署
3. 3. 清理对象存储中的临时文件

技术价值

该方案展示了：

1. 完全托管的训练体验，简化高级AI定制流程
2. 2. 显著的性能提升效果
3. 3. 与原生工具的深度集成能力
4. 4. 按秒计费的弹性成本模型