一、SFT 是什么#

SFT 全称是 Supervised Fine-tuning，监督微调。

在 LLM 后训练语境里，它通常指：

使用人工或合成的 instruction-response 数据，对预训练模型继续做监督学习，让模型学会按用户指令输出符合预期的回答。

如果说预训练的目标是：

1
给定前文，预测下一个 token

那么 SFT 更像是：

1
给定 system + user 指令，学习 assistant 应该如何回答

它的训练目标仍然可以是 token-level 交叉熵，但监督信号来自"高质量回答"。

二、SFT 数据长什么样#

SFT 数据的本质是"输入条件 + 目标回答"，但工程里常见格式有好几种。面试里最好不要只说"问答对"，可以按 Alpaca、ShareGPT 和 messages 三类说。

1
{
2
  "instruction": "把下面这段话总结成三点。",
3
  "input": "长文本内容...",
4
  "output": "1. ...\n2. ...\n3. ..."
5
}

1
{
2
  "conversations": [
3
    {
4
      "from": "human",
5
      "value": "请解释一下什么是 DPO。"
6
    },
7
    {
8
      "from": "gpt",
9
      "value": "DPO 是 Direct Preference Optimization..."
10
    },
11
    {
12
      "from": "human",
13
      "value": "它和 RLHF 有什么区别？"
14
    },
15
    {
16
      "from": "gpt",
17
      "value": "可以从 reward model、训练稳定性和工程复杂度三点比较..."
18
    }
19
  ]
20
}

1
{
2
  "image": "images/sample.png",
3
  "conversations": [
4
    {
5
      "from": "human",
6
      "value": "<image>\n这张图里血液形态是什么？"
7
    },
8
    {
9
      "from": "gpt",
10
      "value": "这属于滴落形态。"
11
    }
12
  ]
13
}

1
{
2
  "messages": [
3
    {
4
      "role": "system",
5
      "content": "你是一个严谨、清晰的技术学习助手。"
6
    },
7
    {
8
      "role": "user",
9
      "content": "请解释一下什么是预训练。"
10
    },
11
    {
12
      "role": "assistant",
13
      "content": "预训练是大模型训练的第一阶段，通常使用大规模无标注语料做自监督学习..."
14
    }
15
  ]
16
}

1
{
2
  "messages": [
3
    {"role": "user", "content": "查一下今天上海天气。"},
4
    {
5
      "role": "assistant",
6
      "tool_calls": [
7
        {
8
          "name": "weather",
9
          "arguments": {"location": "上海"}
10
        }
11
      ]
12
    },
13
    {"role": "tool", "content": "晴，28 摄氏度。"},
14
    {"role": "assistant", "content": "今天上海天气晴，约 28 摄氏度。"}
15
  ]
16
}

三、Tool-use SFT：工具调用也是一种格式对齐#

工具调用模型的 SFT 数据会更复杂，因为它不仅要学会回答，还要学会在合适的时候生成结构化工具调用。

一个简化样本是：

1
{
2
  "messages": [
3
    {"role": "user", "content": "查一下今天上海天气。"},
4
    {
5
      "role": "assistant",
6
      "tool_calls": [
7
        {
8
          "name": "weather",
9
          "arguments": {"location": "上海"}
10
        }
11
      ]
12
    },
13
    {"role": "tool", "content": "晴，28 摄氏度。"},
14
    {"role": "assistant", "content": "今天上海天气晴，约 28 摄氏度。"}
15
  ]
16
}

这条数据包含三个学习目标：

1. 什么时候不用直接回答，而是先调用工具。
2. 工具名和参数怎么按 schema 生成。
3. 拿到工具结果后，怎么整合成自然语言答案。

所以 tool-use SFT 和普通 SFT 的区别是：

• 普通 SFT 学"问题 -> 回答"。
• tool-use SFT 学"问题 -> 工具调用 -> 观察结果 -> 最终回答"。

不过 SFT 主要还是模仿轨迹。它能教格式和常见模式，但不一定能优化长程任务成功率，这也是后面 Agentic RL 要解决的问题。

四、Chat Template：对话格式如何进入模型#

真实训练时，messages 这样的结构化数据不会直接进入 Transformer。它会先经过 chat template，被渲染成一段带特殊标记的文本。

例如：

1
<|system|>
2
你是一个严谨、清晰的技术助手。
3
<|user|>
4
请解释一下什么是预训练。
5
<|assistant|>
6
预训练是大模型训练的第一阶段...

不同模型的模板不同。Qwen、LLaMA、ChatML、OpenAI-style messages 都会有自己的特殊 token 和角色标记。

这件事很重要，因为 SFT 不只是训练"答案内容"，还在训练模型识别：

• 哪段是 system。
• 哪段是 user。
• 哪段是 assistant。
• assistant 从哪里开始回答。
• 多轮对话里上下文如何延续。

如果 template 和推理时使用的格式不一致，模型可能训练时学得很好，推理时却不稳定。

五、Label Mask：不是所有 token 都应该算 loss#

SFT 的输入里包含 system、user、assistant 三类文本，但通常只希望模型学习 assistant 的输出。

例如：

1
system: 你是一个技术助手
2
user: 什么是 DPO？
3
assistant: DPO 是一种直接偏好优化方法...

训练时常见做法是：

1
system 和 user token 的 label 设为 -100，不参与 loss
2
assistant token 参与 cross-entropy loss

也就是说，模型会看到完整上下文，但梯度主要来自 assistant 回答部分。

为什么不让 user 也算 loss？

因为我们不是要训练模型"生成用户问题"，而是训练它"在给定用户问题后生成回答"。如果把 user 部分也算进去，模型会浪费容量学习复述输入格式。

六、SFT 学到什么#

SFT 主要学习四类东西。

1
{
2
  "risk_level": "high",
3
  "reason": "合同中缺少违约责任条款",
4
  "suggestion": "补充双方违约责任和赔偿范围"
5
}

1
输入一段病历 -> 输出结构化摘要
2
输入一份合同 -> 输出风险点
3
输入一段报错 -> 输出排查步骤
4
输入一张商品图 -> 输出质检标签

七、SFT 的训练直觉#

训练时，模型会看到完整上下文，但通常只对 assistant 的回答部分计算 loss。

也就是说，system 和 user 是条件，assistant answer 是要学习的目标。

比如：

1
system: 你是一个技术助手
2
user: 什么是 DPO？
3
assistant: DPO 是一种直接偏好优化方法...

训练目标是让模型在这个上下文下，更大概率生成 assistant 那段回答。

这解释了为什么 SFT 数据质量极其重要：

模型不会自动知道"这条回答是不是好"，它只是被要求模仿。如果数据里有啰嗦、错误、格式混乱、过度拒答，模型都会学。

八、SFT 数据怎么做更好#

高质量 SFT 数据通常有几个特点：

1. 指令清晰

不要让 user prompt 含糊到连人都不知道要什么。

2. 输出可学习

回答要稳定、结构清楚、风格统一，而不是每条都完全不一样。

3. 覆盖真实场景

不要只做理想问题，要加入长尾、边界、异常输入。

4. 难度有层次

简单问答、复杂推理、多轮澄清、工具调用都要有。

5. 避免错误标签

SFT 对错误答案非常敏感。少量高质量数据常常比大量脏数据更好。

6. 留出评估集

训练集和评估集要分开，避免只是在背训练样本。

九、训练工程里的几个细节#

十、SFT 的局限#

SFT 很重要，但不能解决所有问题。

1
答案 A：短，直接，适合忙碌用户。
2
答案 B：长，完整，适合学习用户。

十一、SFT 和 Prompt Engineering 的关系#

一个常见问题是：能不能只靠 prompt，不做 SFT？

答案是：看场景。

如果只是让模型"偶尔按某个格式回答"，prompt 可能够。

如果每天都要稳定输出同一种结构，SFT 更适合。

十二、一个具体例子：技术讲解风格 SFT#

假设要训练一个"AI 技术讲解助手"，一条 SFT 数据可以这样设计：

1
{
2
  "messages": [
3
    {"role": "system", "content": "你是一个帮助学习者理解 AI 训练方法的助手。回答要准确、结构清晰、先直觉后细节。"},
4
    {"role": "user", "content": "DPO 和 RLHF 有什么区别？"},
5
    {"role": "assistant", "content": "可以从三点回答。第一，RLHF 通常需要先训练 reward model，再用 PPO 优化策略；DPO 不显式训练 reward model，而是直接使用 chosen/rejected 偏好对更新模型。第二，RLHF 更接近在线强化学习，工程复杂度更高；DPO 是离线偏好优化，训练更稳定。第三，DPO 适合已有高质量偏好数据的场景，而 RLHF/PPO 在需要在线探索和复杂奖励时更有表达力。"}
6
  ]
7
}

这条数据教会模型的不是 DPO 知识本身，而是：

• 技术问题先分点。
• 先讲核心差异。
• 再讲工程复杂度。
• 最后讲适用场景。

十三、本篇小结#

SFT 的核心不是"让模型多看一些问答"，而是把对话格式、角色边界、输出风格和任务流程通过监督信号写进模型行为里。

最关键的训练细节是：

1
messages -> chat template -> token ids
2
system/user 作为条件
3
assistant answer 作为 label
4
label mask 控制哪些 token 参与 loss
5
cross-entropy 更新模型参数

理解这一点以后，再看 DPO、RLHF、工具调用 SFT 都会清楚很多：它们不是凭空出现的新范式，而是在 SFT 这个"模仿好答案"的基础上继续引入偏好、奖励或环境反馈。