为什么需要视觉指令微调
一个电商平台希望用户上传商品图片，直接询问“这款背包的材质是什么？适合户外徒步吗？”，系统需要看懂图片并给出准确回答。传统做法是分别调用视觉模型提取标签，再用语言模型生成回答，但两个模型独立训练，视觉特征难以对齐语言模型的推理需求。如果直接端到端训练一个多模态模型，又面临高质量图文指令数据稀缺的问题。
LLaVA（Large Language and Vision Assistant）提出了一种解决方案：利用纯文本 GPT-4 生成多模态指令跟随数据，再通过两阶段训练将视觉编码器与大语言模型对齐。其核心思想是，语言模型已经具备强大的指令跟随能力，只需将视觉信息转化为它能理解的“语言”，就能复用这些能力。这一策略在 NeurIPS 2023 上以口头报告形式发表，并开源了模型与数据。
视觉编码器与投影层：如何将图像转化为语言模型的输入
LLaVA 的视觉编码器选用了 CLIP 的 ViT-L/14 模型。CLIP 通过对比学习将图像和文本映射到同一嵌入空间，因此其视觉特征已经包含丰富的语义信息。但 CLIP 输出的是一组图像块嵌入（patch embeddings），维度为 257×1024（包含一个 CLS token），而大语言模型（LLaMA）期望的输入是词元嵌入序列。这里需要一个投影层来桥接两者。
投影层是一个简单的线性层，将视觉特征投影到语言模型的词嵌入维度。具体来说，LLaVA 将 CLIP 输出的所有图像块嵌入（包括 CLS token）展平后通过一个可训练的线性矩阵 W，得到一系列视觉 token，与文本 token 拼接后送入语言模型。这一设计的直觉是：线性投影足够简单，不会引入过多归纳偏置，让模型在训练中自行学习如何将视觉信息映射到语言空间。
工程上，投影层可以看作一个可训练的适配器。在推理时，图像先经过冻结的 CLIP 编码器得到特征，再通过投影层转换为视觉 token，与用户指令的文本 token 一起输入 LLaMA 进行自回归生成。这种设计将视觉编码器与语言模型解耦，允许独立替换或升级任一组件。
两阶段训练流程：从特征对齐到端到端微调
LLaVA 的训练分为两个阶段：预训练对齐和端到端微调。两阶段的设计目标是先让投影层学会将视觉特征映射到语言模型能够理解的空间，再让整个模型学习复杂的多模态指令跟随。
第一阶段：预训练对齐
这一阶段只训练投影层，视觉编码器和语言模型均被冻结。数据来自 CC3M 数据集，每个样本是一张图像和对应的标题。标题被转换为简单的指令格式，例如“用一句话描述这张图像”。模型的任务是根据图像生成标题。
训练时，图像通过冻结的 CLIP 编码器得到特征，经过随机初始化的投影层得到视觉 token，与指令 token 拼接后送入冻结的 LLaMA。损失函数仅计算模型输出中标题部分的交叉熵。由于语言模型冻结，梯度只能通过投影层回传，迫使投影层学习将视觉特征映射到与标题文本一致的嵌入方向。
这一阶段的训练成本较低，因为只有投影层参数需要更新。完成后，投影层输出的视觉 token 能够被语言模型“理解”为有意义的上下文，为后续微调打下基础。
第二阶段：端到端微调
第二阶段同时训练投影层和语言模型，视觉编码器保持冻结。数据来自 GPT-4 生成的多模态指令跟随数据集，包含三种类型：对话、详细描述和复杂推理。每条数据由图像、指令和 GPT-4 生成的回答组成。
训练目标与第一阶段相同，但损失函数覆盖整个回答序列。由于语言模型参与训练，模型开始学习如何根据图像和指令生成符合要求的回答。这一阶段的计算量显著增加，需要更新语言模型的全部参数。
两阶段训练的关键在于：第一阶段为投影层提供了良好的初始化，避免第二阶段从随机状态开始训练导致不稳定或收敛缓慢。实验表明，跳过第一阶段直接进行端到端微调会导致性能下降。
数据构造：用纯文本 GPT-4 生成多模态指令
LLaVA 最巧妙的工程决策之一是数据构造方式。它没有依赖昂贵的人工标注，而是利用 GPT-4 的语言能力，通过精心设计的提示，将图像描述转换为多轮对话。具体流程如下：
- 使用预训练的视觉模型（如 BLIP-2）为每张图像生成密集的文本描述，包括物体、属性、位置和关系。
- 将这些文本描述作为上下文，输入 GPT-4，要求它生成一段多轮对话，其中包含关于图像的提问和回答。
- 通过控制提示，生成不同类型的指令数据：对话、详细描述和复杂推理。
这种方法将图像内容“翻译”为文本，让纯文本 GPT-4 能够“看到”图像并生成指令数据。生成的对话数据质量较高，因为 GPT-4 本身具备强大的语言理解和生成能力。但这也引入了潜在风险：如果初始视觉描述有误，错误会传播到生成的对话中。
多模态幻觉的成因
多模态幻觉指模型生成的文本与图像内容不一致，例如描述图像中不存在的物体。在 LLaVA 这类模型中，幻觉可能来自多个环节。
视觉编码器的信息瓶颈：CLIP 编码器将高分辨率图像压缩为固定数量的 patch 嵌入，可能丢失细节。例如，远处的小物体可能被忽略，导致模型无法正确回答关于该物体的问题。
投影层的信息损失：线性投影虽然简单，但可能无法完全保留视觉特征中的细粒度信息。如果投影层容量不足，部分视觉信息会丢失，模型只能依赖语言先验猜测，从而产生幻觉。
语言模型的先验偏差：大语言模型在预训练中学习了大量世界知识，当视觉信息不足时，它可能过度依赖语言先验。例如，看到一张厨房图片，即使图片中没有水槽，模型也可能回答“水槽在窗户旁边”，因为厨房通常有水槽。
数据构造中的错误传播：如前所述，GPT-4 生成的指令数据依赖于初始视觉描述。如果描述有误，生成的对话也会包含错误，模型在微调中会学习到这些错误模式。
缓解幻觉的工程手段
针对上述成因，LLaVA 及其后续工作探索了多种缓解幻觉的方法。
改进视觉编码器：使用更高分辨率的视觉编码器或增加 patch 数量，可以减少信息丢失。例如，LLaVA-1.5 将输入图像分辨率从 224×224 提升到 336×336，并采用更强的 CLIP 变体，显著降低了幻觉率。
优化投影层设计：简单的线性层可能不足以捕获复杂的视觉-语言映射。一些工作尝试使用多层感知机（MLP）或注意力机制作为投影层，但会增加计算开销。LLaVA 的设计选择在简单性和性能之间取得了平衡。
引入强化学习：LLaVA-RLHF 使用人类反馈进行强化学习，奖励模型生成与图像事实一致的描述，惩罚幻觉。这种方法需要额外的人工标注，但能直接优化事实准确性。
数据增强与清洗：通过过滤训练数据中的低质量样本，或使用更强的视觉模型生成更准确的描述，可以减少错误传播。LLaVA-1.5 完全使用公开数据，并进行了数据清洗，取得了更好的性能。
下表对比了几种幻觉缓解策略的优缺点：
| 策略 | 优点 | 缺点 | 适用场景 |
|---|---|---|---|
| 提升视觉编码器分辨率 | 直接减少信息丢失，效果显著 | 增加计算和显存开销 | 对细节要求高的任务 |
| 复杂投影层（MLP/Attention） | 更强的映射能力 | 可能过拟合，训练不稳定 | 数据量充足时 |
| RLHF 微调 | 直接优化事实一致性 | 需要人工反馈，成本高 | 对准确性要求极高的场景 |
| 数据清洗与增强 | 从源头减少错误 | 依赖上游模型质量 | 数据构造阶段 |
贯穿场景：企业商品问答系统
以电商商品问答系统为例，用户上传一张背包图片并提问“这个背包有几个隔层？”。系统需要准确识别隔层数量并生成回答。
训练阶段：使用商品图片和对应的文本描述，通过 GPT-4 生成指令数据，例如“请描述这个背包的内部结构”或“这个背包适合什么场景？”。经过两阶段训练后，模型学会根据图像回答关于商品的问题。
推理流程：用户上传图片后，系统首先用 CLIP 编码器提取视觉特征，通过投影层得到视觉 token，与用户问题拼接，输入 LLaMA 生成回答。整个过程如下面的 Mermaid 图所示：
flowchart TD
A[用户上传图片] --> B[CLIP 视觉编码器]
B --> C[图像块嵌入]
C --> D[投影层]
D --> E[视觉 token]
F[用户文本问题] --> G[文本 token 化]
G --> H[文本 token]
E --> I[拼接视觉与文本 token]
H --> I
I --> J[LLaMA 语言模型]
J --> K[生成回答]
幻觉风险：如果图片中隔层被遮挡或分辨率不足，CLIP 可能无法提取相关特征，模型可能猜一个常见数量，导致错误回答。缓解措施包括使用更高分辨率的编码器，或在训练数据中增加遮挡场景的样本。
部署考量：显存是关键瓶颈。CLIP ViT-L/14 约需 1.5GB 显存，LLaMA-7B 约需 14GB，加上投影层和中间激活，单张 A100（40GB）可以部署。若使用更高分辨率或更大语言模型，可能需要模型并行或量化。
方案权衡与未解决问题
LLaVA 的两阶段训练在简单性和有效性之间取得了良好平衡，但也存在局限。
与端到端从头训练对比：从头训练一个多模态模型可能获得更紧密的视觉-语言对齐，但需要海量数据和计算资源。LLaVA 利用预训练组件，训练成本低（LLaVA-1.5 在 8 张 A100 上约 1 天完成），适合资源有限的团队。
与模块化方案对比：模块化方案（如分别调用视觉模型和语言模型）更灵活，但无法进行深层交互。LLaVA 的端到端微调让语言模型能够根据视觉上下文调整内部表示，在复杂推理任务上表现更好。
未解决问题：幻觉仍然是一个开放问题。当前方法无法完全消除幻觉，尤其在长尾场景或对抗性输入下。此外，投影层的设计空间尚未充分探索，是否存在更优的映射方式仍待研究。多模态模型的评估也缺乏统一标准，现有基准（如 MMHal-Bench）主要关注幻觉，但覆盖范围有限。
LLaVA 展示了视觉指令微调的可行路径，但通往可靠的多模态助手仍需在视觉理解、幻觉控制和高效训练之间持续权衡。