1. RRF（REciprocal Rank Fusion）#

前面的章节已经介绍过RRF，它是一种简单而有效的零样本重排方法，不依赖于任何模型训练，而是纯粹基于文档在多个不同检索器（例如，一个稀疏检索器和一个密集检索器）结果列表中的排名来计算最终分数。但是如果只考虑排名信息，会忽略原始的相似度分数，可能丢失部分有用信息。

2. RankLLM/LLM-based Rerank#

RankLLM 代表了一类直接利用大型语言模型本身来进行重排的方法。其基本逻辑非常直观：既然 LLM 最终要负责根据上下文来生成答案，那么为什么不直接让它来判断哪些上下文最相关呢？

这种方法通过一个精心设计的提示词来实现。该提示词会包含用户的查询和一系列候选文档（通常是文档的摘要或关键部分），然后要求 LLM 以特定格式（如 JSON）输出一个排序后的文档列表，并给出每个文档的相关性分数。

下面是一个提示的实例：

3. Cross-Encoder重排#

Cross-Encoder（交叉编码器）能提供出色的重排精度2。它的工作原理是将查询（Query）和每个候选文档（Document）拼接成一个单一的输入（例如，[CLS] query [SEP] document [SEP]），然后将这个整体输入到一个预训练的 Transformer 模型（如 BERT）中，模型最终会输出一个单一的分数（通常在 0 到 1 之间），这个分数直接代表了文档与查询的相关性。

它的工作流程如下：

• 初步检索：搜索引擎首先从知识库中召回一个初始的文档列表（例如，前 50 篇）。
• 逐一评分：对于列表中的每一篇文档，系统都将其与原始查询配对，然后发送给 Cross-Encoder 模型。
• 独立推理：模型对每个"查询-文档"对进行一次完整的、独立的推理计算，得出一个精确的相关性分数。
• 返回重排结果：系统根据这些新的分数对文档列表进行重新排序，并将最终结果返回给用户。

4. ColBERT重排#

ColBERT（Contextualized Late Interaction over BERT）是一种创新的重排模型，它在 Cross-Encoder 的高精度和双编码器（Bi-Encoder）的高效率之间取得了平衡。采用了一种"后期交互"机制。

其工作流程如下：

1. 独立编码：ColBERT 分别为查询（Query）和文档（Document）中的每个 Token 生成上下文相关的嵌入向量。这一步是独立完成的，可以预先计算并存储文档的向量，从而加快查询速度。
2. 后期交互：在查询时，模型会计算查询中每个 Token 的向量与文档中每个 Token 向量之间的最大相似度（MaxSim）。
3. 分数聚合：最后，将查询中所有 Token 得到的最大相似度分数相加，得到最终的相关性总分。

通过这种方式，ColBERT 避免了将查询和文档拼接在一起进行昂贵的联合编码，同时又比单纯比较单个 [CLS] 向量的双编码器模型捕捉了更细粒度的词汇级交互信息。

5. 方法对比#

6. 拓展#

主流reranker，本质上还是"Cross-Encoder 风格的 query-doc 相关性打分"这条路线。不过分成了两种常见实现，经典 Cross-Encoder reranker和LLM-based reranker / foundation-model reranker。

我们可以实际看一下，允许用户自己搭建agent的Dify，在知识库设置界面的内容，学习一下成熟 RAG 产品的默认工程思路。

首先，切块方式就有不同了：

• General就是普通 chunking，检索块和返回块相同。
• Parent-Child是指子块用于检索，父块用于返回上下文。就是前面"上下文拓展"
• Q&A把文档显式拆成问答对。这说明在某些知识库里，最佳检索单元不是普通段落，而是结构化问答。

然后，还让用户选择索引模式：

• 高质量：调 embedding 模型做语义索引。Dify 提供三种检索设置：向量检索、全文检索和混合检索。
• 经济：每个块用10个关键词进行检索，仅提供倒排索引方式。

然后，Dify让用户选择检索配置。选择高质量的情况下，有以下几种选择：

• 向量检索：向量化用户输入的问题并生成查询向量，然后将其与知识库中对应的文本向量进行比较，找到最相邻的分段。在向量检索中，可以设置Rerank模型。
• 全文检索：索引文档中的所有词汇，允许用户查询任意词汇并返回包含这些词汇的文本片段。
• 混合检索：同时执行全文检索和向量检索。这里我可以基于权重分配决定优先语义匹配还是关键字匹配（对应前面的加权线性组合）；或者直接用Rerank模型，先做混合召回再统一重排。

最后，Dify还让你自己定义TopK和Score阈值（默认为0.5）。

1. ContextualCompressionRetriever#

LangChain 提供了一个强大的组件 ContextualCompressionRetriever 来实现上下文压缩。它像一个包装器，包裹在基础的检索器（如 FAISS.as_retriever()）之上。当基础检索器返回文档后，ContextualCompressionRetriever 会使用一个指定的 DocumentCompressor 对这些文档进行处理，然后再返回给调用者。

LangChain 内置了多种 DocumentCompressor：

• LLMChainExtractor: 这是最直接的压缩方式。它会遍历每个文档，并利用一个 LLM Chain 来判断并提取出其中与查询相关的部分。这是一种"内容提取"。
• LLMChainFilter: 这种压缩器同样使用 LLM，但它做的是"文档过滤"。它会判断整个文档是否与查询相关，如果相关，则保留整个文档；如果不相关，则直接丢弃。
• EmbeddingsFilter: 这是一种更快速、成本更低的过滤方法。它会计算查询和每个文档的嵌入向量之间的相似度，只保留那些相似度超过预设阈值的文档。

2. 自定义重排器/压缩管道#

此部分可以查询文档详细解决，这里不展开。