> For the complete documentation index, see [llms.txt](https://docs.neuron-ai.dev/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://docs.neuron-ai.dev/neuron-v3-zh/rag/pre-post-processor.md).

# 前/后处理器

通过对提示词和检索结果进行前/后处理来改进 RAG 输出。

与大多数软件系统一样，RAG 易于使用，但难以精通。事实是，RAG 不仅仅是把文档放入向量数据库并在上层加一个 LLM。这 *可以奏效*，但并不总是如此。

使用 RAG 时，你是在执行一个 *语义搜索* ，跨越许多文本文档——这些文档的数量可以从数万到数百亿。

为了确保在大规模场景下也能快速搜索，我们通常使用向量搜索——也就是把文本转换为向量，将它们全部放入向量数据库中，并使用相似度算法（如余弦相似度）将它们与查询进行比较。

要从 RAG 代理获得高质量响应，你可以在检索流程的两个部分进行优化：

1. 优化用户提示（*预处理器*)
2. 优化从向量存储中检索到的搜索结果（*后处理器*)

## 预处理器

预处理器并不把用户的原始查询视为最终结论，而是将其看作与底层知识系统进行更复杂交互的起点。这并不是要猜测用户的意图，而是要认识到他们的自然语言表达通常包含多个嵌入式问题、隐含约束和上下文假设，这些都需要被拆解并重新表述，以最大化检索效果。

考虑隐藏在看似简单查询中的复杂性。当有人问“为什么我们上季度的销售额下降了？”时，他们实际上是在表达一个多方面的信息需求，可能需要了解季节性趋势、竞争对手活动、营销活动效果、产品绩效指标以及经济指标。一个天真的 RAG 系统可能只检索到有关销售分析的一般信息，从而错失提供全面、与上下文相关的洞察、并回答底层问题全部范围的机会。

### 查询转换

这种模式的核心是使用一个 LLM 将原始问题转换为更结构化的提示，以便主 RAG 代理能据此从向量存储中执行更准确、更有效的文档检索。

使用 Neuron 时，你可以传入已经附加到代理上的 AI 提供方实例：

```php
namespace App\Neuron;

use NeuronAI\RAG\RAG;
use NeuronAI\RAG\PreProcessor\QueryTransformationPreProcessor;
use NeuronAI\RAG\PreProcessor\QueryTransformationType;

class MyChatBot extends RAG
{
    ...

    protected function preProcessors(): array
    {
        return [
            new QueryTransformationPreProcessor(
                provider: $this->resolveProvider(),
                transformation: QueryTransformationType::REWRITING,
            ),
        ];
    }
}
```

或者在支持的 AI 提供方中使用不同的提供方，例如 Gemini、Ollama、OpenAI、HuggingFace 等。

```php
namespace App\Neuron;

use NeuronAI\RAG\RAG;
use NeuronAI\RAG\PreProcessor\QueryTransformationPreProcessor;
use NeuronAI\RAG\PreProcessor\QueryTransformationType;

class MyChatBot extends RAG
{
    ...

    protected function preProcessors(): array
    {
        return [
            new QueryTransformationPreProcessor(
                // 使用其中一个受支持的 AI 提供方
                provider: new Anthropic(
                    key: 'ANTHROPIC_API_KEY',
                    model: 'ANTHROPIC_MODEL',
                ),
                transformation: QueryTransformationType::REWRITING,
            ),
        ];
    }
}
```

Neuron 预处理器中实现的三种核心策略是：重写、分解和 HyDE（Hypothetical Document Embeddings，假设文档嵌入），每一种都处理查询转换挑战中的不同方面。

**查询重写** 解决了会话式语言与搜索优化表述之间的根本不匹配。当用户用随意、依赖上下文的语言表达需求时，重写过程会将这些表达转换为更精确、可搜索的表述，使其更符合信息通常的组织和索引方式。

**分解** 处理这样一个现实：复杂问题通常包含多个不同的信息需求，而这些需求更适合通过单独的检索操作来满足。与其强行用一次搜索满足查询的多个不同方面，不如将复杂问题拆解为其组成部分，让每个部分在综合成完整响应之前都能得到有针对性的精确处理。

T**he HyDE 方法** 也许代表了最复杂的策略：它从“找到相关信息的最佳方式，是先设想这些信息会是什么样子”这一假设倒推。HyDE 不直接使用用户的问题进行搜索，而是生成理论上可以回答该查询的假设文档，然后将这些生成的文档作为相似度搜索的基础。当处理抽象概念，或者当用户的术语与源文档中使用的词汇不太匹配时，这种方法尤其强大。

## 后处理器

为了让向量搜索发挥作用，我们需要向量。这些向量本质上是把某些文本背后的“含义”压缩成（通常是）768 维或 1536 维向量。由于我们将这些信息压缩成单个向量，因此会有一些信息损失。

由于这种信息损失，我们经常会发现排在前 3 个（例如）向量搜索文档会遗漏相关信息。不幸的是，检索结果可能会返回位于我们 `top_k` 截断值以下的相关信息。

如果较低位置的相关信息有助于我们的 LLM 生成更好的响应，我们该怎么办？最简单的方法是增加我们返回的文档数量（增加 `top_k`），并将它们全部传给 LLM。

不幸的是，我们不能把所有内容都传给 LLM，因为这会显著降低 LLM 在其上下文窗口内从文本中寻找相关信息的性能。

解决这个问题的方法是从向量存储中检索大量文档，然后 *尽量减少* 进入 LLM 的文档数量。为此，你可以对检索到的文档重新排序并进行过滤，只保留与我们的 LLM 最相关的文档。

Neuron 允许你定义一个后处理器组件列表，以串联尽可能多的转换来优化代理输出。

### 重排序器

重排序是你可以应用于检索文档的最流行的后处理操作之一。重排序服务会为从向量存储中检索到的每个文档与输入查询计算相似度分数。

我们使用这个分数按相关性重新排序文档，并只取最有用的那些。

### Jina 重排序器

```php
namespace App\Neuron;

use NeuronAI\RAG\RAG;
use NeuronAI\RAG\PostProcessor\JinaRerankerPostProcessor;
use NeuronAI\RAG\VectorStore\FileVectoreStore;
use NeuronAI\RAG\VectorStore\VectorStoreInterface;

class MyChatBot extends RAG
{
    ...
    
    protected function vectorStore(): VectorStoreInterface
    {
        return new FileVectoreStore(
            directory: storage_path(),
            topK: 50
        );
    }

    protected function postProcessors(): array
    {
        return [
            new JinaRerankerPostProcessor(
                key: 'JINA_API_KEY',
                model: 'JINA_MODEL',
                topN: 5
            ),
        ];
    }
}
```

在上面的示例中，你可以看到向量存储被指示获取 50 个文档，而重排序器基本上只会取其中最相关的 5 个。

### Cohere 重排序器

```php
namespace App\Neuron;

use NeuronAI\RAG\RAG;
use NeuronAI\RAG\PostProcessor\CohereRerankerPostProcessor;
use NeuronAI\RAG\VectorStore\FileVectoreStore;
use NeuronAI\RAG\VectorStore\VectorStoreInterface;

class MyChatBot extends RAG
{
    ...
    
    protected function vectorStore(): VectorStoreInterface
    {
        return new FileVectoreStore(
            directory: storage_path(),
            topK: 50
        );
    }

    protected function postProcessors(): array
    {
        return [
            new CohereRerankerPostProcessor(
                key: 'COHERE_API_KEY',
                model: 'COHERE_MODEL',
                topN: 3
            ),
        ];
    }
}
```

### 固定阈值

它使用一个简单、可配置的固定阈值来过滤文档。低于阈值的文档会从结果中移除。

它非常适合需要为固定质量要求设置明确分数截断的场景。

```php
namespace App\Neuron;

use NeuronAI\RAG\PostProcessor\FixedThresholdPostProcessor;

class MyChatBot extends RAG
{
    ...

    protected function postProcessors(): array
    {
        return [
            new FixedThresholdPostProcessor(
                threshold: 0.5
            ),
        ];
    }
}
```

### 自适应阈值

它使用中位数和 MAD（中位绝对偏差）实现动态阈值算法。它会自动适应分数分布，因此对异常值具有鲁棒性。

你可以配置一个乘数参数来控制过滤的激进程度。

推荐的乘数取值：

* \[0.2 到 0.4] 高精度模式。适用于更有针对性的结果，文档更少但更相关。
* \[0.5 到 0.7] 平衡模式。适合一般用途的推荐设置。
* \[0.8 到 1.0] 高召回模式。适用于更全面、优先覆盖面的结果。
* \>1.0 不推荐，因为它往往会包含几乎所有文档。

这个组件非常适合通过适应当前结果集分数分布的动态过滤来清理 RAG 结果。

```php
namespace App\Neuron;

use NeuronAI\RAG\PostProcessor\AdaptiveThresholdPostProcessor;

class MyChatBot extends RAG
{
    ...

    protected function postProcessors(): array
    {
        return [
            new AdaptiveThresholdPostProcessor(
                multiplier: 0.6
            ),
        ];
    }
}
```

## 监控

Neuron 内置的可观测性功能会自动跟踪每个后处理器的执行，因此你将能够监控外部服务与你的 [Inspector](https://inspector.dev/) 账户之间的交互。了解更多请见 [监控部分](https://docs.neuron-ai.dev/neuron-v3-zh/dai-li/observability.md).

<figure><img src="https://content.gitbook.com/content/GHx4l2LknIex7vFIUg1R/blobs/xpMKbcgXc0ICCyxjj5D2/neuron-reranker-observability.png" alt=""><figcaption></figcaption></figure>

## 扩展框架

使用 Neuron，你只需扩展 `\NeuronAI\PostProcessor\PostProcessorInterface`:

```php
namespace NeuronAI\RAG\PostProcessor;

use NeuronAI\Chat\Messages\Message;
use NeuronAI\RAG\Document;

interface PostProcessorInterface
{
    /**
     * 处理一个文档数组并返回处理后的文档。
     *
     * @param Message $question 用于处理文档的问题。
     * @param array<Document> $documents 要处理的文档。
     * @return array<Document> 处理后的文档。
     */
    public function process(Message $question, array $documents): array;
}
```

通过实现 `process` 方法，你可以对文档列表执行操作并返回新列表。Neuron 会按照它们在 `postProcessors()` 方法中列出的相同顺序运行这些后处理器。

下面是一个实际示例：

```php
namespace App\Neuron\PostProcessors;

use NeuronAI\Chat\Messages\Message;
use NeuronAI\RAG\PostProcessor\PostProcessorInterface;

// 实现你的自定义组件
class CutOffPostProcessor implements PostProcessorInterface
{
    public function __constructor(protected int $level) {}

    public function process(Message $question, array $documents): array
    {
        /*
         * 对向量存储返回的分数应用截断
         */
         
        return $documents;
    }
}
```
