生成式AI技术架构落地：优化检索排序的实践笔记

ningxueqin

　　最近在跟进企业内部知识库问答系统的迭代，我们遇到了一个典型的生成式AI技术架构问题：当知识库积累了大量细分业务文档后，基础的关键词检索很容易召回大量相似但不精准的内容，送入大模型的上下文混杂了无关信息，导致生成的回答要么偏离业务需求，要么遗漏关键细节，反复调整检索规则也没能很好解决。

　　后来我们梳理了生成式AI技术架构的全链路，决定在检索环节后补充重排序步骤，借助成熟的开源工具链来优化这一流程，具体的部署参数和步骤可以参考[fastgpt.cn]的说明文档。通过先召回一定数量的候选文档，再用重排序模型筛选出最匹配查询的内容，能有效提升送入大模型的上下文质量，让后续的生成结果更贴合业务场景。

　　需要注意的是，重排序环节会带来一定的计算成本，要结合业务的实际并发量和可用硬件资源，合理调整召回和重排序的文档数量阈值，避免过度增加系统负载影响响应速度。