文档处理、视觉检索与问答评测

面试回答

上传后先把 PDF 原文件存到 OSS，在 MySQL 创建文档版本和处理任务，再通过 RabbitMQ 交给后台 Worker。后台按页渲染图片、提取原生文本，扫描页或解析质量不足的页面用 MinerU 补充 OCR 和结构化解析，再用 ColQwen 编码页面，把多向量和过滤元数据写入 Qdrant。

处理完成后会校验页面、文本和索引产物，确认完整才把该版本标记为可检索。OSS 保留原文件与页面图片，MySQL 保存版本、页面关系和任务状态，Qdrant 是可重建的检索索引。各阶段持久化进度，失败从对应阶段或页面恢复，稳定标识保证重复执行更新同一份产物，避免重复建页和索引。

面试回答

文档页面渲染、OCR 和模型编码耗时长，大文件、扫描件的资源消耗差异也很大。如果都放在上传接口里，会长时间占用请求线程，用户也不容易区分上传失败还是后台解析失败。所以接口上传后返回任务标识，后台按资源能力处理，用户查询进度。

这里采用 RabbitMQ，主要因为它的任务队列、消费确认和路由机制适合平台当前的任务分发需求，也与已有技术栈匹配。MySQL 保存任务状态，消息触发执行，产物和状态持久化后再确认消息。临时故障有限重试，损坏文件等确定性错误记录原因并终止无效重试。Kafka 也能承担异步处理，具体取舍要结合平台需求。

面试回答

PDF 提取到字符不代表内容已经可用于问答。有些是扫描页，根本没有原生文本；有些多栏页面会出现阅读顺序错乱；表格只剩连续文字后，行列、单位和附注关系也容易丢失。

所以我们先提取原生文本，再按页面质量决定是否使用 MinerU 补充 OCR 和结构化解析，重点检查空文本、明显乱码和缺失页面。页面图片始终保留，因为 OCR 提供可读文字，但结构图、操作示意和位置关系仍需要视觉信息。这样把文字解析和页面证据配合起来，避免仅凭一份质量不足的提取文本生成答案。

面试回答

ColQwen 是面向文档页面的多模态检索模型，可以把页面图片编码成多个向量，再与查询做细粒度匹配。农机资料中有大量表格、结构图和操作示意，纯文本提取可能丢掉布局或部件位置关系，页面检索能利用这些局部视觉信息查找相关页。

比如查询液压回路中某个阀的位置，只有部件名称的文本未必能还原它与管路的关系。我们用页面多向量定位证据，再读取对应文字、数值和图例核对。它的代价是页面编码、向量存储和匹配成本更高，因此要同时评估检索效果与资源开销；找到相关页也不等于结论已经正确。

面试回答

查询和文档页面都编码成多向量，通过 MaxSim 后期交互计算相关性。可以理解成查询的每个向量去页面向量中找最相似的一项，再汇总这些最大相似度，这样保留问题不同部分与页面局部内容的匹配关系，不必先把整页压成单个向量。

Qdrant 保存页面多向量，以及文档、版本、页码和组织等过滤元数据。原文件与页面图片仍在 OSS，文档和页面业务关系在 MySQL，召回后要回查原始证据。查询与页面编码保持模型和配置兼容，升级导致向量空间变化时要重建相应索引，不能把不同模型的向量直接混用。

面试回答

视觉检索主要负责定位相关页面，原生文本或 OCR 提供模型可读取的文字、表格与注释。比如用户查故障码，先找到故障码表所在页，再读对应行、列标题和适用条件，不能只命中这一页就直接生成结论。

生成模型支持图像时，可以提供页面图片和相关文本；只支持文本时，就提供原生文本、OCR 或结构化解析结果。页面检索向量只用于匹配，不能当作原文证据输入。视觉与文字结果通过稳定的文档版本和页面标识关联，如果两路同时召回，先对齐去重再融合，避免直接相加尺度不同的原始分数。

面试回答

召回前用 Qdrant 元数据按访问范围过滤，缩小候选集合；候选返回后再回查 MySQL 中当前权限、文档状态和版本，防止索引滞后时继续使用已撤权、已删除或不适用的资料。通过检查的页面才能进入生成上下文。

引用绑定具体文档版本和页面标识，并区分 PDF 的物理页序和文档印刷页码，确保用户能定位同一份文件里的同一页。每条结论关联实际支持它的页面，跨页条件保留多个页码。不能因为某页排第一，就把整份回答里的所有结论都引用到这一页。

面试回答

我们从农机手册、技术规范和操作资料中整理问题，覆盖文字参数、表格行列、图示部件、跨页条件，以及无答案或信息不足的场景。题目既有直接查询，也有业务中的自然表达，比如保养周期、适用型号、部件位置和多页操作要求。

每道题标注文档版本、参考答案，以及真正支持回答的证据页或片段，不能只标来源文档，因为召回同一文件里的无关页仍然不算命中。调参集和测试集分开，同一道题的近似改写放在同一组；固定版本、证据和指标口径后比较检索配置，无答案题单独检查澄清和证据不足处理。

面试回答

Recall@10 看前十条结果找全了多少标准证据；MRR@10 看第一个正确结果有多靠前；NDCG@10 进一步看高相关内容在整体排序中的位置，按名次折损收益，再与理想排序比较。

比如一道题有三个证据页，前十条找到了两个，Recall 就是三分之二；第一条正确结果在第二位，倒数排名就是二分之一。项目测得 Recall@10 为 0.945、MRR@10 为 0.798、NDCG@10 为 0.839，这些反映检索覆盖和排序，不能当作回答准确率。最终问答还要检查事实、条件和引用是否正确，以及链路耗时和成本。