Skip to content

搜索引擎 ​

PiePLM 的搜索服务两类用户:查找产品、文档或变更的人,以及查找证据的 Agent。两者都需要相关、有权限约束且可解释的结果。本页描述目标搜索设计。

基线:PostgreSQL 全文检索 ​

默认搜索实现使用 PostgreSQL,而不是外部搜索集群。这样部署只保留一个有状态服务,也避免索引与数据库不同步。

核心组成:

  • 每个可搜索实体一个 tsvector 列
  • 该向量上的 GIN 索引
  • 与内容语言匹配的文本检索配置
  • 写入时刷新向量的触发器或应用逻辑

英文内容可以使用 PostgreSQL 内置的 english 配置处理词干和停用词。中文内容不能只用 simple;需要 pg_jieba、zhparser 之类的分词扩展。目标部署会记录可选扩展,并在扩展不可用时回退到 simple 加二元组索引。

索引什么 ​

并非所有列都应该可搜索。索引覆盖用户真正会输入的字段:

实体索引字段
产品编码、名称、描述、标签
版本版本标识、备注、发布状态
文档文件名、标题、文档类型、提取文本
BOM零件编码、零件名称、位置号
变更标题、原因、受影响项
供应商名称、编码、联系描述
质量标题、描述、处置结论

初始设计不对二进制 CAD 文件做文本提取。文件名和元数据可搜索;内容提取属于后续集成。

排序 ​

原始全文匹配只回答“文档里有没有这些词”,不回答“先读哪一条”。排序综合多个信号:

  • 词法相关性:ts_rank_cd 或 BM25 风格得分
  • 精确匹配加权:产品编码或错误标识逐字命中时排名更高
  • 时效性:其他条件相同时,最近更新的记录更靠前
  • 实体类型权重:产品和版本通常排在附件之前
  • 链接热度:被多个变更或需求引用的文档更靠前
  • 生命周期状态:除非查询明确要求,否则停产的记录降权

权重是配置,不是硬编码常量。小制造商可能更关心时效,受监管的制造商可能更关心已批准版本。

可选的向量通道 ​

当查询用词与原文不同时,语义搜索有帮助,例如“冷却泵”与“coolant pump”,或者改写过的需求。目标设计支持基于 pgvector 的可选向量通道。

两条规则保证它不越界:

  1. 向量搜索不替代词法搜索:制造场景中精确标识很重要,而嵌入对编码类内容很弱。
  2. 结果融合而非拼接:使用倒数秩融合(RRF)合并两个排序列表,不要求两者的分数可比。
text
词法结果 ─┐
          ├─ RRF ─ 排序结果
向量结果 ─┘

嵌入针对文档文本块以及产品和变更描述生成。模型标识与向量一起保存,以便模型更换时规划重新嵌入。

权限感知的结果 ​

搜索不能跨组织、业务单元或角色泄露数据。有两种方式:

  • 检索后过滤:简单,但可能返回少于请求数量的结果,并泄露时序信息。
  • 检索时过滤:在排序前把调用者的权限范围加入查询。

PiePLM 计划在检索时过滤:调用者无权读取的结果不应被评分、计数或返回。

PostgreSQL 行级安全可以成为数据库层的执行手段,应用层检查作为纵深防御。代价是复杂度,最终决定会记录在仓库中。

新鲜度与重建索引 ​

只有反映当前数据的搜索结果才有用。设计倾向于小写入同步更新索引,批量重建由后台任务完成:

  • 创建、更新、删除在同一事务内刷新实体向量
  • 批量导入和模型变更触发分批重建
  • 通过校验和或版本列检测漂移
  • 提供维护命令从源数据重建索引

没有独立的搜索服务需要维护。数据库就是索引。

查询 API ​

计划中的搜索端点接受查询、可选过滤和数量限制:

http
GET /api/v1/search?q=coolant+pump&type=product,document&state=active&limit=20

过滤条件包括实体类型、生命周期状态、负责人、版本和日期范围。结果包含摘要片段、实体类型、标识,以及用于调试的得分解释。

Agent 通过 MCP 使用同一套搜索(product_search、document_search)。工具响应包含 Agent 判断是否需要读取完整记录所需的字段。

评测 ​

搜索质量应当被测量,而不是被断言。目标方法:

  • 用真实用户问题构造一个小型标注查询集
  • 分别计算各实体类型的 precision@k 和 recall@k
  • 记录典型查询和最坏查询的延迟分位值
  • 调整权重或分词器前运行回归

没有评测集的搜索功能只是猜测。仓库将包含固定语料和查询文件,以便比较改动。

需要避免的失败模式 ​

  • 索引漂移:索引说有文档,但数据库行已删除。
  • 编码过度加权:所有编码都命中,排序失去意义。
  • 语言不匹配:中文内容用英文词干器索引。
  • 权限泄露:摘要片段暴露了调用者无权打开的记录。
  • 静默截断:达到上限时返回部分结果却不提示。

这些都可以测试。功能完成前应当有对应测试。

下一步 ​

Released under the MIT License. Privacy Policy