搜索引擎
PiePLM 的搜索服务两类用户:查找产品、文档或变更的人,以及查找证据的 Agent。两者都需要相关、有权限约束且可解释的结果。本页描述目标搜索设计。
基线:PostgreSQL 全文检索
默认搜索实现使用 PostgreSQL,而不是外部搜索集群。这样部署只保留一个有状态服务,也避免索引与数据库不同步。
核心组成:
- 每个可搜索实体一个
tsvector列 - 该向量上的 GIN 索引
- 与内容语言匹配的文本检索配置
- 写入时刷新向量的触发器或应用逻辑
英文内容可以使用 PostgreSQL 内置的 english 配置处理词干和停用词。中文内容不能只用 simple;需要 pg_jieba、zhparser 之类的分词扩展。目标部署会记录可选扩展,并在扩展不可用时回退到 simple 加二元组索引。
索引什么
并非所有列都应该可搜索。索引覆盖用户真正会输入的字段:
| 实体 | 索引字段 |
|---|---|
| 产品 | 编码、名称、描述、标签 |
| 版本 | 版本标识、备注、发布状态 |
| 文档 | 文件名、标题、文档类型、提取文本 |
| BOM | 零件编码、零件名称、位置号 |
| 变更 | 标题、原因、受影响项 |
| 供应商 | 名称、编码、联系描述 |
| 质量 | 标题、描述、处置结论 |
初始设计不对二进制 CAD 文件做文本提取。文件名和元数据可搜索;内容提取属于后续集成。
排序
原始全文匹配只回答“文档里有没有这些词”,不回答“先读哪一条”。排序综合多个信号:
- 词法相关性:
ts_rank_cd或 BM25 风格得分 - 精确匹配加权:产品编码或错误标识逐字命中时排名更高
- 时效性:其他条件相同时,最近更新的记录更靠前
- 实体类型权重:产品和版本通常排在附件之前
- 链接热度:被多个变更或需求引用的文档更靠前
- 生命周期状态:除非查询明确要求,否则停产的记录降权
权重是配置,不是硬编码常量。小制造商可能更关心时效,受监管的制造商可能更关心已批准版本。
可选的向量通道
当查询用词与原文不同时,语义搜索有帮助,例如“冷却泵”与“coolant pump”,或者改写过的需求。目标设计支持基于 pgvector 的可选向量通道。
两条规则保证它不越界:
- 向量搜索不替代词法搜索:制造场景中精确标识很重要,而嵌入对编码类内容很弱。
- 结果融合而非拼接:使用倒数秩融合(RRF)合并两个排序列表,不要求两者的分数可比。
词法结果 ─┐
├─ RRF ─ 排序结果
向量结果 ─┘嵌入针对文档文本块以及产品和变更描述生成。模型标识与向量一起保存,以便模型更换时规划重新嵌入。
权限感知的结果
搜索不能跨组织、业务单元或角色泄露数据。有两种方式:
- 检索后过滤:简单,但可能返回少于请求数量的结果,并泄露时序信息。
- 检索时过滤:在排序前把调用者的权限范围加入查询。
PiePLM 计划在检索时过滤:调用者无权读取的结果不应被评分、计数或返回。
PostgreSQL 行级安全可以成为数据库层的执行手段,应用层检查作为纵深防御。代价是复杂度,最终决定会记录在仓库中。
新鲜度与重建索引
只有反映当前数据的搜索结果才有用。设计倾向于小写入同步更新索引,批量重建由后台任务完成:
- 创建、更新、删除在同一事务内刷新实体向量
- 批量导入和模型变更触发分批重建
- 通过校验和或版本列检测漂移
- 提供维护命令从源数据重建索引
没有独立的搜索服务需要维护。数据库就是索引。
查询 API
计划中的搜索端点接受查询、可选过滤和数量限制:
GET /api/v1/search?q=coolant+pump&type=product,document&state=active&limit=20过滤条件包括实体类型、生命周期状态、负责人、版本和日期范围。结果包含摘要片段、实体类型、标识,以及用于调试的得分解释。
Agent 通过 MCP 使用同一套搜索(product_search、document_search)。工具响应包含 Agent 判断是否需要读取完整记录所需的字段。
评测
搜索质量应当被测量,而不是被断言。目标方法:
- 用真实用户问题构造一个小型标注查询集
- 分别计算各实体类型的 precision@k 和 recall@k
- 记录典型查询和最坏查询的延迟分位值
- 调整权重或分词器前运行回归
没有评测集的搜索功能只是猜测。仓库将包含固定语料和查询文件,以便比较改动。
需要避免的失败模式
- 索引漂移:索引说有文档,但数据库行已删除。
- 编码过度加权:所有编码都命中,排序失去意义。
- 语言不匹配:中文内容用英文词干器索引。
- 权限泄露:摘要片段暴露了调用者无权打开的记录。
- 静默截断:达到上限时返回部分结果却不提示。
这些都可以测试。功能完成前应当有对应测试。