Featured image of post 不用向量库也能搜记忆:DuckDB 全文检索 + BM25 召回实跑

不用向量库也能搜记忆:DuckDB 全文检索 + BM25 召回实跑

Agent 记忆攒到万条之后怎么把对的那几条找回来?本文实跑 DuckDB 自带的 fts 扩展:一条 PRAGMA 建 BM25 索引,实测两个真实的坑(静态快照索引、中文不分词零命中)与万条量级的耗时(建索引 0.19 秒、单次召回 0.035 秒),并给出中文分词入库的解法。

DuckDB FTS + BM25 记忆召回:10,000 条建索引 0.19s,单次召回 0.035s

图 1:DuckDB FTS 扩展实测结果——万条记忆建索引 0.19 秒,单次 BM25 召回 0.035 秒。

记忆攒得越多,越搜不回来

Agent 的记忆层链条有三步:写入(留什么)、遗忘(丢什么)、召回(用的时候怎么找回来)。前两步决定库里剩什么,最后一步决定剩下的东西是否真的能被用上。

当记忆攒到几千上万条,“把对的那几条找回来"就成了问题。最土的办法是 LIKE '%关键词%':没有相关性排序,命中 200 条和命中 2 条一个样;同义词、词序变化全漏;表一大就全表扫。另一个极端是上向量库做语义召回——准,但要多养一套服务、多一份嵌入成本,对「先跑起来」的个人 Agent 是重装备。

中间还有一条路:全文检索 + BM25 排序。DuckDB 自带 fts 扩展(官方文档),一条 PRAGMA 建索引,一句 match_bm25 出排序(BM25 是经典的 Okapi 检索模型,DuckDB 实现与 SQLite FTS5 思路同源)。本文把这条路完整实跑一遍:英文召回、两个真实的坑(静态快照索引、中文分词)、一万条量级的耗时,都给实测数字。

环境:DuckDB v2.0.0(Python,INSTALL fts; LOAD fts;;fts 扩展 1.5 起可用,用法一致,本文数字以 2.0.0 为准)。示例记忆表是仿真数据(10 条,仿 Agent 记忆条目的写法),所有输出均为实跑结果,未做修饰。

第一步:建表、建索引

CREATE TABLE memories(id INTEGER, created_at DATE, kind VARCHAR, content VARCHAR);
-- 插入 10 条示例记忆(AdSense 被拒、Payoneer 收款、公众号数据……)
PRAGMA create_fts_index('memories', 'id', 'content', overwrite=1);

create_fts_index 会在库里建出一个 fts_main_memories 模式,召回就靠它下面的 match_bm25(文档id, 查询串):命中返回 BM25 分数,不命中返回 NULL。所以召回 SQL 的固定写法是把打分放进子查询、外层过滤排序:

SELECT id, score, content FROM (
  SELECT id, content, fts_main_memories.match_bm25(id, 'adsense low value content') AS score
  FROM memories
) WHERE score IS NOT NULL ORDER BY score DESC;

实跑结果(查询 adsense low value content):

idscorecontent
12.7486AdSense application for duckdblab.org was rejected for low value content

10 条里只命中 1 条,且正是目标条目。再试两个查询,同样各只回一条、且都对:kdp royalties payment → id=2(Payoneer 收款,1.8324);traffic revenue → id=3(公众号数据,1.6554)。小样本下 BM25 的区分度已经够用:不相关的条目连入围都不会。

坑一:索引是静态快照,新记忆搜不到

FTS 索引建的是那一刻的快照。实测:建完索引后插入一条新记忆——

INSERT INTO memories VALUES (11, '2026-11-10', 'fact',
  'AdSense resubmission planned for November 16 after ads.txt authorization');

立刻查 adsense resubmission november:新条目不出现,只返回旧的 id=1(0.9162)。重跑一遍 PRAGMA create_fts_index(..., overwrite=1) 之后再查:

idscore
112.6215
10.7180

新条目排到第一。所以用 FTS 做记忆召回,写入路径上必须挂一个「重建索引」的动作:条数少时每次写入后重建即可(下面有耗时数据),条数大时改成定时批量重建。指望它像普通索引一样自动维护,会静默漏掉最新记忆——而且不报错,是最难查的那种漏。

坑二:中文不预分词,一条都搜不到

DuckDB FTS 的分词按空格和标点切词。英文没问题,中文整句是一个「词」,于是:

-- notes 表存中文记忆原文,建索引后:
-- 查询 '流量主 收入'  → NO HITS
-- 查询 '流量主收入'  → NO HITS

两种问法都零命中。解法是入库时先分词:把中文内容切成空格分隔的词串,存进单独的列(如 content_seg),对这一列建索引。实测同一批数据、改索引到分词列之后:

查询结果
流量主 收入id=1(1.1107)
公众号 质检id=4(0.8082)> id=1(0.3197)

第二条尤其说明问题:id=4 同时含「公众号、质检」两词,排在只含「公众号」的 id=1 前面——BM25 的词频与稀有度加权在分词后的中文上同样生效。分词器用什么都行(结巴、自建词典、甚至让模型在写入时顺手切),关键是这一步必须在写入侧完成,别指望查询时补救。

规模:一万条记忆是什么量级

用生成数据拉到 10,000 条(合成文本,词分布均匀,所以分数只看耗时、不看排序):

  • 建索引:0.19 秒
  • 单次 BM25 召回查询:0.035 秒

这是本机沙箱环境的数字,不代表所有机器,但量级说明问题:个人 Agent 的记忆规模(千级到万级)对 FTS 完全是轻载。重建索引的成本低到可以每次批量写入后直接全量重建,不必为增量索引设计复杂机制。

什么时候别用它

  • 要语义召回时:BM25 只认字面词。记忆里写的是「收款账户」,查询说「怎么提现」,一个字都对不上就零命中——这类需求是向量检索的活,FTS 替代不了。务实的做法是双路召回:BM25 抓精确词,向量抓语义,合并去重。向量那一侧本站有 turbovec 本地 RAG 的实测,可以接上。
  • 写入极频繁时:索引是快照,高频写入意味着高频重建;万级 0.19 秒不贵,百万级就另说了。写入密集的场景先评估重建窗口。
  • 中文不做预处理时:如上,不分词等于没索引。
  • 需要跨字段加权时:create_fts_index 可以多列建索引,但字段间的权重调校不如专业搜索引擎(Elasticsearch/OpenSearch)细。记忆召回一般用不上这个粒度,真要调权重再迁不迟。

小结

记忆层的完整链条是:写入(分层)→ 遗忘(衰减)→ 召回(检索)。前两步解决「库里留什么」,这一步解决「用时找得到什么」。DuckDB FTS 的位置很清楚:零新增服务、一条 PRAGMA 上线、万级规模毫秒召回;代价是静态快照要自己管重建、中文要自己分词、语义召回不在它的能力内。对大多数个人 Agent,这笔交换划算。

继续深入

📺 Watch video tutorials → OLAP Studio YouTube

Subscribe for more DuckDB & AI automation tutorials