<?xml version="1.0" encoding="utf-8" standalone="yes"?><rss version="2.0" xmlns:atom="http://www.w3.org/2005/Atom"><channel><title>BM25 on OLAP 工作室 — 独立 DuckDB 中文技术社区与实验博客</title><link>https://duckdblab.org/zh/tags/bm25/</link><description>Recent content in BM25 on OLAP 工作室 — 独立 DuckDB 中文技术社区与实验博客</description><generator>Hugo -- gohugo.io</generator><language>zh-CN</language><lastBuildDate>Thu, 19 Nov 2026 00:00:00 +0000</lastBuildDate><atom:link href="https://duckdblab.org/zh/tags/bm25/index.xml" rel="self" type="application/rss+xml"/><item><title>不用向量库也能搜记忆：DuckDB 全文检索 + BM25 召回实跑</title><link>https://duckdblab.org/zh/post/duckdb-fts-memory-recall/</link><pubDate>Thu, 19 Nov 2026 00:00:00 +0000</pubDate><guid>https://duckdblab.org/zh/post/duckdb-fts-memory-recall/</guid><description>&lt;img src="https://duckdblab.org/images/posts/duckdb-fts-memory-recall/cover.png" alt="Featured image of post 不用向量库也能搜记忆：DuckDB 全文检索 + BM25 召回实跑" /&gt;&lt;p&gt;&lt;img alt="DuckDB FTS + BM25 记忆召回：10,000 条建索引 0.19s，单次召回 0.035s" loading="lazy" sizes="(max-width: 767px) calc(100vw - 30px), (max-width: 1023px) 700px, (max-width: 1279px) 950px, 1232px" src="https://duckdblab.org/images/posts/duckdb-fts-memory-recall/cover.png"&gt;&lt;/p&gt;
&lt;p&gt;&lt;em&gt;图 1：DuckDB FTS 扩展实测结果——万条记忆建索引 0.19 秒，单次 BM25 召回 0.035 秒。&lt;/em&gt;&lt;/p&gt;
&lt;h2 id="记忆攒得越多越搜不回来"&gt;记忆攒得越多，越搜不回来
&lt;/h2&gt;&lt;p&gt;Agent 的记忆层链条有三步：&lt;strong&gt;写入（留什么）、遗忘（丢什么）、召回（用的时候怎么找回来）&lt;/strong&gt;。前两步决定库里剩什么，最后一步决定剩下的东西是否真的能被用上。&lt;/p&gt;
&lt;p&gt;当记忆攒到几千上万条，&amp;ldquo;把对的那几条找回来&amp;quot;就成了问题。最土的办法是 &lt;code&gt;LIKE '%关键词%'&lt;/code&gt;：没有相关性排序，命中 200 条和命中 2 条一个样；同义词、词序变化全漏；表一大就全表扫。另一个极端是上向量库做语义召回——准，但要多养一套服务、多一份嵌入成本，对「先跑起来」的个人 Agent 是重装备。&lt;/p&gt;
&lt;p&gt;中间还有一条路：&lt;strong&gt;全文检索 + BM25 排序&lt;/strong&gt;。DuckDB 自带 &lt;code&gt;fts&lt;/code&gt; 扩展（&lt;a class="link" href="https://duckdb.org/docs/2.0/core_extensions/full_text_search.html" target="_blank" rel="noopener"
 &gt;官方文档&lt;/a&gt;），一条 PRAGMA 建索引，一句 &lt;code&gt;match_bm25&lt;/code&gt; 出排序（BM25 是&lt;a class="link" href="https://en.wikipedia.org/wiki/BM25" target="_blank" rel="noopener"
 &gt;经典的 Okapi 检索模型&lt;/a&gt;，DuckDB 实现与 SQLite FTS5 思路同源）。本文把这条路完整实跑一遍：英文召回、两个真实的坑（静态快照索引、中文分词）、一万条量级的耗时，都给实测数字。&lt;/p&gt;

 &lt;blockquote&gt;
 &lt;p&gt;环境：DuckDB v2.0.0（Python，&lt;code&gt;INSTALL fts; LOAD fts;&lt;/code&gt;；fts 扩展 1.5 起可用，用法一致，本文数字以 2.0.0 为准）。示例记忆表是仿真数据（10 条，仿 Agent 记忆条目的写法），所有输出均为实跑结果，未做修饰。&lt;/p&gt;

 &lt;/blockquote&gt;
&lt;h2 id="第一步建表建索引"&gt;第一步：建表、建索引
&lt;/h2&gt;&lt;div class="highlight"&gt;&lt;pre tabindex="0" class="chroma"&gt;&lt;code class="language-sql" data-lang="sql"&gt;&lt;span class="line"&gt;&lt;span class="cl"&gt;&lt;span class="k"&gt;CREATE&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="k"&gt;TABLE&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="n"&gt;memories&lt;/span&gt;&lt;span class="p"&gt;(&lt;/span&gt;&lt;span class="n"&gt;id&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="nb"&gt;INTEGER&lt;/span&gt;&lt;span class="p"&gt;,&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="n"&gt;created_at&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="nb"&gt;DATE&lt;/span&gt;&lt;span class="p"&gt;,&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="n"&gt;kind&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="nb"&gt;VARCHAR&lt;/span&gt;&lt;span class="p"&gt;,&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="n"&gt;content&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="nb"&gt;VARCHAR&lt;/span&gt;&lt;span class="p"&gt;);&lt;/span&gt;&lt;span class="w"&gt;
&lt;/span&gt;&lt;/span&gt;&lt;/span&gt;&lt;span class="line"&gt;&lt;span class="cl"&gt;&lt;span class="c1"&gt;-- 插入 10 条示例记忆（AdSense 被拒、Payoneer 收款、公众号数据……）
&lt;/span&gt;&lt;/span&gt;&lt;/span&gt;&lt;span class="line"&gt;&lt;span class="cl"&gt;&lt;span class="n"&gt;PRAGMA&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="n"&gt;create_fts_index&lt;/span&gt;&lt;span class="p"&gt;(&lt;/span&gt;&lt;span class="s1"&gt;&amp;#39;memories&amp;#39;&lt;/span&gt;&lt;span class="p"&gt;,&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="s1"&gt;&amp;#39;id&amp;#39;&lt;/span&gt;&lt;span class="p"&gt;,&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="s1"&gt;&amp;#39;content&amp;#39;&lt;/span&gt;&lt;span class="p"&gt;,&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="n"&gt;overwrite&lt;/span&gt;&lt;span class="o"&gt;=&lt;/span&gt;&lt;span class="mi"&gt;1&lt;/span&gt;&lt;span class="p"&gt;);&lt;/span&gt;&lt;span class="w"&gt;
&lt;/span&gt;&lt;/span&gt;&lt;/span&gt;&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;&lt;p&gt;&lt;code&gt;create_fts_index&lt;/code&gt; 会在库里建出一个 &lt;code&gt;fts_main_memories&lt;/code&gt; 模式，召回就靠它下面的 &lt;code&gt;match_bm25(文档id, 查询串)&lt;/code&gt;：命中返回 BM25 分数，不命中返回 NULL。所以召回 SQL 的固定写法是把打分放进子查询、外层过滤排序：&lt;/p&gt;
&lt;div class="highlight"&gt;&lt;pre tabindex="0" class="chroma"&gt;&lt;code class="language-sql" data-lang="sql"&gt;&lt;span class="line"&gt;&lt;span class="cl"&gt;&lt;span class="k"&gt;SELECT&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="n"&gt;id&lt;/span&gt;&lt;span class="p"&gt;,&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="n"&gt;score&lt;/span&gt;&lt;span class="p"&gt;,&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="n"&gt;content&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="k"&gt;FROM&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="p"&gt;(&lt;/span&gt;&lt;span class="w"&gt;
&lt;/span&gt;&lt;/span&gt;&lt;/span&gt;&lt;span class="line"&gt;&lt;span class="cl"&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="k"&gt;SELECT&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="n"&gt;id&lt;/span&gt;&lt;span class="p"&gt;,&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="n"&gt;content&lt;/span&gt;&lt;span class="p"&gt;,&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="n"&gt;fts_main_memories&lt;/span&gt;&lt;span class="p"&gt;.&lt;/span&gt;&lt;span class="n"&gt;match_bm25&lt;/span&gt;&lt;span class="p"&gt;(&lt;/span&gt;&lt;span class="n"&gt;id&lt;/span&gt;&lt;span class="p"&gt;,&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="s1"&gt;&amp;#39;adsense low value content&amp;#39;&lt;/span&gt;&lt;span class="p"&gt;)&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="k"&gt;AS&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="n"&gt;score&lt;/span&gt;&lt;span class="w"&gt;
&lt;/span&gt;&lt;/span&gt;&lt;/span&gt;&lt;span class="line"&gt;&lt;span class="cl"&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="k"&gt;FROM&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="n"&gt;memories&lt;/span&gt;&lt;span class="w"&gt;
&lt;/span&gt;&lt;/span&gt;&lt;/span&gt;&lt;span class="line"&gt;&lt;span class="cl"&gt;&lt;span class="p"&gt;)&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="k"&gt;WHERE&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="n"&gt;score&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="k"&gt;IS&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="k"&gt;NOT&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="k"&gt;NULL&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="k"&gt;ORDER&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="k"&gt;BY&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="n"&gt;score&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="k"&gt;DESC&lt;/span&gt;&lt;span class="p"&gt;;&lt;/span&gt;&lt;span class="w"&gt;
&lt;/span&gt;&lt;/span&gt;&lt;/span&gt;&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;&lt;p&gt;实跑结果（查询 &lt;code&gt;adsense low value content&lt;/code&gt;）：&lt;/p&gt;
&lt;table&gt;
 &lt;thead&gt;
 &lt;tr&gt;
 &lt;th&gt;id&lt;/th&gt;
 &lt;th&gt;score&lt;/th&gt;
 &lt;th&gt;content&lt;/th&gt;
 &lt;/tr&gt;
 &lt;/thead&gt;
 &lt;tbody&gt;
 &lt;tr&gt;
 &lt;td&gt;1&lt;/td&gt;
 &lt;td&gt;2.7486&lt;/td&gt;
 &lt;td&gt;AdSense application for duckdblab.org was rejected for low value content&lt;/td&gt;
 &lt;/tr&gt;
 &lt;/tbody&gt;
&lt;/table&gt;
&lt;p&gt;10 条里只命中 1 条，且正是目标条目。再试两个查询，同样各只回一条、且都对：&lt;code&gt;kdp royalties payment&lt;/code&gt; → id=2（Payoneer 收款，1.8324）；&lt;code&gt;traffic revenue&lt;/code&gt; → id=3（公众号数据，1.6554）。小样本下 BM25 的区分度已经够用：不相关的条目连入围都不会。&lt;/p&gt;
&lt;h2 id="坑一索引是静态快照新记忆搜不到"&gt;坑一：索引是静态快照，新记忆搜不到
&lt;/h2&gt;&lt;p&gt;FTS 索引建的是&lt;strong&gt;那一刻的快照&lt;/strong&gt;。实测：建完索引后插入一条新记忆——&lt;/p&gt;
&lt;div class="highlight"&gt;&lt;pre tabindex="0" class="chroma"&gt;&lt;code class="language-sql" data-lang="sql"&gt;&lt;span class="line"&gt;&lt;span class="cl"&gt;&lt;span class="k"&gt;INSERT&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="k"&gt;INTO&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="n"&gt;memories&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="k"&gt;VALUES&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="p"&gt;(&lt;/span&gt;&lt;span class="mi"&gt;11&lt;/span&gt;&lt;span class="p"&gt;,&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="s1"&gt;&amp;#39;2026-11-10&amp;#39;&lt;/span&gt;&lt;span class="p"&gt;,&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="s1"&gt;&amp;#39;fact&amp;#39;&lt;/span&gt;&lt;span class="p"&gt;,&lt;/span&gt;&lt;span class="w"&gt;
&lt;/span&gt;&lt;/span&gt;&lt;/span&gt;&lt;span class="line"&gt;&lt;span class="cl"&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="s1"&gt;&amp;#39;AdSense resubmission planned for November 16 after ads.txt authorization&amp;#39;&lt;/span&gt;&lt;span class="p"&gt;);&lt;/span&gt;&lt;span class="w"&gt;
&lt;/span&gt;&lt;/span&gt;&lt;/span&gt;&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;&lt;p&gt;立刻查 &lt;code&gt;adsense resubmission november&lt;/code&gt;：新条目&lt;strong&gt;不出现&lt;/strong&gt;，只返回旧的 id=1（0.9162）。重跑一遍 &lt;code&gt;PRAGMA create_fts_index(..., overwrite=1)&lt;/code&gt; 之后再查：&lt;/p&gt;
&lt;table&gt;
 &lt;thead&gt;
 &lt;tr&gt;
 &lt;th&gt;id&lt;/th&gt;
 &lt;th&gt;score&lt;/th&gt;
 &lt;/tr&gt;
 &lt;/thead&gt;
 &lt;tbody&gt;
 &lt;tr&gt;
 &lt;td&gt;11&lt;/td&gt;
 &lt;td&gt;2.6215&lt;/td&gt;
 &lt;/tr&gt;
 &lt;tr&gt;
 &lt;td&gt;1&lt;/td&gt;
 &lt;td&gt;0.7180&lt;/td&gt;
 &lt;/tr&gt;
 &lt;/tbody&gt;
&lt;/table&gt;
&lt;p&gt;新条目排到第一。所以用 FTS 做记忆召回，写入路径上必须挂一个「重建索引」的动作：条数少时每次写入后重建即可（下面有耗时数据），条数大时改成定时批量重建。指望它像普通索引一样自动维护，会静默漏掉最新记忆——而且不报错，是最难查的那种漏。&lt;/p&gt;
&lt;h2 id="坑二中文不预分词一条都搜不到"&gt;坑二：中文不预分词，一条都搜不到
&lt;/h2&gt;&lt;p&gt;DuckDB FTS 的分词按空格和标点切词。英文没问题，中文整句是一个「词」，于是：&lt;/p&gt;
&lt;div class="highlight"&gt;&lt;pre tabindex="0" class="chroma"&gt;&lt;code class="language-sql" data-lang="sql"&gt;&lt;span class="line"&gt;&lt;span class="cl"&gt;&lt;span class="c1"&gt;-- notes 表存中文记忆原文，建索引后：
&lt;/span&gt;&lt;/span&gt;&lt;/span&gt;&lt;span class="line"&gt;&lt;span class="cl"&gt;&lt;span class="c1"&gt;-- 查询 &amp;#39;流量主 收入&amp;#39; → NO HITS
&lt;/span&gt;&lt;/span&gt;&lt;/span&gt;&lt;span class="line"&gt;&lt;span class="cl"&gt;&lt;span class="c1"&gt;-- 查询 &amp;#39;流量主收入&amp;#39; → NO HITS
&lt;/span&gt;&lt;/span&gt;&lt;/span&gt;&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;&lt;p&gt;两种问法都零命中。解法是&lt;strong&gt;入库时先分词&lt;/strong&gt;：把中文内容切成空格分隔的词串，存进单独的列（如 &lt;code&gt;content_seg&lt;/code&gt;），对这一列建索引。实测同一批数据、改索引到分词列之后：&lt;/p&gt;
&lt;table&gt;
 &lt;thead&gt;
 &lt;tr&gt;
 &lt;th&gt;查询&lt;/th&gt;
 &lt;th&gt;结果&lt;/th&gt;
 &lt;/tr&gt;
 &lt;/thead&gt;
 &lt;tbody&gt;
 &lt;tr&gt;
 &lt;td&gt;&lt;code&gt;流量主 收入&lt;/code&gt;&lt;/td&gt;
 &lt;td&gt;id=1（1.1107）&lt;/td&gt;
 &lt;/tr&gt;
 &lt;tr&gt;
 &lt;td&gt;&lt;code&gt;公众号 质检&lt;/code&gt;&lt;/td&gt;
 &lt;td&gt;id=4（0.8082）&amp;gt; id=1（0.3197）&lt;/td&gt;
 &lt;/tr&gt;
 &lt;/tbody&gt;
&lt;/table&gt;
&lt;p&gt;第二条尤其说明问题：id=4 同时含「公众号、质检」两词，排在只含「公众号」的 id=1 前面——BM25 的词频与稀有度加权在分词后的中文上同样生效。分词器用什么都行（结巴、自建词典、甚至让模型在写入时顺手切），关键是这一步必须在写入侧完成，别指望查询时补救。&lt;/p&gt;
&lt;h2 id="规模一万条记忆是什么量级"&gt;规模：一万条记忆是什么量级
&lt;/h2&gt;&lt;p&gt;用生成数据拉到 10,000 条（合成文本，词分布均匀，所以分数只看耗时、不看排序）：&lt;/p&gt;
&lt;ul&gt;
&lt;li&gt;建索引：&lt;strong&gt;0.19 秒&lt;/strong&gt;&lt;/li&gt;
&lt;li&gt;单次 BM25 召回查询：&lt;strong&gt;0.035 秒&lt;/strong&gt;&lt;/li&gt;
&lt;/ul&gt;
&lt;p&gt;这是本机沙箱环境的数字，不代表所有机器，但量级说明问题：个人 Agent 的记忆规模（千级到万级）对 FTS 完全是轻载。重建索引的成本低到可以每次批量写入后直接全量重建，不必为增量索引设计复杂机制。&lt;/p&gt;
&lt;h2 id="什么时候别用它"&gt;什么时候别用它
&lt;/h2&gt;&lt;ul&gt;
&lt;li&gt;&lt;strong&gt;要语义召回时&lt;/strong&gt;：BM25 只认字面词。记忆里写的是「收款账户」，查询说「怎么提现」，一个字都对不上就零命中——这类需求是向量检索的活，FTS 替代不了。务实的做法是双路召回：BM25 抓精确词，向量抓语义，合并去重。向量那一侧本站有 &lt;a class="link" href="https://duckdblab.org/zh/post/turbovec-offline-rag-local-first/" &gt;turbovec 本地 RAG&lt;/a&gt; 的实测，可以接上。&lt;/li&gt;
&lt;li&gt;&lt;strong&gt;写入极频繁时&lt;/strong&gt;：索引是快照，高频写入意味着高频重建；万级 0.19 秒不贵，百万级就另说了。写入密集的场景先评估重建窗口。&lt;/li&gt;
&lt;li&gt;&lt;strong&gt;中文不做预处理时&lt;/strong&gt;：如上，不分词等于没索引。&lt;/li&gt;
&lt;li&gt;&lt;strong&gt;需要跨字段加权时&lt;/strong&gt;：&lt;code&gt;create_fts_index&lt;/code&gt; 可以多列建索引，但字段间的权重调校不如专业搜索引擎（Elasticsearch/OpenSearch）细。记忆召回一般用不上这个粒度，真要调权重再迁不迟。&lt;/li&gt;
&lt;/ul&gt;
&lt;h2 id="小结"&gt;小结
&lt;/h2&gt;&lt;p&gt;记忆层的完整链条是：&lt;strong&gt;写入（分层）→ 遗忘（衰减）→ 召回（检索）&lt;/strong&gt;。前两步解决「库里留什么」，这一步解决「用时找得到什么」。DuckDB FTS 的位置很清楚：零新增服务、一条 PRAGMA 上线、万级规模毫秒召回；代价是静态快照要自己管重建、中文要自己分词、语义召回不在它的能力内。对大多数个人 Agent，这笔交换划算。&lt;/p&gt;
&lt;h2 id="继续深入"&gt;继续深入
&lt;/h2&gt;&lt;ul&gt;
&lt;li&gt;&lt;a class="link" href="https://duckdblab.org/zh/post/duckdb-ai-agent-memory-layer/" &gt;用 DuckDB 构建 AI Agent 的记忆层：会话日志到长期记忆的完整工程实现&lt;/a&gt;——本系列前篇：记忆层怎么写入、衰减、合并（向量召回侧），本文补齐字面词召回（BM25）这块&lt;/li&gt;
&lt;li&gt;&lt;a class="link" href="https://duckdblab.org/zh/post/duckdb-ai-agent-brain/" &gt;把 DuckDB 当 AI Agent 的「大脑」：自然语言数据分析&lt;/a&gt;——记忆表只是 Agent 状态层的一部分，这篇讲怎么让 LLM 直接对库提问&lt;/li&gt;
&lt;li&gt;&lt;a class="link" href="https://duckdblab.org/zh/post/turbovec-offline-rag-local-first/" &gt;turbovec 离线 RAG：本地向量化 + 全文检索双路召回&lt;/a&gt;——本文&amp;quot;别用它&amp;quot;清单里语义召回那一侧的实测方案&lt;/li&gt;
&lt;/ul&gt;</description></item></channel></rss>