一、一次失败的检索暴露了整条链路

先看一个真实的失败案例。用户对着AI助手说，家里空调外机一到晚上就嗡嗡响，吵得睡不着，是不是该换机器了。站内有一篇写得很扎实的文章，标题是《空调室外机低频噪声的成因与减振改造》，正文把压缩机脚垫老化、支架共振、铜管传振三条路径讲得很细。可在旧式关键词检索里，这篇内容几乎没有机会被送到用户面前，因为用户说的嗡嗡响，和作者写的低频噪声，字面上一个词都不重合。

关键词检索的流程是分词、建倒排索引、按词频与逆文档频率算分。它要求查询词和文档词在字面上对上，遇到同义、口语、错别字，只能靠人工维护的同义词表和拼音纠错去补。这套机制在短查询、标准词上极其高效，但面对长尾口语，缺口是结构性的：同义词表永远追不上用户的花样说法。

生成式引擎在这条链路上加了两层东西。第一层是把查询和内容都映射成向量，用方向接近程度判断意思是否相近，这就是语义近似匹配；第二层是把召回的候选逐条交给重排模型，判断这段文字究竟有没有回答这个问题。打个比方，关键词检索像按书名找书，语义检索像按内容简介找书，重排则像把挑出来的几本书真的翻开读上一段。

本文沿着改写、召回、重排、阈值四段拆解这条链路，每段都配具体例子，最后落到一个更实际的问题上：作为内容写作者，哪些动作能真正提高自己被召回、被引用、被信任的概率。结论先放在前面，写作者改变不了模型结构和阈值设置，但能改变自己文字的语义形状，而这件事的杠杆比想象中大得多。

二、向量表示：一句话被压进一千个数字

embedding 模型把一段文本编码成一个定长的浮点数组，常见维度是七百六十八、一千零二十四或者一千五百三十六。每个维度都没有人类可读的名字，单独看一个数毫无意义，但整组数字合起来，就是这句话在一个高维语义坐标系里的位置。可以把它想成给每句话在一张巨大的地图上钉一枚图钉，意思相近的句子，图钉就扎在同一片区域。

这张地图不是人画的，是对比学习训出来的。训练数据里大量成对出现、意思相同但说法不同的文本，比如问答对、标题与正文、同一段话的两种翻译、同一问题的两种改写。模型被要求把这些正样本对拉近，把随机配对的负样本推远。反复调整之后，向量位置反映的其实是可替换性：两句话在多少语境下能互换，它们就靠得多近。

这个来源决定了三个必须知道的后果。第一，维度不可解释，没有哪个维度专门表示价格或者颜色。第二，向量对词序不敏感，狗咬人和人咬狗在向量空间里可能非常接近。第三，向量对否定、数量、时间、条件这类逻辑成分不敏感，支持七天无理由退货和不支持七天无理由退货，会落在相当接近的位置上。第三条是后面所有误召问题的根源之一。

还要记住一件常被忽略的事：真正被编码的从来不是整篇文章，而是切好的块。一篇八千字的长文会被切成十几到几十个块，每块单独算向量。块的主题越纯，召回越准；块里塞了三件事，向量就成了三者的平均值，跟哪个具体问题都不够近。标题、小标题、每段首句、以及某某是指什么这样的定义句，就是决定这个块落在哪片区域的语义锚点。

三、语义距离：余弦、点积与那个常见的归一化错误

衡量两个向量近不近，常用三种度量。余弦相似度看夹角，取值从负一到一，文本场景里通常落在零点二到零点九之间；点积是夹角余弦乘上两个向量的长度，受长度影响；欧氏距离看直线距离，在向量已经归一化的前提下，它与余弦是单调对应的，排序结果完全一致。绝大多数现代检索系统默认用余弦或者归一化后的点积。

这里有一个高频事故：不同模型的输出有的已经归一化，有的没有。把未归一化模型的点积分数，直接和归一化模型的余弦分数放在一起比较，等于拿摄氏度和华氏度的读数比大小。混用两个模型做多路召回时，正确做法是先各自转成排名，再用排名融合，而不是直接比分数。

更麻烦的是，相似度分数没有绝对刻度。同一个模型，在生活类语料上零点七五可能只算勉强相关，在高度同质的垂直语料上零点七五已经算相当接近。这就像不同品牌的体温计，刻度位置不完全一样。所以阈值不能凭感觉定，必须用自己语料的分位数来标定：把所有查询与候选的分数排个序，取前百分之一或者前百分之零点五对应的值作为硬门槛，再根据业务容错度上下微调。

最常见的误读是把相似度当正确率。相似度零点九二只说明这两段文字在语义空间里方向很接近，不说明这段文字全面、准确、有时效、能直接回答问题。一段把空调噪声讲得头头是道却只谈室内机的文字，和问外机噪声的查询，相似度可以很高，但它是错的答案。相似回答的是像不像，重排回答的才是有没有用。

四、同义、上下位与相关：三种关系决定召回半径

语义空间里的邻近关系，大致可以分成三类。第一类是同义或近义，同一个意思的不同说法，比如降噪、隔音、减振、静音、异响治理。第二类是上下位，上位词是类别，下位词是具体成员，噪声治理是上位，压缩机减振垫更换是下位。第三类是相关但既不并列也不包含，比如空调外机支架锈蚀和外机异响，它们经常一起出现，但谁也不是谁的一种。

上下位关系在向量空间里是不对称的，而多数 embedding 的训练目标是对称的，这就把不对称压平了。结果是问大类答小类、问小类答大类，在分数上看起来差不多，在实际体验上差得很远。你问某一类问题的通用原理，它给你一个偏僻的具体案例，你会觉得答非所问；你问一个非常具体的症状，它给你一篇泛泛而谈的综述，你会觉得它在敷衍。

这个不对称解释了一个很常见的现象。泛化型长文，比如空调保养十大技巧，容易命中宽泛的问题，却几乎不可能命中我家外机螺丝松了这种具体表述；反过来，一篇只讲某个型号故障排查的短文，因为缺少上位词，在问空调噪声怎么办的时候又召不回来。两类内容各有各的漏召方式，不是谁比谁更正确。

对应到写法上，一个页面里应该同时布置上位词和下位词。章节标题和定义句承担上位词的功能，把类别固定下来；正文段落铺开下位词，写清具体场景、型号、症状、部件名。上位词决定这个块能不能进入候选池，下位词决定它在重排里能不能胜出。只有上位词，内容会空；只有下位词，内容会窄。

反过来，同义词堆砌是无效动作。把降噪、隔音、静音、减噪、消音连着写五遍，在向量空间里几乎没有增加任何方向信息，因为这些词本来就指向同一个方向；它真正做的是稀释掉段落里其他具体信息，让这个块的向量更模糊。写作者以为在铺关键词，实际是在给自己降权。

五、查询改写与扩展：把口语翻译成检索语言

长尾口语查询有几个稳定特征。主语经常省略，说外机响而不说空调室外机产生噪声；充满拟声词和感官描述，嗡嗡、咔哒、哗啦；一句话里塞进两个以上意图，比如空调不制冷还漏水修一下多少钱，同时包含故障诊断和价格询问；还常常夹带情绪，烦死了、受不了、急。

改写模块通常做四类动作。一是纠错与规范化，把空掉改成空调，把一匹半改成一点五匹。二是意图补全，把半夜嗡嗡响补成空调外机夜间低频噪声扰民。三是拆分子查询，把上面那句拆成不制冷的原因、漏水的原因、两者的维修价格三个子问题。四是扩展同义与上下位，补上压缩机、减振垫、支架、冷媒这些用户没说但强相关的实体。

HyDE 是这几年很流行的一种扩展手段，思路是让模型先凭空写一段假想答案，再用这段假想答案的向量去检索。类比一下，你不知道书名，就先描述一遍你想找的那本书大概写了什么，再拿这段描述去找。好处是假答案和真实文档在文体、用词密度上更接近，比短查询更容易对上；坏处是模型一旦幻觉，假答案会把检索方向整个带偏，越自信越危险。

另一种做法是多查询并行，让模型生成三到五个不同角度的改写，各自召回一批候选，再合并去重。合并常用倒数排名融合，也就是按排名而不是按分数相加。代价是噪声变多，必须有重排兜底，否则候选池扩大只是把错误答案也一起捞了进来。

改写环节最高发的错误是丢约束。用户说不要带安装费的，改写后变成空调安装价格；用户说二零二四年以后生产的机型，改写后变成新款空调。否定、时间、地域、型号、预算这些硬条件一旦在改写中被抹平，后面的召回再精准也是错的方向。所以成熟的系统会把这类硬约束抽成结构化过滤条件，与语义检索并行，而不是交给模型自由发挥。

六、召回：稀疏与稠密两路并行

稀疏检索和稠密检索各有主场。稀疏一方以 BM25 和倒排索引为代表，擅长精确命中：型号 KFR-35GW、参数 1.5 匹、标准号 GB 21455、品牌加故障码 E1，这些字符一旦对上就是强信号，向量反而会把它们糊成一团。稠密一方以向量近邻为代表，擅长语义泛化：用户说嗡嗡响，文档写低频噪声，只有向量能把它们连起来。

所以主流做法是混合召回，两路各取前若干条，再融合。融合方式有两种，一种是分数加权，前提是先把两路分数归一化到同一量纲，工程上容易出错；另一种是倒数排名融合，只看每条候选在各路里的名次，把名次的倒数相加，名次靠前的自然得分高。后者不依赖分数可比性，鲁棒性更好，是混合检索里最常用的默认方案。

候选数量 k 的选择是个权衡。k 太小，正确答案可能压根没进候选池，后面再强的重排也救不回来；k 太大，噪声涌入，重排的计算成本线性上升，而且容易被大量近似重复的内容淹没。实践中常见的是召回五十到两百条进重排，重排后取五到十条交给生成模型组织答案。

分块策略对召回的影响，往往比换模型更大。原则是一个块回答一个问题，长度控制在两三百到五百字，带独立小标题；表格、参数清单、步骤列表单独成块，不要和叙述文字混在一起；给每个块加上标题路径作为前缀，比如空调外机噪声治理 大于 压缩机脚垫老化，这样即使块内文字出现了它、该情况这类指代，向量里也有足够的上下文可以依靠。

除了正文块，还有几类常被忽视的召回源：成对的常见问答、结构化参数表、品牌型号故障码实体词典、站内搜索日志里的真实query。其中搜索日志价值最高，它直接告诉你用户到底怎么说话，把这些原话沉淀成同义表述写进正文，等于用真实数据校准自己的语义锚点。

七、重排：把相似和有用分开

重排模型分两代。第一代是双塔结构，查询和文档各自独立编码成向量再比对，优点是文档向量可以离线预先算好，线上只算查询，速度快、成本低，缺点是两侧从未见过对方，只能比较整体方向，抓不住细粒度的对应关系。第二代是交叉编码器，把查询和文档拼成一条输入送进模型，让注意力机制直接在两者之间来回看，判断这段文字是否回答了这个问题，准得多，但每条候选都要现算，成本高出一个量级。

于是工程上做成漏斗。先用双塔或混合召回把候选从百万级压到一百级，再用交叉编码器压到二十级，最后可能还要一层大模型判断或者直接用生成模型边读边写，只保留三到五段真正会被引用的内容。每一层的成本和精度都不同，顺序不能颠倒，否则要么算不起，要么不准。

用大模型做重排是一个性价比不错的选择。把一条查询和二十个片段一起给模型，要求它按能否直接回答打分，并给出一句理由。理由这一项很关键，它是排查误召的唯一线索：当模型写着这段讲的是室内机噪音，与问题中的外机不符，你就知道问题出在限定词没有被正确匹配，而不是模型坏了。

重排判断的核心不是相关性，而是回答性。相关性问的是这页内容跟这个主题有没有关系，回答性问的是这段文字能不能解决提问者的具体处境。一篇讲空调噪声的文章，如果没有提到夜间、低频、扰民这几个限定，重排在回答性上就会扣分，哪怕它主题完全正确。这也是为什么限定词必须被显式写出来，而不是靠读者自己脑补。

八、阈值与误召：高相似不等于高价值

误召可以分成四种典型。第一种是近似重复，同一篇内容被转载到十几个站点，格式略有差异，向量几乎一样，候选池被同一份信息占满。第二种是同名不同义，苹果既指水果也指品牌，问苹果笔记本散热，召回苹果种植气候。第三种是粒度错配，问某个具体型号的故障，答的是整个品类的通用原理。第四种是语义漂移，话题相邻但核心不同，问冰箱冷藏室结冰，答的是冷冻室除霜。

对抗误召靠几道阈值。绝对阈值，分数低于某个下限直接丢弃，宁缺毋滥；相对阈值，也就是 margin，当第一名与第二名的分差过小、或者第一名分数本身不高时，判定为不确定；一致性检查，要求至少两路召回都命中同一篇内容，单路命中不算；覆盖度检查，看候选片段是否覆盖了查询里的关键实体和限定条件，缺一个就降权。

拒答机制的价值经常被低估。生成式系统最忌讳的不是说不知道，而是拿一段相似但无关的内容硬凑一个答案。前者只是没帮上忙，后者会消耗用户对系统的信任，而且错误答案往往看起来比正确答案更流畅、更自信。所以在分数不达标时明确回答没有找到可靠信息，是一种设计选择，不是能力缺陷。

阈值怎么定，要靠数据和业务共同决定。构造一批正负样本，正样本是人工确认能回答问题的片段，负样本是同话题但不回答的片段，然后扫描阈值画精确率与召回率的曲线，按业务类型选点。导航类、医疗类、法规类问题应当从严，宁可漏召不可错答；探索类、灵感类问题可以放宽，多给几个方向反而有价值。同一个阈值套所有意图，是最常见的粗暴做法。

写作者虽然碰不到阈值，但能影响自己被判定为达标的概率。做法很朴素：把讨论范围写清楚，本文只讨论分体式空调，不含中央空调和多联机；把不适用的情况也写出来，什么情况下这个方案无效。边界清晰的内容，在覆盖度检查里得分更高，也更不容易被误判成万能答案而遭到用户否定。

九、长尾为什么天然难召回

长尾查询的第一个难点是稀疏。单条查询在日志里可能一年只出现几次，没有点击反馈，没有协同信号，系统无法从行为数据里学到它该怎么匹配。第二个难点是个人化，方言、拟声词、家里人的叫法、错别字混在一起，任何词典都覆盖不完。第三个难点是复合，一句话里有两个甚至三个意图，而一篇内容通常只服务于一个。

冷启动是另一个坎。新机型、新政策名、新药名、新梗，这些词在模型训练时压根不存在，它们的向量位置基本是随机的，可能跟任何东西都不像。这时能救场的往往不是向量，而是稀疏检索的字面命中，加上实体词典的强制映射，再加上改写环节把它翻译成模型认识的旧词。

长文档还有稀释问题。一篇五千字的综述，如果整篇压成一个向量，主题会被平均成某种平庸的中间态，跟任何一个具体问题都不够近。块级编码能解决稀释，但会带出新问题：块与块之间的指代断裂。第三段开头的该部件指的是第一段提到的膨胀阀，可这个块单独看根本不知道在说什么。所以每个块要能独立成意，必要时重复一遍主语。

评估长尾效果，必须单独切分数据集。整体指标往往被头部查询拉高，看起来一切正常，实际上长尾全在漏。常用的三个指标是召回率 at k，看正确答案有没有进候选；MRR，看正确答案平均排在第几位；nDCG，看整个排序的质量。把长尾查询单独拎出来算一遍，你会发现真实水平比报表上难看得多，但这个难看的数字才是有用的。

十、评估：怎么知道召回到底有没有效

评估的第一步是造题集。从真实搜索日志、客服对话、社群提问里抽三百到五百条原始问法，按意图分类，保留口语原貌，不要改写成书面语。第二步是标注，为每条问题标出站内哪些段落确实能回答它，允许一条问题对应多个段落，也允许一条都标不出来，因为确实可能没有内容覆盖。

第三步是跑指标。召回率看候选池里有没有标注的段落，这个数字反映的是检索侧的天花板；命中率看最终答案里有没有引用到标注段落，这个数字反映的是整条链路的效果。两者之间的差距，就是重排和生成环节丢失的部分，这部分往往比想象中大。

第四步是看失败样本，而且必须人工看。把漏召的问题逐条读一遍，你会发现原因高度集中：不是模型不行，而是内容里根本没写用户的那种说法。这个发现会直接改变写作策略，从想着怎么优化关键词，变成想着怎么把用户的语言覆盖进来。评估的价值不在于那个分数，而在于它把猜测变成了清单。

十一、对内容写作者的实际含义

第一，一个页面服务一个意图簇，而不是一个关键词。意图簇是同一个问题在不同说法下的集合，比如空调外机吵、外机嗡嗡响、晚上外机噪音大、外机低频共振，它们指向同一件事。写之前先把这组说法列出来，确认你的页面能同时接住它们，而不是只接住其中最书面化的那一个。

第二，把用户的原话原样写进正文至少一次。用户说嗡嗡响，你就在正文里写夜间嗡嗡响，括号里补上低频噪声这个术语。这一步看着笨，实际是在给向量搭桥：桥的一头是用户的口语，另一头是你后面的专业表述，中间必须有实打实的文字连接，模型才找得到这条路。只在标题里放术语、正文全是行业黑话的内容，是典型的召不回来。

第三，用定义句固定上位词。每个大章节开头写一句某某是指在什么范围内、针对什么对象的什么问题，这句话同时承担三件事：告诉重排模型这一节在讲什么类别，给块向量一个稳定的锚，也让读者一眼知道该不该继续读。定义句不需要长，一句话足够，但必须有。

第四，小标题写成问题句。问句本身就是一条长尾查询的近似表达，块向量与查询向量天然接近，而且问句形式的小标题在切块时会被当作语义前缀，整块的向量都会被它带向正确方向。这大概是投入产出比最高的一个改动，改十个标题只要半小时。

第五，补全限定条件，优先级高于堆同义词。时间、地域、机型、人群、预算、前置条件、失效场景，这些限定是重排阶段最有效的区分信号。一段写了适用于二零二零年后生产的一点五匹分体机、不适用于多联机的文字，在回答具体问题时比一段写空调噪声治理方法很多的文字更容易胜出，因为前者能证明自己懂边界。

第六，让内容天然可切块。一段只说一件事，超过两百字就考虑分段；步骤、参数、对比用列表呈现，每条独立可读；数字带上单位，型号写全称，别用这个型号那种说法。这些要求本来是写给读者看的，恰好也是写给切块器和编码器看的，两者的利益在这个点上完全一致。

语义近似匹配做得好，是不是就不用管关键词了

不是。两者解决的是不同问题，稀疏检索负责精确命中型号、标准号、专有名词、错误码这类必须字面对上的内容，稠密检索负责跨越说法差异。真实系统几乎都是两路并行再融合。写作者如果只照顾语义而丢掉准确的专有名词，等于主动放弃了精确查询这条最稳的入口。

向量相似度到多少才算命中

没有通用答案。分数刻度随模型和语料变化，同一模型在两类语料上的分布可以差很多。可行的做法是用自己语料的分位数标定，比如取前百分之一作为硬门槛，再按业务容错度调整。把别人文章里的零点八直接搬过来用，是最常见的错误之一。

为什么同一篇文章有时被引用有时不被引用

常见原因有三个。一是问题措辞不同，命中了你不同的块，块的质量参差不齐；二是同题竞争，同一批候选里出现了更强的对手，重排把你挤下去了；三是上下文不同，同一个问题在不同对话里带的限定条件不一样，你的内容只覆盖了其中一部分。

HyDE 会不会把检索带偏

会，而且模型越自信越容易偏。假想答案的作用是缩小查询与文档的文体差距，但如果模型对领域不熟，它编出来的答案会把检索引向错误方向。稳妥的用法是让 HyDE 生成多份假答案并行检索，与原始查询的检索结果一起融合，而不是只用假答案这一路。

没有搜索量的长尾词值得写吗

值得，但要换一种算法。单条长尾词确实没有量，可一个意图簇下面的几十种说法合起来是有量的，而且长尾问题的转化意图通常更明确。判断标准不是某个词的月搜索量，而是这组说法背后有没有一群人在反复问同一件事，以及他们问的时候带不带具体的处境描述。

同义词要不要在标题里全写一遍

不建议。标题里堆五六个近义词，读起来像关键词列表，用户会跳过，模型也不会因此多拿到信息，因为这些词本来就指向同一方向。标题的正确做法是写清对象、问题和限定，一个具体的问题句往往比一串同义词覆盖得更广。

怎么自测一篇内容的召回能力

列出二十条用户可能提出的口语问法，不看原文，只用自己文章里的小标题去比对，看有几条能被某个小标题直接接住。凡是接不住的，说明你缺一个对应的段落或说法。这个方法不需要任何工具，十分钟就能做完，但能暴露出大部分结构性问题。

误召和漏召哪个更伤

大多数场景下误召更伤。漏召只是没帮上忙，用户换个问法还有机会；误召给出一个似是而非的答案，用户照着做了、做错了，损失的是对整个系统的信任，而且这种损失很难靠后续的好答案补回来。所以系统在不确定时选择拒答，是合理的设计，不是偷懒。