生活分享
嵌入向量(Embedding)是什么:把内容放进可比较的空间
嵌入向量是模型把文字等内容转换成一组数值的表示方式,常用于语义搜索、分类与聚类。本文用“下雨可以去哪里”的查询拆解编码、相似度与候选结果,说明向量距离不等于真假、每一维也未必能直接命名,并介绍模型版本、语言能力与长文截断的影响。读完能分清嵌入向量、向量数据库与生成答案各自负责什么。
阅读时间约 7 分钟

嵌入向量,英文 Embedding,是把文字、图片或其他内容转换成一组数值的表示方式。这组数值让计算机可以用距离或相似度比较内容,而不必只检查字面是否完全一致。例如“雨天室内活动”与“下雨可以去哪里”用词不同,合适的文本嵌入模型可能仍把它们放到相近位置。这是学习得到的表示,不是字典为每个句子指定的固定坐标。
本篇以文本为主,带读者区分三个步骤:模型生成向量、程序比较向量、应用程序使用比较结果。向量本身不会说话,也不会核实数据。文中的活动名称与排序是示意,不是某个模型的实测分数;真正选用模型时,需要用自己的语言与任务测试,不能把例子中的预期当成性能保证。
一组数值如何表示内容
文本模型先处理输入的 token,再根据其训练方式形成表示。句子嵌入通常把整句或一段文字转换成固定长度向量;与模型内部每个 token 的表示有所不同。Sentence-BERT 的原始研究展示了让句子分别编码、再用相似度比较的设计,省去了将每一对句子一起送入大型模型的需求。这只是嵌入方法的一个代表,不是所有嵌入都采用同一架构。
可以把它想成一张学习得到的内容地图,但地图比喻有其限度。实际向量常有很多维,单独某一维未必代表“室内程度”或“交通便利程度”。这些意义由整体表示共同承载,不能看到一个数字变大,就自行为它命名为情绪、质量或可信度。若想了解模型擅长什么,要看训练目标与任务评估,而不是猜坐标的中文意思。
相似度需要与模型匹配
向量可以使用余弦相似度、内积或距离等方法比较。Sentence Transformers 官方文档提供不同计算方式,并提醒模型配置中有相应的相似度选项。这些计算得到的是在特定表示空间中的接近程度,不是全世界通用的相关性分数。换模型、改变归一化方式或更换距离函数后,不应直接沿用原来的阈值。
查询和数据需要使用兼容的表示方式。某些检索模型对问题与文档使用不同的提示前缀或编码入口,目的是让简短的问题能匹配较长的答案段落。即使两套模型输出的维度相同,也不代表坐标空间相同;把旧文档向量混入新模型查询,可能仍能算出数字,却失去可靠意义。更新模型时需要重新验证索引与查询的搭配。
阅读完整文字说明
问题与文档分别通过兼容的编码转换成向量,计算相似度后取回原文,再检查实际条件
示范:找出雨天活动笔记
假设笔记有“陶艺工作室位于室内”、“河岸步道视野开阔”与“美术馆雨天也可参观”。输入“下雨可以去哪里”后,先用选定模型为问题编码,再与笔记向量比较,获取候选段落。合理预期是与室内相关的笔记更容易被找到,但若模型不熟悉台湾用语或笔记省略太多背景,实际排序仍可能不同。
获取候选结果后,应查看原文确认限制。陶艺工作室可能需要预约,美术馆可能有闭馆日;向量接近不表示今天能去。若应用要回答完整行程,还得检索营业信息并由生成步骤整理。只把最接近的项目当成推荐,会把“谈到相关主题”和“符合所有条件”混为一谈。
也可放入干扰句测试:“此场地不适合雨天使用”。它包含相同词汇和主题,向量可能仍与雨天查询接近。若系统把它当成正面候选结果,并不表示距离计算出了故障,而可能表示嵌入擅长识别主题相近的内容、不擅长最后的条件判断。这时可以加入重排序或明确的条件检查,不一定要完全舍弃嵌入。
哪些内容容易被压缩掉
长段落包含太多主题时,单一向量可能难以保留每一个细节;超过模型输入限制的文字也可能被截断。把文档分成有意义的段落,并保留标题及来源信息,通常比盲目增加向量维度更切合问题。分块太细则可能失去主语与条件,因此向量质量不能脱离文档处理方式来评估。
专有名词、罕见地名、产品代码与否定条件也值得特别测试。语义模型可能很擅长查找近义词,却分不清名称很接近的不同商品。需要精确识别的字段可以用文本或结构化筛选辅助。数据安全方面,向量不是匿名化或加密的保证;原文权限与敏感数据处理仍须遵守原本的要求,不能因为看起来只是数字便任意分享。
读懂嵌入相关功能的介绍
看到“支持嵌入”时,可以先确认输入类型、适用语言、允许长度、模型版本与相似度方式,再看它是否支持你的实际数据。跨语言搜索尤其要用读者真正会问的说法测试,不能只用翻译得很工整的句子。评估问题也要包含同义、反义、专有名称与完全无关的内容,才能看出它的能力边界。
一个实用的小测试是先人工标出每个问题应找到的笔记,再比较候选结果是否涵盖它们。若相关笔记根本没进入候选结果,就检查分块与编码;若已进入候选结果但排名靠后,可以评估重排序;若排名正确但答案仍错,问题可能在生成环节。嵌入提供一种可比较的内容表示,最终服务质量仍取决于后续如何使用它。
若要把搜索结果用于自动分类,还需另外决定何时接受、何时交给人看。最相近的类别也可能与输入完全无关;一个只在已有选项里挑第一名的系统,面对新类型仍会强行选择。加入“无合适类别”案例,才能确认应用没有把相对最高分误当成足够的证据。
| 方法 | 处理重点 | 需要留意 |
|---|---|---|
| 嵌入模型 | 内容转换成向量 | 表示受训练目标影响 |
| 向量数据库 | 存储与查询向量 | 不为内容判定真假 |
| 生成模型 | 生成文本答案 | 仍需读取可靠依据 |
向量数据库(Vector Database):相似内容怎么存、怎么找
语义搜索(Semantic Search):用不同说法找到相关内容语义搜索(Semantic Search):用不同说法找到相关内容语义搜索尝试根据查询和内容的意思查找资料,不只匹配相同字词。本文以常见客服问题说明查询编码、文档表示与候选排序,区分语义相似和真正符合需求,也介绍否定句、专有代码、跨语言与无答案问题的限制。读完能判断搜索问题该从嵌入模型、数据整理、混合搜索或重新排序入手改善,而不把自然语言答案误当成搜索本身。阅读全文
文档分块(Chunking):切多长,才不会把答案切断
AI 术语总索引:从 Loop Engineering 到生成式 AI
觉得这篇整理实用吗?分享给需要的朋友
同主题延伸阅读
生活分享
代理式检索增强生成(Agentic RAG):何时需要再查一次
代理式检索增强生成让模型参与检索决策,根据问题与已找到的证据选择数据来源、改写查询或继续补查。本文采用 LangGraph 文档中的具体流程,以比较场地借用条件示范它和固定式 RAG 的差别,并说明停止条件、权限、查询记录及成本控制。读完能判断任务需要动态探索,还是用可预测的固定流程就足够。
生活分享
图谱检索增强生成(GraphRAG):从关系看懂整批文档
GraphRAG 把实体及其关系纳入检索,帮助回答跨文档的关联与整体主题。本文以 Microsoft 原始论文及官方文档为范围,拆解实体抽取、社区摘要、局部搜索和全局搜索,以地方活动记录示范不同问题需要不同路径。也说明图谱漏连、名称误合并与摘要失真如何影响答案,避免把一张漂亮的关系图误认为已验证的事实。
生活分享
知识图谱(Knowledge Graph):把事物与关系说清楚
知识图谱用实体及关系组织数据,让“谁参与什么、在哪里、何时发生”能沿链接查询。本文以社群活动数据演示实体识别、关系方向、来源与时间,介绍资源描述框架(RDF)和属性图的表示差异,也说明图谱不等于可视化或可信事实。读完能判断数据适不适合建图,并理解它如何与数据表、向量搜索及图谱检索增强生成(GraphRAG)搭配。
生活分享
混合搜索(Hybrid Search):兼顾精确字词与语义
混合搜索将全文搜索与向量等不同检索结果合并,兼顾精确代码和自然语言需求。本文用设备说明书查询拆解候选获取、去重、排名融合和重新排序,介绍倒数排名融合(RRF)如何用名次融合不同搜索结果,也提醒混合不保证全面更准。读完能用代码题、改写题和无答案题检查质量,并辨认权限、筛选与重复内容造成的偏差。
引用本文的文章
资料来源
本文依据上方所列参考来源与标示之核实日期整理;票价、时刻、功能规格或服务条款可能变动,出发、预订或购买前请至相关官方网站确认最新信息。