Embedding

Embedding 是什么？一文看懂 AI 中的向量表示与语义理解

一句话理解

Embedding（嵌入）是一种将文本、图片、声音等非结构化数据转换成计算机能够理解的数字向量的方法，使 AI 能够通过数学方式理解数据之间的关系。

简单来说：

Embedding 就是把“人类能理解的信息”转换成“AI 能计算的数字表示”。

例如：

人类理解：

猫
复制

AI需要转换：

[0.235, -0.842, 0.129, 0.556, ...]
复制

这些数字组成的列表，就是：

向量（Vector）

基础信息

什么是 Embedding？

Embedding 是机器学习中的一种技术，用于将现实世界中的信息转换为数字形式。

计算机本身无法直接理解：

• 文字
• 图片
• 音频
• 视频

它只能处理：

数字。

因此需要一种转换方式：

人类信息
↓
Embedding模型
↓
数字向量
↓
计算机处理
复制

例如：

文本：

苹果是一种水果
复制

经过 Embedding：

[
0.124,
0.532,
-0.221,
0.891,
...
]
复制

计算机通过这些数字之间的关系，理解：

• 哪些内容相似
• 哪些概念相关
• 哪些信息接近

为什么需要 Embedding？

1. 计算机无法直接理解文字

对于人类：

猫 ≈ 小猫 ≈ 猫咪
复制

我们知道这些词意思接近。

但是计算机看到的是：

猫

小猫

猫咪
复制

只是不同字符。

它不知道它们之间的关系。

Embedding 可以让计算机发现：

猫
↓
[0.23,0.56,0.12...]

小猫
↓
[0.25,0.54,0.15...]

猫咪
↓
[0.22,0.55,0.13...]
复制

三个向量距离较近。

因此：

AI 判断它们语义相似。

Embedding 的核心思想

Embedding 的核心：

把相似的东西映射到向量空间中相近的位置。

例如：

二维空间：

          动物

            🐱猫

       🐶狗


                         🚗汽车


水果

 🍎苹果

 🍌香蕉
复制

在向量空间中：

• 猫和狗距离近
• 苹果和香蕉距离近
• 动物和水果距离远

什么是向量？

向量就是一组数字。

例如：

二维向量：

[2,3]
复制

三维向量：

[1,5,8]
复制

AI中的Embedding通常维度更高：

例如：

1536维向量

3072维向量
复制

数字越多，可以表达的信息通常越丰富。

Embedding 是如何工作的？

基本流程：

输入内容
↓
Embedding模型
↓
特征提取
↓
生成向量
↓
存储或计算
复制

例如：

输入：

什么是人工智能？
复制

Embedding模型：

分析：

• 关键词
• 语义
• 上下文关系

生成：

[0.123,-0.456,0.789...]
复制

Embedding 在 AI 中有哪些应用？

Embedding 是现代 AI 应用的重要基础技术。

主要应用包括：

• 语义搜索
• RAG
• 推荐系统
• 文本分类
• 图像检索
• AI Agent

1. 语义搜索（Semantic Search）

传统搜索：

依靠关键词匹配。

例如：

用户搜索：

汽车维修方法

只能匹配：

• 汽车
• 维修

但是：

“车辆故障如何解决”

可能匹配不到。

Embedding搜索：

会理解：

汽车维修方法
≈
车辆故障解决方案
复制

因为两个句子的向量距离接近。

2. RAG 中的 Embedding

Embedding 是 RAG（检索增强生成）的核心技术之一。

RAG流程：

用户问题
↓
问题Embedding
↓
向量数据库搜索
↓
找到相关资料
↓
LLM生成答案
复制

例如：

企业知识库：

包含：

公司报销制度.pdf

员工手册.docx

产品说明书.pdf
复制

首先：

文档切片：

文本片段1

文本片段2

文本片段3
复制

然后：

Embedding：

文本
↓
向量
↓
存入向量数据库
复制

用户提问：

出差怎么报销？

转换：

问题向量
复制

然后寻找：

距离最近的文档片段。

3. 推荐系统

很多推荐系统也使用 Embedding。

例如：

视频网站：

分析：

• 用户喜欢的视频
• 视频内容
• 用户行为

转换成向量。

如果：

用户向量

和

视频向量

距离接近：

推荐该视频。

4. 图像搜索

图片也可以进行 Embedding。

例如：

上传：

一张猫图片。

系统转换：

图片
↓
图片Embedding
↓
向量
复制

搜索：

找到：

• 相似图片
• 相同物体
• 类似风格图片

Embedding 和 Token 有什么区别？

这是大模型学习中常见的问题。

简单理解：

文字
↓
Token
↓
Embedding
↓
模型计算
复制

Embedding 和大语言模型（LLM）的关系

大语言模型内部大量使用 Embedding。

例如：

用户输入：

你好
复制

流程：

文本
↓
Token
↓
Embedding
↓
Transformer
↓
输出结果
复制

Embedding 是：

AI理解语言的第一步。

Embedding 和 RAG 的关系

这是 AI 应用开发中非常重要的关系。

可以理解：

LLM：

负责：

思考和生成答案。

Embedding：

负责：

找到相关知识。

RAG：

负责：

把外部知识提供给 LLM。

关系：

用户问题
↓
Embedding
↓
向量数据库检索
↓
相关资料
↓
LLM
↓
最终答案
复制

常见 Embedding 模型

目前常见的 Embedding 模型包括：

什么是向量数据库？

因为 Embedding 会产生大量向量。

普通数据库：

不适合快速搜索高维向量。

因此出现：

向量数据库（Vector Database）

专门用于：

• 存储向量
• 相似度搜索
• 高效检索

常见向量数据库：

向量相似度是如何计算的？

AI 判断两个向量是否相似。

常见方法：

余弦相似度（Cosine Similarity）

计算两个向量之间的夹角。

例如：

向量A：

猫
复制

向量B：

小猫
复制

夹角较小：

表示：

语义接近。

Embedding 的优势

1. 理解语义关系

不仅匹配关键词。

能够理解：

意思是否相近。

2. 支持海量数据搜索

适合：

• 企业知识库
• 搜索系统
• 文档管理

3. 多模态扩展

Embedding 不只支持文本。

还可以处理：

• 图片
• 视频
• 音频

Embedding 的局限

1. 向量本身没有可读意义

例如：

[0.123,-0.542,0.221]
复制

人无法直接理解。

2. 依赖模型质量

不同 Embedding 模型：

效果可能差异较大。

3. 不等于真正理解

Embedding 是数学表示。

它表现出理解能力，但并不是像人一样理解世界。

常见问题 FAQ

Embedding 是 AI 模型吗？

Embedding 本身不是一种完整 AI 模型。

它通常由专门的模型生成。

为什么 RAG 需要 Embedding？

因为 RAG 需要找到：

和用户问题最相关的知识。

Embedding 可以把：

问题

和

文档

转换成向量，通过距离判断相关性。

Embedding 越大越好吗？

不一定。

更大的向量：

可能表达更多信息。

但：

• 存储成本增加
• 搜索成本增加

需要根据场景选择。

ChatGPT 使用 Embedding 吗？

是。

现代大语言模型内部会使用类似 Embedding 的表示方式处理文本信息。

总结

Embedding（嵌入）是现代人工智能中的基础技术，它将文本、图片等信息转换为计算机能够理解的向量表示。

通过 Embedding，AI 可以理解：

• 内容之间的相似关系
• 语义关联
• 数据之间的距离

它是很多 AI 应用的重要基础：

• 搜索系统
• 推荐系统
• RAG知识库
• AI Agent
• 多模态AI

简单理解：

Embedding 负责把世界转换成 AI 能理解的数字语言。

在 AI 技术体系中：

机器学习
↓
神经网络
↓
深度学习
↓
Transformer
↓
大语言模型
↓
Embedding
↓
RAG
↓
AI Agent
复制

Embedding 是连接“大模型能力”和“外部知识”的关键技术。

相关知识

• 大语言模型（LLM）
• Token
• Transformer
• Attention
• RAG
• 向量数据库
• 语义搜索
• AI Agent
• 多模态模型

延伸阅读

推荐学习方向

Python基础
↓
机器学习
↓
深度学习
↓
Transformer
↓
Embedding
↓
RAG开发
↓
AI Agent开发
复制