Token、Prompt、Embedding、Function Calling 概念介绍

在人工智能大模型时代，Token、Prompt、Embedding与Function Calling这四大概念构成了AI开发的核心。若将大模型视为超级大脑，这些要素分别扮演着原材料、指令、理解力与外部触手的角色。

接下来，我们通过通俗易懂的方式逐一解析这些概念。

1. Token（原材料）：AI的“识字块”

大模型并不直接识别“文字”，它识别的对象是Token。

1. 通俗理解：想象你拥有一盒乐高积木。当你写下一句话时，AI会将其拆解成一个个“零件”。在英文中，一个Token可能对应一个单词或词根；在中文中，通常是一个字或词组。
2. 为什么重要：
   1. 计费单位：你与AI交互的成本（费用）根据Token数量计算。
   2. 限制条件：模型存在“上下文窗口限制”（例如128k Tokens），意味着这个大脑一次只能容纳这么多积木，超出则无法记忆。
3. 例子："Apple" 可能为1个Token，但 "Antidisestablishmentarianism" 可能被拆分为5个Token。

2. Prompt（指挥棒）：你下达的“指令”

Prompt是你输入给AI的文字，即“提示词”。

1. 通俗理解：它如同导演对演员说戏。若你只说“演一下”，演员（AI）会茫然无措；若你说“演一个在雨中失恋但强忍泪水的霸道总裁”，演员便能精准表演。
2. 核心技巧（Prompt Engineering）：
   1. 角色设定：告知它“你是一个资深律师”。
   2. 上下文补充：提供背景资料。
   3. 任务要求：指定输出格式（例如“请用JSON格式返回”）。
3. 一句话总结：Prompt的质量直接决定AI输出的质量。

3. Embedding（理解力）：文字的“数字地图”

Embedding（嵌入）是大模型理解语义关联的关键机制。

1. 通俗理解：设想一个巨大的3D空间。Embedding将每个词语转化为空间中的一个坐标（一串数字，例如 [0.12, -0.45, 0.88...]）。
2. 它能做什么：
   1. 语义找词：在数字地图上，与“猫”距离最近的词不是“狗”，就是“小鱼干”。
   2. 关联搜索：当你在搜索框输入“美味的午餐”时，Embedding算法能帮你找到“披萨”或“汉堡”，即使文档中未出现“美味”二字。
3. 应用场景：当前的RAG（检索增强生成）技术依赖Embedding将私人文档转化为坐标。当你有问题时，AI会去坐标系中寻找最接近的文档片段，然后喂给大模型。

4. Function Calling（外部触手）：AI的“行动力”

这是让AI从“只会聊天”转变为“能干活”的关键分水岭。

1. 通俗理解：大模型本质上是一个预测概率的文本生成器，无法直接查询天气、购买车票或操作电脑。Function Calling为AI定义了一套“工具箱说明书”。
2. 工作流程：
   1. 你问：“上海今天热吗？”
   2. 模型判断：我无法获取实时天气，但工具箱中有一个函数 get_weather(city)。
   3. 模型返回：它不直接输出答案，而是生成指令：“请帮我运行 get_weather(city='上海')”。
   4. 程序执行：你的电脑或程序运行该函数，获取结果并反馈给AI。
   5. AI回答：“上海今天35度，挺热的。”
3. 意义：它使AI能够连接真实世界的API（天气、日历、数据库），成为真正的助手（Agent）。

总结：它们是如何协作的？

设想你开发了一个“智能旅行管家”：

1. Prompt：你告诉AI：“你是一个旅行管家，请根据用户需求查机票。”
2. Token：用户说“我想去巴黎”，这句话被拆分为5个Token发送给模型。
3. Embedding：后台系统将“巴黎”与你的历史订单进行Embedding匹配，发现你偏爱靠窗座位。
4. Function Calling：AI意识到无法直接订票，于是触发 book_flight 函数，填入“巴黎”和“靠窗”参数，帮你完成下单。

综上所述，Token、Prompt、Embedding与Function Calling相互协作，形成了一个从输入解析到深度理解再到精准执行的完整闭环。