大语言模型基础
LLM(Large Language Model,大语言模型) 是一类通过大量数据训练,能够处理和生成自然语言的模型。我们向它提出问题、提供一段文字或一份代码,它就可以根据输入生成相应的回答。
理解 LLM,可以先从一个问题开始:它是怎样把我们输入的文字,变成一段回答的?沿着这个过程,Token、上下文窗口、采样参数和 Prompt 这些概念就容易理解了。
1. LLM 是什么
Section titled “1. LLM 是什么”1.1 “大语言模型”是什么意思
Section titled “1.1 “大语言模型”是什么意思”这个名字可以拆成三个部分:
| 词语 | 含义 |
|---|---|
| Large(大) | 通常具有较大的参数规模,训练涉及大量数据和计算资源,没有统一的大小门槛 |
| Language(语言) | 学习文字、代码等序列中的规律,用于处理语言相关任务 |
| Model(模型) | 用可训练的数学结构表示这些规律,根据输入计算输出 |
这里的参数,是模型在训练过程中不断调整的数值,例如神经网络中的权重。模型名称中常见的 7B,通常表示约 70 亿个参数,B 是 Billion(十亿)。
训练时,模型通过大量样本学习语言表达、概念关系和代码结构等模式。之后还可能经过指令微调等训练,让它更好地按照要求回答问题。我们日常输入问题、等待回答,通常是在使用训练完成的模型,这个过程称为推理(Inference)。
1.2 它怎样生成回答
Section titled “1.2 它怎样生成回答”本文主要讨论常见的自回归生成式 LLM。它的基本工作方式是:根据已经看到的内容,预测下一个 Token,再把生成的 Token 加入上下文,继续预测。
例如,给模型一段尚未写完的文字:
请假邮件的开头可以写:模型会计算接下来可能出现的内容,逐步生成邮件开头。每一步都以输入和已经生成的内容为依据,直到生成结束,或者达到长度限制。
读取已有内容 → 计算下一个 Token 的概率 → 选择一个 Token ↑ │ └──────── 把新 Token 追加进去 ──────────┘这就是自回归生成(Autoregressive Generation)。GPT-3 论文是这一类语言模型的代表性研究。
“预测下一个 Token”描述的是它的生成机制。通过训练,模型能够利用这种机制完成问答、翻译、摘要等不同任务。不过,生成出的内容是否正确,还需要结合具体问题判断。
2. Token:模型处理文本的单位
Section titled “2. Token:模型处理文本的单位”模型处理文字之前,需要先用 Tokenizer(分词器) 将文本切分并转换为 Token ID,再将这些 ID 映射为向量参与计算。
文字 → Tokenizer → Token ID 序列 → 向量 → 模型Token 与字数没有固定的对应关系。 它可能对应一个完整单词、单词的一部分、标点,或字节片段。一个中文词可能被拆成多个 Token,也可能有多个字被合并到同一个 Token 中,具体由分词器决定。
例如,英文中的一个长单词可能被拆成几个较小的片段,再分别转换为 ID。同一段文字交给不同模型的分词器,得到的切分结果和 Token 数也可能不同。关于具体切分方式,可以参考 Hugging Face 的 Tokenizer 教程。
Token 是理解模型长度限制的基础。模型能接收多少内容、能生成多长的回答,通常都用 Token 衡量。
3. 上下文窗口:模型一次能处理多少内容
Section titled “3. 上下文窗口:模型一次能处理多少内容”上下文(Context) 是模型当前可以使用的信息。比如这一轮的问题、相关的历史对话,以及你提供的参考文字。
上下文窗口(Context Window) 则表示模型能够处理的序列长度上限,通常以 Token 为单位。常见的 K 长度标记表示千量级的 Token,具体数值以对应模型的说明为准。
3.1 上下文里有什么
Section titled “3.1 上下文里有什么”一次对话中,上下文可能包含:
| 内容 | 示例 |
|---|---|
| 系统指令 | 使用中文回答,表达简洁 |
| 历史消息 | 前面讨论过的问题和回答 |
| 当前输入 | 这一轮提出的问题 |
| 补充资料 | 粘贴的文章、代码或其他参考内容 |
在常见的自回归模型服务中,输入和后续生成会共同受到长度预算约束;有些服务还会分别设置输入、输出上限。因此,窗口大小与一次回答的最大长度,需要分别查看。
3.2 为什么聊久了会“忘记”
Section titled “3.2 为什么聊久了会“忘记””模型生成当前回答时,依据的是这次实际获得的上下文。对话不断增长后,聊天产品可能会截断早期消息,或用摘要替换部分历史记录。
因此,聊天界面中仍然显示某段内容,并不代表模型当前还能看到原文。上下文也不等同于永久记忆:一次普通对话通常不会直接更新模型参数。
更大的窗口可以容纳更多信息,但不保证模型能准确利用其中的每个细节。Lost in the Middle研究了部分模型对长文本中不同位置的信息利用情况。
4. 采样参数:模型怎样选择下一个 Token
Section titled “4. 采样参数:模型怎样选择下一个 Token”模型在每一步会计算候选 Token 的分数,并得到相应的概率分布。生成时,可以选择概率最高的候选,也可以按照一定规则采样。
所以,即使输入相同,回答的措辞和内容也可能出现变化。常见的生成配置有以下几项。
4.1 Temperature:调整概率分布
Section titled “4.1 Temperature:调整概率分布”Temperature(温度) 用于调整采样时的概率分布:
- 较低时,概率分布通常更集中,高概率候选更容易被选中;
- 较高时,概率分布通常更平坦,低概率候选也有更多机会被选中。
这会影响输出的多样性,但它与事实准确率没有简单的对应关系。降低温度不能保证回答正确,也不能保证所有服务都能做到重复调用时输出完全一致。
4.2 Top-p:限制参与采样的候选范围
Section titled “4.2 Top-p:限制参与采样的候选范围”Top-p 也叫核采样。它按概率从高到低选取候选,保留累计概率达到指定阈值的一组 Token,再从中采样。
假设某一步只有以下四个候选,概率如下。这只是用于说明规则的假设数据:
| 候选 | 概率 | 累计概率 |
|---|---|---|
| A | 50% | 50% |
| B | 30% | 80% |
| C | 15% | 95% |
| D | 5% | 100% |
如果 top_p = 0.9,通常会保留 A、B、C,因为累计到 C 时才达到阈值。之后在保留的候选中重新归一化概率并采样。
Temperature 调整概率分布,Top-p 筛选候选范围,两者作用不同。更完整的说明可以参考 Hugging Face 的生成策略文档。
4.3 Max Tokens:限制输出长度
Section titled “4.3 Max Tokens:限制输出长度”Max Tokens 一类参数用于限制生成长度,具体名称和计算方式因模型服务而异。
它通常表示上限,而非必须生成到这个长度。模型可以提前结束;如果先达到限制,回答也可能在尚未写完时停止。对于部分推理模型,输出预算还可能包含未直接展示的推理 Token,使用时需要查看对应说明。
5. Prompt:告诉模型这次要做什么
Section titled “5. Prompt:告诉模型这次要做什么”Prompt(提示词) 是提供给模型的任务说明和输入内容,可以包含问题、约束、参考资料与示例。
一个合格的 Prompt,通常要交代四件事:Role(角色)、Task(任务)、Context(背景)、Format(输出格式)。
5.1 Prompt 的四个要素
Section titled “5.1 Prompt 的四个要素”| 要素 | 要说明什么 | 示例 |
|---|---|---|
| Role(角色) | 模型以什么身份、视角和语气回答 | 你是一位擅长向初学者讲解概念的 Java 老师 |
| Task(任务) | 具体要完成什么,回答需要覆盖哪些内容 | 解释 HashMap 如何根据 Key 查找 Value,以及什么是哈希冲突 |
| Context(背景) | 提供理解任务所需的信息,例如读者基础、使用场景、参考资料和限制 | 读者学过数组和链表,还没有接触过哈希表 |
| Format(输出格式) | 规定结果的组织方式、长度或字段 | 按“基本概念、查找过程、具体例子”三个部分回答,总字数不超过 400 字 |
Role 帮助确定讲解视角,Task 明确目标,Context 补足背景,Format 约定结果的呈现方式。把这些信息说清楚,模型更容易给出符合预期的回答。
5.2 一个完整示例
Section titled “5.2 一个完整示例”例如,想让模型讲解 HashMap,可以这样组织输入:
【Role:角色】你是一位擅长向初学者讲解概念的 Java 老师,使用通俗、准确的中文回答。
【Task:任务】解释 HashMap 如何根据 Key 查找 Value,并说明什么是哈希冲突。
【Context:背景】读者已经学过数组和链表,但还没有接触过哈希表。这次只讲基本原理,暂不展开红黑树和扩容机制。
【Format:输出格式】按以下三个部分回答,总字数不超过 400 字:1. 基本概念:说明 Key、Value 和哈希值的关系。2. 查找过程:按步骤说明如何定位并确认目标 Key。3. 具体例子:用两个 Key 出现哈希冲突的例子辅助解释。这段 Prompt 同时明确了讲解身份、任务范围、读者基础和输出结构。其中,背景里的“学过数组和链表”帮助模型选择讲解起点,“暂不展开红黑树和扩容”则限定了内容深度。
Prompt 的关键在于把任务说清楚,并提供相关、准确的信息。角色设定可以引导表达方式,但不会赋予模型额外知识;即使四个要素齐全,生成结果仍然需要核对。普通的 Prompt 输入通常也不会改变模型参数。
6. 结构化输出:让程序按约定读取结果
Section titled “6. 结构化输出:让程序按约定读取结果”上一节的 Format 可以要求模型按段落或列表回答。当结果需要交给程序处理时,还需要明确字段名称、数据类型和缺失值的表示方式,这就是结构化输出要解决的问题。
例如,从一段报名信息中提取姓名、课程和联系电话,就可以约定输出一个 JSON 对象,方便程序读取和保存。
6.1 为什么只说“返回 JSON”还不够
Section titled “6.1 为什么只说“返回 JSON”还不够”假设我们输入:
请提取下面的报名信息,返回 JSON:我叫小林,想报名 Java 基础课,暂不提供联系电话。模型可能返回:
{ "name": "小林", "course": "Java 基础课", "phone": "未提供"}这是一份合法 JSON,但程序还需要知道:姓名字段究竟叫 name 还是 studentName?phone 缺失时应该写字符串、使用 null,还是省略整个字段?能否增加其他字段?
如果这些规则没有约定,不同回答就可能使用不同结构。JSON 能被解析,只说明语法合法;程序能否按预期处理,还取决于字段是否符合约定。
6.2 JSON Mode、JSON Schema 和 Structured Outputs
Section titled “6.2 JSON Mode、JSON Schema 和 Structured Outputs”这几个概念经常一起出现,可以按各自的作用区分:
| 概念 | 作用 | 需要注意的区别 |
|---|---|---|
| Prompt 中要求返回 JSON | 用自然语言告诉模型期望的格式 | 依赖模型遵循指令,可能出现额外说明、字段不一致等情况 |
| JSON Mode | 模型服务提供的 JSON 生成模式,约束结果使用合法 JSON 语法 | 通常不会自动保证字段名、类型和必填项符合业务要求 |
| JSON Schema | 用规则描述 JSON 的结构,例如字段类型、必填项和可选值 | 它是一份结构规范,本身不会执行模型生成 |
| Structured Outputs(结构化输出能力) | 模型服务根据提供的 Schema 约束生成结果 | 可支持的 Schema 规则与保证范围取决于具体服务 |
使用时,先通过 Schema 描述需要什么结构,再将它传入支持结构化输出的模型接口。例如,Ollama 的结构化输出文档分别展示了 JSON 模式和传入 Schema 的方式。
6.3 用 JSON Schema 约定字段
Section titled “6.3 用 JSON Schema 约定字段”继续看报名信息的例子,先确定规则:
- 固定使用
name、course、phone三个字段,全部必须出现; name和course使用字符串;phone使用字符串或null,未提供时填写null;- 不允许增加其他字段。
对应的 JSON Schema 可以写成:
{ "type": "object", "properties": { "name": { "type": "string", "description": "报名者姓名" }, "course": { "type": "string", "description": "希望报名的课程" }, "phone": { "type": ["string", "null"], "description": "联系电话,未提供时为 null" } }, "required": ["name", "course", "phone"], "additionalProperties": false}其中,properties 定义各字段的规则,type 限定数据类型,required 指定必填项,additionalProperties: false 禁止额外字段。这些属于 JSON Schema 的结构描述与校验规则。
针对前面的输入,一个符合约定的结果是:
{ "name": "小林", "course": "Java 基础课", "phone": null}注意,phone 必须出现和 phone 可以为 null 是两条不同的规则;description 中的说明用于表达字段含义,不会单独强制执行“未提供时为 null”这样的语义要求。程序仍需要检查提取值是否与输入一致。
6.4 结构正确,也要核对内容
Section titled “6.4 结构正确,也要核对内容”结构化输出约束的是结果的形状。即使字段和类型都正确,模型仍可能提取错姓名、课程或电话号码。
实际接收结果时,应先检查请求是否正常完成,再解析 JSON、校验 Schema,并检查具体字段是否符合业务规则。拒绝回答、达到输出长度上限等情况也需要单独处理;相关边界可参考 Claude 的结构化输出文档。
7. Function Calling / Tool Calling:让模型使用外部功能
Section titled “7. Function Calling / Tool Calling:让模型使用外部功能”Function Calling(函数调用) 通常也称为 Tool Calling(工具调用)。它让模型根据用户需求,生成“调用哪个函数、传入什么参数”的结构化请求,再由运行程序执行对应操作。
比如,模型可以提出“调用订单查询函数,订单号是 A1024”,应用收到这个请求后,查询订单系统,再把查到的数据提供给模型。
Function Calling 强调以函数形式描述能力;Tool Calling 的叫法更宽泛,搜索、查数据库、读取文件等都可以包装成工具。两者在许多模型接口中指的是同一类机制。
7.1 为什么需要工具调用
Section titled “7.1 为什么需要工具调用”假设用户问:
帮我查一下订单 A1024 发货了吗?订单状态保存在业务系统里,会随时发生变化。模型仅凭训练时学到的知识,无法知道这个订单现在的状态。即使我们在 Prompt 里写“你是客服,请查询订单”,也没有因此提供查询能力。
开发者需要先实现查询功能,再通过工具定义告诉模型这个功能叫什么、能做什么、需要什么参数。这样,模型才能把用户的问题转换成程序可以处理的调用请求。
7.2 查询订单的完整过程
Section titled “7.2 查询订单的完整过程”下面使用简化格式展示关键数据,具体消息封装以所用模型接口为准。
第一步:开发者准备工具,并把工具说明提供给模型。
应用后端已经有一个订单查询方法。调用模型时,将它的说明放进接口的工具列表中,例如:
{ "name": "get_order_status", "description": "根据订单号查询当前用户的订单状态", "parameters": { "type": "object", "properties": { "order_id": { "type": "string", "description": "要查询的订单号" } }, "required": ["order_id"], "additionalProperties": false }}这里的 name 是供程序识别的工具名称,description 帮助模型判断何时使用,parameters 说明参数格式。提供给模型的是这份能力说明;函数实现保留在后端。
第二步:模型根据问题,生成工具调用请求。
模型收到“订单 A1024 发货了吗”和工具说明后,可以返回:
{ "call_id": "call_001", "name": "get_order_status", "arguments": { "order_id": "A1024" }}这份数据表达了模型想调用的函数与参数。到这一步,订单查询还没有执行,模型也还没有得到订单状态。 支持工具调用的接口通常会将它放在专门的工具调用字段或内容块里,供程序识别和处理。
第三步:应用接收请求,执行真正的查询。
应用根据 get_order_status 找到事先注册的处理方法,校验订单号和访问权限,再执行查询。应用侧的伪代码可以表示为:
// 当前登录用户身份由服务端取得OrderStatus result = orderService.getOrderStatus(currentUserId, "A1024");此时,真正访问订单系统的是后端代码。模型提供了订单号,后端负责确认当前用户有权查看这个订单。
第四步:应用把工具结果交回模型。
假设订单系统查到订单已经发货,应用将结果与对应调用关联后返回:
{ "call_id": "call_001", "result": { "order_id": "A1024", "status": "SHIPPED" }}再次请求模型时,需要按接口协议保留相关对话、模型发出的调用请求和对应工具结果。示例中的 call_id 用来说明结果属于哪次调用;实际接口使用的关联字段可能不同。
第五步:模型根据实际结果回答用户。
订单 A1024 已经发货。整个过程可以画成:
用户:订单 A1024 发货了吗? ↓模型:请求 get_order_status(order_id="A1024") ↓应用:执行订单查询,得到 SHIPPED ↓模型:读取查询结果,生成回答 ↓用户收到:订单 A1024 已经发货。在这个例子中,通常需要先请求模型取得调用请求,执行查询后,再请求模型生成回答。SDK 或框架可以封装这些步骤。完整往返示例可参考 Ollama 的工具调用文档。
7.3 它和结构化输出有什么区别
Section titled “7.3 它和结构化输出有什么区别”上一节的结构化输出,重点是让结果符合指定格式。工具调用则用结构化数据表达一个需要执行的操作。
| 对比项 | 结构化输出 | 工具调用 |
|---|---|---|
| 主要用途 | 得到符合约定的数据 | 让程序执行外部功能 |
| 订单场景中的例子 | 把已有订单信息整理成 JSON | 请求查询订单 A1024 的当前状态 |
| 收到模型输出后 | 程序解析、校验并使用数据 | 程序识别工具、执行操作、返回结果 |
两者可以一起使用:工具调用的参数可以有 Schema 约束,查询结束后的最终结果也可以按指定结构输出。仅仅让模型在普通回答里写出一段带有函数名的 JSON,还需要应用明确实现识别与执行流程,才会产生实际调用。
7.4 模型如何选择工具,工具在哪里运行
Section titled “7.4 模型如何选择工具,工具在哪里运行”开发者可以提供多个工具,例如查询订单、查询物流和搜索帮助文档。模型根据用户问题、工具描述和已有上下文选择工具,并填写参数;接口通常也提供控制工具选择的配置。具体配置与支持范围可参考 Gemini 的函数调用文档。
工具缺少必要参数时,可以让模型先询问用户。执行失败时,应将失败信息作为工具结果返回,以便模型说明情况。应用始终需要校验参数、权限与执行结果。
上面的订单工具由我们自己的后端执行。有些模型服务还提供托管的搜索等工具,由服务商的运行环境执行。无论哪种方式,都有一个实际运行工具的程序;模型生成调用请求,运行程序完成操作。两类执行方式可参考 Claude 的工具使用文档。
8. LLM 能做什么,有哪些局限
Section titled “8. LLM 能做什么,有哪些局限”8.1 常见能力
Section titled “8.1 常见能力”| 能力 | 示例 |
|---|---|
| 问答与解释 | 解释一个概念,比较两种说法 |
| 文本生成 | 起草邮件、撰写说明、润色句子 |
| 摘要与提取 | 概括文章,提取时间、地点等信息 |
| 翻译与改写 | 翻译段落,调整表达语气 |
| 代码辅助 | 解释代码,生成示例,分析报错 |
这些能力的表现会受到模型、输入质量和任务难度影响。同一个模型在不同任务上,可靠程度也可能差异很大。
8.2 幻觉:表达流畅,但内容可能错误
Section titled “8.2 幻觉:表达流畅,但内容可能错误”LLM 可能生成看起来可信、实际缺乏依据或不符合事实的内容,这通常称为 Hallucination(幻觉)。
例如,它可能给出不存在的函数名、错误的日期,或编造一条引用。回答语气很肯定,也不能证明内容经过核实。
8.3 知识和上下文都有边界
Section titled “8.3 知识和上下文都有边界”模型参数中学到的知识来自训练过程,无法保证覆盖所有领域,也不会因为现实发生变化就自动更新。仅靠模型自身,不能保证知道最新消息或某个系统的实时状态。
它也只能利用当前获得的信息。没有提供的私有文件、没有保留在上下文中的对话,模型不能凭空准确知道其中内容。
阅读模型回答时,需要区分“解释得是否清楚”和“事实是否可靠”。尤其是代码、引用和精确数值,应结合原始资料或实际运行结果核对。
9. 参考资料
Section titled “9. 参考资料”- 结构参考:JavaGuide:AI 核心概念总览 · 大模型基础。
- 结构化输出部分参考:JavaGuide:结构化输出。
- 工具调用主题参考:JavaGuide:Function Calling / Tool Calling。
- Brown et al.:Language Models are Few-Shot Learners——自回归语言模型与任务能力。
- Hugging Face:Tokenizers——文本切分与 Token ID。
- Hugging Face:Generation strategies——文本生成与采样策略。
- Liu et al.:Lost in the Middle——长上下文中的信息利用。
- JSON Schema:Creating your first schema——结构描述与校验规则。
- Ollama:Structured Outputs——JSON 模式与 Schema 约束输出。
- Claude:Structured outputs——结构化输出能力及其边界。
- Ollama:Tool calling——调用请求、执行与结果回填。
- Gemini:Function calling——工具定义与选择方式。
- Claude:Tool use——自定义工具与服务端工具的执行方式。