
8 月 7 日,2026 夏季 InfiniTensor 训练营 AI 编程与智能体应用方向第七课《AI Agent 应用:本地模型接入与能力调用》开讲。
前置课程《AI Agent 基础:从“会回答”到“能执行任务”的 AI 系统》讲了 AI Agent 的核心概念与工程落地框架,解析 Agent 与普通问答、固定工作流的本质区别。涵盖目标设定、状态管理、工具调用、反馈循环及安全边界等关键模块。
本节课带你理解 Agent 的工程化本质,拆解 LangChain 支架体系,并通过实战演示打通本地模型与真实系统的安全连接。
核心理念:模型 ≠ 能力

在动手之前,必须厘清一个关键认知:生成正确答案 ≠ 读取事实 ≠ 执行动作。
- 模型的局限:擅长语言理解、推理规划、生成工具调用意图(大脑)。
- 工具的补位:负责查询真实数据、执行受控动作、调用 API(眼睛和手)。
- 核心差异:Agent 不是单次问答,而是一个 “感知-决策-执行-反馈” 的闭环。模型生成意图,程序负责执行与控制。

LangChain:Agent 运行支架
版本演进注意
1. 避坑指南:旧版 LLMChain、固定 Chain 类型等已非主线。

2.当前推荐:当前 LangChain 新版本推荐使用 create_agent 快速构建 Agent,其底层基于 LangGraph 的图结构执行模型,提供状态管理、持久化和复杂工作流编排能力。
八大核心组件拆解

| 组件 | 核心作用 | 关键点 |
|---|---|---|
| Model | 推理与决策核心 | 本地模型两层结构:Ollama (推理运行时) + ChatOllama (LangChain 接口) |
| Messages / Prompt | 模型看到什么 | 四类消息:System/Human/AI/Tool;Prompt 是规则而非能力 |
| Tools | 真实能力的封装 | 面向模型的 API 设计;参数明确、返回值结构化、权限边界清晰 |
| Agent | 多步执行循环 | 模型判断 → 生成调用 → 程序执行 → 结果回传 → 继续或停止 |
| Memory/Runtime | 状态与身份管理 | State(工作台)、Context(环境参数)、Store(长期档案);线程 ID 隔离 |
| Structured Output | 业务契约 | 将自然语言转为可校验的 JSON/数据结构,供下游系统消费 |
| Streaming | 实时反馈 | 改善体验、展示进度、辅助调试;用于实时展示模型输出、工具调用事件和 Agent 执行状态 |
| Middleware | 工程控制面 | 权限过滤、重试降级、敏感信息遮盖、Human-in-the-loop |
权限控制双层防线
1. 软约束:Prompt 告知角色与规则(辅助模型正确选择)。
2.硬边界:程序级权限校验。用户身份来自可信 Runtime,工具可见性动态注入,执行前二次验证。绝不信任用户输入或模型输出作为凭证。
Context Engineering (上下文工程)

- 比 Prompt Engineering 范围更大。
- 中间件作为“漏斗”:筛选、压缩、过滤权限、格式化。
- 目标:给模型“刚刚好”的上下文,既足够完成任务,又不越权、不引入噪声。

实战演示
1: 模型 vs Agent 的区别
- 对比测试:通用知识问答 vs 本机 Redis 状态确认。
- 结论:无工具时,模型无法获取实时事实。

2: 工具的独立性与安全性
- 直接调用工具接口,验证结构化返回与文件锁记录。
- 结论:工具行为不依赖模型,
create_restart仅生成审批单而非直接重启。

3: Agent 循环与消息轨迹
- 观察 Message Type 流转:User → AI (Tool Call) → Tool Result → AI (Final Answer)。
- 结论:基于可信工具信息整理结果,申请成功 ≠ 执行完成。

4:权限注入验证
- 对比
viewer与operator角色。 - 结论:Prompt 无法提权;程序层强制拦截 viewer 的写操作请求。

5: Memory 与线程隔离
- 对比 InMemorySaver 与 SqliteSaver,验证不同 Checkpointer 对 Agent 状态持久化能力的区别。
- 结论:在配置 Checkpointer 后,同一 Thread ID 可以定位并恢复对应 Agent 状态。

6: 结构化输出
- 验证 JSON Schema 约束下的稳定输出。
- 观察流式反馈过程中的状态更新(非打字机效果,而是执行进度展示)。

7:Streaming

8: 中间件保存
- 第一层:根据角色动态控制 Agent 可见工具集合,用于减少错误调用。
- 第二层:工具内部再次校验 Runtime 中的可信角色。
- 结论:纵深防御,确保即使绕过 Agent 也无法越权。

加入训练营
📺完整课程内容,请观看直播或查看课程回放:
InfiniTensor 官网: https://www.infinitensor.com
B站直播: InfiniTensor 官方直播间
视频号直播: InfiniTensor 视频号预约
答疑交流: 训练营官方社群⬇️

关注与交流

