2026年7月上海人工智能-大模型核心技术RAG、MCP与智能体实战高级研修班

  • 课程详情

一、研修时间:2026年7月05-06日  

二、研修地点:上海

三、主办单位:

北京中际孚歌科技有限公司

北京中际赛威文化发展有限公司

四、协办单位:

中国高科技产业化研究会智能信息处理分会

五、研修内容:

第一节:大模型前沿进展与演进趋势

1 2026年大模型格局概览

整体竞争态势:智能体与多模态两条技术主线,从模型能力向系统级智能落地。

GPT-5.x系列全解析(2025.8—2026.4)

  ※ GPT-5.3-Codex

  ※ GPT-5.4

  ※ GPT-5.5

开源与闭源格局变化

  ※ Kimi K2.6开源发布

  ※ Qwen-Coder-Next 80B开源发布

  ※ 视频模型Seedance 2.0上线

Nature涌现性错位研究

2 主流模型能力全景对比

Grok、Gemini、Claude的技术特点与适用场景。

GPT-5.4 vs OpenClaw

编程能力首选:Claude Opus、Qwen3-Coder-Next。

3 模型选型核心框架

任务类型映射:编码任务(GPT-5.5 / Qwen-Coder-Next)、推理任务(DeepSeek R2 / o3)、多模态任务(Gemini 2.0 / GPT-5.4)

参数量与硬件资源平衡

推理速度、开源协议、社区生态的综合评估

部署模型产生产经济性分析:基于成本效益的选型决策模型

第二节:模型部署与推理优化实践

1 本地大模型私有化部署全流程

DeepSeek-V4、DeepSeek-R1蒸馏版部署实操

  ※ 模型获取:HuggingFace/Modelscope/GitHub多渠道下载

  ※ 硬件配置:根据模型参数估算显存的方法论

  ※ trust_remote_code、max_model_len等关键参数详解

  ※ vLLM/TGI等多种推理服务启动方式对比与性能分析

DeepSeek-V4创新点解读: CSA/HCA、mHC、两阶段后训练

DeepSeek发明、Kimi借鉴的MLA(Multi-head Latent Attention)架构

Kimi发明、DeepSeek借鉴的Muon优化器。

2 Qwen3、Qwen3.5系列部署与对标

对标模型比较:QwQ系列开源vs DeepSeek。

REST API调用实战:FastAPI + vLLM的端到端服务搭建。

深度学习系统常用部署架构与针对AI算法的部署框架对比。

第三节:RAG深度进化:从向量检索到知识图谱增强

1 RAG技术演进综述(300+文献综述)

四阶段系统化框架:Indexing(索引)、Retrieval(检索)、Fusion(融合)、Generation(生成),提供统一的分析视角。

从基础向量RAG到Graph RAG多跳推理的完整光谱。

新兴范式:Agentic RAG、Multimodal RAG、Hybrid RAG、推理中心变体。

2 GraphRAG vs 向量RAG系统选型

知识图谱增强:构建存储结构化知识的多跳推理路径

GitHub×RAG:代码理解场景的RAG最佳实践

向量数据库选型:FAISS、Milvus、Qdrant、Pinecone深度对比

GraphRAG在文档处理中的落地——结合多智能体的知识合成平台

3 基于知识库的问答系统全栈架构

架构三层设计:数据层(分片与存储)→ 推理层(Embedding + Reranker + 路由决策)→ 评估层(质量校验与安全过滤)

GraphRAG选型与知识图谱可视化构建。

FAISS向量库实现百万级文档检索。

4 记忆管理与对话增强

缓存化对话摘要与长期记忆管理。

CoT提示工程技术注入检索信息。

对话状态管理:Slot-Filling(槽位填充)与多轮指代消解。

5 RAG评估体系

Rouge-L评估内容一致性

FinBERT检测财务数据矛盾

行业专属评估指标设计方法论

第四节:多模态RAG:跨越文本与视觉的知识融合

1 多模态RAG前沿

MG²-RAG(Multi-Granularity Graph for Multimodal RAG,2026)

Graph-to-Frame RAG(CVPR 2026):面向视频推理的视觉空间知识融合范式。

CommGPT:图与检索增强的多模态通信基础模型。

2 多模态RAG架构设计

数据层:多模态数据分片策略(图像、文本、音频)。

推理层:Qwen-Embedding + 跨模态检索器架构。

Instruction Aware指令理解。

融合层:早期融合(ViLT)、中期融合(UNITER)、晚期融合选型决策。

示例:UI缺陷检测中的多源数据融合(截图+HTML源码→缺陷坐标与类型)。

3 实战案例

视频内容理解RAG:关键帧提取 + 语音转录 → 联合检索。

多模态知识库问答:用户发送图片+文字混合查询,RAG返回含图文交错的内容。

第五节:大模型蒸馏与微调实践

1 领域数据微调全流程

数据准备:JSONL格式(instruction/input/output),评论数据标注规范设计。

Tokenizer优化:使用SentencePiece重组专业术语。

QLoRA训练配置:QLoRA、LoRA、AdaLoRA、DoRA多种PEFT方法的对比分析。

显存优化与GPU并行:DeepSpeed ZeRO-3、FSDP、梯度检查点。

2 RAG vs LoRA方法论对比

场景适配矩阵:何时选择微调,何时选择RAG,何时两者结合。

微调的优势:私有领域知识深度注入、推理时无外部依赖、可离线运行。

不适合微调的场景:动态更新的知识库、跨领域小众任务、冷启动场景。

3 多模态微调实战

CLIP图像编码 + Whisper音频编码 + LLM文本编码的融合原理

多模态微调的完整操作流程

从数据预处理到模型部署的端到端实现

缺陷检测效果评估与A/B测试

第六节:MCP协议深度解读与企业级部署

1 MCP核心机制详解

JSON-RPC 2.0底层通信格式与消息规范。

上下文传递(context字段)实现会话状态保持。

沙盒隔离:Docker/WebAssembly受限执行环境。

工具注册与发现:基于元数据的动态加载机制。

2 MCP vs A2A哲学分层

MCP:模型与工具之间的标准化交互,聚焦指令解析与参数校验。

A2A:智能体之间的任务分解与状态同步。

协同场景:MCP工具调用失败后,A2A触发其他智能体兜底。

3 2026 MCP生态加速成熟

AAIF MCP Dev Summit North America 2026

MCP战略平台

MCP网关作为企业标配

Stateless HTTP演进

4 MCP企业级部署实战

环境准备:安装MCP SDK(Python/Node.js),配置工具注册中心与网关。

工具定义与开发:声明元数据,编写同步/异步工具函数,资源限制与网络白名单配置。

工具调用链与上下文管理:顺序执行、条件分支、并行调用组合模式,利用context.cache存储中间结果避免重复计算。

安全与沙箱:零信任架构与最小权限原则,敏感数据本地化处理,CPU/内存/网络流量的动态配额管理。

大模型调用小模型的MCP封装:将小模型(语音识别、OCR)封装为标准MCP工具。

第七节:多智能体框架全景:AutoGen/CrewAI/LangGraph实战

1 多智能体框架对比与选型

Agentic AI框架全景:多智能体协作、自主决策、任务编排

AutoGen 0.4:定制化对话流程,强交互性,适合角色扮演与多轮协商。

CrewAI:角色分工+任务流水线,自动化工作流

LangGraph 1.0:图状任务流,支持循环与分支,适合复杂决策与状态机。

RAG与GraphRAG的多智能体集成平台: GenAI平台融合GraphRAG与多智能体系统

2 AutoGen实战:对话式多智能体

核心概念:AssistantAgent、UserProxyAgent、GroupChat

案例:投资分析小组(数据收集Agent、分析Agent、报告生成Agent)

配置LLM后端、Agent行为定义、对话轮次管理

3 CrewAI实战:流水线编排

核心概念:Agent、Task、Crew、Process

案例:内容审核流水线(审核Agent→修改Agent→终审Agent)

任务依赖定义、工具共享、结果聚合

4 LangGraph实战:图任务流

核心概念:StateGraph、Node、Edge、State

案例:智能客服多轮分流(意图识别→查订单→转人工)

状态定义、节点函数编写、图编译与执行

第八节:Agent工程化:端到端的开发、优化与可观测性

1 Agent性能优化体系

推理优化:Redis缓存高频查询,Nginx负载均衡。

LLM路由:简单任务路由到小模型,复杂任务路由到大模型(成本优化可达60%)。

并行化Agent执行:子任务并行调度与结果聚合。

2 治理与可观测性

2026年MAS核心架构

审计机制

集成OpenTelemetry:追踪任务流转路径、性能瓶颈定位

问题调试:单体智能体的“黑盒调试”vs 多智能体架构的可编排诊断。

3 Coze、Dify平台的所谓Agent开发

可视化编排、知识库管理、对话引擎、复杂业务流。

自定义插件开发(Python脚手架)。

多轮对话策略设计:状态管理、上下文缓存、意图识别优化。

MAS在企业Agent开发中的平台验证。

4 Agent安全加固

安全正则表达式拦截敏感信息

置信度阈值触发人工接管

输入输出校验(Content Moderation API)

最小权限Agent沙箱配置

第九节:OpenClaw体系与Agent生态实战

1 OpenClaw发展历程与2026重大更新

源代码量级里程碑

OpenClaw截止4月的更新:

  ※ 插件系统彻底重构,上线全新公开插件SDK

  ※ ClawHub成为插件分发官方首选渠道,显著提升生态纯净度

  ※ 模型升级:GPT-5.4、MiniMax-M2.7支持

  ※ Agent默认超时从10分钟延长至48小时,支持复杂的长期批处理任务

  ※ 可插拔沙箱后端(OpenShell和SSH),支持远程安全执行

2 OpenClaw部署与配置实操

开发环境抉择:Windows WSL2、Linux、Node.js v22+。

安装向导、守护进程部署、模型API密钥配置。

消息渠道配置:Telegram Bot Token、WhatsApp Baileys配对机制、许可名单与最小权限原则。

3 工具调用机制深度剖析

自然语言→工具调用的解析链路。

权限沙箱与执行流隔离策略。

agents.defaults.sandbox.mode详解。

会话类型(主会话/群组会话)的沙箱策略差异化。

4 技能开发实战

SKILL.md文件编写规范。

技能描述与提示词工程、参数注入。

调用本地脚本/内部API的实用技能开发。

ClawHub技能库的社区生态与贡献机制。

第十节:Hermes部署与自进化skill的原理实操

1 与 OpenClaw 的本质差异

OpenClaw静态技能机制、Hermes技能自生成与持续优化

核心优先级:OpenClaw网关优先、Hermes记忆优先

技术栈:OpenClaw用TypeScript、Hermes用Python

2 自进化闭环

执行→失败归因(SHAP定位)→技能生成→存储复用

任务执行:调用技能/工具,记录日志与异常

失败归因:SHAP算法精准定位失败核心原因

技能生成:大模型自主生成/修正适配技能

存储复用:技能入库建索引,实现规模化复用

3 GEPA 算法核心定义与流程

ICLR 2026 Oral论文,离散提示词空间遗传优化

专为大模型提示词优化与技能生成设计,不依赖传统模型参数调优

初始化:生成初始提示词集合(离散空间)

遗传操作:变异、交叉、选择

反思评估:LLM反思,筛选最优候选提示词

终止条件:达准确率阈值或迭代上限

4 GEPA 算法触发与优化策略

触发条件:每约15次工具调用自动触发

辅助策略:贝叶斯搜索+ A/B验证,提升效率与可靠性

模型兼容:仅优化提示词/技能,不修改模型参数

5 技能自生成核心流程

需求识别→技能设计→格式生成→验证入库

需求识别:分析任务,判断是否需要新技能

技能设计:大模型自主设计核心逻辑与参数

格式生成:生成标准Markdown技能文档

验证入库:自动验证,入库建索引

6 技能自进化优化机制

主动检测:排查过时、残缺、错误技能

精准修复:自主生成patch,修复后自动验证

扩展增强:支持附加脚本、文档,丰富功能

版本管理:记录版本,支持回滚

7 三层记忆核心设计

三层记忆:会话记忆、持久记忆、程序性记忆

核心目标:提升执行效率与个性化适配能力

8、 各层记忆详细实现

会话记忆:SQLite + FTS5,存储会话上下文,可选择性保留

持久记忆:MEMORY.md(2200字符)+ USER.md(1375字符),限容防膨胀

程序性记忆:Markdown格式Skill文件,索引调用

六、主讲专家:

邹博士,某大学人工智能研究院院长,工程学术带头人、山东交通学院客座教授、南昌航空大学硕士生导师、中国软件行业协会专家委员、上海市计划生育科学研究所特聘专家、天津大学创业导师、中华中医药学会会员、中国医药教育协会老年运动与健康分会学术委员;领导睿客邦与全国二十多所高校、国企建立了AI联合实验室,完成50多个深度学习实践项目,广泛应用于医疗、交通、农业、气象、银行、电信等多个领域。

七、培训费用及注意事宜:

1、培训费:4280元/人(含培训费、午餐费、讲义资料费等)。

2、培训期间食宿统一安排,费用自理。

3、收款、开发票、培训会务工作由北京中际孚歌科技有限公司负责。

八、证书颁发:培训结束后由主办单位向参会单位学员颁发结业证书。

九、课程咨询:010-64113137