AI工程集成

工程集成 = 把训练好/选好的 AI 能力，与前端、后端、业务系统、数据库等组件整合起来，形成一个高可用、高性能、可扩展、可监控的真实产品系统的全过程。

简说：把"AI Demo"装进"产品壳子"，让千万用户能用。

核心认知：AI 产品的护城河不在模型，在工程。同样的模型+同样的 Prompt，工程能力强的团队，产品体验能好出 60%。

Demo 的终点是证明 AI 能力，产品的起点是满足用户需求。

AI 产品标准技术架构（5 层分层设计）

自上而下：

层	名称	组件	关键设计
1	用户接入层（Frontend）	Web / App / 小程序 / 对话插件 / 桌面应用；统一入口、鉴权、限流、路由	流式返回（打字机效果）、加载动画减少焦虑、错误友好提示、首屏性能 <1s
2	业务逻辑层（Backend/BFF）	用户系统、权限系统、订单系统、支付系统、消息通知	AI 失败时优雅降级、业务可用性 >99.9%、事务一致性保障
3	AI 编排层（AI Orchestration）★核心层	Prompt 管理、Agent 逻辑、工具调用、Memory（对话历史/用户画像/长期记忆）、Cache（语义缓存/结果缓存）、RAG 检索；框架 LangChain/LlamaIndex/Dify/自研	版本管理（Prompt/模型）、灰度发布（1%→50%→100%）、AB 测试能力、可追溯性（每步可追踪）
4	AI 能力层（AI Capabilities）	LLM API、向量数据库、Embedding、ASR/TTS、图像识别	多模型选择、自动降级路由、Batch API 均价 50%、超时重试、熔断机制
5	基础设施层（Infrastructure）	云服务器、对象存储、消息队列、监控告警、日志系统	弹性扩缩容、多区域容灾、数据持久化多备份、安全合规（加密/审计）

贯穿全链路的横切关注点

能力	技术
身份认证 & 校验	OAuth2 / JWT
限流 & 降级	高并发流量调度
缓存体系	多层次缓存、语义缓存
成本监控	Token 消耗追踪
可观测性	Tracing + Metrics
安全防护	内容过滤 + 鉴权

全链路示例：AI 拍照点餐

① 小程序压缩图片 → 上传OSS → 获取图片URL          800ms
② BFF鉴权（JWT）→ 校验权限 → 调用AI编排服务        50ms
③ 编排层处理                                       110ms
   检查语义缓存（命中 → 直接返回）
   选择模型路由（高峰用Sonnet，低峰用Opus）
   加载Prompt v1.3 + 带上下文
④ 调用Claude API（流式返回）                      2300ms
⑤ 编排层后处理                                     150ms
   解析JSON输出（失败重试1次）
   检查置信度（>0.7展示，<0.7返回"去看看"）
   异步写入存储 + 上报监控
⑥ BFF：查菜价 → 生成订单 → 返回小程序             200ms
⑦ 用户看到识别结果，可编辑/确认/提交订单             0ms

总耗时：约3.5秒
LLM调用占比：40%时间、80%成本

关键设计点：流式返回立刻展示、语义缓存命中率提升 60%+、多模型路由低峰降本 30%+、置信度判断减少错误提交、全链监控问题秒级发现。

每层失败时的兜底方案

层	触发条件	兜底方案
用户接入层	超时 / 网络异常	显示友好提示状态；降级显示临时交互
业务逻辑层	AI 服务不可用	返回缓存结果；完全不可用→转人工客服
AI 编排层	编排超时 / 多次失败	降到更简单问题；返回托底答案
AI 能力层	LLM API 宕机 / 向量库崩溃	切换备用模型；降级不用 RAG
基础设施层	区域故障 / 整体不可用	流量切换到备用区；全量切换备份

核心监控指标（实时看板）

指标	说明
请求量 QPS	每秒请求数
成功率	正常响应占比
P95 延迟	95% 请求的响应时间
Token 消耗	万/天
错误率	异常请求占比
成本	元/天

六大核心工程问题

性能 / 成本 / 可靠性 / 安全合规 / 可观测性 / 灰度发布——每个都有典型症状、解法和关键指标，详见 AI工程六大核心问题。其中灰度发布单独展开见灰度发布。

通用最佳实践 Checklist

好的架构：避免单点，保持幂等操作
幂等设计：超时重试不产生重复影响
缓存优先：复用已有计算结果，不重复计算
降级优先：所有关键功能都要有降级方案
监控先行：上线前告警配置齐全再发布
小步快跑：每次只改一个变量，验证后再迭代
数据驱动：用数据说话，不靠猜测决策
用户体验第一：工程的终极目标是让用户满意

工程集成的黄金法则

P95 延迟 < 5s（用户感知）
可用率 > 99.5%（不死机）
单次成本 < ¥0.05（可盈利）
安全：内容过滤，防 Prompt 注入
监控：所有指标可视化、可告警
扩展：支持 10 倍用户量增长

最优秀的 AI 产品团队 = 50% 算法/Prompt + 50% 工程

PM 怎么用 / 何时用

评审技术方案或拆解竞品工程时，用 5 层架构（接入/业务/编排/能力/基础）作 checklist，确认 AI 编排层这一核心层的版本管理、灰度、缓存都齐备。
写 PRD 时，为每一层明确失败兜底（超时提示、转人工、降级简化、备用模型、跨区切换），别只写 happy path。
设定上线门槛时，对齐"黄金法则"（P95<5s、可用率>99.5%、单次成本<¥0.05、监控可告警），用核心监控指标盯线上。