AgentProvenance

Agent 执行观测与证据验证示例 文档
示例/文档

与相邻系统的职责划分

English · 简体中文

可以从三层职责理解 AgentProvenance:

LLM 网关
  → 路由并控制模型请求

LLM / Agent 可观测与评估平台
  → 跟踪提示词、模型调用、工具调用、延迟、成本、反馈和评估

AgentProvenance
  → 将执行上下文、运行时证据、状态变化、产物、风险、
     基线偏离和响应记录关联成 Git 风格的溯源图

下文比较职责和接入位置,不是其他产品的完整功能清单。

LangSmith 类平台

LangSmith 类平台面向 LLM 和 Agent 的应用跟踪、评估与监控,关注调用、提示词、成本、延迟、反馈、人工复核和在线评估等信息。

AgentProvenance 的核心数据是执行溯源图:

初始状态 → 执行作用域 → 工具调用 → 进程 → 文件差异 → 产物
                         ↓          ↓
                    运行时事件   风险与成本证据
                         ↓
                 风险信号 / 隔离 / 响应门禁

它可以为应用跟踪和评估系统补充更底层的执行依据:

  • 执行从哪份初始状态开始。
  • 工具调用启动了哪个进程。
  • 哪个进程改变了文件。
  • 哪次执行产生了产物。
  • 哪个运行时事件触发风险或污点标记。
  • 响应门禁为何允许或阻止某条执行分支。
  • 如何通过回放清单重建结果的来龙去脉。

LLM 网关

网关位于模型请求路径:

应用 → 网关 → 模型提供方

常见职责包括路由、回退、限流、认证、厂商接口适配、缓存、成本控制和请求日志;部分网关也处理提示词或响应策略。

AgentProvenance 的核心位置在执行证据路径:

Agent 框架 → 沙箱运行环境 → 运行时遥测 / 文件差异 / 产物
                    ↓
                  溯源图

它无需占据模型请求路径,也不替代网关的路由和限流。

AgentProvenance 的边界

项目消费观测信号和运行环境事件,支持 RL 风格的轨迹实验;通用可观测平台、沙箱运行时、训练器、候选选择器和吞吐调度器仍由其他系统承担。

项目要解决的是:将执行上下文、系统遥测、状态差异、产物谱系、风险、基线偏离和响应证据汇入一张可查询、可比较、可回看、可审计的执行图。

使用者应能据此回答:

  • 这个产物是如何生成的?
  • 哪次工具调用启动了进程?哪个进程改了文件?
  • 运行时事件对应 Agent 的哪一步操作?
  • 哪条分支被污染或隔离?
  • 外部评估器在计算奖励、惩罚、过滤或复核决策前,有哪些行为与风险证据可用?
  • 结果能否在之后回看或审计?