阅读时间：1 分钟
0 字
可观测性与故障处理
平台使用统一追踪、指标和结构化日志观察请求，但业务执行的最终事实以状态和证据为准。每个服务需要健康检查、就绪检查、依赖状态和版本信息。
关联字段
所有服务传播 traceId、租户、服务和版本。Action、长查询和异步任务传播 executionId、stepId 与 attemptId。日志禁止记录令牌、连接串、完整请求正文和未脱敏敏感属性。
核心指标
| 范围 | 指标 |
|---|---|
| API/MCP | 请求量、状态码、延迟、限流、认证失败 |
| Registry | 校验失败、发布耗时、事件发布失败、缓存传播时间 |
| Runtime | 计划耗时、扫描量、结果量、预算拒绝、跨源失败 |
| Integration | 连接器健康、源端延迟、限流、CDC 位点和积压 |
| Actions | 各状态数量和停留时间、重试、结果未知、补偿、人工队列 |
| Policy | 决策延迟、拒绝率、缓存命中、策略版本传播 |
| Lineage | 事件积压、去重、证据写入失败、对象校验失败 |
| Control Plane | 配额拒绝、用量延迟、对账差异和账单生成失败 |
告警原则
告警面向用户影响和恢复动作。单个日志错误不直接触发高等级告警；持续错误率、延迟、队列积压、证据丢失风险、跨租户异常和结果未知积压需要告警。每条告警关联责任服务、Runbook、严重级别和静默规则。
故障分级
- P0：跨租户泄漏、未经授权写入、证据完整性破坏或广泛不可用。
- P1：核心查询或 Action 大面积失败、结果未知持续积压、数据同步严重中断。
- P2：单租户、单连接器或非核心能力降级。
- P3：不影响业务结果的运维和体验问题。
处置顺序
先阻止进一步影响，再保留证据和时间线，然后恢复服务，最后复盘。Action 故障时不要盲目清空队列或重放消息；先按幂等键和源端流水号确认状态。安全事件需要冻结相关证据和审计记录。