feat: observe workflow inbox backlog

This commit is contained in:
2026-09-19 17:42:49 +08:00
parent da5874b17a
commit 0ac3f2f3f8
10 changed files with 46 additions and 8 deletions

View File

@@ -53,6 +53,8 @@ curl -fsS http://127.0.0.1:9090/metrics
| `orbit_result_delivery_oldest_age_seconds` | gauge | PENDING/LEASED交付样本中最早可处理时间的年龄 |
| `orbit_weave_workflows_state{state}` | gauge | Weave实例固定状态的有界计数 |
| `orbit_weave_workflow_oldest_age_seconds` | gauge | RUNNING/WAITING/CANCELLING/NEEDS_REVIEW实例样本中最早更新时间的年龄 |
| `orbit_weave_inbox_state{state}` | gauge | Weave内部Inbox固定状态的有界计数,状态为PENDING、LEASED、PROCESSED、QUARANTINED |
| `orbit_weave_inbox_oldest_age_seconds` | gauge | PENDING/LEASED Inbox样本中最早可处理时间的年龄 |
| `orbit_business_events_recent{event}` | gauge | 最近5分钟内固定事件类别的有界数量,用于观察受理、完成、核查、恢复和流程推进趋势 |
| `orbit_pulse_task_terminal_latency_seconds` / `_max_seconds` | gauge | 最近5分钟终态任务从创建到完成的平均/最大耗时样本,单位秒 |
| `orbit_weave_workflow_terminal_latency_seconds` / `_max_seconds` | gauge | 最近5分钟终态流程从创建到完成的平均/最大耗时样本,单位秒 |
@@ -103,4 +105,4 @@ promtool check rules deploy/monitoring/orbit.rules.yml
promtool test rules deploy/monitoring/orbit.rules.test.yml
```
HTTP失败率和延迟可按route/status_class统计;受理接口响应成功与已完成业务应分别判断。业务状态、事件窗口和终结耗时指标是本节点有限样本,不能相加作为全局精确数量;未知事件类型不会进入标签,终结耗时从持久化`created_at`到`completed_at`计算,不包含端到端外部副作用。应结合 `orbit_business_snapshot_last_success_timestamp_seconds` 和 `orbit_business_snapshot_truncated` 判断新鲜度与完整性。可靠结果量、授权阶段延迟、流程Inbox推进延迟、发送队列、磁盘/复制等仍须补充专门指标;具体当前证据见[进程观测报告](../reports/phase-6-observability.md)和[有界业务采样报告](../reports/phase-6-business-observability.md)。
HTTP失败率和延迟可按route/status_class统计;受理接口响应成功与已完成业务应分别判断。业务状态、事件窗口、Inbox状态和终结耗时指标是本节点有限样本,不能相加作为全局精确数量;未知事件类型不会进入标签,终结耗时从持久化`created_at`到`completed_at`计算,不包含端到端外部副作用,Inbox年龄从`available_at`计算,不等于流程推进完成延迟。应结合 `orbit_business_snapshot_last_success_timestamp_seconds` 和 `orbit_business_snapshot_truncated` 判断新鲜度与完整性。可靠结果量、授权阶段延迟、全局发送队列、磁盘/复制等仍须补充专门指标;具体当前证据见[进程观测报告](../reports/phase-6-observability.md)和[有界业务采样报告](../reports/phase-6-business-observability.md)。