feat: sample workflow phase latency

This commit is contained in:
2026-09-19 19:44:21 +08:00
parent 0ac3f2f3f8
commit a5cef4dbe8
10 changed files with 190 additions and 7 deletions

View File

@@ -8,6 +8,7 @@
- 迁移 `000027_operational_event_metrics` 为不可变 `orbit_events` 增加 `(type,occurred_at,id)` 固定事件窗口索引;不增加模型字段,不引入外键或级联。
- 迁移 `000028_terminal_latency_metrics` 为任务和流程终态完成时间增加固定索引;采样最近5分钟成功/失败/取消记录,计算从持久化创建到终态的平均/最大耗时,仍不增加模型字段。
- 现有 `weave_inbox` 的固定 `ix_inbox_due` 已纳入采样:输出 `PENDING`、`LEASED`、`PROCESSED`、`QUARANTINED` 四种有界状态以及待消费事件的最早 `available_at` 年龄;不把该年龄误称为流程推进完成延迟。
- 采样器按固定事件类型在最近5分钟内配对 `task.accepted`→`task.started`、`task.accepted`→确定终态以及 `workflow.started`→`workflow.stopped`,输出平均/最大阶段耗时;事件缺失、跨窗口或超过10000条上限的记录不进入样本。
- [存储采样器](../../internal/storage/mysql/operational_metrics.go)只拼接代码内固定的表、索引、列名、状态和事件集合。每个状态或事件类别使用索引读取最多10001条,再将结果封顶到10000;至少一类封顶时 `orbit_business_snapshot_truncated=1`。
- 采样器先读取数据库UTC时间,再读取任务、结果交付和流程实例固定状态计数、最早未完成年龄及最近5分钟受理/完成/核查/恢复/流程推进事件类别。所有调用由独立900ms上下文限制;取消、数据库错误和超时都返回失败,不修改持久化数据。
- [业务指标记录器](../../internal/observability/business.go)将成功、错误、超时分别计数并记录耗时。失败样本不覆盖最后一次成功状态,同时保留最后成功时间,方便告警区分“旧值可见”和“本轮采集失败”。标签基数和状态取值均在目录中固定。
@@ -19,10 +20,10 @@
- [业务记录器单测](../../internal/observability/metrics_test.go)验证成功状态、年龄、截断、成功计数和失败后保留最后成功值;超时计数单独增加。
- [真实MySQL专项](../../internal/storage/mysql/operational_metrics_integration_test.go)验证三次迁移索引真实存在、数据库外键为0、任务状态、交付状态、流程状态、Inbox状态、`task.accepted`事件和终态耗时被采样、固定状态集合存在,并验证已取消上下文被拒绝。
- `go test ./...`覆盖编译和普通单测;真实MySQL专项由标准`GO=... DOCKER=... sh scripts/test-mysql.sh`执行,未设置`ORBIT_TEST_MYSQL_DSN`时专项会跳过,不能把跳过当通过。最新000028标准脚本在Go 1.27.1、darwin/arm64、Docker MySQL 8.4.10环境退出码为0;存储/迁移/事务组、指标开关进程组、流程运行器全停恢复、SDK与两个独立业务示例均通过。日志确认`TestIntegrationOperationalSnapshot`、`TestIntegrationNoForeignKeysUpgrade`、`TestIntegrationCredentialOperations`、`TestIntegrationCredentialCommitFaults`、`TestIntegrationMetricsProcess`及`TestIntegrationWorkflowRuntimeProcess`均PASS,迁移账本到000028且dirty=false;脚本新增的`orbit-admin verify`实际输出`schema_version=28`、`migration_count=28`、`foreign_key_count=0`、`required_index_count=6`、`complete=true`。
- 当前固定目录导出的指标夹具为930520字节,包含事件和Inbox标签回归;`promtool check metrics`成功;`promtool check rules deploy/monitoring/orbit.rules.yml`报告7条规则成功,`promtool test rules deploy/monitoring/orbit.rules.test.yml`成功。标准验证镜像仅用于离线检查,平台运行不依赖Prometheus。
- 当前固定目录导出的指标夹具为932029字节,包含事件、Inbox和阶段耗时指标回归;`promtool check metrics`成功;`promtool check rules deploy/monitoring/orbit.rules.yml`报告7条规则成功,`promtool test rules deploy/monitoring/orbit.rules.test.yml`成功。标准验证镜像仅用于离线检查,平台运行不依赖Prometheus。
## 解释和边界
每个Orbit节点都读取自己的有限样本;多节点指标不能直接相加获得全局精确积压或吞吐。达到10000上限、采样超时、节点重启或节点间时间不同都会影响解释,必须结合截断标记、最后成功时间、数据库权威查询和审计判断。事件窗口按`occurred_at`统计固定类别,不包含未知类型;它是趋势线索,不是端到端受理、授权或完成延迟。
当前仍未完成端到端授权/外部效果阶段延迟、全局吞吐聚合、Inbox从事件产生到推进完成的精确阶段延迟、发送队列全局聚合、生产采集通知演练、锁/磁盘/复制指标和多故障域容量验证。此批实现不能替代保留、备份恢复、HA、RPO/RTO及发布验收。
当前仍未完成端到端授权/外部效果阶段延迟、全局吞吐聚合、Inbox从事件产生到推进完成的精确阶段延迟、发送队列全局聚合、生产采集通知演练、锁/磁盘/复制指标和多故障域容量验证。事件配对阶段耗时是本节点有限趋势样本,不包含外部副作用,也不能替代这些验收。此批实现不能替代保留、备份恢复、HA、RPO/RTO及发布验收。