外观
排障中心
按你看到的现象组织,不按源码组织。每条路径按现象、定位步骤、根因、处置展开,命令附预期输出。
现象速查表
| 你看到的 | 去哪 |
|---|---|
| 进程起不来 / 容器 CrashLoop / 装配卡住 | 启动失败 |
| 401 / 403 / 404 / 409 / 429 / 503 / 504 | 网关错误 |
| 管理端点全 503(code 7002)而数据面正常 | 管理面授权不可达 |
| 数据看不见 / 迁移失败 / 连接耗尽 / RLS 报错 | 数据库问题 |
| 计量滞后 / NATS 异常 / 对账不平 / 索引搜不到 | MQ 与计量 |
| Pod 不 Ready / 准入 403 / mTLS / 入口不通 / 滚动卡住 | K8s 与 Istio |
万能三板斧
第一步,面上的状态(比翻日志先看):
bash
curl -s http://<gw>/healthz # 预期 200 与 ok
curl -s http://<gw>/ready | jq . # 看 jwks、依赖清单与 failed 数组
curl -s http://<gw>/metrics | grep -E 'rls_denied|audit_chain|authz_denials|admin_authz'第二步,trace_id 反查。客户端回执 problem 文档里的 trace_id 是跨服务线索,三处(problem、审计、日志)同值:
bash
kubectl -n <ns> logs deploy/rustsvc-<svc> --since=30m | grep <trace_id>第三步,错误码定界。四位数错误码的千位即归属:1xxx 网关、2xxx metadata、3xxx iam、4xxx orchestrator、5xxx metering、6xxx gis、7xxx 公共。分段表见错误码参考。
判读 /ready 的注意
网关 /ready 恒 200 是设计行为(报告 jwks 与配额快照状态但不翻红,避免依赖抖动摘除入口);业务服务的 /ready 在核心依赖不可用时回 503 加 failed 清单。判断健康要看 JSON 内容与指标,不能只看状态码。各服务语义矩阵见启动生命周期。
何时按安全事件处理
rustsvc_rls_denied_total增长:RLS 拦截,P0,处置见 runbook rls-violation(告警与 Runbook)与数据库排障的 RLS 一节;rustsvc_audit_chain_broken_total增长:审计链断链,P0,处置见 runbook audit-chain-break(告警与 Runbook);rustsvc_admin_authz_check_total{outcome="unavailable"}增长:管理面授权上游不可达(P1),管理端点 503 是 fail-closed 设计行为,处置见管理面授权不可达;authz_denials突增:可能是扫描或撞库前奏,P2 但需要人看;管理面的 deny 突增(RustsvcAdminAuthzDenySpike)按策略变更与越权探测二分,见同页。
相关页面
- 端口总表 · 环境变量 · 错误码
- Runbook 索引(告警视角的处置手册)
- 启动生命周期(正常时序基线)