Skip to content

排障中心 ​

按你看到的现象组织,不按源码组织。每条路径按现象、定位步骤、根因、处置展开,命令附预期输出。

现象速查表 ​

你看到的去哪
进程起不来 / 容器 CrashLoop / 装配卡住启动失败
401 / 403 / 404 / 409 / 429 / 503 / 504网关错误
管理端点全 503(code 7002)而数据面正常管理面授权不可达
数据看不见 / 迁移失败 / 连接耗尽 / RLS 报错数据库问题
计量滞后 / NATS 异常 / 对账不平 / 索引搜不到MQ 与计量
Pod 不 Ready / 准入 403 / mTLS / 入口不通 / 滚动卡住K8s 与 Istio

万能三板斧 ​

第一步,面上的状态(比翻日志先看):

bash
curl -s http://<gw>/healthz          # 预期 200 与 ok
curl -s http://<gw>/ready | jq .     # 看 jwks、依赖清单与 failed 数组
curl -s http://<gw>/metrics | grep -E 'rls_denied|audit_chain|authz_denials|admin_authz'

第二步,trace_id 反查。客户端回执 problem 文档里的 trace_id 是跨服务线索,三处(problem、审计、日志)同值:

bash
kubectl -n <ns> logs deploy/rustsvc-<svc> --since=30m | grep <trace_id>

第三步,错误码定界。四位数错误码的千位即归属:1xxx 网关、2xxx metadata、3xxx iam、4xxx orchestrator、5xxx metering、6xxx gis、7xxx 公共。分段表见错误码参考。

判读 /ready 的注意 ​

网关 /ready 恒 200 是设计行为(报告 jwks 与配额快照状态但不翻红,避免依赖抖动摘除入口);业务服务的 /ready 在核心依赖不可用时回 503 加 failed 清单。判断健康要看 JSON 内容与指标,不能只看状态码。各服务语义矩阵见启动生命周期。

何时按安全事件处理 ​

  • rustsvc_rls_denied_total 增长:RLS 拦截,P0,处置见 runbook rls-violation(告警与 Runbook)与数据库排障的 RLS 一节;
  • rustsvc_audit_chain_broken_total 增长:审计链断链,P0,处置见 runbook audit-chain-break(告警与 Runbook);
  • rustsvc_admin_authz_check_total{outcome="unavailable"} 增长:管理面授权上游不可达(P1),管理端点 503 是 fail-closed 设计行为,处置见管理面授权不可达;
  • authz_denials 突增:可能是扫描或撞库前奏,P2 但需要人看;管理面的 deny 突增(RustsvcAdminAuthzDenySpike)按策略变更与越权探测二分,见同页。

相关页面 ​

以仓库代码为事实源构建 · RC Hardening 阶段