Skip to content

运维总览 ​

operations 这一册面向平台与 SRE 角色,覆盖五类日常活动:看板与告警响应、svc-operator 自动巡检、发布升级、混沌与 DR 演练。阅读前提是了解部署总览的双形态(单机 fail-fast、云化金丝雀)与可观测性总览的指标口径。这一页给出日常活动的地图、四条黄金信号的平台对应、速记事实与升级路径模型;细节分散在其余各页与部署手册、告警与 Runbook 两处正本。

日常运维地图 ​

活动入口频率
看板Grafana rustsvc-overview(12 块:请求率、错误率、P99、授权拒绝、副本、CPU、内存、PG 连接、JetStream pending、JetStream 存储、计量滞后、对账差异)持续
告警响应14 条告警,每条挂 runbook(口径 2026-10-31)按触发,见告警与 Runbook
自动巡检svc-operator:聚合滚加、异常检测、RBAC2 互斥巡检、retention 清理、审计链校验常驻
发布升级发布、升级与回滚按迭代
演练混沌与 DR:12 个混沌场景加 DR 演练脚本季度建议
流程操作流程中心操作指南:定义、模板、实例、任务、触发器五段工作台按业务
附件规则附件规则操作指南:类型、规则集、档案模板、实例评估四段工作台按业务
轻量管理运维卡操作:/ops 登录加 11 卡按需

四条黄金信号的平台对应 ​

延迟、流量、错误、饱和四条信号,在平台指标(rustsvc_* 序列,vmagent 抓取)与基础设施序列上各有承载:

promql
# 延迟:P99(按服务)
histogram_quantile(0.99,
  sum(rate(rustsvc_http_request_duration_seconds_bucket[5m])) by (le, service))

# 流量:请求率(按服务)
sum(rate(rustsvc_http_requests_total[5m])) by (service)

# 错误:5xx 率(按服务)
sum(rate(rustsvc_http_requests_total{code=~"5.."}[5m])) by (service)
  / sum(rate(rustsvc_http_requests_total[5m])) by (service)

# 饱和:基础设施三件
pg_stat_activity_count            # PG 连接
nats_consumer_num_pending         # JetStream 消费积压(stream="METERING_RAW")
kube_deployment_status_replicas   # 副本水位

指标清单与标签纪律见指标参考,告警规则逐条见告警体系。

关键运维事实(速记) ​

这些事实决定响应动作的方向,值得背下来:

  1. /ready 与 /healthz 语义不同:前者含核心依赖自检(PG 池、metering 加总线活性),后者仅进程存活;依赖抖动摘流量、不重启副本。网关 ready 恒 200 是例外(弱依赖有意不翻转)。矩阵见启动生命周期。
  2. RLS 拦截与审计断链是 P0 安全事件,不是性能告警:先取证定位,再谈恢复。两者的发现者分别是服务侧计数器与 svc-operator 审计巡检。
  3. 迁移永远先行:pre-hook Job 在任何新版 Pod 之前跑,expand-contract 纪律约束跨版本兼容(见发布、升级与回滚)。
  4. 回滚用 revert values-gitops 提交,不用 helm rollback。GitOps 是单向的,集群状态不是事实源。
  5. indexer 恒 1 副本:单写者约束,values 注释明言禁止大于 1。多副本会写坏索引目录。
  6. 单机形态 fail-fast:任一关键任务退出即整体排水重启,不存在部分降级运维。
  7. 金丝雀 abort 阈值与告警阈值同源(5xx 2%、P99 250ms),发布路径上的拦截只是同一判据的前置执行。

升级路径模型 ​

任何一次跨版本升级都走同一条抽象路径,各步的失败语义已内建:

text
版本 N
  → 迁移 expand(只加不删,双版本安全)
  → 切流(金丝雀 10%/50% 步进,或蓝绿 preview)
  → 指标观察(AnalysisTemplate 自动判定 + 人工验证)
  → 全量
  → (下一版本)contract 清理

每一步的回退方式:切流阶段自动 abort 回 stable;全量后发现问题的回退边界取决于迁移是否已跑 contract,判据展开见发布、升级与回滚。

值班日常(巡检序列) ​

一个可执行的每日开场序列,全部命令对着 staging 或 prod 的网关地址执行:

bash
# 1) 就绪与版本
curl -s http://<gw>/ready | jq .
curl -s http://<gw>/metrics | grep rustsvc_build_info
# 预期:ready 为就绪态 JSON;build_info 的 version 与 GitOps 钉版 tag 一致

# 2) 错误与延迟面
curl -s http://<gw>/metrics | grep -E 'rustsvc_http_requests_total.*code="5'
# 预期:5xx 计数无异常增速(对照 Grafana 面板 2/3 更直观)

# 3) 副本水位
kubectl -n rustsvc-prod get deploy -o wide
# 预期:各服务 READY 与期望一致;indexer 恒 1

三个观察位不要只看一个:Grafana 看趋势、kubectl 看现状、/metrics 看原始值。三者不一致时以 /metrics 为准往下追(vmagent 抓取可能有延迟)。

升级阶梯与演练窗口 ​

响应动作按影响面升级:第一档自助处置(runbook 首要动作内的命令);第二档召集(P0 告警、或首要动作 15 分钟内未止损,拉安全与平台负责人);第三档降级预案(入口摘除、金丝雀 abort、必要时 revert 发布)。每档的判据在对应 runbook 的升级一节。

计划内维护(演练、节点 drain、版本升级)安排在业务低峰,并在群内预告预期告警:混沌演练会触发 service-down/http-error-rate 一类告警,预告能防止值班误响应。演练期间不建议静默告警规则(保留观察反而是演练的一部分),确需静默时用 alertmanager 的 inhibition 或时间窗机制,事后恢复。

双形态运维差异 ​

同一套运维知识在两种部署形态下的动作面不同,对照着记:

事项单机一体化云化
重启docker compose restart rustsvc(全停全起)kubectl rollout restart(滚动,业务无感)
日志docker compose logs rustsvc(单进程混流)kubectl logs deploy/rustsvc-<svc>(按服务分面)
升级换镜像重启,迁移自动跑GitOps 金丝雀,迁移 pre-hook
扩容不支持,只能升宿主规格HPA 自动 / KEDA 定时
巡检operator 内嵌进程(AIO__OPERATOR_*)独立 Deployment(OP_* env)

单机形态的排障入口集中在快速开始与排障中心的启动失败一节;云化形态的排障入口在K8s/Istio 排障。

值班接线现状 ​

如实登记:告警规则(vmalert 14 条,口径 2026-10-31)与分级路由(alertmanager:P0 电话加 IM、P1 IM 即时、P2/P3 汇总)均已就绪,但 webhook 桥 alert-bridge 还是占位地址,接真实值班通道是上生产前的必做项,见生产环境建议。runbook 覆盖面由 CI 校验:规则里的 runbook 注解指向真实存在的 runbook 文件,断链即红。

脚本速查 ​

运维会碰到的随物料脚本,按用途索引:

脚本用途
smoke_staging.shstaging 发布冒烟(探活/fail-closed/契约面/登录四步)
integration_standalone.sh单机全链集成验证(83 项断言,2026-11-02 口径)
check_image_refs.shchart 镜像引用与发布矩阵闭合守卫
bench.sh本地基准入口
DR 演练脚本 dr_drillDR 四场景演练(node/az/switchover/pitrr)
pg_tps.sh 等容量基准三件(PG/JetStream/Tantivy)

相关页面 ​

以仓库代码为事实源构建 · RC Hardening 阶段