外观
运维总览
operations 这一册面向平台与 SRE 角色,覆盖五类日常活动:看板与告警响应、svc-operator 自动巡检、发布升级、混沌与 DR 演练。阅读前提是了解部署总览的双形态(单机 fail-fast、云化金丝雀)与可观测性总览的指标口径。这一页给出日常活动的地图、四条黄金信号的平台对应、速记事实与升级路径模型;细节分散在其余各页与部署手册、告警与 Runbook 两处正本。
日常运维地图
| 活动 | 入口 | 频率 |
|---|---|---|
| 看板 | Grafana rustsvc-overview(12 块:请求率、错误率、P99、授权拒绝、副本、CPU、内存、PG 连接、JetStream pending、JetStream 存储、计量滞后、对账差异) | 持续 |
| 告警响应 | 14 条告警,每条挂 runbook(口径 2026-10-31) | 按触发,见告警与 Runbook |
| 自动巡检 | svc-operator:聚合滚加、异常检测、RBAC2 互斥巡检、retention 清理、审计链校验 | 常驻 |
| 发布升级 | 发布、升级与回滚 | 按迭代 |
| 演练 | 混沌与 DR:12 个混沌场景加 DR 演练脚本 | 季度建议 |
| 流程操作 | 流程中心操作指南:定义、模板、实例、任务、触发器五段工作台 | 按业务 |
| 附件规则 | 附件规则操作指南:类型、规则集、档案模板、实例评估四段工作台 | 按业务 |
| 轻量管理 | 运维卡操作:/ops 登录加 11 卡 | 按需 |
四条黄金信号的平台对应
延迟、流量、错误、饱和四条信号,在平台指标(rustsvc_* 序列,vmagent 抓取)与基础设施序列上各有承载:
promql
# 延迟:P99(按服务)
histogram_quantile(0.99,
sum(rate(rustsvc_http_request_duration_seconds_bucket[5m])) by (le, service))
# 流量:请求率(按服务)
sum(rate(rustsvc_http_requests_total[5m])) by (service)
# 错误:5xx 率(按服务)
sum(rate(rustsvc_http_requests_total{code=~"5.."}[5m])) by (service)
/ sum(rate(rustsvc_http_requests_total[5m])) by (service)
# 饱和:基础设施三件
pg_stat_activity_count # PG 连接
nats_consumer_num_pending # JetStream 消费积压(stream="METERING_RAW")
kube_deployment_status_replicas # 副本水位关键运维事实(速记)
这些事实决定响应动作的方向,值得背下来:
- /ready 与 /healthz 语义不同:前者含核心依赖自检(PG 池、metering 加总线活性),后者仅进程存活;依赖抖动摘流量、不重启副本。网关 ready 恒 200 是例外(弱依赖有意不翻转)。矩阵见启动生命周期。
- RLS 拦截与审计断链是 P0 安全事件,不是性能告警:先取证定位,再谈恢复。两者的发现者分别是服务侧计数器与 svc-operator 审计巡检。
- 迁移永远先行:pre-hook Job 在任何新版 Pod 之前跑,expand-contract 纪律约束跨版本兼容(见发布、升级与回滚)。
- 回滚用 revert values-gitops 提交,不用 helm rollback。GitOps 是单向的,集群状态不是事实源。
- indexer 恒 1 副本:单写者约束,values 注释明言禁止大于 1。多副本会写坏索引目录。
- 单机形态 fail-fast:任一关键任务退出即整体排水重启,不存在部分降级运维。
- 金丝雀 abort 阈值与告警阈值同源(5xx 2%、P99 250ms),发布路径上的拦截只是同一判据的前置执行。
升级路径模型
任何一次跨版本升级都走同一条抽象路径,各步的失败语义已内建:
text
版本 N
→ 迁移 expand(只加不删,双版本安全)
→ 切流(金丝雀 10%/50% 步进,或蓝绿 preview)
→ 指标观察(AnalysisTemplate 自动判定 + 人工验证)
→ 全量
→ (下一版本)contract 清理每一步的回退方式:切流阶段自动 abort 回 stable;全量后发现问题的回退边界取决于迁移是否已跑 contract,判据展开见发布、升级与回滚。
值班日常(巡检序列)
一个可执行的每日开场序列,全部命令对着 staging 或 prod 的网关地址执行:
bash
# 1) 就绪与版本
curl -s http://<gw>/ready | jq .
curl -s http://<gw>/metrics | grep rustsvc_build_info
# 预期:ready 为就绪态 JSON;build_info 的 version 与 GitOps 钉版 tag 一致
# 2) 错误与延迟面
curl -s http://<gw>/metrics | grep -E 'rustsvc_http_requests_total.*code="5'
# 预期:5xx 计数无异常增速(对照 Grafana 面板 2/3 更直观)
# 3) 副本水位
kubectl -n rustsvc-prod get deploy -o wide
# 预期:各服务 READY 与期望一致;indexer 恒 1三个观察位不要只看一个:Grafana 看趋势、kubectl 看现状、/metrics 看原始值。三者不一致时以 /metrics 为准往下追(vmagent 抓取可能有延迟)。
升级阶梯与演练窗口
响应动作按影响面升级:第一档自助处置(runbook 首要动作内的命令);第二档召集(P0 告警、或首要动作 15 分钟内未止损,拉安全与平台负责人);第三档降级预案(入口摘除、金丝雀 abort、必要时 revert 发布)。每档的判据在对应 runbook 的升级一节。
计划内维护(演练、节点 drain、版本升级)安排在业务低峰,并在群内预告预期告警:混沌演练会触发 service-down/http-error-rate 一类告警,预告能防止值班误响应。演练期间不建议静默告警规则(保留观察反而是演练的一部分),确需静默时用 alertmanager 的 inhibition 或时间窗机制,事后恢复。
双形态运维差异
同一套运维知识在两种部署形态下的动作面不同,对照着记:
| 事项 | 单机一体化 | 云化 |
|---|---|---|
| 重启 | docker compose restart rustsvc(全停全起) | kubectl rollout restart(滚动,业务无感) |
| 日志 | docker compose logs rustsvc(单进程混流) | kubectl logs deploy/rustsvc-<svc>(按服务分面) |
| 升级 | 换镜像重启,迁移自动跑 | GitOps 金丝雀,迁移 pre-hook |
| 扩容 | 不支持,只能升宿主规格 | HPA 自动 / KEDA 定时 |
| 巡检 | operator 内嵌进程(AIO__OPERATOR_*) | 独立 Deployment(OP_* env) |
单机形态的排障入口集中在快速开始与排障中心的启动失败一节;云化形态的排障入口在K8s/Istio 排障。
值班接线现状
如实登记:告警规则(vmalert 14 条,口径 2026-10-31)与分级路由(alertmanager:P0 电话加 IM、P1 IM 即时、P2/P3 汇总)均已就绪,但 webhook 桥 alert-bridge 还是占位地址,接真实值班通道是上生产前的必做项,见生产环境建议。runbook 覆盖面由 CI 校验:规则里的 runbook 注解指向真实存在的 runbook 文件,断链即红。
脚本速查
运维会碰到的随物料脚本,按用途索引:
| 脚本 | 用途 |
|---|---|
smoke_staging.sh | staging 发布冒烟(探活/fail-closed/契约面/登录四步) |
integration_standalone.sh | 单机全链集成验证(83 项断言,2026-11-02 口径) |
check_image_refs.sh | chart 镜像引用与发布矩阵闭合守卫 |
bench.sh | 本地基准入口 |
| DR 演练脚本 dr_drill | DR 四场景演练(node/az/switchover/pitrr) |
pg_tps.sh 等 | 容量基准三件(PG/JetStream/Tantivy) |
相关页面
- 告警与 Runbook · svc-operator 运维任务
- 发布、升级与回滚 · 混沌与 DR
- 流程中心操作指南 · 附件规则操作指南 · 运维卡操作
- 可观测性 · 排障中心
- 部署运维手册正本随物料交付