监控与排障
逐层检查服务、业务入口与数据来源,并持续监控查询结果、故障接管及数据新鲜度。
检查服务和业务入口
前两项探测走客户端使用的正式 HTTPS 地址。在每台 Coordinator 主机上访问独立的回环状态端口,核对当前角色。按集群安装指南使用 --status-port 启用端口。
Shell
curl -fsS https://graphlake.example/healthz
curl -fsS https://graphlake.example/readyz
curl -fsS http://127.0.0.1:7338/status
sudo journalctl -u graphlake -u graphlake-worker@7441 -n 100 --no-pager/healthz有响应,但/readyz失败- 检查 Coordinator 角色、etcd、共享存储、Worker 可达性和入口转发。
- 服务已就绪,但模型失败
- 在运行配置 → 健康检查中探测已发布模型,查看来源和 Worker 检查结果,再通过业务入口重跑查询。
- 只有某个客户端协议失败
- 通过入口发起实际的 Bolt 握手或 Gremlin WebSocket 升级,与私有路径上的 Coordinator 监听对照。
配置持续探测
在具备 Python 3、可访问真实客户端入口的主机上运行随包的 graphlake-monitor。从 monitor.json 模板开始,在 ingress 中配置实际启用的协议,为 Coordinator 和 Worker 指定固定名称,通过私有转发读取状态和身份端点。
为探测创建专用的只读查询服务账号,授予目标已发布模型的查询权限。每个模型配置一条结果已知、返回有界的只读查询,多行结果显式排序,期望单元格使用 API 返回的文本或 null。把服务账号和 Worker 探测令牌写入 root 所有、权限为 0600 的 /etc/graphlake/monitor.env。
在包含已配置 monitor.json 的目录执行下列命令,启动随包监控服务并查看指标。
Shell
sudo install -m 0640 -o root -g graphlake monitor.json /etc/graphlake/monitor.json
sudo install -m 0644 /opt/graphlake/current/graphlake-monitor.service /etc/systemd/system/
sudo systemctl daemon-reload
sudo systemctl enable --now graphlake-monitor
curl -fsS http://127.0.0.1:9337/metrics跟踪数据新鲜度、资源和恢复
用 Prometheus 任务 graphlake-monitor 抓取 127.0.0.1:9337。若同时抓取活动入口的生产指标,使用任务名 graphlake-active。加载随包的告警规则并配置 Alertmanager 路由,跟踪本地表观测与全量对账时间、CSR 代次、剩余磁盘及异地备份校验时间。
发生排队饱和时,先检查查询槽位、延迟和溢写量。出现新鲜度告警时,核对最近一次加载和当前 CSR 代次,修复后再跑结果已知的查询。备份与恢复指南包含控制状态导出和验收步骤。各节点可通过 telemetry.yaml 配置 OTLP 日志、指标和链路。