本地表与同步

将选定列加载为受管理的 Parquet 副本,让可接受定时更新的查询读取本地表。

本页目录

加载副本并发布映射

  1. 管理员先在模型草稿中保存外部来源,再打开本地表(Local Tables)。
  2. 选择源表和模型所需字段,包含主键与边端点,然后创建并加载。
  3. 任务成功后将副本加入模型数据源。把映射指向 local_<名称>.data,校验草稿并发布。
本地表面板展示转账表加载成功和下一次定时刷新
切换模型映射前,确认副本就绪并检查加载历史。

选择刷新方式

全量刷新
重新读取选定字段并发布新快照,可反映源表物理删除和主键变更。
增量刷新
配置稳定、唯一、非空的主键,选择整数、日期或时间戳作为水位字段。每次插入或更新都要推进水位。GraphLake 重读水位边界并按主键覆盖。
定时刷新
全量和增量都可以定时执行,可查看最近一次成功刷新和下次运行时间。首次加载为全量。

数据新鲜度 增量刷新按水位读取。源表删除和低于已提交水位的迟到数据,需用全量刷新对账。

维护快照

加载在发布前失败时,上一份已提交副本仍可读取。备份完整 catalog,包括 .graphlake-local/。Worker 读取副本时必须能访问同一绝对路径。恢复、存储和并发限制见本地表参考。

在 HA 集群使用托管快照

在启用 Coordinator 故障接管的集群中,通过共享集群配置开启托管本地表。Coordinator 和 Worker 使用同一 etcd 命名空间与 S3 兼容存储前缀,Worker 可直接从对象存储读取托管快照。

YAML
managed_local_tables: true
local_snapshot_retention_seconds: 86400
local_snapshot_gc_grace_seconds: 300

新建并加载托管表,将模型切换到 local-table://<表 UUID> 引用并发布。迁移期间已有映射可继续读取文件副本。GraphLake 回收符合条件的旧代次,并保留查询或备份仍在使用的快照。桶生命周期规则适用于未完成的分段上传和非当前对象版本,活跃对象由 GraphLake 管理。