数据源目录

按连接方式浏览 GraphLake v1.1.1 支持的数据源,找到对应的连接器、配置方式和运行依赖。

本页目录

接入你的数据

先找到下方对应的卡片,再按数据源接入教程在控制台添加连接并核对表结构。卡片中的 type 或 storage.provider 是模型 YAML 中对应的设置。

字段类型、认证配置和各协议的读取限制见连接器参考。

数据库

  • PostgreSQL

    读取关系表和视图。设置 DSN 环境变量,再选择 schema。

    type: postgres
  • MySQL

    用 DSN 连接 MySQL 数据库,按需配置 TLS 和私有 CA。

    type: mysql
  • MariaDB

    通过 MySQL 协议以只读快照读取 InnoDB 表。

    type: mariadb
  • TiDB

    通过 MySQL 协议连接 TiDB,读取范围由各条远端语句决定。

    type: tidb
  • OceanBase

    填写 OceanBase MySQL 模式租户的 DSN。

    type: oceanbase
  • SQL Server(直连)

    通过 TDS 直连,填写主机、端口、数据库、用户名和密码环境变量。

    type: sqlserver_native
  • Oracle(直连)

    使用 Easy Connect 地址或 TNS 名称。GraphLake 服务端须安装 Oracle Instant Client。

    type: oracle_native
  • MongoDB(直连)

    使用 MongoDB URI 连接。通过结构采样识别映射字段,嵌套字段使用点分名称。

    type: mongodb_native
  • SQLite

    从 GraphLake 服务端打开数据库文件,适合轻量样例或已有嵌入式数据。

    type: sqlite
  • DuckDB

    以只读方式打开服务端 DuckDB 文件,再选择来源 schema 和表。

    type: duckdb
  • Cloud Spanner

    填写数据库资源路径。同一来源内的表可以在同一只读事务中读取。

    type: spanner
  • SAP HANA

    连接租户 SQL 端口,按实际大小写映射表名和列名。

    type: sap_hana

数仓与分析

  • Snowflake

    通过 SQL API 接入,填写服务地址、令牌和计算仓库,可指定 Time Travel 时间。

    type: snowflake
  • BigQuery

    设置计费项目、数据位置、令牌和单次查询计费字节上限。

    type: bigquery
  • Databricks SQL

    填写工作区地址、令牌、SQL Warehouse ID 和 catalog。需要标量字段时可通过视图转换。

    type: databricks
  • ClickHouse

    填写 HTTP 服务地址和用户,再映射分析表中的列。

    type: clickhouse
  • Apache Doris

    使用兼容 MySQL 的 DSN 连接,映射分析表或视图。

    type: doris
  • StarRocks

    连接兼容 MySQL 的端点,映射表或视图中的字段。

    type: starrocks
  • Trino

    连接 Trino Coordinator,按 source.catalog.schema.table 引用表。

    type: trino

文件与湖仓表

  • Parquet

    将本地文件或对象 URL 映射为表。GraphLake 从 Parquet 元数据读取结构。

    type: parquet
  • CSV

    映射带表头的 UTF-8 逗号分隔文件,按文件顺序声明列名和类型。

    type: csv
  • JSON Lines

    逐行读取 JSON 对象,声明图模型所需的顶层字段和类型。

    type: jsonl
  • Apache Iceberg

    连接 REST Catalog,选择命名空间和表,按需固定快照 ID。

    type: iceberg
  • Delta Lake

    映射 Delta 表的存储路径,按需指定表版本以复现读取结果。

    type: delta

对象存储

  • 对象存储连接器

    选择存储提供方和桶,再将桶内对象键映射为 Parquet、CSV 或 JSON Lines 表。

    type: object_storage
  • Amazon S3

    填写桶和区域,使用服务端默认身份或指定访问密钥的环境变量。

    storage.provider: s3
  • MinIO

    填写 MinIO 端点、桶和访问密钥环境变量。

    storage.provider: minio
  • 阿里云 OSS

    填写 OSS 区域和端点,使用支持 S3 兼容 V4 签名的凭据。

    storage.provider: oss
  • 火山引擎 TOS

    选择区域,并使用该区域的 TOS S3 兼容端点。

    storage.provider: tos
  • 腾讯云 COS

    填写区域和 COS 端点,桶名包含 APPID 后缀。

    storage.provider: cos
  • Azure Blob Storage

    填写存储账号和容器,使用 Azure 默认凭据链或指定账号密钥环境变量。

    storage.provider: azure
  • Google Cloud Storage

    填写桶,使用默认身份或引用含服务账号 JSON 的环境变量。

    storage.provider: gcs

通过 Trino 接入

  • SQL Server(经 Trino)

    先在 Trino Coordinator 配置 SQL Server catalog,再在 GraphLake 连接器中选择。

    type: sqlserver
  • Oracle(经 Trino)

    使用 Trino 中已配置的 Oracle catalog,由 Coordinator 管理远端数据库连接。

    type: oracle
  • MongoDB(经 Trino)

    使用 Coordinator 的 MongoDB catalog 和结构定义映射集合字段。

    type: mongodb
  • Elasticsearch

    在 Trino 配置 Elasticsearch catalog,再选择索引并映射标量字段。

    type: elasticsearch
  • Amazon Redshift

    通过 Trino 的 Redshift catalog 接入,再选择远端 schema 和表。

    type: redshift
  • Apache Hive

    选择 Trino 连接器,引用已配置 Hive catalog 中的表。

    type: trino
  • Apache Hudi

    选择 Trino 连接器,引用已配置 Hudi catalog 中的表。

    type: trino