阅读时间:1 分钟
0 字

数据集成与存储 ​

平台把本体元数据、运行状态和外部业务数据分开管理。PostgreSQL 是平台事务数据的首选主库;图数据库、分析库和联邦查询引擎只有在负载证明必要时引入。

Connector SPI ​

每个连接器声明以下能力,而不是由 Runtime 猜测:

  • 读取、过滤、排序、分页、聚合、关系查询和批量能力。
  • 写入、幂等键、结果查询、补偿和事务边界。
  • CDC 位点、快照、Schema 变更和重放能力。
  • 超时、限流、错误分类和可重试性。
  • 可返回的源端请求 ID、业务流水号、响应摘要和核验证据。
  • 数据驻留、凭据类型、网络区和敏感字段限制。

packages/ontology-connector-spi/ 保存接口;具体 JDBC、HTTP 和 CDC 适配器位于 packages/ontology-connectors/,由 Integration 服务加载和执行。

四种数据路径 ​

路径适用场景主要代价
虚拟化查询低延迟源、实时读取、数据不可复制依赖源端稳定性,跨源一致性有限
缓存高频读取、短时可陈旧需要精确失效和租户隔离
CDC/ETL 物化分析、离线关联、源端负载保护存在延迟、重放和存储治理
搜索/关系索引全文检索或高频多跳遍历需要同步、重建和一致性说明

推荐存储 ​

数据首选引入条件
本体定义、版本、租户、策略引用PostgreSQL + JSONB首期必需
Action、审批、Outbox、幂等记录PostgreSQL首期必需,按服务拥有 Schema 或数据库
实体身份映射PostgreSQL需要唯一约束和变更历史
大型模型快照、导出、证据原文S3 兼容对象存储内容大、不可变或需长期保留
模型、策略和短期结果缓存Redis有明确命中收益和失效方案后
CDC 与异步事件Kafka + Debezium需要持续变更流、重放和多消费者后
高吞吐审计分析ClickHousePostgreSQL 查询和保留成本不能满足后
复杂多跳关系图数据库有明确路径查询、规模和性能证据后
大规模联邦分析Trino跨源分析成为主要负载后

为什么 PostgreSQL 是主库 ​

本体平台的核心记录需要事务、唯一约束、外键、并发控制、JSON 扩展和成熟迁移工具。PostgreSQL 同时适合结构化元数据与有限的灵活扩展,能够覆盖首期大多数控制面和执行状态。MySQL 也能承担部分事务场景,但 JSON 查询、扩展能力和平台统一性没有带来替换 PostgreSQL 的必要收益。图数据库适合遍历,不适合作为审批、计费、幂等和版本事务的唯一事实库。

数据所有权 ​

每个服务只读写自己拥有的表或 Schema,跨服务数据通过 API 或事件获得。共享数据库实例不等于共享表。备份、保留、加密和删除策略按数据类别定义,证据原文与可检索元数据分开存储。