阅读时间:1 分钟
0 字
数据集成与存储
平台把本体元数据、运行状态和外部业务数据分开管理。PostgreSQL 是平台事务数据的首选主库;图数据库、分析库和联邦查询引擎只有在负载证明必要时引入。
Connector SPI
每个连接器声明以下能力,而不是由 Runtime 猜测:
- 读取、过滤、排序、分页、聚合、关系查询和批量能力。
- 写入、幂等键、结果查询、补偿和事务边界。
- CDC 位点、快照、Schema 变更和重放能力。
- 超时、限流、错误分类和可重试性。
- 可返回的源端请求 ID、业务流水号、响应摘要和核验证据。
- 数据驻留、凭据类型、网络区和敏感字段限制。
packages/ontology-connector-spi/ 保存接口;具体 JDBC、HTTP 和 CDC 适配器位于 packages/ontology-connectors/,由 Integration 服务加载和执行。
四种数据路径
| 路径 | 适用场景 | 主要代价 |
|---|---|---|
| 虚拟化查询 | 低延迟源、实时读取、数据不可复制 | 依赖源端稳定性,跨源一致性有限 |
| 缓存 | 高频读取、短时可陈旧 | 需要精确失效和租户隔离 |
| CDC/ETL 物化 | 分析、离线关联、源端负载保护 | 存在延迟、重放和存储治理 |
| 搜索/关系索引 | 全文检索或高频多跳遍历 | 需要同步、重建和一致性说明 |
推荐存储
| 数据 | 首选 | 引入条件 |
|---|---|---|
| 本体定义、版本、租户、策略引用 | PostgreSQL + JSONB | 首期必需 |
| Action、审批、Outbox、幂等记录 | PostgreSQL | 首期必需,按服务拥有 Schema 或数据库 |
| 实体身份映射 | PostgreSQL | 需要唯一约束和变更历史 |
| 大型模型快照、导出、证据原文 | S3 兼容对象存储 | 内容大、不可变或需长期保留 |
| 模型、策略和短期结果缓存 | Redis | 有明确命中收益和失效方案后 |
| CDC 与异步事件 | Kafka + Debezium | 需要持续变更流、重放和多消费者后 |
| 高吞吐审计分析 | ClickHouse | PostgreSQL 查询和保留成本不能满足后 |
| 复杂多跳关系 | 图数据库 | 有明确路径查询、规模和性能证据后 |
| 大规模联邦分析 | Trino | 跨源分析成为主要负载后 |
为什么 PostgreSQL 是主库
本体平台的核心记录需要事务、唯一约束、外键、并发控制、JSON 扩展和成熟迁移工具。PostgreSQL 同时适合结构化元数据与有限的灵活扩展,能够覆盖首期大多数控制面和执行状态。MySQL 也能承担部分事务场景,但 JSON 查询、扩展能力和平台统一性没有带来替换 PostgreSQL 的必要收益。图数据库适合遍历,不适合作为审批、计费、幂等和版本事务的唯一事实库。
数据所有权
每个服务只读写自己拥有的表或 Schema,跨服务数据通过 API 或事件获得。共享数据库实例不等于共享表。备份、保留、加密和删除策略按数据类别定义,证据原文与可检索元数据分开存储。