文章目录
[+]
专利摘要显示,本发明涉及数据存储技术领域,公开一种实时数据仓库及其创建方法、实时数据存储方法及系统。实时数据仓库包括:ODS层,用于存储从数据库中采集的原始数据;DWD层,用于存储由原始数据经数据转码后的数据;DWS层,用于对转码后的数据整合为大宽表;ADS层,用于将应用数据发送至下游系统;ODS层、DWD层、DWS层和ADS层内均包括Apache Paimon组件。本发明一方面可以将数据源头的变更日志实时落地到hdfs,可以通过Doris、Trino等查询引擎进行底层数据的查询,提升OLAP分析的效率,达到数据时效性(分钟级)和数据有效分析性的均衡。另一方面能进行数据的状态变更记录,同时数据时效性在分钟级。
本文源自金融界

(图片来自网络侵删)