,据国家知识产权局公告,太极计算机股份有限公司申请一项名为“一种基于异构技术的数据存储及处理方法“,公开号CN117251414A,申请日期为2023年11月。
专利摘要显示,本发明提供了一种基于异构技术的数据存储及处理方法,涉及数据存储技术领域,包括:将以同步工具、分布采集工具以及Kafka消息队列构成数据采集模块采集到的目标数据写入数据湖Hudi后再利用Flink、Spark组件进行离线计算处理;将离线处理结果传输至数据仓库生成离线数据报表;利用计算引擎Flink读取并对Kafka消息队列中的数据以及Mysql同步数据实时计算;使用Apache Druid作为数据查询引擎,以供用户查询离线数据、实时数据处理结果。通过采用多数据模式的存储、Flink流批一体数仓计算架构以及Hudi异构技术栈完成所有离线和实时业务统计,有效解决开发成本够高的问题以及提高了数据处理效率;通过使用Apache Druid作为数据查询引擎实现更高效的数据查询以及分析,而改善数据查询效率。
本文源自:金融界
作者:情报员
声明:以上内容为本网站转自其它媒体,相关信息仅为传递更多企业信息之目的,不代表本网观点,亦不代表本网站赞同其观点或证实其内容的真实性。投资有风险,需谨慎。
感冒是冬季时节易发的呼吸道疾病,虽然不是什么大病...
保健养生是大家都非常重视的,穴位按摩可以起到很好...
按摩是中医保健的一个传统的疗法,可以改善身体素质...
艾叶生长在许多地方,尤其是在中国南方。艾叶可以治...
枸杞是我们常见的一味中药,也有很多人用枸杞泡水和...
不管是千年前求仙的秦始皇,还是今天劳碌在格子间的...
东方财富Choice数据显示,截至6月25日,A...
近日,国家药品监督管理局批准轩竹医药科技有限公司...