大数据.

05 篇文章 — 大数据相关文章

Dinky

前言 Dinky 是一款开源的 Flink 作业管理与开发平台，整体设计轻量、易用，能够统一管理多个 Flink 集群。

前言 Canal 是阿里巴巴开源的一款基于 MySQL Binlog 的数据实时订阅与消费组件，常用于实现数据库变更数据捕获（CDC，Change Data Capture）。

背景 Flink CDC（Change Data Capture）是 Apache Flink 生态中的一个重要组件，用于实时捕获数据库中的数据变更，并将这些变更转换为数据流进行处理。

目前比较流行的开源数据湖 Iceberg。数据湖是一个用于存储结构化和非结构化数据的集中式数据存储库，它可以存储各种类型的数据，包括传统的关系型数据、半结构化数据、非结构化数据等。

最近使用了Kettle这款ETL工具、对于多数据源进行数据之间的同步，迁移，转换，修正等功能进行了解与使用。 Kettle-水壶、顾名思义就是把各种数据源中的表数据都当做水流、从多个水流汇总、分流、解析的工具。