1.hudi介绍和简单实践

Apache Hudi代表Hadoop Upserts anD Incrementals，管理大型分析数据集在HDFS上的存储，本质上，Hudi并非是一种全新的文件格式，相反，它仅仅是充分利用了开源的列格式（Parquet）和行格式（Avro）的文件作为数据的存储形式，并在数据写入的同时生成特定的索引，进而可以提供更快的查询性能。hudi本身没有存储和计算的功能。存储是建立在hdfs或者s3上，读写是建立在外部的计算引擎上，如spark，flink等。hudi所处的位置如图

1.需要用到的程序和jar包，注意版本

ps:下面的jar包和压缩包都在10.114.10.92节点，位置是/home/yhl/
其中的hudi-flink-bundle_2.11-0.10.1.jar
在百度网盘中有
链接：https://pan.baidu.com/s/1VlNGoa15QxLNb8tevB-FeA
提取码：abcd

2.修改flink配置

flink-conf.yaml 的 taskmanager.numberOfTaskSlots: 4 。由1个改为4个

workers 文件增加到4行都写localhost

3.启动flink集群

启动flinksql client

让flinksql以普通视图的形式展示结果

创建hudi表并插入数据

结果查询

根据主键更新数据

查询结果

修改于 2025-03-20 05:26:28

从科幻走向现实，LLM Agent 做到哪一步了

2.flink基于hudi的数据湖实践