hudi系列-旧文件清理（clean）

1. 简介

hudi采用的是mvcc设计，提供了清理工具cleaner来把旧版本的文件分片删除，默认开启了清理功能，可以防止文件系统的存储空间和文件数量的无限增长。

1.1 环境

• flink 1.13.6
• hudi 0.11.0

1.2 清理保留策略

清理旧文件需要考虑数据查询的情况，有些长查询会占用着旧版本的文件，需要设置合适的清理策略来保留一定数量的commit或者文件版本，以提高系统的容错性

• KEEP_LATEST_COMMITS：默认策略，表示保留最后n次提交，默认为10，通过参数hoodie.cleaner.commits.retained​或clean.retain_commits​(flink)设置
• KEEP_LATEST_FILE_VERSIONS：保留最后n个文件版本，默认为3，通过参数hoodie.cleaner.fileversions.retained设置​
• KEEP_LATEST_BY_HOURS：保留最后n小时，默认24小时，通过参数hoodie.cleaner.hours.retained设置，这是0.11版本后新增的

1.3 清理触发策略

目前仅支持一种触发清理的策略：CleaningTriggerStrategy#NUM_COMMITS，即根据提交的次数，默认为1，可以通过设置参数hoodie.clean.max