【赵渝强老师】Hadoop HDFS的回收站和快照

b462

Hadoop的HDFS除了最基本的上传数据和下载数据的功能以外，还提供了很多高级特性用于方便使用和操作，主要有：回收站、快照、配额管理、安全模式、权限管理，同时从Hadoop 3.x开始还提供了纠删码技术。

image.png
点击这里查看视频讲解：【赵渝强老师】Hadoop HDFS的回收站和快照

下面分别介绍HDFS提供的回收站和快照。

一、 HDFS的回收站

在默认的情况下，HDFS的回收站功能是关闭的。可以通过在core-site.xml中添加fs.trash.interval来配置时间阀值，从而启用HDFS的回收站。例如：

<property><name>fs.trash.interval</name><value>1440</value>
</property><!-- 由于修改了HDFS的配置文件，需要重启HDFS。 -->

启用回收站后，当删除HDFS文件时，其本质是将要删除的文件或者目录放入回收站对应的目录。例如，当删除/input/data.txt文件时，将看到如下的日志信息。

2026-01-15 20:55:31,387 INFO fs.TrashPolicyDefault: 
Moved: 'hdfs://bigdata111:9000/input/data.txt' to trash at:
hdfs://bigdata111:9000/user/root/.Trash/Current/input/data.txt

回收站里的文件可以快速恢复。但当回收站里文件的存放时间超过返个阈值，就被彻底删除，并且释放占用的数据块。例如，在上面的设置中设置的时间阈值是1440分钟，即一天的时间。下面列举了一些HDFS回收站的基本操作。
（1）查看回收站。

hdfs dfs -lsr /user/root/.Trash/Current

（2）从回收站中恢复。

hdfs dfs -cp /user/root/.Trash/Current/input/data.txt /input

（3）清空回收站。

hdfs dfs -expunge

二、 HDFS的快照

一个快照（Snapshot）是一个全部文件系统、或者某个目录在某一时刻的镜像。这里其实可以把HDFS的快照理解成是HDFS提供的一种备份机制。快照应用在以下场景中：

  • 防止用户的错误操作
  • 备份
  • 试验/测试
  • 灾难恢复

由于HDFS的快照功能是针对的目录，因此需要首先使用HDFS的管理员命令开启目录的快照功能，再使用HDFS的操作命令创建目录的快照。

#与快照相关的HDFS管理命令[-allowSnapshot <snapshotDir>][-disallowSnapshot <snapshotDir>]#与快照相关的HDFS操作命令[-createSnapshot <snapshotDir> [<snapshotName>]][-deleteSnapshot <snapshotDir> <snapshotName>][-renameSnapshot <snapshotDir> <oldName> <newName>]

下面通过具体的步骤来演示如何使用HDFS的快照。
（1）开启/input目录的快照功能。

hdfs dfsadmin -allowSnapshot /input

（2）为/input目录创建第一个快照。

hdfs dfs -createSnapshot /input bk_input_20260115_01# 在创建HDFS快照的时候，最好遵循一个良好的命名规则。
# 例如，这里创建的快照名称为bk_input_20260115_01，
# 表示在2026年1月15日为input目录创建的第一个快照。

（3）上传一个新的文件到/input目录，如：data1.txt。

hdfs dfs -put data1.txt /input

（4）为/input目录创建第二个快照。

hdfs dfs -createSnapshot /input bk_input_20260115_02

（5）对比/input目录的两个快照。

hdfs snapshotDiff /input bk_input_20260115_01 bk_input_20260115_02# 输出的信息如下：
Difference between snapshot bk_input_20260115_01 and snapshot bk_input_20260115_02 under directory /input:
M	.
+	./data1.txt# 通过对比快照可以看出第二个快照比第一个快照多了一个文件data1.txt。

（6）通过HDFS的Web Console也可以查看快照的相关信息，如下图所示。
image