都挂载了冷存储,可以访问并修改冷存储数据。 迁移数据请使用传输节点。在转移 Pi 超算
为了方便用户使用冷存储中的数据,Pi、思源一号集群的计算节点也挂载了冷存储。挂载方式为只读,不能写入数据。
迁移数据请使用传输节点。rsync支持增量传输、断点续传、文件校验等功能,建议用rsync命令拷贝数据。
如果直接在命令行执行数据传输命令,网络不稳定可能导致传输中断,因此建议先开启 tmux 会话,再传输数据。相应的命令为:
# -a 表示保存所有元数据,-v 打印更多信息,-r 表示包含子目录,-P 表示显示进展以及保存未传输完的文件,其余可用参数见 rsync 文档
# 如果要搬运的目录中包含软链接文件,需要用 --copy-unsafe-links 参数,将不安全的软链接(原文件不在备份范围内)转换成实体文件保存
# 如果要搬运的目录中包含硬链接文件,可以用 -H 参数,保留文件之间的硬链接信息,减少不必要的文件传输
# -a 表示保存所有元数据,-v 打印更多信息,-r 表示包含子目录,-P 表示显示进展以及保存未传输完的文件,其余可用参数见 rsync 文档
# 如果要搬运的目录中包含软链接文件,需要用 --copy-unsafe-links 参数,将不安全的软链接(原文件不在备份范围内)转换成实体文件保存
# 如果要搬运的目录中包含硬链接文件,可以用 -H 参数,保留文件之间的硬链接信息,减少不必要的文件传输
如果因为某些原因,导致rsync未正常结束,可以再次用rsync命令传输数据,rsync的断点续传功能可以接着上次传输进度继续传输。
数据传输可能受网络波动影响,建议在数据传输完成之后,通过数据校验确认数据完整。
对于少量文件,可以用 md5sum 校验。对于多级目录结构,可以用 md5deep 工具。
md5deep比md5sum命令更加丰富,可以递归地检查整个目录树,为子目录中的每个文件生成 md5 值。 文件的数量和大小会影响 md5 值生成的速度,如遇到这一步耗时较长,请耐心等待。
md5sum可以生成文件校验码,来发现文件传输(网络传输、复制、本地不同设备间的传输)异常造成的文件内容不一致的情况。文件的数量和大小会影响 md5 值生成的速度,如遇到这一步耗时较长,请耐心等待。
在清理数据之前,请确认数据已经备份、以软硬链接保存的文件已经备份、rm 的路径正确。
下面的命令将直接删除对应路径下所有的内容,删除之后无法恢复数据,请确认路径正确后再执行!
下面的命令将直接删除对应路径下所有的内容,删除之后无法恢复数据,请确认路径正确后再执行!