玩转网盘
现状
目前市面存在各种 NAS 存储、网盘、FTP 等存储设备,人人基本手上都至少拥有 2 种以上类型的存储,要将这些存储管理起来还不是一件容易的事。近期本人就如何管理这些存储做了一些尝试,具体心得如下:
- 1、是否有专门的管理软件来统一管理这些存储资源?
- 2、是否利用各厂商的免费资源做数据同步备份?
思路
解决问题一
市面确实有不少存储的管理软件,偶尔在抖音刷到 Alist
但自己也没使用过,鉴于好奇心就点开了他的仓库地址,亲自使用了下,感觉确实还不错。随后也在其他的管理软件之间进行对比和使用下,感觉 Alist
基本满足我的需求。以下是一些使用心得和优缺点:
- 优点
- 能统一管理各种存储资源。
- 管理的存储资源非常丰富。基本能涵盖常用的存储,这一点对于大部分人来说基本满足。
- 能在各种存储资源之间进行数据复制。
- 消耗的资源并不大。在同步两个网盘的数据中时,发现最大内存消耗不到 300M。
- 使用流复制的方式进行文件同步。这也是第三条的原因。
- 使用定时刷新和手动刷新两种方式同步存储资源。
- 支持离线下载。
- 支持全文索引。
- 缺点
- 在做大批量数据复制时,容易因为各种问题导致数据同步失败,比如网络波动,域名解析等。
- 数据同步失败之后很难去排查,或一键重试,需要人工去排查,特别是在大量的数据迁移时,这点非常重要。
- 数据在不同的存储资源间复制是采用任务的方式,任务管理相对简单,重启服务后任务中断和消失,需要重新同步。
- 数据在复制时采用覆盖模式,已经同步成功的文件在第二次同步时进行覆盖处理,未进行校验。
- 只能进行文件夹同步,不能使用多选模式进行同步。
解决问题二
由于考虑到百度网盘普通用户限速(但良心的一点是 100M 以下的小文件不限速,可是我的电影就没法在线观看。)的问题,随即想将百度网盘的资源同步到阿里云盘上,基于这个目的开始我的同步之路。
在同步的过程中真真切切的体会到了 Alist
的优缺点,也就是上文所描述的那些。但这些对我来说还不够,在同步大量文件时,我不可能一个一个去手动同步和重试,于是乎就想到了另外一个工具 rclone
[官方地]址(https://rclone.org)。因此想想是否可以结合两种工具的优势做到最优的数据同步,尝试了下确实可行。以下是过程:
- 1、使用 alist 统一管理存储资源
- 2、使用 rclone 以 webdav 的形式将 alist 上的存储资源挂载到本地
- 3、使用 rclone 将各个存储资源间的数据进行同步和备份
rclone ls alist:/baidu
20797710 video/【乐乐课堂】【小学数学】(全)/01. 一年级上册(I)/【01】 1-5的认识(1).mp4
17137778 video/【乐乐课堂】【小学数学】(全)/01. 一年级上册(I)/【02】 0的认识(1).mp4
16245698 video/【乐乐课堂】【小学数学】(全)/01. 一年级上册(I)/【03】 6-9的认识(1).mp4
25901301 video/【乐乐课堂】【小学数学】(全)/01. 一年级上册(I)/【04】 10的认识和“几个与第几”(1).mp4
23399983 video/【乐乐课堂】【小学数学】(全)/01. 一年级上册(I)/【05】 10以内数的大小比较(1).mp4
26694009 video/【乐乐课堂】【小学数学】(全)/01. 一年级上册(I)/【06】 比较大小、多少(1).mp4
22997543 video/【乐乐课堂】【小学数学】(全)/01. 一年级上册(I)/【07】 比较高矮、长短、轻重(1).mp4
26128055 video/【乐乐课堂】【小学数学】(全)/01. 一年级上册(I)/【08】 认识加法和5以内数的加法(1).mp4
25679073 video/【乐乐课堂】【小学数学】(全)/01. 一年级上册(I)/【09】 认识减法和5以内数的减法(1).mp4
35896524 video/【乐乐课堂】【小学数学】(全)/01. 一年级上册(I)/【10】 6-10的加减法 (1).mp4
rclone sync -v --dry-run --checksum alist:/baidu/video/jk alist:/aliyun/video/jk
2023/04/26 16:57:48 NOTICE: webdav root 'aliyun/video/jk': --checksum is in use but the source and destination have no hashes in common; falling back to --size-only
2023/04/26 16:57:49 NOTICE: 018 玩转Spring全家桶【完结】/92 使用Spring ...mp4: Skipped copy as --dry-run is set (size 231.087Mi)
2023/04/26 16:57:49 NOTICE: 018 玩转Spring全家桶【完结】/95 深入理解...mp4: Skipped copy as --dry-run is set (size 161.616Mi)
2023/04/26 16:57:49 NOTICE: 018 玩转Spring全家桶【完结】/99 SpringBucks...mp4: Skipped copy as --dry-run is set (size 63.871Mi)
...
Transferred: 10.722 GiB / 10.722 GiB, 100%, 1.082 GiB/s, ETA 0s
Checks: 8648 / 8648, 100%
Transferred: 179 / 179, 100%
Elapsed time: 11.5s
完美。
但注意一点此种方式占用本地资源,依赖本地网络环境