如何使用rclone进行备份？请看详细教程-CFANZ编程社区

Rclone 是一个用于和同步云平台同步文件和目录命令行工具。采用Go语言开发。

使用方法

1.安装rclone

curl https://rclone.org/install.sh | sudo bash

2.填写需要备份的源数据端和目标数据的信息

vim /root/.config/rclone/rclone.conf
[rgw-13]
type = s3
provider = Ceph
access_key_id = xxxxxxxx
secret_access_key = xxxxxxxxxxx
endpoint = http://192.168.10.13:7480
bucket_acl = public-read-write
[rgw-12]
type = s3
provider = Ceph
access_key_id = xxxxxx
secret_access_key = xxxxxxxxxxxxxxxxxxxxxxxx
endpoint = http://192.168.10.12:7480
bucket_acl = public-read-write

3.执行rsync命令，第一个参数是源数据端，第2个参数是迁移目标端“:”后面是各自对应的桶

rclone sync rgw-13:new-bucket-08a8c067 rgw-12:new-bucket-1ca2d661 --checksum

常用命令

—s3-provider Other
-max-backlog#N#在 sync/copy/move时使用，占用N倍KB内存
—buffer-size=SIZE#加速 sync/copy/move
—bwlimit UP:DOWN#上传下载限速，b|k|M|G
—size-only使用sync功能配合此参数，表示只有文件大小有变化才会同步文件，可能存在文件大小未变但是文件已经发生变化，不推荐使用；
—checksum通过md5判断文件是否有变化，md5发生变化时才会同步文件；如果source是本地磁盘，这会带来较多的磁盘和CPU消耗；如果source和destination都是对象存储，则推荐使用这个参数；
—update—use-server-modtime通过mtime判断文件是否变化，只有当本地文件的mtime较新时，文件才会上传
—fast-list rclone默认的遍历方式是单独处理每个目录，每个目录调用1次API。使用这个参数将会将所有文件信息加入内存（1000个文件进行1次API调用），1个文件消耗1k内存。
—no-traverse当destination中文件较多时，使用此参数将会直接查找这个文件，而不是通过文件列表
—max-age限制文件最大age，用来上传最近的文件
—s3-no-head默认上传后会通过head检测文件是否已经上传，通过此参数可关闭。
—s3-upload-cutoff文件大于这个值会使用分片上传，默认值是200M，最大值是5G https://rclone.org/s3/#s3-upload-cutoff
—s3-disable-checksum 不计算md5
—s3-upload-concurrency默认值4，有多少chunck同时上传，如果传少量大文件，提高这个参数可以提升带宽。
—s3-chunk-size默认值 5M
—s3-max-upload-parts默认值10000
—s3-force-path-style默认值true
—s3-v2-auth默认值false
—s3-list-chunk默认值1000，每次list返回的key数量

其他对象储存

修改 provider 信息，根据云商类型填入

Choose a number from below, or type in your own value.
1 / Amazon Web Services (AWS) S3
\ “AWS”
2 / Alibaba Cloud Object Storage System (OSS) formerly Aliyun
\ “Alibaba”
3 / Ceph Object Storage
\ “Ceph”
4 / Digital Ocean Spaces
\ “DigitalOcean”
5 / Dreamhost DreamObjects
\ “Dreamhost”
6 / IBM COS S3
\ “IBMCOS”
7 / Minio Object Storage
\ “Minio”
8 / Netease Object Storage (NOS)
\ “Netease”
9 / Scaleway Object Storage
\ “Scaleway”
10 / SeaweedFS S3
\ “SeaweedFS”
11 / StackPath Object Storage
\ “StackPath”
12 / Tencent Cloud Object Storage (COS)
\ “TencentCOS”
13 / Wasabi Object Storage
\ “Wasabi”
14 / Any other S3 compatible provider
\ “Other”