Cho em hỏi cách chuyển folder dung lượng lớn, dữ liệu lớn giữa các server

Em đang muốn chuyển vài TB dữ liệu (ảnh + video) qua server mới mua.
Các huynh bày cho em cách nào chuyển ko bị mất data với tối ưu với ạ ( em định dùng scp nhưng lâu + đang chuyển nó bị gián đoạn xong là sml ).
Em cảm ơn ạ.

 

Chạy lệnh:

Code:

screen
rsync -avz -e ssh /<source_folder>/* <user>@<destination_IP_server>:/destination_folder/

Khi gõ lệnh rsync thì sẽ cần nhập password của user của destination_IP_server.

P/S:
- Nếu số lượng files lớn, ví dụ mình từng chuyển hơn 3 triệu files ảnh thì thời gian gần như khoảng hơn 5 ngày.
- Nếu số lượng files lớn và nếu dung lượng máy hiện tại còn nhiều dung lượng trống thì nên gom các files lại (ko nén nhé, vì nén files sẽ tốn thời gian thực thi) để sau đó rsync thì nhanh hơn.

 

Hình như admin chưa thử command với đối số trên rồi. Command trên ko gì thêm nhé, cũng như ko cần config SSH keys. Dĩ nhiên nếu VPS hoặc máy chủ chưa cài screen thì cài thôi, rsync gần như mặc định trên các dòng Linux. Nếu config SSH keys thì argument sẽ khác chút và ko cần phải nhập password.

 

Move data qua lại giữa các server thì dùng rsync là nhanh nhất rồi.

Ở trên @command dùng thêm screen là để đảm bảo nếu tác vụ chạy quá lâu, lỡ rớt kết nối ssh từ client đến server thì nó vẫn chạy ngầm trên server (còn kết nối từ server cũ chứa data đến server mới thì hầu như ko bao giờ rớt nên khỏi lo. Lỡ xui ráng chịu khó làm lại)

p/s: giải thích thêm cho dễ hiểu chứ lệnh trên là ok rồi

 

Config id_rsa key để chạy tự động, ko phải nhập pass, trong cron chẳng hạn

 

Em cảm ơn bác ạ

 

Chạy thật sự nhanh & mượt, Thanks các bác nhiều nhé