MegaCmd và Gdrive => Hai cái này dùng để upload và download tệp được lưu trong mega.nz google/drive.Mình dùng hai cái này để lưu dữ liệu và chuyển dữ liệu crawl tới một vps chính nhiều dung lượng hơn để upload bài Khi crawl dữ liệu nếu bạn cần kiểm tra xem url đã tồn tại hay chưa mà ko cần lấy thông tin của nó như id thì dùng lệnh truy vấn sau tốc độ truy vấn tăng lên rất nhiều SELECTEXISTS(SELECT*FROM table1 WHERE...)
Chia sẻ nhỏ tiếp chắc chỉ hữu ích với mấy bạn mới làm,khi crawl dữ liệu ví dụ như từ khóa mình lưu ra file ban đầu mình để tất cả cùng một thư mục,sau này từ khóa nhiều thấy làm như thế không ổn Vì quá nhiều từ khóa cùng một thư mục muốn nén lại cất đi rất mệt,nên để dễ quản lý thì khi đạt số lượng từ khóa nhất định trong một thư mục thì tạo một thư mục mới cho nó Mỗi khi tạo thư mục mới có thể bổ sung thêm lệnh cho nó tự up lên mega hay gdrive,bằng hai phần mềm mình giới thiệu ở trên
Có thể bạn chưa biết khi thêm website lên webmaster thì phương thức xác thực up file là không đổi.Nên bạn nào làm nhiều site khi đăng ký thì download file đó về để cùng project.Thì khi đăng ký có thể tiết kiệm bớt thời gian so với cách khác như dán thẻ meta...để xác thực
Tip nhỏ: Khi dùng vps window nếu dùng trình duyệt để download dễ có tình trạng lag giật.Bạn nên áp dụng cách download dưới đây.Gõ lệnh vào powershell Code: Import-Module bitstransfer start-bitstransfer -source "url" -destination C:\Users\User\Downloads\file.name
Rclone em đang tìm hiểu,nó rất hay.Nếu không có yêu cầu đồng bộ hay giao tiếp cloud,thì lệnh trên em thích hợp hơn vì nó không cần cấu hình hay cài đặt gì cả,phù hợp cho công việc đơn giản
