MegaCmd và Gdrive => Hai cái này dùng để upload và download tệp được lưu trong mega.nz google/drive.Mình dùng hai cái này để lưu dữ liệu và chuyển dữ liệu crawl tới một vps chính nhiều dung lượng hơn để upload bài
Khi crawl dữ liệu nếu bạn cần kiểm tra xem url đã tồn tại hay chưa mà ko cần lấy thông tin của nó như id thì dùng lệnh truy vấn sau tốc độ truy vấn tăng lên rất nhiều SELECTEXISTS(SELECT*FROM table1 WHERE...)