Cafemmo Club
← Quay lại danh sách

Crawl nhiều link mysql tăng đột biến

Nai04/10/20173363 lượt xem22 bình luận
Tình hình là em có thuê 1 chú code tool crawl bằng bằng java. Em thử crawl 10.000 url thì dung lượng database là 8GB. Sau đó em thử tạo 2 database khác đặt:
  • 1 cái là crawl 5.000 dòng đầu tiên
  • 1 cái là crawl 5.000 dòng tiếp theo
Kết quả 2 database nhỏ này mõi cái chỉ 2GB. @@ Em hỏi nó tại sao thì nó bảo do cơ chế cache của mysql. Khônng biết phải vậy ko mọi người, vì số lượng link cũng nhiều nếu thế này thì mỗi lần em chỉ crawl 5.000.

Bình luận

Đang tải...

Đang kiểm tra đăng nhập...

Crawl nhiều link mysql tăng đột biến · Cafemmo Club