Cafemmo Club
← Quay lại danh sách

Thảo luận crawl similarweb.com

command10/12/20183709 lượt xem19 bình luận
Xin chào, Có ae nào đã crawl được dữ liệu của thằng này chưa? Mình đang tò mò nó phát hiện crawler bằng cách nào? Crawler mình dùng User-Agent của các trình duyệt và ngẫu nhiên IP rồi, nhưng có vẽ như similarweb chỉ cho phép truy cập khi trình duyệt bật Javascript (mà crawler mình thì ko chạy được JS) nên nó chặn với mã 405. Các bạn có thể crawl thằng này ko? Có bạn nào từng dùng crawler kết hợp với 1 JS service như PhantomJS hoặc Splash hoặc công cụ tương tự chưa? Xin hãy tư vấn và chia sẻ, thanks. Đây là hình ảnh mã code 405 mà similarweb trả về:

Bình luận

Đang tải...

Đang kiểm tra đăng nhập...

Thảo luận crawl similarweb.com · Cafemmo Club