Cafemmo Club
← Quay lại danh sách

Tư vấn crawl site klazify

command22/08/20211186 lượt xem13 bình luận
Chào ae, Mình đang tìm cách crawl dữ liệu từ site klazify[.com] để lấy category của urls. Mình đã lấy trường "_token" và "XSRF-TOKEN" để giả lập POST đến /api/categorize?url=, nhưng thất bại (website trả về trang đăng nhập), trong khi trên trình duyệt thì vẫn có kết quả trả về (ko phải cần login hay API key). Website này nó hạn chế trả về kết quả theo số lượt truy cập dựa trên IP nhé, khi trên 3 lần truy cập POST lấy category trong 1 khoảng thời gian (chưa rõ site cấu hình trong bao lâu nhưng nếu crawl đc dữ liệu thì dùng proxy mà quất :) ) thì phải cần API key hoặc login. Ae tư vấn giúp với, xin cám ơn.

Bình luận

Đang tải...

Đang kiểm tra đăng nhập...

Tư vấn crawl site klazify · Cafemmo Club