Thảo luận về cách tạo Backconnect hay Proxy Gateway dùng Rotating Proxies
command09/12/20202951 lượt xem9 bình luận
Chào các bạn,
Mình hiện tại đang dùng stormproxies với gói Rotating Proxies, dịch vụ ở đây đảm bảo chất lượng, nhưng giá thì hơi chát tí. Mình có danh sách các proxies và muốn tạo rotating proxies sử dụng proxy gateway như stormproxies thì có open source nào sử dụng ko? Mình tìm trên Internet và github thì có nhiều open source về proxy server, nhưng chưa thấy hỗ trợ rotating proxies. Mô hình này giống như http://scrapoxy.io/ nhưng chạy scrapoxy thì tốn $ tạo VM lắm, nên mình muốn dùng danh sách proxies mình có để tiết kiệm $ :)
Mô hình giống như sau:
Crawler ---> Proxy Gateway ---> [tự động chọn proxy trong danh sách proxies và loại bỏ proxy nào chết]
Mình có thể code chức năng rotating proxies để chạy trong 1 phần mềm, nhưng vì nhu cầu mình muốn tạo proxy gateway như trên để sử dụng trong nhiều crawler scripts khác nhau.
Cám ơn các bạn tư vấn,
Bình luận
Đang tải...
Đang kiểm tra đăng nhập...
