Crawler amazon qua proxy bị lỗi
Hoa Mãn Lâu06/02/20202908 lượt xem19 bình luận
Tình hình là mình đang crawler 1 ít dữ liệu từ amazon, có xài qua proxy instantproxies nhưng rất kì lạ 1 cái là mình chạy ở localhost thì craw ngon lành, nhưng đem code đó lên vps thì bị dính captcha. Thử 10 lần vẫn y như vậy. Ko biết bị lỗi gì ae có gặp phải cho mình xin ý kiến
Đây là code mình craw, dùng cả trên vps và local
[QUOTE]
https://www.amazon.com/xxxxx/";
$ch = curl_init();
curl_setopt($ch, CURLOPT_HEADER, 1);
curl_setopt($ch, CURLOPT_PROXY, "xxx.xxx.xxx.xxx:3128");
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1); // Return data inplace of echoing on screen
curl_setopt($ch, CURLOPT_TIMEOUT, 30);
$tmpfname = dirname(__FILE__) . '/cookie.txt';
curl_setopt($ch, CURLOPT_COOKIEJAR, $tmpfname);
curl_setopt($ch, CURLOPT_COOKIEFILE, $tmpfname);
curl_setopt($ch, CURLOPT_USERAGENT,'Mozilla/5.0 (Windows NT 6.1; WOW64; rv:54.0) Gecko/20100101 Firefox/58.0');
curl_setopt($ch, CURLOPT_URL, trim($url));
curl_setopt($ch, CURLOPT_SSL_VERIFYPEER, 0); // Skip SSL Verification
$rsData = curl_exec($ch);
curl_close($ch);
?>
[/QUOTE]
Bình luận
Đang tải...
Đang kiểm tra đăng nhập...
