Cho em hỏi khi em dùng proxy call curl thì bị chặn, local vẫn hoạt động

Discussion in 'Hỏi Đáp Kỹ Thuật' started by Newbie88, Aug 28, 2023.

  1. Newbie88

    Newbie88 Tân Thủ Thôn

    Em thấy 1 số trang khi em dùng curl ở local vẫn cào được dữ liệu, nhưng khi dùng proxy VN thì bị chặn. Cho em hỏi làm thế nào để chặn được như vậy, và có cách nào để bypass trường hợp như này không ạ
    Em xin cảm ơn

    $ch = curl_init();
    curl_setopt($ch, CURLOPT_URL, $url);
    curl_setopt($ch, CURLOPT_REFERER, 'https://truyenq**.vn/');
    curl_setopt($ch, CURLOPT_USERAGENT, 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/87.0.4280.88 Safari/537.36');
    // curl_setopt($ch, CURLOPT_PROXY, $proxy);
    // curl_setopt($ch, CURLOPT_PROXYUSERPWD, $proxyauth);
    curl_setopt($ch, CURLOPT_FOLLOWLOCATION, 1);
    curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
    $curl_scraped_page = curl_exec($ch);
    curl_close($ch);

    Code này e chạy local vẫn ngon khi thêm proxy thì tèo. Xin các huynh chỉ giáo ạ
     
  2. thitgaluoc

    thitgaluoc Hương Chủ

    proxy chắc bị block do dải IP datacenter rồi
     
  3. Le Duc Anh

    Le Duc Anh Khách Qua Đường

    Có 1 cách là proxy qua google dịch. trang này đợt qua google dịch vẫn cào ngon lắm thím
     
    Newbie88 likes this.
  4. thitgaluoc

    thitgaluoc Hương Chủ

    thế thì phải dùng chromedriver à cụ?
     
    Newbie88 likes this.
  5. wingman

    wingman Khách Qua Đường

    thế thì làm con raspberry mà crawl bác làm cái dcom lâu lâu tắt bật cũng dc :D
     
    Newbie88 likes this.
  6. Le Duc Anh

    Le Duc Anh Khách Qua Đường

    Nai and Newbie88 like this.
  7. Newbie88

    Newbie88 Tân Thủ Thôn

    Cách này nghe hay hay bác nhỉ, em phát hiện ra là em bị nhầm trang web ạ kk
    --- Double Post Merged, Aug 29, 2023, Original Post Date: Aug 29, 2023 ---
    cái này nó ra chữ trung của thì sao bác nhỉ
    --- Double Post Merged, Aug 29, 2023 ---
    bác có thử cách add proxy cho thằng firefox driver chưa ạ
     
  8. thitgaluoc

    thitgaluoc Hương Chủ

    nhòm trên link ấy chỗ nào zh cn thì thay giá trị đi