crawl website bị cloudflare chặn .

Discussion in 'AutoBlog' started by mrJQK, Feb 1, 2020.

  1. mrJQK

    mrJQK Khách Qua Đường

    chào các bác , e có crawl 1 website . e dùng thư viện này :
    https://github.com/FriendsOfPHP/Goutte
    nhưng website này sử dụng cdn cloudflare, mỗi lần e lấy dữ liệu thì ko thể lấy được vì bị chặn ở đây. Bác nào có hướng xử lý không ạ ?
     

    Attached Files:

  2. thanh858036

    thanh858036 Sơ Nhập Giang Hồ

  3. Hoa Mãn Lâu

    Hoa Mãn Lâu Trưởng Môn

  4. hoangvn92.it

    hoangvn92.it Sơ Nhập Giang Hồ

    MÌNH dùng c# thì cứ phantomjs cứ gặp vầy cho delay 6s thế là qua :p
    nhưng khổ cái site lấy toàn hình ảnh :( ko biết làm sao lưu cookie vs session nên đành bất lực
     
  5. nguyennv123

    nguyennv123 Tân Thủ Thôn

    Winautomation giải quyết tốt nhé bác :D
     
    mrthanhjqk likes this.
  6. T-13

    T-13 Khách Qua Đường

    mình nhận crawl nhá, by pass cloudfare rất lẹ .luôn