Crawl site đang dùng cloudflare

Discussion in 'Thảo Luận Chung' started by EDM, Jan 17, 2018.

  1. EDM

    EDM Sơ Nhập Giang Hồ

    Bác tìm trên github là có ạ
     
  2. Hoa Mãn Lâu

    Hoa Mãn Lâu Trưởng Môn

    Sau nầy vào với ip nào củng ko bị nếu có cái cookie đó hở thớt?
     
  3. EDM

    EDM Sơ Nhập Giang Hồ

    Cái vụ test cookie đó với ip khác e chưa thử nữa cụ @@.
     
  4. Hoa Mãn Lâu

    Hoa Mãn Lâu Trưởng Môn


    Mới dc 1 cao nhân share cách by pass cloud flare, bằng C#. Tự thực thi javascript luôn. Dùng thư viện Xnet và Jnit nhé
     
    hoangvn92.it and EDM like this.
  5. automan

    automan Hương Chủ

    ai nói CF chấp DMCA vậy pa {confuse}
    CF nó forward email cho nhà cung cấp thôi {baffle}
     
    EDM likes this.
  6. EDM

    EDM Sơ Nhập Giang Hồ

    Thì nhà cung cấp nó lơ thì oke mà cụ.
     
  7. EDM

    EDM Sơ Nhập Giang Hồ

    nếu cụ biết autoit thì có udf passed
     
  8. automan

    automan Hương Chủ

    hồi trước có lần mình bị CF khóa luôn site, ko thèm forward sang hosting {amazed}, còn bây giờ thì nó forward qua bên hosting xử lý {boss}
     
  9. EDM

    EDM Sơ Nhập Giang Hồ

    Bây giờ vẫn có trường hợp nó del site mình, e nghĩ nguyên do là mình dùng gói free của nó. Nếu chịu khó mua gói có fee thì nó forward to hosting.
     
    automan likes this.
  10. mylovehg

    mylovehg Tân Thủ Thôn

    góp thêm cho ae trang moviewatcher.is, trước mình cũng crawl trang này nhưng trình non chưa phát triển dc
     
  11. hoangvn92.it

    hoangvn92.it Sơ Nhập Giang Hồ

    minh dùng phantomjs lấy được qua cf rồi.
    mà ko biết làm sao lưu cookies ở phantomjs để lần sau khỏi qua 5s nữa.
    chứ lần nào cũng 5s chắc chớt
     
  12. grayhatvn

    grayhatvn Bang Chúng

    chơi kiểu cùi cùi cũng dc, call selenium phát đầu qua đc rồi mấy link sau không cần call selenium nữa,
    ví dụ 1 page của site thông thường là 20 bài, thì selenium loop lấy dc 20 link bài bài viết, rồi hook vô link bài viết lấy info, làm kiểu này thì 20 bài call selenium 1 lần, 1 lần call selenium tầm 7 đến 10 giây cũng ko chậm lắm :D
     
  13. hyperlight

    hyperlight Khách Qua Đường

    convert code sang php đi bác :D
    cái thư viện js là Jint chứ k phải jnit :D