web crawl bị lỗi 403 , cách dùng cookie

Discussion in 'Hỏi Đáp Kỹ Thuật' started by xhauto, May 18, 2019.

  1. xhauto

    xhauto Khách Qua Đường

    Mình local crawl thử 1 web. đc vài lần là bị lỗi
    An error (403 Forbidden) has occurred in response to this request.
    Khi bị ban rồi trình duyệt web cũng bị lỗi y chan, nhưng mò cái cookie trước khi bị lỗi thì vào đc. Test thì lấy 4 cái giá trị cookie này __uzma, __uzmb, __uzmc, __uzmd thì trình duyệt nó vào đc nhưng tool crawl thì k vào được.
    Vụ cookie này có bác nào rành chỉ em với
     
  2. Hoa Mãn Lâu

    Hoa Mãn Lâu Trưởng Môn

    Cụ xài món gì để craw? Ae mới chỉ dc chứ
     
    xhauto likes this.
  3. Nai

    Nai MiddleMan Staff Member

    Test xem trên di động ở local thì như thế nào, trên VPS thì như thế nào luôn đi bác.
    Mình gặp 1 trường hợp web vào trên laptop được đúng 5 trang, từ đó về sau ko có pc nào vô được. Di động thì chỉ mỗi android vào được :)).
    Đến giờ vẫn thế, muốn lướt web đó để copy tay cũng không được, làm như mình crawl xong nó chặn tất cả thiết bị màn ảnh rộng vậy {cry}
     
    xhauto likes this.
  4. Hoa Mãn Lâu

    Hoa Mãn Lâu Trưởng Môn

    Quăng cái site lên ae xem thử nào
     
  5. Nai

    Nai MiddleMan Staff Member

    oldcottage.net
     
  6. Trần Trọng Bách

    Trần Trọng Bách Sơ Nhập Giang Hồ

    Mình vào trên laptop thoải mái mà nhỉ, bấm bét nhè chưa thấy gì, bấm hết menu của nó rồi.
     
    Nai likes this.
  7. Nai

    Nai MiddleMan Staff Member

    Hiz, sao kì vậy ta. NHờ mấy đứa bạn test vào cũng ko được luôn. Giờ chỉ đọc trên di động được, mỏi mắt vờ lờ
     
  8. xhauto

    xhauto Khách Qua Đường

    mình xài wordpress, dùng guzzehttp crawl
     
  9. xhauto

    xhauto Khách Qua Đường

    Nay mình check lại site nó mở ban ip rồi, crawl chậm chậm nó k ban