Crawl site có sử dụng Ajax

Discussion in 'Hỏi Đáp Kỹ Thuật' started by vipkhongtin, Jul 29, 2018.

  1. vipkhongtin

    vipkhongtin Sơ Nhập Giang Hồ

    Hi các bác,
    chẳng biết e nói vậy có phải không, nhưng mà e đang lấy thông tin web thì thấy rằng web đó nó dùng ajax, script rất nhiều.
    Mà dữ liệu chính cần lấy lại nằm tất trong đó,
    vậy giờ các bác cho e 1 giải pháp với ạ.
    Thanks all!
     
  2. I Love Php

    I Love Php Bang Chúng

    request tới cái ajax đó
     
    vipkhongtin likes this.
  3. Hoa Mãn Lâu

    Hoa Mãn Lâu Trưởng Môn

    Bắt cái request đó rồi craw thôi, Dễ mà
     
    vipkhongtin likes this.
  4. vipkhongtin

    vipkhongtin Sơ Nhập Giang Hồ

    E ko đc học code nên chưa hiểu lắm các bác ạ.
    Làm sao để bắt cái request đó vậy?
     
  5. Hoa Mãn Lâu

    Hoa Mãn Lâu Trưởng Môn

    Bật f12 tab network xem cái request đó ra sao rồi mô phỏng theo thím
     
    vipkhongtin likes this.
  6. automan

    automan Hương Chủ

    không biết code, giờ chỉ cách bắt req đó, rồi lại hỏi cách lấy dữ liệu từ req đó {surrender}, thôi bạn nên học khóa căn bản nếu muốn tiếp tục tự làm món này , vậy cho dễ {sure}
     
  7. vipkhongtin

    vipkhongtin Sơ Nhập Giang Hồ

    e chỉ ko đc học thôi bác, chứ mấy trang bình thường thì e clone ngon lành ạ.
    Vì cái ajax e chưa động vào ba ogiờ nên nhờ các bác khai sáng cho ạ
     
  8. vipkhongtin

    vipkhongtin Sơ Nhập Giang Hồ

    thanks bác ạ, để e mò thử coi sao :)
    có gì e lại lên nhờ ae cafemmo khai sáng ạ :D
     
  9. wpresources

    wpresources Bang Chúng

    Khai chưa khai rồi thì nhả ra chút cho em với?
     
  10. vipkhongtin

    vipkhongtin Sơ Nhập Giang Hồ

    Chưa bác ạ
    Vào network trong f12 xong ko tùm đc file thế là thôi luôn
    Ko lấy phần đó nữa
     
  11. Hoa Mãn Lâu

    Hoa Mãn Lâu Trưởng Môn

    Ko ngại thì inbox xem site thế nào.
     
  12. wpresources

    wpresources Bang Chúng

    Mấy site có ajax thì chất lượng nội dung khá tốt,nhưng nó hay có kiểu loadmore trang với ajax.Anh xem thử site thằng việt nam
    http://genk.vn/

    Nó sẽ load bài viết mới khi kéo chuột đến cuối bài.làm thế nào em có thể có đường dẫn các trang tiếp theo của nó vậy pro
     
  13. Hoa Mãn Lâu

    Hoa Mãn Lâu Trưởng Môn

    Thử với link nầy nhé
    http://genk.vn/ajax-home/page-1/201...514__20181104112959562__20181104013220968.chn

    Cách để lấy mấy cái cat khác luôn nè, mở source của trang home http://genk.vn ra. tìm cái dòng
    Thấy có gì tương đồng giữa đoạn nầy với cái url mình đưa ở trên hem?

    Còn ở cat khác genk.vn/dien-thoai.chn thì link là dạng
    http://genk.vn/ajax-cate/page-3-c192/20181102235202499__20181104014841359__20181104040503937.chn củng tìm trong code sẽ thấy code tương tự :v
     
    Tuan0204 and vipkhongtin like this.
  14. wpresources

    wpresources Bang Chúng

    Mã của pro đưa mình hiểu là
    PageIndex=là chỉ số page
    hdExcluId=20181101171755296__20181029142539828__2018110313392514__20181104112959562__20181104013220968 là đường dẫn
    hdPageUrlAjax=/ajax-home/page-{0}/{1}.chn đường dẫn gắn vào

    Đệ kéo hơi ít kéo nhiều hơn tí đã thấy được đoạn url pro đưa,nhưng mà vẫn thắc mắc sao pro lại tìm được đoạn form kia vậy{please}
     
    Last edited: Nov 4, 2018
  15. Hoa Mãn Lâu

    Hoa Mãn Lâu Trưởng Môn

    [​IMG]
    Mình xài opera. Thường trong tab XHR hoặc Doc, có khi là trong js nhưng rất hiếm. Nhớ là clear hết mấy cái request. trước khi cho nó load ajax mới để dễ nhìn.
     
    Dung Le, vipkhongtin and wpresources like this.
  16. wpresources

    wpresources Bang Chúng

    Đã test thử nhiều lần và thành công,may quá có cái topic này,không mình mà dùng selemium mà kéo chuột đến cuối trang thì lâu quá
     
  17. vipkhongtin

    vipkhongtin Sơ Nhập Giang Hồ

    thanks bác @Hoa Mãn Lâu đã nhiệt tình thêm cái ảnh vào.
    Em coi ảnh xong là làm đc rồi ạ :D :D
    Thanks bác @wpresources luôn vì đào top ạ :D
     
    Dung Le and wpresources like this.