cách craw thằng similarweb

Discussion in 'Thảo Luận Chung' started by Hoa Mãn Lâu, Sep 20, 2018.

  1. Hoa Mãn Lâu

    Hoa Mãn Lâu Trưởng Môn

    Tình hình là em có việc cần craw thằng similarweb mà sao dc tí cái nó chặn. xài trình duyệt vẫn vô dc bình thường, có cụ nào craw rồi cho e xin ít bí kíp với ạ. Em xài curl
    Url e cần craw theo dạng
    https://www.similarweb.com/website/cafemmo.club
     
  2. thetrue

    thetrue Sơ Nhập Giang Hồ

    đặt thời gian nghỉ mỗi lần request thử xem thớt
     
  3. xmenvn2510

    xmenvn2510 Moderator + MiddleMan Staff Member

    e hỏi ngu tí. Bác mần món gì mà cào của nó thế. Bật mí e tí.
     
  4. Hoa Mãn Lâu

    Hoa Mãn Lâu Trưởng Môn

    À phân tích website với các chỉ số dùng cho seo. Xài của nó cho lẹ
     
  5. EDM

    EDM Sơ Nhập Giang Hồ

    Cụ lấy cookie từ trình duyệt rồi qua cào thử xem
     
  6. money

    money Hương Chủ

    Có cách nhưng không chỉ {sure}{sure}{sure} Bia thì may ra ...
     
  7. Nai

    Nai MiddleMan Staff Member

    Bia gì cũng được hay sao anh, để em biết chừng cái nào khó quá mang bia lên đây
     
  8. money

    money Hương Chủ

    Uh, bia nào cũng được, anh chỉ chọn quán thôi.
     
  9. Nai

    Nai MiddleMan Staff Member

    {burn_joss_stick}{burn_joss_stick}{burn_joss_stick}
     
  10. liminthoi

    liminthoi Khách Qua Đường

    Mình từng làm thế này . Tuy nhiên tốc độ rất chậm
    Build 1 app android.
    App Android mở similarweb bằng webview -> webview trích được source -> lưu lại -> dùng simplehtml dom đọc

    Tuy nhiên vẫn phải quay tay vì thỉnh thoảng phải nhập capchar
     
  11. Phan Thị

    Phan Thị Bang Chúng

  12. ngulam

    ngulam Khách Qua Đường

    Em cũng biết cách, cho em ké cùng đi anh Money {big_smile}
     
    money likes this.
  13. thetrue

    thetrue Sơ Nhập Giang Hồ

    em cũng biết nhưng không chỉ. có cách pass phần lớn site muốn crawl {big_smile}
     
  14. money

    money Hương Chủ

    Cách anh biết là cách em chỉ đó :D
     
    ngulam likes this.
  15. Nai

    Nai MiddleMan Staff Member

    Chưa mua bản quyền mà đi thương mại {bye}
     
  16. Phan Thị

    Phan Thị Bang Chúng

  17. xmenvn2510

    xmenvn2510 Moderator + MiddleMan Staff Member

  18. Phan Thị

    Phan Thị Bang Chúng

    Dùng ovh thấy ko bị dmca
     
  19. xmenvn2510

    xmenvn2510 Moderator + MiddleMan Staff Member

    Mình dùng ovh sys bị nó khoá phải yêu cầu mở lại. ovh thì chưa dính phát nào. Muốn kiếm thằng nào dmca ổn thì reproxy qua. Mà chưa thấy thằng nào ổn.
     
  20. thitgaluoc

    thitgaluoc Hương Chủ

    Veesp bác thử chưa?