Hỏi Crawl data amazon

Discussion in 'Thảo Luận Chung' started by Dung Vuong, Apr 26, 2018.

  1. Dung Vuong

    Dung Vuong Sơ Nhập Giang Hồ

    Các thánh cho em hỏi crawl data amazon các bác có dùng proxy không vậy. Và request bao nhiêu sp thì slepp 1 lần bao nhiêu giây?. E thank trước nhé
     
  2. money

    money Hương Chủ

    Chấm .
     
  3. Trần Trọng Bách

    Trần Trọng Bách Sơ Nhập Giang Hồ

    Mình có dùng proxy, sleep 5s sau mỗi lần request đến sản phẩm. Asin thì lấy qua Zoneasinhunter.
     
  4. Dung Vuong

    Dung Vuong Sơ Nhập Giang Hồ

  5. tombong

    tombong Khách Qua Đường

    Nếu crawl = httprequest thì nên phải qua proxy. Đã bóc tách được dữ liệu thì bạn có thể crawl free proxy về luôn. Để chạy tự động nếu hết proxy lại tự crawl proxy mới về.
     
  6. Dung Vuong

    Dung Vuong Sơ Nhập Giang Hồ

    Có nguồn proxy free nào chất chất k bác. Em thử mấy nguồn mà k dc
     
  7. Hoa Mãn Lâu

    Hoa Mãn Lâu Trưởng Môn

    Đi mua đi thím. Hàng có fee xài sướng hơn free nhiều. Còn muốn free thì có thể thử thằng tor
     
  8. Nai

    Nai MiddleMan Staff Member

    Đầu tư tor là sao Admin.
     
  9. money

    money Hương Chủ

    Kêu xài Tor là free chứ đầu tư chỗ nào {doubt}{doubt}{doubt}

    P/S: tor chậm bỏ mẹ
     
    Nai likes this.
  10. tombong

    tombong Khách Qua Đường

    Search google "free us proxy" rồi crawl proxy từ chục source về. Để hệ thống tự chạy, hết proxy lại tự động crawl update từ các source này. Mình làm cách này và đang có khoảng 20M products amazon :)
     
  11. Nai

    Nai MiddleMan Staff Member

    Ý là how to use ấy anh. Nói nhộn. Bữa anh @console có chia sẻ bí quyết rồi mà chưa sài. Hỏi thử Admin xem có chiêu gì khác không để đưa vào thư viện luôn.
     
  12. Hoa Mãn Lâu

    Hoa Mãn Lâu Trưởng Môn

    NHớ nhớ là dùng proxy tor để craw, chứ chưa xài bao h, thằng đó củng hơi chậm đấy
     
  13. console

    console Bang Chúng

    Cũng gì chậm bỏ mẹ chứ cũng :)) hic cũng tại nhà nghèo nhưng đam mê nên đành bỏ $2.5 tháng ra build chục port proxy ra cho bằng anh bằng em
     
  14. Trần Trọng Bách

    Trần Trọng Bách Sơ Nhập Giang Hồ

    Bạn mua proxy đi cho nhanh, thời gian còn lại làm việc khác. Mình mua instantproxies.com thấy ok, hàng này đọc thấy a Andy giới thiệu.
     
  15. Nai

    Nai MiddleMan Staff Member

  16. automan

    automan Hương Chủ

    {brick}{brick}{brick}