Làm thế nào để cào hết các trang của google search?

Discussion in 'Hỏi Đáp Kỹ Thuật' started by firefox, Aug 30, 2020.

  1. firefox

    firefox Bang Chúng

    Hi các bác, hôm nay em mới tập tành cào google search thì gặp vấn đề sau:

    Search google từ khóa của em search được 8.8m kết quả:
    upload_2020-8-30_11-1-30.png

    Em click tới trang 39 thì vẫn ổn ổn
    upload_2020-8-30_11-2-6.png

    Như khi click vào trang 40 thì nó chỉ còn có 399 kết quả

    upload_2020-8-30_11-2-35.png
    Các bác nào từng gặp qua có thể gợi ý cho em con đường tiếp theo được không ạ, hay đơn giản là em chưa đủ độ đẹp trai :(
     
  2. money

    money Hương Chủ

    Giờ G không trả nhiều page như xưa nữa, thường vài chục page thôi.
    Muốn search ra nhiều thì phải query nhiều, ví dụ search như sau:
    keyword + bee
    keyword + snake
    keyword + horse
    ...
    Túm lại thì vấn đề này cũng có nói trên 4r rồi hay sao đó, anh ko nhớ chính xác. Anh nhớ là đã share 1 list mấy trăm K word để add thêm vào như trên.
     
    firefox likes this.
  3. firefox

    firefox Bang Chúng

    cảm ơn anh, em hiểu ý tưởng rồi ạ. Chúc anh cuối tuần vui vẻ
     
  4. vipkhongtin

    vipkhongtin Sơ Nhập Giang Hồ

    Bác dùng php hay python vậy?
    Có bị bắt xác minh ko?
     
  5. firefox

    firefox Bang Chúng

    Mình dùng c# bạn ạ, set delay, proxy, useragent hợp lý một chút sẽ ko dính capcha
     
    vipkhongtin likes this.
  6. thitgaluoc

    thitgaluoc Hương Chủ

    đào mộ tý, xin hỏi kinh nghiệm của bác @firefox vì em cũng đang mày mò khoản này.
    Em đang dùng puppeteer hơi ngốn ram và không scale lên đuợc, bác có kinh nghiệm gì share em xin với
     
  7. firefox

    firefox Bang Chúng

    Quất thẳng bằng request luôn bác. Nhưng mà chỉ tiết kiệm ram thôi, chứ nếu scale lên thì tốn proxy phết. Ngày trước em có cào được, nhưng site méo ra tiền nên em bỏ ý tưởng đó rồi {too_sad}
    --- Double Post Merged, Aug 26, 2021, Original Post Date: Aug 26, 2021 ---
    Nếu bác giàu thì xài brightdata ấy, nó có sẵn api cào gg luôn {lol}