Mời cộng tác lấy question answers yahoo

Discussion in 'Thảo Luận Chung' started by longhcm, Apr 24, 2021.

  1. longhcm

    longhcm Sơ Nhập Giang Hồ

    Tình hình ngày 05/04/2001 yahoo shutdown (Cái này ai cũng biết).
    - yahho có khoản 85tr question (1777 file sitemap, mỗi file khoản 47k link question)
    - 1 mình lấy không hết (một ngày lấy tối đa 5 file)

    Vậy mời AE hợp tác lấy question answers yahoo (một người lấy 10 file sitemap) vì vậy cần 30 AE
    Sau ngày 05/04/2001 AE up lên chia sẻ với nhau (không chia sẻ ra ngoài).

    - Mình có làm bằng file php có thể up lên host chạy luôn hoặc chạy xamp trên locohost

    AE ai có hứng thú đăng ký thì điền email
    Đăng ký để mình phân phối file cần lấy, tránh trường hợp AE lấy trùng file

    yahoo.jpg
     
    Last edited: Apr 24, 2021
  2. Nai

    Nai MiddleMan Staff Member

    Bác ghi ra file csv à.
    Trung bình 10 sitemap bao nhiêu GB vậy thớt.
     
  3. longhcm

    longhcm Sơ Nhập Giang Hồ

    - 10 file sitemap có 30MB thôi
    - Lấy question khoản 100MB file txt
    - Chuyển txt sang csv: tìm "|" thay thành "\t" và đổi đuôi file thành .csv
     
    Last edited: Apr 24, 2021
  4. kenyc

    kenyc Tân Thủ Thôn

    Bác chủ check inbox nhé
     
    Last edited: Apr 24, 2021
  5. Tạ hơi nặng

    Tạ hơi nặng Bang Chúng

    Nếu trong text có ; nó nhận nhầm cột thì sao bác :v
     
  6. longhcm

    longhcm Sơ Nhập Giang Hồ

    Đưa file cho mình, mình xử lý không bị lỗi nhé.
    VD: file lấy thô
     

    Attached Files:

  7. Jerous

    Jerous Khách Qua Đường

    Check inbox bác ơi
     
  8. kenyc

    kenyc Tân Thủ Thôn

    Nếu cần thì thay cái splitter | thành cái khác, ví dụ [[Splitter]] thì sẽ không thể trùng được
     
  9. dev9x

    dev9x Sơ Nhập Giang Hồ

    chất quá, sau dựng site lên lại hốt bạc nhỉ các bác :D
     
  10. longhcm

    longhcm Sơ Nhập Giang Hồ

    Hiện tại chỉ có 3 người tham gia và mình là 4.
    Một người chạy được 5 file x 10 ngày / 1 IP = 50 file
    Tính ra tổng cộng chạy được 200 file => quá ít => tổng file 1777 file

    Quyền lợi và trách nhiệm:
    - Sau ngày 4/5 mình gom lại toàn bộ file txt để tạo file csv
    - AE nào tham gia craw được chia sẻ toàn bộ dữ liệu
    - Trách nhiệm: AE không chia sẻ ra bên ngoài cho bất kỳ ai (trừ AE tham gia craw) còn tại sao thì AE tự hiểu.

    AE nào tham gia đăng ký đến sáng mai nhé.
     
  11. huvo6789

    huvo6789 Tân Thủ Thôn

    Mình tham gia với
     
  12. Mr.BTD

    Mr.BTD Moderator Staff Member

    Check inbox thớt ơi
     
  13. dev9x

    dev9x Sơ Nhập Giang Hồ

    check inbox nhé bác ơi
     
  14. firefox

    firefox Bang Chúng

    Chia sẻ là tốt, nhưng vô hình chung việc này nó làm data của bác ít giá trị hơn, nếu cào theo sitemap thì có mỗi 83.6m post, 1 người thuê 1 loạt vps DO cào 1 2 ngày là xong hết, chi phí vps <15$
     
    Nai likes this.
  15. Thanh Nguyen

    Thanh Nguyen Bang Chúng

    Các bác cứ cào đi. Hôm sau e cào lại của các bác. Ez game =))
     
    automan likes this.
  16. longhcm

    longhcm Sơ Nhập Giang Hồ

    AE nào crawl inbox email cho mình liền nhé.

    Đóng bài viết tại đây
     
  17. Tạ hơi nặng

    Tạ hơi nặng Bang Chúng

    E k hiểu code lắm nhưng bác nói e thấy đúng mà, cần 1 task ntn thì thuê vps cào nhát là xong mà nhỉ
     
  18. longhcm

    longhcm Sơ Nhập Giang Hồ

    Thank, lần sau chú ý vụ này. hehe.
     
  19. automan

    automan Hương Chủ

    {brick}
     
  20. money

    money Hương Chủ

    Content mất zin, chơi hổng sướng đâu {boss}{boss}{boss}