Chia sẻ danh sách User Agent thông dụng nhất

Discussion in 'Chia Sẻ Tool & Bot' started by command, Dec 23, 2018.

Tags:
  1. command

    command Bang Chúng

    Chào ae,

    Ae chơi scrape thì chắc cần UA rồi nhé, đây là danh sách 450 user agents được dùng nhiều dựa theo trang https://myip. ms/browse/comp_browseragents

    Định dạng file là json có các trường: ua, os, browser và total_known_ip

    [Cập nhật ngày 2/2/2019]
    Vì những lý do khác nhau (ví dụ như một số sites thay đổi layout dựa vào thiết bị, mà thay đổi layout thì cấu trúc sites sẽ thay đổi theo nên việc trích lọc thông tin sẽ khác nhau) nên mình cần lọc user-agent thuộc loại nào như desktop, mobile, tablet nên mình cập nhật lại file mới có thông số này.

    Cấu trúc file JSON mới (useragents.json.zip) chỉ có 2 trường: ua và deviceCategory

    Thống kê số lượng user-agents trong file mới:
    all: 11592
    desktop: 10467
    mobile: 1014
    table: 111

    Các bạn có thể dùng site này để xem file JSON này cho tiện: jsonviewer.stack.hu

    Happy autoblog ^^
     

    Attached Files:

    Last edited: Feb 2, 2019
  2. automan

    automan Hương Chủ

    cào bao năm toàn mấy site cùi bắp nên chưa xài UA lần nào luôn {too_sad}
     
  3. grayhatvn

    grayhatvn Bang Chúng

    thank bác.
    chơi cái này: headers={'user-agent': generate_user_agent()} bị youtube block liên tục,
    đưa cái nùi user-agent bác vào hết bị block {flame}
     
  4. automan

    automan Hương Chủ

    {ah}{ah}
     
  5. command

    command Bang Chúng

    [Cập nhật ngày 2/2/2019]
    Vì những lý do khác nhau (ví dụ như một số sites thay đổi layout dựa vào thiết bị, mà thay đổi layout thì cấu trúc sites sẽ thay đổi theo nên việc trích lọc thông tin sẽ khác nhau) nên mình cần lọc user-agent thuộc loại nào như desktop, mobile, tablet nên mình cập nhật lại file mới có thông số này.

    Cấu trúc file JSON mới (useragents.json.zip, download file ở post đầu ^^) chỉ có 2 trường: ua và deviceCategory

    Thống kê số lượng user-agents trong file mới:
    all: 11592
    desktop: 10467
    mobile: 1014
    table: 111

    Nhiều khi crawl với mobile UA có lợi một số điểm, tuy nhiên desktop UA sẽ có lợi thế ở đa số sites.

    Các bạn có thể dùng site này để xem file JSON này cho tiện: http://jsonviewer.stack.hu
     
  6. Hoa Mãn Lâu

    Hoa Mãn Lâu Trưởng Môn

    Chi tiết quá. cảm ơn bạn
     
  7. vandungldc

    vandungldc Tân Thủ Thôn

    code ytb đưa nó vào ntn bạn ? ko biết dùng cái này, chỉ mình với!
     
  8. longhcm

    longhcm Sơ Nhập Giang Hồ

    Lọc ra còn bao nhiêu đây {after_boom}
    Còn chưa đầy 1000 UserAgent
     
  9. Le Hieu

    Le Hieu Sơ Nhập Giang Hồ

  10. thaibaokb2020

    thaibaokb2020 Khách Qua Đường

    Cho e hỏi cái này dùng như thế nào và ở đâu v ạ
     
  11. suri

    suri Khách Qua Đường

    cho e hỏi UA là giống như mình có user chrome của 1 người dùng thật phải k ???
     
  12. MÈO

    MÈO Tân Thủ Thôn

    Hiểu đơn giản là các browse khác nhau dùng trên các os khác nhau thôi :)
     
    Vito_King likes this.
  13. T2clever

    T2clever Khách Qua Đường

    Mình đang có dự án cần scrape data Ytb rất cần người có kinh nghiệm.
    Mô tả dự án: Build 1 server Áp dụng Proxy, UA đầy đủ tránh bị block. Khi có request từ client thì thực hiện scraping data và trả về JSON gồm Title, ID, Author, Thumbnail
    Bạn nào quan tâm vui lòng IB/Call/Zalo: O984-I2O-587 nhé... dĩ nhiên là có trả phí đàng hoàng ạ
     
    Le Hieu likes this.
  14. nguagovt

    nguagovt Sơ Nhập Giang Hồ

    Chạy random UA có hạn chế việc chặn ip ko nhỉ.
     
  15. Hoa Mãn Lâu

    Hoa Mãn Lâu Trưởng Môn

    Thím tạo 1 thớt mới bên việc làm nhé
     
  16. JohnWick

    JohnWick Sơ Nhập Giang Hồ

    Nhu cầu của bác đơn giản quá. Bác pm sẽ miễn phí tip :)))
     
  17. money

    money Hương Chủ

    Có và nên dùng user agent chrome (mobile)
     
    Le Hieu likes this.
  18. nguagovt

    nguagovt Sơ Nhập Giang Hồ

    code php get UA random file json đó như nào au chỉ với :D
     
  19. Nai

    Nai MiddleMan Staff Member

    {beat_plaster} kiếm mấy ngàn mỗi tháng một cách thần thánh nhờ autoblog
     
  20. T2clever

    T2clever Khách Qua Đường

    Hi, bạn check IB nhé