Chia sẻ danh sách User Agent thông dụng nhất

Chào ae,

Ae chơi scrape thì chắc cần UA rồi nhé, đây là danh sách 450 user agents được dùng nhiều dựa theo trang https://myip. ms/browse/comp_browseragents

Định dạng file là json có các trường: ua, os, browser và total_known_ip

[Cập nhật ngày 2/2/2019]
Vì những lý do khác nhau (ví dụ như một số sites thay đổi layout dựa vào thiết bị, mà thay đổi layout thì cấu trúc sites sẽ thay đổi theo nên việc trích lọc thông tin sẽ khác nhau) nên mình cần lọc user-agent thuộc loại nào như desktop, mobile, tablet nên mình cập nhật lại file mới có thông số này.

Cấu trúc file JSON mới (useragents.json.zip) chỉ có 2 trường: ua và deviceCategory

Thống kê số lượng user-agents trong file mới:
all: 11592
desktop: 10467
mobile: 1014
table: 111

Các bạn có thể dùng site này để xem file JSON này cho tiện: jsonviewer.stack.hu

Happy autoblog ^^

 

cào bao năm toàn mấy site cùi bắp nên chưa xài UA lần nào luôn

 

thank bác.
chơi cái này: headers={'user-agent': generate_user_agent()} bị youtube block liên tục,
đưa cái nùi user-agent bác vào hết bị block

 

[Cập nhật ngày 2/2/2019]
Vì những lý do khác nhau (ví dụ như một số sites thay đổi layout dựa vào thiết bị, mà thay đổi layout thì cấu trúc sites sẽ thay đổi theo nên việc trích lọc thông tin sẽ khác nhau) nên mình cần lọc user-agent thuộc loại nào như desktop, mobile, tablet nên mình cập nhật lại file mới có thông số này.

Cấu trúc file JSON mới (useragents.json.zip, download file ở post đầu ^^) chỉ có 2 trường: ua và deviceCategory

Thống kê số lượng user-agents trong file mới:
all: 11592
desktop: 10467
mobile: 1014
table: 111

Nhiều khi crawl với mobile UA có lợi một số điểm, tuy nhiên desktop UA sẽ có lợi thế ở đa số sites.

Các bạn có thể dùng site này để xem file JSON này cho tiện: http://jsonviewer.stack.hu

 

Chi tiết quá. cảm ơn bạn

 

code ytb đưa nó vào ntn bạn ? ko biết dùng cái này, chỉ mình với!

 

Lọc ra còn bao nhiêu đây
Còn chưa đầy 1000 UserAgent

 

Cho e hỏi cái này dùng như thế nào và ở đâu v ạ

 

cho e hỏi UA là giống như mình có user chrome của 1 người dùng thật phải k ???

 

Hiểu đơn giản là các browse khác nhau dùng trên các os khác nhau thôi

 

Mình đang có dự án cần scrape data Ytb rất cần người có kinh nghiệm.
Mô tả dự án: Build 1 server Áp dụng Proxy, UA đầy đủ tránh bị block. Khi có request từ client thì thực hiện scraping data và trả về JSON gồm Title, ID, Author, Thumbnail
Bạn nào quan tâm vui lòng IB/Call/Zalo: O984-I2O-587 nhé... dĩ nhiên là có trả phí đàng hoàng ạ

 

Chạy random UA có hạn chế việc chặn ip ko nhỉ.

 

Thím tạo 1 thớt mới bên việc làm nhé

 

Nhu cầu của bác đơn giản quá. Bác pm sẽ miễn phí tip ))

 

Có và nên dùng user agent chrome (mobile)

 

code php get UA random file json đó như nào au chỉ với

 

Hi, bạn check IB nhé