Chào ae, Có phương pháp nào cấm các bots ko hữu ích như Yandex, Baidu... vào site sử dụng Cloudflare hiệu quả không? Mình đã sử dụng IPs của bots ở https://myip.ms/info/bots/Google_Bing_Yahoo_Facebook_etc_Bot_IP_Addresses.html để cấm, nhưng có vẽ chưa hiệu quả vì bots vẫn vào nhiều (làm server chịu ko nổi). Ae còn cách nào khác hay danh sách IPs để chặn các bots ngoài Google và Bing ko? Xin cám ơn ae,
Block multiple bad User-Agents If you wanted to block multiple User-Agent strings at once, you could do it like this: RewriteEngine On RewriteCond %{HTTP_USER_AGENT} ^.*(Baiduspider|HTTrack|Yandex).*$ [NC] RewriteRule .* - [F,L] Or you can also use the BrowserMatchNoCase directive like this: BrowserMatchNoCase "Baiduspider" bots BrowserMatchNoCase "HTTrack" bots BrowserMatchNoCase "Yandex" bots Order Allow,Deny Allow from ALL Deny from env=bots Thử chặn bằng htaccess chưa thớt http://www.inmotionhosting.com/supp...-unwanted-users-from-your-site-using-htaccess
Thanks bạn, mình dùng nginx. Xong, script này https://github.com/mariusv/nginx-badbot-blocker chặn tốt lắm em, giảm 1 lượng đáng kể các bots nhãm, tuy nhiên default của script nó ko chặn thằng Yandex, thêm thằng này vào list $bad_bot là được
Em sử dụng Firewall của Cloudflare để chặn thấy khá ok. Tiện thể cho e hỏi em chặn như thế này đã hết những bot không cần chưa ạ?
