Chào ae,
Hôm qua ngồi xem logs của Nginx thì mới phát hiện có trường hợp bot giả Googlebot và lọt qua Cloudflare (vì origin web server ghi nhận logs thì nó vượt qua Cloudflare được).
Ví dụ 1 log ghi nhận như sau:
[12/Oct/2021:14:01:31 +0200] 2a06:98c0:3600::103 - US - 172.68.65.233 - - "GET /xxxxxxxxx HTTP/1.1" 200 42455 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
[Bổ sung] Cấu trúc log_format trong nginx như sau:
log_format custom '[$time_local] $http_cf_connecting_ip - $http_cf_ipcountry - $remote_addr - $remote_user "$request" $status $body_bytes_sent "$http_referer" "$http_user_agent";
Ở đây IPv6
2a06:98c0:3600::103 là IP source của user, còn
172.68.65.233 là Cloudflare proxy. Check IP
2a06:98c0:3600::103 thì IPv6 này lại thuộc Cloudflare.
Rồi dùng lệnh
wc -l để count thử xem IPv6 này có bao nhiêu logs trong 1 ngày thì hơn
70k. Ôi da, sao nhiều thế này!
Thế là, mình chặn IP này (action là Block) trên Firewall rule:
(ip.src eq 2a06:98c0:3600::103) or (http.x_forwarded_for eq "2a06:98c0:3600::103")
Vậy mà sau 12 tiếng thì cái Firewall rule đó ko có Block được request nào, trong khi, Nginx logs thì vẫn ghi nhận IPv6
2a06:98c0:3600::103 này vào site.
Mình cấu hình Cloudflare firewall có gì sai thế?
Mong ae tư vấn giúp, thanks
