Site mình bt lượng user direct tầm 2k / ngày. Tự dưng mấy hôm nay vọt lên ~10k/ngày. Mình nghi có thánh nào cũng đang crawler site mình. Mình chặn theo IP (1 IP nếu truy cập quá nhiều trong một thời gian ngắn thì mình sẽ block trong vòng 24h) thì nó đỡ đc 1 ngày về lại 2k sau đó thì lại đâu vào đấy. Chắc nó dùng cả list proxy rồi. Pro nào đã từng bị và có giải pháp có thể cho e chút thông tin với ạ. Thank kiu!!!
Tôi vừa bị lụt Bandwith HP suspended mẹ nó VPS. Nhưng cũng kệ, vì mình cũng là thằng crawler mà. Còn muốn ăn thua thì dùng như này cũng dc. Mặc dù nó thiệt mình cũng thiệt.
Chính vì cùng là dân crawler nên e chỉ muốn chặn được ở mức tương đối thôi (Lưu ý là tương đối thôi. E có ghi rõ ở tiêu đề rồi nhé). Chứ nếu để vậy thì hao tf quá. Không khéo chưa hết tháng đã hết mẹ nó băng thông
Tóm lại là 2 chú backup data rồi gởi cho mình (nhớ zip nhé)! Mình sẽ ra thông báo cho 500 ae tắt bot không cần crawl nữa. Win-win nha
bác check header, chặn hết user sử dụng proxy đi hoặc là viết đoạn code limit số lần request mỗi 5s thử xem
Nhưng mà làm sao để chỉ show với mình bọn crawl mới khó bác ak. Hiện e đang chặn theo ip request nhiều trong thời gian ngắn. Cái này không đúng cho lắm
https://github.com/kyprizel/testcookie-nginx-module Thử cách nầy xem, thằng byethost đang xài thấy củng khá hữu ích
Chặn cũng tương đối thì show cũng tương đối thôi Nếu sợ chặn nhầm user thì thêm cái captcha vô cái mớ hố lốn đó để móc ra hàng thật
Dm xui vãi! Vừa chém ku trên xong thì đến site mình bị từ hôm qua đến nay crawl mãi chưa xong @money @sincos tăng thread bot lên crawl nhanh nhanh giùm cái
