Hình như google nó fix mấy cái lệnh crawl-delay: 20s này nọ sử dụng robots.txt hết rồi. Anh em cho mình hỏi có cách nào để set crawl delay cho nó chậm chậm lại mà ko cần phải add site vô google webmaster tool ko nhỉ anh em. Bots vô hấp quá sập server bà nó rồi
Nâng cấp hoặc tối ưu hóa SV mà kiếm thêm tiền chứ sao lại tìm cách hạn chế nó lại. Mình chỉ ước đc nó hấp mà nó có thềm hấp đâu trời.
Cái này hóng ké thử vì không biết cơ chế delay crawl của Google lúc trước là như thế nào: Delay của mỗi đợt tiến công, của sitemap hay của mỗi page. Nếu page, sitemap thì detect ra rồi cache time lại để redirect sang trang nhà người ta. Còn nếu theo mỗi đợt crawl thì detect và cache theo thời gian tối đa mỗi lần quét và giữa các lần quét. - Em chém gió cho vui vậy thôi, bác nào làm được cho em cái code em sưu tầm
Bạn cache content lại thành html đi, lúc đầu server vẫn chậm do request nhiều cache chưa đủ, nhưng sau sẽ nhẹ đi rất nhiều.
Nói chung là thớt nó không thiếu tiền đâu, anh em khỏi chỉ làm gì. Cứ tăng server khủng + SSD ngon lên là xong thôi, nghĩ làm gì mệt đầu.
