Hi anh em, Mình có 1 site khoảng 1 năm tuổi, có vài triệu post. Trong GSC đã submit sitemap index nhưng nó nhận chỉ có 1000 urls. Dùng lệnh site:domain cũng chỉ index khoảng hơn 1K pages. Đợt broadcore update 25/5 site này bị ảnh hưởng và traffic về gần bằng 0. Vài hôm trước mình tạo lại sitemap (không dùng sitemap index nữa). Mỗi sitemap chứa 10K urls và submit tay từng file xml vào GSC. Trong GSC nó báo là couldn't fetched. Ngoài ra mình có vào GSC (version cũ) cấu hình lại cho phép Gbot max crawl. Link: https://www.google.com/webmasters/tools/settings?hl=en Nhưng 2 hôm nay, thấy index tăng khá nhanh. Hiện nay đã lên gần 16K indexed bằng site:domain và traffic cũng tăng như hình dưới: Thấy case này khá lạ nên chia sẻ với mọi người. Có thể đúng với mình, chưa chắc đúng với tất cả. Anh em áp dụng thử xem có ổn không. --- Double Post Merged, Jun 27, 2022, Original Post Date: Jun 27, 2022 --- Sau khi làm 2 thao tác như trên thì Gbot vào site tăng hẳn lên như hình. --- Double Post Merged, Jun 27, 2022 --- Đây là 1 site khác (site này traffic tốt hơn, index nhiều hơn). Mình set max crawl rate cùng ngày site kia nhưng không submit sitemap thủ công thì hiện nay traffic và index vẫn vậy, bot crawl tăng không đáng kể
em mới làm 2 ngày trước vẫn chưa cập nhật. Nhưng traffic vẫn thế, thậm chí có xuống 10% (ko chắc là do add sitemap)
Hi vọng anh đúng chứ ko phải như em nói Vì đúng ngày 24/6 anh làm thì nó cũng tăng index và traffic. Không lẽ trùng hợp vậy. Nhân tiện thì site này đã được tăng crawl rate lên 10 requests/giây (hôm 24/6 anh kéo lên thì chỉ được max = 2 requests/giây). Đây là mức khá cao với anh, không rõ anh em limit như nào.
cái hiện tượng could'n fetch thì e cũng gặp thường xuyên, thường thì em submit sitemap bằng file txt mỗi line 1 url, thường 20k url 1 file, nó báo couldn fetch kệ nó, vài hôm sau vào lại thì thấy nó fetch bình thường, còn lần đầu lúc submit không biêt sao hay bị lỗi thế nữa.
Tool anh viết --- Double Post Merged, Jun 27, 2022, Original Post Date: Jun 27, 2022 --- Tuỳ site em ạ. Đa số anh cũng làm như em nhưng riêng site trên kia nó không work.
Cứ loop database rồi tạo file 10k mỗi khi loop 10000 lần thôi, nhìn chung cứ lấy từ database là hiệu năng nhanh nhất, mấy cái tool từ wordpress vớ va vấn vẩn mà lại phải cài plugin.
E vào link trên thì ra cái hình sau: Nếu bấm "Add property now" thì ra cái website của mình đã verify rồi, vậy e làm sao để cấu hình max crawl rate được vậy a @money ?
Ủa gsc của em đã có site nào chưa? Nó phải cho chọn property đã có chứ nhỉ. --- Double Post Merged, Jun 27, 2022, Original Post Date: Jun 27, 2022 --- bên anh màn hình như này
Haha vụ này anh mới biết luôn. Bên anh acc nào cũng có. À có lẽ acc của @command là acc mới 2-3 năm trở lại đây?
2 acc của em cũng mới năm ngoái tạo thôi anh . Sở dĩ em nhớ là em nhớ 2 cái domain đó chưa hết hạn =))
Thanks bác @thanhtoan1196 giờ mới để ý khi verify GSC chọn domain property hay URL-prefix property E có site thì max chỉ đc 2 requests/s, có site thì 3 requests/s, site nhiều nhất chỉ được 9.5 requests/s, tính ra site a được 10 requests/s chắc độ trust cao nên nó mới thế --- Double Post Merged, Jun 28, 2022, Original Post Date: Jun 28, 2022 --- @Nai Chọn Add property và chọn URL prefix đi (ko chọn domain property nhé) thì sẽ ra crawl limit setting liền. --- Double Post Merged, Jun 28, 2022 --- Hiện tượng could'n fetch có khi bị lỗi hiển thị ở GSC, tuy nhiên nếu bác check log của web server mà có Googlebot vào đúng sitemap đó thì nó đã vào rồi. Mình cũng thấy tình trạng này tuy nhiên bot vẫn crawl đúng sitemap đó sau khi mình add sitemap tầm 1-5p (tùy số lượng sitemap được thêm mới, có khi crawl tức thì, có khi chậm hơn chút).
