Cấu hình robots.txt + noindex

Discussion in 'Search Engine Optimization' started by mr0986, Jun 16, 2020.

Tags:
  1. mr0986

    mr0986 Tân Thủ Thôn

    Mình mới tạo 1 site đã public xong.
    Do đang còn test + fixbug nên file robots.txt đang chặn như sau:
    User-agent: *
    Disallow: /

    Mọi người cho hỏi là trước khi public 1 site cho google, có cần phải set noindex cho từng page nữa hay không? (Do mình đọc thấy mặc dù đã set disallow all rồi nhưng site mình vẫn có thể hiện trên kết quả tìm kiếm của google?)

    Cảm ơn,
     
  2. money

    money Hương Chủ

    Nên để noindex. Nhưng tốt nhất vẫn là cho chạy mượt mà trên localhost rồi hãy publish site, vì ngoài Gbot còn bao nhiêu loại bot khác nó không care đến noindex hay robots.txt.
     
    mr0986 likes this.