Hỏi cách crawler nội dung mà ko ảnh hưởng đến site của họ.

Chào các bác , có cách nào crawler nội dung site của họ mà ko làm ảnh hưởng đến site của họ không ạ . trước giờ e toàn trỏ trực tiếp url web của họ rồi get content . ngoài cách trực tiếp này thì còn cách nào gián tiếp ko các bác ?