Curl dính Too Many Requests

Hi các tiền bối.
Hình như sắp này bên host kia nó hạn chế request hay sao ấy, nên e dính "Too Many Requests'
Vậy e đăng lên đây mong các tiền bối chỉ cách để qua nó.
E cảm ơn ạ

 

phải fake request đi

 

Dùng proxy đó thớt, tìm mấy tool auto quét proxy free củng dc

 

ném proxy vào mảng rồi random à bác?
bác có demo ko cho e ké xem với ạ

 

fake ip hay UA vậy bác?

 

hi bác
em làm web chứ ko phải để ưu data về máy ạ

 

em chưa thử lưu data hoặc cache.
và e cũng chưa hiểu cái cache nó hoạt động ra sao.
Bác khai sáng giúp e với ạ.

 

trước tiên thi e phải cảm ơn bác phát đã
nhưng em muốn hỏi thêm 1 xíu ạ,
tức là khi nó lưu cache như vậy thì quảng cáo của e thì sao? (e chơi adsense).
Khi đó nó lưu hết mã html lại, giả sử sau này em đổi quảng cáo khác thì có phát sinh gì ko bác?

 

à còn cả cách lưu data nữa.
bác có thể nói qua giúp em với ạ.
(vấn đề: site e đang grab data rất khủng, ngót tỉ bản ghi rồi, giờ mà e lưu lại hết chắc ko đủ $ mua vps ạ)

 

Cache sẽ cache hết cả html + quảng cáo nên vẫn hiện tốt.
Thay quảng cáo thì xóa hết file cache rồi tự động tạo lại cache theo quảng cáo mới.

 

dạ vâng e cảm ơn bác ạ
tối nay về e sẽ thử luôn và ngay ạ

 

fake thì phần lớn là fake proxy vì họ hay chặn truy cập theo ip
cache thì cache lại các phần data cần rồi lần sau đọc từ cache ra ko cần phải cache cả file html làm gì
site nguồn mà chặn thì ko nên crawl realtime, mình nghĩ vậy

 

E đang test,
Các bác cho e hỏi trang nào free proxy dùng ổn ko ạ?
e lấy tại https://free-proxy-list.net mà load chậm quá ạ

 

kiếm tiền nên đầu tư proxy hịn nhá https://instantproxies.com/pricing/. Làm mấy chục proxy ở đây thì craw thoái mái nhé.Đỡ đau đầu bị chặn

 

e vừa test chèn vào code thì trắng tinh trang ạ
và nữa đó là nó chỉ cache lại tên file, chứ ví dụ như link của e có dạng thread.php?t=xxx thì nó ko cache lại bác ạ, xem trên vps thì thấy mỗi cache-thread....html thôi