Proxy của instantproxies.com có crawl được sốppi không ??

Hi!
E cần crawl một số trang trên sốp pi mà nó dùng js kết hợp ajax để render, e thì không rành webdriver nên chỉ cào bằng cách call qua public api của nó nhưng bị limit, nên e định mua gói private 10$/10 proxy của nó để crawl nhưng sợ không dùng được, vì e có thử mấy cái free proxy trên mạng thì không connect được (crawl thử google.com thì vẫn được). sẵn tiện bác nào đang có proxy bên thằng này PM cho e mượn 1 cái test thử được k ạ??

 

nó dùng js call api bằng ajax rồi render html bác ơi,e đang tìm hiểu splash bên python chứ selenium ăn ram kinh quá

 

hồi mình cào nó là API ko bị limit. k hiểu bạn cào kiểu gì?

 

uhm đúng vậy đó bác, e phát hiện là do nó thiếu cái if-none-match- trong request header nên ngồi decode đống js để gửi thêm vào request nhưng chạy liên tục căng lắm được 17 lần call là nó trả về trống rỗng à. Chắc chắn là limit vì e thử đổi ip phát là lại cào được ngay

--- Double Post Merged, Nov 22, 2020, Original Post Date: Nov 22, 2020 ---

e nhấn F12 bấm sang tab network chọn xhr xem request ngầm của nó phát hiện nó lấy thông tin qua api (nó request api khác mấy bước mới request đến api này nhưng api này nó trả về json) nên e copy thử thay đổi lại tham số??
vầy đã đúng chưa bác??

 

như này bạn

 

ý

ý bác là referer hay là cái dnt kia ạ

 

ý mình là cái endpoint của nó ấy, lâu rồi k check k biết nó đã đổi chưa
header dnt với ref k quan trọng đâu, quan trọng là cái If-None-Match- kia kìa

 

Endpoint này e chưa test nhưng endpoint khi mà a search từ khóa hoặc category cụ thể thì mới bị
Chạy đc 10 lần là nó trống rỗng, đổi ip cái là chạy ngon lành

 

crawl 1 hồi kết quả trả về ko đủ, vd như name ko đủ dài, thiếu giá... phải fake header ntn để pass các cụ hả?

 

api hinh như mình call thấy đẻ ra thiếu data kiểu thiếu các trường. Api xịn thật..trước định crawl thành trang sản phẩm mà khoai ..dùng selenium lấy dom thôi

 

api này nó mã hoá mà, tính ra đúng cái header If-None-Match của nó thì nó trả về kết quả đúng thôi
bác nào cần chi tiết hơn thì inbox nhé

 

4rum nhiều cao nhân về crawler vãi lúa. Site nào củng qua dc :3

 

Em cũng mò đc cái if-none-match rồi bác ơi, má nó pass qua cái anonymous function nhưng thực chất là nó bind ngầm hàm đó với hàm md5, dễ vl nhưng ko biết debug gần chết, nhưng vẫn dính limit khi call liên tục hà. E vẫn ko hiểu tại sao luôn, mấy nay bận quá nên vứt đó chưa làm xong

--- Double Post Merged, Nov 27, 2020, Original Post Date: Nov 27, 2020 ---

Nhưng cào kiểu lấy dom thì ko bị limit, cào 100trang liên tục vẫn ok,nhưng lấy dom nó ko đầy đủ

 

tài mò thật em crawl toàn dùng selenium với headless browser lấy thôi đỡ phải nghĩ nhiều

 

chắc nó mới thêm firewall bảo vệ chứ trước e k thấy bị limit