hỏi cách crawl website sử dụng Super Bot Fight Mode cf

website sử dụng cái này chỉ có trình duyệt mới qua được còn lại request toàn bị captcha

 

xài headless thử đi bác

 

ngoài headless thì sao. headless vừa chậm vừa nặng

 

puppeteer thì bật JS, set user-agent là qua được kiểu này mà.

 

headless biết tối ưu thì k nặng nhé.

 

Mình đã đi tìm giải pháp cho cái này hơn 1 năm rồi mà chưa ra. Không biết nó dùng cơ chế gì nhưng đang nghi ngờ liên quan tới SSL.....

Mình chưa hiểu nguyên lý detect của nó, và chỉ biết rằng request từ các lib khác (đã import CA) vẫn không được.

Giải pháp hiện tại phải dựng proxy thông qua puppeteer thôi.

 

puppeteer cho nó nhanh, còn thời gian đi làm việc khác cho rồi