Thảo luận kỹ thuật về cào dữ liệu (crawling bot)

Phan Thị · Aug 30, 2019

huy hoang said: ↑

thanks bạn nha nhưng mà cho mình hỏi 1 chút. Là chỗ phần email với password có cần phải
urlencode ko

Chỗ token thì mình xử lý như ở dưới ko biết có đúng ko.

Còn phần lấy cookie thì mình làm như vậy đúng ko.

Kết quả:

Ah phần quan trọng là mình muốn lấy html trang này teamlink.vn/scouters/trang-cua-toi. Có cách nào khi xử lý xong phần đăng nhập thì nó direct qua trang này dc ko bạn.

PHP:

$urlkey = 'https://teamlink.vn/'; $gethtml = file_get_html($urlkey); $keygen = $gethtml->find('input[name=_token]', 0); $key = $keygen->attr['value']; $cookie = '_ga=GA1.2.24755889.1549945211; __zi=2000.Ve_lxOO119eyaE_wcKHRrpcHxlgLHboQC9Jjlvr7NP4vakkqCW.1; _gid=GA1.2.942603382.1566899436; _gat_gtag_UA_125591340_1=1; XSRF-TOKEN=eyJpdiI6Ilp4SGxYSCs1U1grUDZEVDh3Z2tRU0E9PSIsInZhbHVlIjoiVExRQTlrM2VScDJNQVl6a3hQVDRcL0h1NWxTUXdjQmJnRlhwWlwvRFwvM1BsQlFpVXNLSElqdzZNTlVnSVpXcGt5bCIsIm1hYyI6IjI5NDE3MDhhMTg3ZTRiYTI1OTZmZDRjYzE5M2MwZWIzZDMxNGFiODNmYzg3ZmE4MWYzODJjZTNmYjliOWZkYmEifQ^%^3D^%^3D; scouter_session=eyJpdiI6IlNcLys2bmdzbjREaTBwUTEwWFJrb2VnPT0iLCJ2YWx1ZSI6InpOdFR5V1o5MmJYQmlZZ3JFeUg1Z1JCVnBYdkR4MXZ1SnN6VHBwbDlhaTd6ajRicWNJeFA3Skp1cFFockJTMUEiLCJtYWMiOiJlOTY2YjQ0ZTVkOTg4YTE4YWQ0MmQ2ZmFjNjMwYjc5OWU5OTFkZDdkZTE2YzMyZTg0NTczZjY4ZmU2MDNjYTMyIn0^%^3D; fpsend=145097'; $curl = curl_init(); $request_headers = array( "X-CSRF-TOKEN:" . $key, "X-Requested-With:XMLHttpRequest" ); curl_setopt_array($curl, array( CURLOPT_RETURNTRANSFER => 1, CURLOPT_URL => 'https://teamlink.vn/loginmodal', CURLOPT_USERAGENT => 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/76.0.3809.132 Safari/537.36', CURLOPT_POST => 1, CURLOPT_TIMEOUT => 300, CURLOPT_CUSTOMREQUEST => 'POST', CURLOPT_SSL_VERIFYPEER => false, //Bỏ kiểm SSL CURLOPT_COOKIEJAR => $cookie, CURLOPT_HTTPHEADER => $request_headers, CURLOPT_DNS_USE_GLOBAL_CACHE => FALSE, CURLOPT_DNS_CACHE_TIMEOUT => 2, CURLOPT_XOAUTH2_BEARER => $key, CURLOPT_POSTFIELDS => array( '_token' => $key, 'email' => '', 'password' => '' ) )); $resp = curl_exec($curl); $err = curl_error($curl); curl_close($curl); echo $err; print_r($resp); exit();

Click to expand...

Đăng nhập xong curl nó lưu cookie vào file text kia,load file text đó lấy cookie rồi dùng curl với cái cookie đó. lấy trang nào chẳng dc, tự tìm hiểu đi

thetrue · Aug 30, 2019

có anh chị nào từng cralw giá sp trên lazada ko ạ? có cách nào vượt dc capcha của lzd ạ, cho e vài hướng đi với. e đang dùng php để trích xuất dom html, dùng curl kèm cookie trình duyệt mà chỉ vượt dc chừng 30p, sau tgian này phải lấy cookie thủ công paste vô curl để crawl tiếp. cách này hơi thủ công.

pipapipo · Aug 30, 2019

thetrue said: ↑

có anh chị nào từng cralw giá sp trên lazada ko ạ? có cách nào vượt dc capcha của lzd ạ, cho e vài hướng đi với. e đang dùng php để trích xuất dom html, dùng curl kèm cookie trình duyệt mà chỉ vượt dc chừng 30p, sau tgian này phải lấy cookie thủ công paste vô curl để crawl tiếp. cách này hơi thủ công.
Click to expand...

Đồng chí paste thẳng cookie vào mảng headers rồi truyền vào CURL đúng không

Nai · Aug 30, 2019

pipapipo said: ↑

Đồng chí paste thẳng cookie vào mảng headers rồi truyền vào CURL đúng không
Click to expand...

Đó giờ CURL thêm cookie mình chỉ biết mỗi cách đó. Còn cách khác và hiệu quả tốt hơn sao bác?

thetrue said: ↑

có anh chị nào từng cralw giá sp trên lazada ko ạ? có cách nào vượt dc capcha của lzd ạ, cho e vài hướng đi với. e đang dùng php để trích xuất dom html, dùng curl kèm cookie trình duyệt mà chỉ vượt dc chừng 30p, sau tgian này phải lấy cookie thủ công paste vô curl để crawl tiếp. cách này hơi thủ công.
Click to expand...

Trước mình cũng chơi với lazada, đổi sang rotate proxy thì cũng chữa cháy được nhưng hơi bị hao CPU vì cũng bị block liên tục.

thetrue · Aug 30, 2019

pipapipo said: ↑

Đồng chí paste thẳng cookie vào mảng headers rồi truyền vào CURL đúng không
Click to expand...

dạ đúng rồi ạ

huy hoang · Sep 18, 2019

hiện tại mình dùng cái này để crawl website yêu cầu đăng nhập. https://incarnate.github.io/curl-to-php/

Chỉ cần paste cái cURL là nó sẽ general ra đoạn code xử lý

Log in or Sign up

Thảo luận kỹ thuật về cào dữ liệu (crawling bot)

Phan Thị Bang Chúng

thetrue Sơ Nhập Giang Hồ

pipapipo Sơ Nhập Giang Hồ

Nai MiddleMan Staff Member

thetrue Sơ Nhập Giang Hồ

huy hoang Khách Qua Đường

Log in or Sign up

Thảo luận kỹ thuật về cào dữ liệu (crawling bot)

Phan Thị Bang Chúng

thetrue Sơ Nhập Giang Hồ

pipapipo Sơ Nhập Giang Hồ

Nai MiddleMan Staff Member

thetrue Sơ Nhập Giang Hồ

huy hoang Khách Qua Đường

Useful Searches