Nhờ craw site này

Mình có site này nó chặn sao ko thể craw được
pub

Code:

https://dlscrib.com/gary-halbert-how-to-write-sales-letters-that-will-make-you-rich_58d6b048dc0d60c913c34687_txt.html

Thank

 

Craw by pass recaptcha à?

 

Proxy là xong..... kệ thằng end-user đầu tiên tự pass recaptcha. Cache lại cho những thằng sau.

Done.

 

Anh Sincos mưu cao thặc

 

proxy đầy mồm vẫn ko dc nhé

 

Craw nó cho ra google luôn

 

file của nó chứa tại https++++++++++++dlscrib.com/downloadFile/59f4bdebe2b6f55b278c4d67 với cái đoạn dài dài đằng sau là id của file, lấy từ link gốc:
https://dlscrib.com/download/strong-merchandiser-strong-resume-samples_58d07aebdc0d60ac18c34608_pdf

có vẻ như không có bảo vệ gì ở cái link down file
ko hiểu sao cái link của thớt thì lại phải chờ nó queue, chắc nó có riêng 1 cái backend để lấy file từ scribd rồi mới lưu vào hệ thống.

 

Vẫn vậy mà nó 1 là ra
Apache is functioning normally
2 là nó cho ra thẳng google luôn, khoai

 

Tóm lại thớt muốn crawl cái gì? Download file à?

 

Không cần download chỉ cần lấy content thôi.

 

Ủa content nó có gì đâu mà lấy? Chỉ có mấy cái thông tin chút xíu generate từ title thôi mà?

 

Còn cái captcha là bắt verify để download chứ có phải captcha để xem content đâu?

 

Mục đich mình lấy cái đó thôi mà.

 

Vậy thì cứ vào lấy thôi vì mình duyệt mấy chục trang cũng ko bị limit gì mà.
Còn ko thì search site:domain + key1, site:domain + key2, ... rồi lấy link và parse ra title sau đó remove những cái duplicate.

 

Chủ thớt bị limit khi duyệt trang à?

 

mình down bình thường mà, thớt thử lại coi, cái redirect sang google chắc file nó k có sẵn thôi

 

này để get tài liệu à

 

Ối zời..... tưởng cần lấy file..... data thì cứ húc vào mà hốt. Thằng này nó ko listing chắc phải lấy qua google search như cụ @money nói rồi.

 

Kể cả dowload file cũng easy luôn.