Cây nhà lá vườn: Rotating proxy từ các file VPN free

Bài này của thím @firefox chia sẽ nên để thím ấy quyết định xem có move vào private ko?

 

nordvpn kiếm cái acc rồi down file ovpn ném vào thôi mà bác

 

Hello bác,

Mình cài thử bản đầu tiên của bác thì chạy, test OK, quá ngon luôn !!

Mình vọc tiếp edit theo cái cmt trên của bác:
- Tải file .ovpn từ https://nordvpn.com/ovpn/ sau đó ném vào thư mục /ovpn
- Lấy tài khoản Nord (đã test login trên nordvpn.com OK) bỏ vô file /slave/acc.txt
- Edit dòng 12 của ovpn.sh thành: openvpn --config $OVPN_FILE --auth-user-pass /slave/acc.txt
- Xóa trắng file vpngate.py

Chạy thử thì nó thành công rất ít, như vầy:



Mình ko biết Python cũng ko rành lệnh hệ thống của Linux nên chưa xác định được nguyên nhân. Hình như do các file .ovpn phải ko bác?

 

bác bị giống bác @command rồi, em cũng chả biết sao luôn, acc em chạy ngon
Bác thử xem qua 2 cái link này

1. https://downloads.nordcdn.com/configs/archives/servers/ovpn.zip
   
2. https://nordvpn.com/wp-admin/admin-ajax.php?action=servers_recommendations&limit=10

Cái #1 thì dùng để download ovpn cho nhanh, cái #2 là lấy danh sách các server nhanh nhất so với vị trí của bác.. Em dùng #2 chọn 100 file, rồi mở 5-10 docker nhỏ tùy vào ngày hôm đó cào cái gì, cài nhiều thread hay ít thread

 

Thanks bác nhiều, để mình thử xem sao

 

@Tony Vu Chuyện đầu tiên NordVPN thông tin rõ trên web rằng 1 acc có thể kết nối cùng lúc 6 thiết bị tối đa, nên bác giảm số openvpn containers xuống còn 6 nhé.
Thứ 2, dù mình đã giảm xuống 6 nhưng ko phải lúc nào cũng kết nối thành công được 6, đa số trường hợp chỉ kết nối đc 1-2/6 (ví dụ như hình đính kèm), và cũng nhiều thời điểm ko có kết nối nào thành công luôn.

Thứ 3, uptime của backend theo haproxy là dưới 5-10m, tỷ lệ này chứng tỏ rất nhiều thời điểm ko có 1 kết nối nào thành công đến NordVPN dù mình đang dùng các ovpn cùng country hoặc sát biên giới ở Europe với VPN (Hetzner Germany).

Mình đang suy đoán:
- Vì là acc mới nên chẳng lẽ NordVPN chưa cập nhật user&pass trên tất cả VPN servers sao? Cái này hơi vô lý.
- Có thể tại thời điểm kết nối đến đúng VPN server quá nhiều users --> quá tải --> error "AUTH: Received control message: AUTH_FAILED" dù user&pass đúng.

Mình đang thử tìm nhà cung cấp VPN premium hỗ trợ openvpn khác test thử

 

Thanks bác, mình nghĩ vấn đề là do mấy cái file .ovpn đó thôi. Bởi vì bản gốc của bác @firefox xài public vpn chạy vẫn ngon => chứng tỏ vấn đề ko phải do version openvpn cũng ko phải do script. Về acc NordVPN thì mình test với gần chục acc rồi vẫn thế nên cũng loại trừ luôn.

 

Em cũng giống bác test tầm 20 acc cũng ra kết quả giống bác k xanh lè được nhiều )

 

cái này e cũng thế, chạy tầm hơn chục cái là sẽ bị delay, nên down time khá nhiều

 

bữa trước có bác test với surfshark, cái này nó unlimit connection, chạy ngon nhưng không cào được SE. AE để ý né nó nha

bác vào file watchdog.sh, thêm sleep 120 ở dòng 16 sẽ tăng tỷ lệ up, chỗ đó code nhầm chút

 

Proxy mình dùng với request rất ok. Ko hiểu sao dùng với scrapy hoạc aiohttp lại ko dc. Có ae nào dùng với scrapy chưa

 

Tình hình quay lại kiếm cơm sau Tết, xem thống kê vài VPS chạy script này, phát hiện ra nhiều connections đến Rotator proxy quá trong khi crawler script thì cào xong rồi, công nhận mấy site proxies giờ có bot tự động tìm các proxy mới thông qua quét port hay quá, nên Rotator proxy của mình được list trên vài free proxy sites luôn.

Cách khắc phục: dùng UFW chỉ cho phép các IPs nào được kết nối đến Rotator proxy của mình, lưu ý vì Docker và ufw giận hờn nhau nên cách cấu hình cũng đặc biệt tí nha, cụ thể ae có thể xem hướng dẫn tại https://stackoverflow.com/questions/30383845/what-is-the-best-practice-of-docker-ufw-under-ubuntu

 

Các cụ cho em hỏi VN có bên nào cung cấp Rotating Proxy giống StormProxies ko? Tìm hoài không có mà dùng StormProxies thì nhiều cái ko ổn do IP toàn quốc tế nên RQ tới mấy site đặt tại VN mệt muốn chết

 

có thằng tinsoft và xproxy nhưng đều như cớt, cá nhân mình thấy giải pháp xproxy + 1 line mạng viettel là giải pháp ổn định nhất về lâu dài. Cục hub xb21 tầm 10tr, line mạng viettel giá rẻ tầm hơn 200k tý. sẽ có 10 proxy ipv4 song song, 2 phút rotalting tối đa 25 lần.
Ngoài ra thì dcom nhưng chi phí khó tối ưu hơn

 

trước dùng tmproxy khá ổn cào cả amazon luôn. giờ dùng tor là chính cào khắp nơi luôn

 

Bác có thể set basic authen cho haproxy và tinyproxy để không phải chặn ufw nha!

 

Mình có viết cái script dùng file config *.ovpn của bọn NordVPN này thì cũng gặp tình trạng lâu lâu báo AUTH_FAILED mặc dù trước đó chạy ổn.

Code:

openvpn --config file1.ovpn --auth-user-pass auth.txt

chạy lệnh trên báo AUTH_FAILED. chờ 1 lúc chạy lại thì thành công
==> cho nên mình cũng nghĩ là do server của nó bị quá tải nên failed mặc dùng thông tin auth đúng.

--- Double Post Merged, Mar 15, 2022, Original Post Date: Mar 15, 2022 ---

@firefox
Mình bắn requests tới google search. cho nghỉ 5s mỗi lần thì tầm tới hơn 80 requests (~ hơn 5 phút) là bị captcha (mặc dù đã rotate user-agent, headers đầy đủ).
Rotate thêm cái ip dùng của Nord thì có lẽ tăng thêm được chút mà vẫn chậm quá.

Thím có cách nào cào nhanh hơn ko share em với.

 

1 acc mà kết nói hoặc thoát ra nhiều lần gần quá, là nó auth failed đấy bác, xoay ít thôi, hình như acc bay giờ nó giới hạn tầm 5-7 connection thì phải.

Dùng nhiều acc bác ạ, xong random luôn cái auth.txt, acc share trên mạng khá nhiều đó

 

@firefox em ngu mấy cái này, bác cho em hỏi cái cái này vào server để sử dụng cho web craw bằng wordpress được không ạ?

 

được bác, cơ bản nó cũng chỉ là 1 cái proxy server thôi