Cây nhà lá vườn: Rotating proxy từ các file VPN free

Discussion in 'Chia Sẻ Tool & Bot' started by firefox, Jan 2, 2022.

  1. Hoa Mãn Lâu

    Hoa Mãn Lâu Trưởng Môn

    Bài này của thím @firefox chia sẽ nên để thím ấy quyết định xem có move vào private ko?
     
  2. thitgaluoc

    thitgaluoc Hương Chủ

    nordvpn kiếm cái acc rồi down file ovpn ném vào thôi mà bác
     
  3. Tony Vu

    Tony Vu Bang Chúng

    Hello bác,

    Mình cài thử bản đầu tiên của bác thì chạy, test OK, quá ngon luôn !!

    Mình vọc tiếp edit theo cái cmt trên của bác:
    - Tải file .ovpn từ https://nordvpn.com/ovpn/ sau đó ném vào thư mục /ovpn
    - Lấy tài khoản Nord (đã test login trên nordvpn.com OK) bỏ vô file /slave/acc.txt
    - Edit dòng 12 của ovpn.sh thành: openvpn --config $OVPN_FILE --auth-user-pass /slave/acc.txt
    - Xóa trắng file vpngate.py

    Chạy thử thì nó thành công rất ít, như vầy:

    Screen Shot 2022-01-10 at 09.11.56.png
    Screen Shot 2022-01-10 at 09.26.33.png
    Mình ko biết Python cũng ko rành lệnh hệ thống của Linux nên chưa xác định được nguyên nhân. Hình như do các file .ovpn phải ko bác?
     
    Last edited: Jan 10, 2022
  4. firefox

    firefox Bang Chúng

    bác bị giống bác @command rồi, em cũng chả biết sao luôn, acc em chạy ngon :D
    Bác thử xem qua 2 cái link này
    1. https://downloads.nordcdn.com/configs/archives/servers/ovpn.zip
    2. https://nordvpn.com/wp-admin/admin-ajax.php?action=servers_recommendations&limit=10
    Cái #1 thì dùng để download ovpn cho nhanh, cái #2 là lấy danh sách các server nhanh nhất so với vị trí của bác.. Em dùng #2 chọn 100 file, rồi mở 5-10 docker nhỏ tùy vào ngày hôm đó cào cái gì, cài nhiều thread hay ít thread
     
    mr0986 and Tony Vu like this.
  5. Tony Vu

    Tony Vu Bang Chúng

    Thanks bác nhiều, để mình thử xem sao
     
  6. command

    command Bang Chúng

    @Tony Vu Chuyện đầu tiên NordVPN thông tin rõ trên web rằng 1 acc có thể kết nối cùng lúc 6 thiết bị tối đa, nên bác giảm số openvpn containers xuống còn 6 nhé.
    Thứ 2, dù mình đã giảm xuống 6 nhưng ko phải lúc nào cũng kết nối thành công được 6, đa số trường hợp chỉ kết nối đc 1-2/6 (ví dụ như hình đính kèm), và cũng nhiều thời điểm ko có kết nối nào thành công luôn.
    Screen Shot 2022-01-10 at 11.13.15.png
    Thứ 3, uptime của backend theo haproxy là dưới 5-10m, tỷ lệ này chứng tỏ rất nhiều thời điểm ko có 1 kết nối nào thành công đến NordVPN dù mình đang dùng các ovpn cùng country hoặc sát biên giới ở Europe với VPN (Hetzner Germany).

    Mình đang suy đoán:
    - Vì là acc mới nên chẳng lẽ NordVPN chưa cập nhật user&pass trên tất cả VPN servers sao? Cái này hơi vô lý.
    - Có thể tại thời điểm kết nối đến đúng VPN server quá nhiều users --> quá tải --> error "AUTH: Received control message: AUTH_FAILED" dù user&pass đúng.

    Mình đang thử tìm nhà cung cấp VPN premium hỗ trợ openvpn khác test thử :)
     
    Last edited: Jan 10, 2022
    Tony Vu likes this.
  7. Tony Vu

    Tony Vu Bang Chúng

    Thanks bác, mình nghĩ vấn đề là do mấy cái file .ovpn đó thôi. Bởi vì bản gốc của bác @firefox xài public vpn chạy vẫn ngon => chứng tỏ vấn đề ko phải do version openvpn cũng ko phải do script. Về acc NordVPN thì mình test với gần chục acc rồi vẫn thế nên cũng loại trừ luôn.
     
  8. huvo6789

    huvo6789 Tân Thủ Thôn

    Em cũng giống bác test tầm 20 acc cũng ra kết quả giống bác k xanh lè được nhiều :))
     
    Tony Vu likes this.
  9. vovanhoait

    vovanhoait Khách Qua Đường

    cái này e cũng thế, chạy tầm hơn chục cái là sẽ bị delay, nên down time khá nhiều
     
  10. firefox

    firefox Bang Chúng

    bữa trước có bác test với surfshark, cái này nó unlimit connection, chạy ngon nhưng không cào được SE. AE để ý né nó nha

    bác vào file watchdog.sh, thêm sleep 120 ở dòng 16 sẽ tăng tỷ lệ up, chỗ đó code nhầm chút :D
     
    Vajimi, Tony Vu and vovanhoait like this.
  11. Vajimi

    Vajimi Sơ Nhập Giang Hồ

    Proxy mình dùng với request rất ok. Ko hiểu sao dùng với scrapy hoạc aiohttp lại ko dc. Có ae nào dùng với scrapy chưa
     
  12. command

    command Bang Chúng

    Tình hình quay lại kiếm cơm sau Tết, xem thống kê vài VPS chạy script này, phát hiện ra nhiều connections đến Rotator proxy quá trong khi crawler script thì cào xong rồi, công nhận mấy site proxies giờ có bot tự động tìm các proxy mới thông qua quét port hay quá, nên Rotator proxy của mình được list trên vài free proxy sites luôn.

    Cách khắc phục: dùng UFW chỉ cho phép các IPs nào được kết nối đến Rotator proxy của mình, lưu ý vì Docker và ufw giận hờn nhau nên cách cấu hình cũng đặc biệt tí nha, cụ thể ae có thể xem hướng dẫn tại https://stackoverflow.com/questions/30383845/what-is-the-best-practice-of-docker-ufw-under-ubuntu
     
    Tony Vu likes this.
  13. AkuVn

    AkuVn Hương Chủ

    Các cụ cho em hỏi VN có bên nào cung cấp Rotating Proxy giống StormProxies ko? Tìm hoài không có mà dùng StormProxies thì nhiều cái ko ổn do IP toàn quốc tế nên RQ tới mấy site đặt tại VN mệt muốn chết :D
     
  14. firefox

    firefox Bang Chúng

    có thằng tinsoft và xproxy nhưng đều như cớt, cá nhân mình thấy giải pháp xproxy + 1 line mạng viettel là giải pháp ổn định nhất về lâu dài. Cục hub xb21 tầm 10tr, line mạng viettel giá rẻ tầm hơn 200k tý. sẽ có 10 proxy ipv4 song song, 2 phút rotalting tối đa 25 lần.
    Ngoài ra thì dcom nhưng chi phí khó tối ưu hơn
     
  15. Vajimi

    Vajimi Sơ Nhập Giang Hồ

    trước dùng tmproxy khá ổn cào cả amazon luôn. giờ dùng tor là chính cào khắp nơi luôn
     
  16. Vinh Tran

    Vinh Tran Khách Qua Đường

    Bác có thể set basic authen cho haproxy và tinyproxy để không phải chặn ufw nha!
     
  17. mr0986

    mr0986 Tân Thủ Thôn

    Mình có viết cái script dùng file config *.ovpn của bọn NordVPN này thì cũng gặp tình trạng lâu lâu báo AUTH_FAILED mặc dù trước đó chạy ổn.
    Code:
    openvpn --config file1.ovpn --auth-user-pass auth.txt
    chạy lệnh trên báo AUTH_FAILED. chờ 1 lúc chạy lại thì thành công
    ==> cho nên mình cũng nghĩ là do server của nó bị quá tải nên failed mặc dùng thông tin auth đúng.
    --- Double Post Merged, Mar 15, 2022, Original Post Date: Mar 15, 2022 ---
    @firefox
    Mình bắn requests tới google search. cho nghỉ 5s mỗi lần thì tầm tới hơn 80 requests (~ hơn 5 phút) là bị captcha (mặc dù đã rotate user-agent, headers đầy đủ).
    Rotate thêm cái ip dùng của Nord thì có lẽ tăng thêm được chút mà vẫn chậm quá.

    Thím có cách nào cào nhanh hơn ko share em với.
     
  18. firefox

    firefox Bang Chúng

    1 acc mà kết nói hoặc thoát ra nhiều lần gần quá, là nó auth failed đấy bác, xoay ít thôi, hình như acc bay giờ nó giới hạn tầm 5-7 connection thì phải.


    Dùng nhiều acc bác ạ, xong random luôn cái auth.txt, acc share trên mạng khá nhiều đó
     
    mr0986 likes this.
  19. error

    error Tân Thủ Thôn

    @firefox em ngu mấy cái này, bác cho em hỏi cái cái này vào server để sử dụng cho web craw bằng wordpress được không ạ?
     
  20. firefox

    firefox Bang Chúng

    được bác, cơ bản nó cũng chỉ là 1 cái proxy server thôi