Hello các bác, tình hình là em thấy ae khá quan tâm đến proxy để cào. Hôm nay em chia sẻ thêm một cách khác, dựa trên docker và haproxy. Hàng cây nhà lá vườn em viết trong những tháng ngày giãn cách. Lợi thế của nó là làm được công việc setup proxy phức tạp theo cách đơn giản, 1 lệnh ăn ngay Nguyên lý hoạt động: - Em tạo 20 con docker container nhỏ, gọi là slave, có nhiệm vụ nhặt 1 file .ovpn ngẫu nhiên từ thư mục /ovpn sau đó khởi tạo kết nối vpn thông qua file được nhặt - 3 phút 1 lần, nó sẽ tự hủy kết nối vpn và nhặt đại 1 file ngẫu nhiên khác, cứ thế tiếp tục - Slave sẽ mở port 8080 thông qua tinyproxy để cho master sử dụng - Master container sẽ có nhiệm vụ mở haproxy port 9999 sau đó rotate request lần lượt đến các con slave kia - 30 phút 1 lần, nó sẽ down file .ovpn mới được chia sẻ miễn phí từ VPN gate, quăng hết vào thư mục chung /ovpn Thêm cái hình minh họa cho dễ hiểu Hướng dẫn sử dụng Để làm được điều này, các bác chỉ cần làm vài bước đơn giản sau: - Cài docker, docker container, cái này tự nghiên cứu trên mạng khá dễ - Download cái thư mục của em về, xả nén - Vào thư mục đấy, gõ lệnh: docker compose up --build --force-recreate - Vào kiểm tra tình hình thông qua đường dẫn http://localhost:10000 Vậy là các bác có free proxy có chức năng rotating khá là đơn giản tại localhost:9999, IP đầu ra sẽ được đảo liên tục, sử dụng tùy ý Ghi chú Ae xài nhẹ nhẹ tay kẻo ai cũng xài thì bọn vpn nó khóc Do lấy từ vpn gate nên được có 100 vpn thôi, ae nào có nguồn khác thì tự lấy bổ sung vào cho nguồn IP thêm phong phú Code viết rất dễ hiểu, ae cần lấy đổi nguồn vpn hoặc muốn thêm auth cứ tự do sửa code, nhất là cái file vpngate.py và dòng 12 của openvpn.sh Muốn tăng giảm số lượng slave thì sửa file docker-compose.yml và haproxy.cfg. Tăng nhiều nhiều cũng được vì docker khá nhẹ, nếu chạy trên host linux nữa thì càng nhẹ hơn Cảm ơn ae đã đọc bài, chúc cả nhà 2022 bội thu site nào cũng dựng đứng như uống rocket 1h
tip: lên mấy forum kiếm acc HMA nordvpn share đầy rẫy, sống đc khoảng 2 hôm là có khi xong phần cào dữ liệu cmnr
100 cái đó đủ xài rồi bác, 30p nó tự lấy file mới. Em chạy cào nhẹ tầm 10 luồng thấy vẫn ổn, cào mạnh quá chết site người ta, kkk
Cái này thì không cào được SE do nguồn ip từ vpngate quá nhiều người dùng, nhưng chỉnh tý, đổi thành ovpn của NordVPN thì chạy ngon đó bác. Đúng rồi bác, cứ bật nó lên và quên nó đi
Bác @firefox có ghi chú nguyên tắc hoạt động rồi mà, dòng "- 30 phút 1 lần, nó sẽ down file .ovpn mới được chia sẻ miễn phí từ VPN gate, quăng hết vào thư mục chung /ovpn" nên trả lời được câu hỏi của bạn luôn rồi. Còn nếu muốn chỉnh lại 30p này thì ở file /proxy/run.sh có số 1800 á, 1800 = 30*60 (30 phút). --- Double Post Merged, Jan 3, 2022, Original Post Date: Jan 3, 2022 --- Script này bác @firefox có thử chạy được với các premium VPN hỗ trợ OpenVPN ko bác? Nếu dùng premium VPN thì thơm hơn vì ít người dùng hơn.
Đây là bản xài vpn gate do dễ setup và cũng mì ăn liền nhất. Bản em đang xài thì khác xíu xíu: - Em sửa lại 1 tý ở dòng 12 file openvpn để thêm file cấu hình auth cho nó đăng nhập được tài khoản nordvpn. - Em xóa luôn file python vì không cần tự cập nhật free vpn, thay vào đó em dùng idm download thủ công từ đây https://nordvpn.com/ovpn/ sau đó ném vào thư mục /ovpn - Tài khoản nord nếu ai chưa có thì vào nhặt ở đây https://t.me/chaneIparisa - Về nguyên lý thì cứ thằng premium vpn nào public file .ovpn và cho phép 1 account kết nối được nhiều phiên cùng lúc là sẽ chơi được, nếu không cho thì mình dùng nhiều account
Nếu dùng NordVPN premium mua thì tạo được tối đa bao nhiêu proxies vậy bác @firefox ? Mình thấy trên web nó thì ghi "One account lets you connect up to 6 devices. Secure them all – in any combination." ==> có đồng nghĩa với việc tại 1 thời điểm thì chỉ kết nối được 6 connections ko?
Em xài 10-20 phiên chả thấy nó chửi bới gì. 1 phiên cũng 3p là ngắt rồi nên chắc nó tha, cào google sướng lắm
không có aff ạ, bác cứ mua thoải mái, nghịch nghịch thì test acc free trên mạng rồi mới mua, vì chưa chắc đã chạy như ý
Tạo link aff dễ mà, bác @firefox ko có acc tự mua à? Bác tạo đi như mình mời 1 ly cafe cảm ơn nordvpn[.]com/affiliate/ Mình chưa thử acc premium free, nhưng mình sẽ mua vì cơ bản mình crawl data web thông thường thôi, mình bỏ acc mua proxies ở nơi khác để chuyển sang dùng proxies từ VPN.