Dùng 3g để crawl google

Có ý định vậy, 3g khi hết tiền vẫn vô mạng đc, nhưng ko biết crawl có dc ko ta, khi crawl ko biết banwith 3g thế nào nhỉ, anh em ai có kinh nghiệm vụ này cho xin cục gạch

 

Chưa làm nhưng tốc độ chậm lắm. Thím chơi tor ấy, ae củng có vài người xài tor để craw

 

tor brower có xài để vô mấy site bị vietnam chặn chưa coi kỹ, nó có cho change Ip hả, cũng đang định dùng ssh, vì tính đi tính lại tốc độ crawl vs post bài lên site chênh lệch quá xa nên cũng ko cần nhanh lắm

 

Tor có thay đổi dc ip mà thím, còn ko thì có 1 cách dễ hơn là xài mấy site vps cho xóa tạo lại vps nhanh như DO, Vultr, craw bị block ip thì xóa vps tạo lại con mới, cho nó làm 1 cái proxy là xài ngon lành, tốc độ cao luôn, chỉ là hơi tốn tiền băng thông so với xài 3g free băng thông :v, mua cái sim vietnammobile có 20k tháng là dc ngày 5gb craw chắc củng dc đó :v

 

Nếu anh tính xài 3g thì phải tính hẳn là xài 4g cho tốc độ nó cao. Dùng 4g thì e thấy có mấy vấn đề:
Gói thì có nhiều loại nhưng chỉ cỡ vài Gb 1 ngày thôi, chưa chắc đủ crawl.
Công đoạn phức tạp nhất là đổi IP làm sao để tự động, thêm nữa là muốn crawl được nhiều thì lại phải có nhiều sim 4g khác nhau + 1 thiết bị change ip + công sức tìm cách kết nối cùng lúc thiết bị 4g nữa, rất là nhiêu khê.
Giá sim thì rẻ chắc cũng phải 50k 1 tháng cho mỗi ngày có 2 - 5gb, 10 sim là 500k rồi, chưa kể thêm thiết bị.

Nên là mua 10 ip của instantproxies.com có $10 cỡ 230k, 500k là được 20 ip crawl thoải mái rồi k phải lo nghĩ nhiều.

 

cám ơn các bác,chắc mình sẻ tìm cách chạy ssh vì nguồn ssh mình rất nhiều, tận dụng cũng tốt

 

Tắt mở chưa đủ lâu sao change IP dc

 

hóng các bác share tút cào anh gồ

 

Khi nào nó change là dc chứ ko có con số rõ ràng. Nguyên tắc cấp IP là tuần tự và có load balancing, khi em off mà chưa có thằng khác join vô thì ip của em chưa mất nên em join lại nó sẽ lấy ip cũ cấp cho em. Do đó số lượng người dùng 3/4g cùng lúc càng lớn thì thời gian đổi ip càng nhanh và ngược lại. Tuỳ thuộc số lượng ip của nhà mạng nhiều hay ít nữa.

 

tool mình dis 3g đợi 5s xong reconnect auto ip mới luôn. mới thử mobi và viettel

 

các bác crawl google tốc độ bao nhiêu thế? em chạy đc 3k key 1h mà éo thấy nó ban ip

 

Mình đang chạy 2s cả ngày không sao. Vừa sửa lại 1s cái dính capcha ngay luôn

 

Bé đã bị dụ Nói chứ còn do dải IPs/proxies, user agents, ... Hên xui thôi.

 

Hôm nào chỉ anh cào zới ahihi