Góc Lập trình : Tốc độ thu thập dữ liệu

Hỏi từng người hơi chán,em thử lập thread hỏi thăm xem các pro lập trình thu thập dữ liệu trên máy các bác trung bình được tầm bao nhiêu bài một phút hay một tiếng ạ

Bổ sung bỏ qua mấy vấn đề bị chặn,capcha,chỉ tính vấn đề bình thường như tốc độ mạng

 

Tùy vào site có chặn hay ko, nếu site ko chặn thì cứ Chục luồng mà craw thôi

 

Trả lời từng người hơi chán nên anh cũng nói luôn là vứn đề này đã nói quá nhiều trong các post trước rồi không muốn nói lại nữa

 

Có rồi à anh,chắc em chưa đọc đến.Để em tìm lại xem thế nào

 

Nhanh hay mau gì cũng được chủ yếu phải thăng hoa

 

Kết nhất câu này của bác. Nhanh mà éo ra tiền thì cũng chả bằng thằng post tay chứ nói gì auto mà chậm

 

Nhanh thêm tí thì có thêm hạt giống trồng hoa mà trưởng lão,mà trồng nhanh giống dởm hoa không nở thì chả ích gì

 

Lão bang chúng này thấy cũng pro lắm rồi,có nhiều thread hay mình đang đọc

 

Vâng em cũng chạy lắm luồng lắm

 

Mình không chạy trên máy cá nhân bao giờ, với lại tùy theo trang lấy nội dung là trang gì nữa. Vd với amazon crawl product trên vps 4 core, 8gb ram, 200mbps network thì mình crawl tầm 450 product/m ~ 650k/d

 

Mình đang dùng máy cá nhân tốc độ của mình bằng sàn sàn với bạn,kiếm ít tiền mua cái vps chạy mới được

 

craw day. chay server o nha cho tk

 

Cấp số Hương Chủ đúng là khác biệt

 

Lúc trước em chỉ mải nhìn thông số to vật vã của pro,mà không để ý câu bên cạnh pro có cái gì cho em mượn à không biết nó còn không,hết rồi thì buồn

 

đệ đọc nhầm thành : chạy server ở nhà cho tài khoản