Chào toàn thể anh em, Mình đang làm private crawler cho sếp ở US nên mạng phép thăm dò nhu cầu anh em. Nếu anh em có nhu cầu có thể mình sẽ mở dịch vụ public API phục vụ cho anh em. Tóm gọn crawler của mình sẽ theo dạng: - Mỗi một users/clients sẽ chạy 1 Docker riêng để crawl. Tùy vào mức độ crawl của mỗi users mà sẽ thêm Docker nếu cần. - Phí hàng tháng: trung bình tầm $50/tháng cho 100.000 requests. Mỗi request là 1 url web mà cần crawl. - Proxies mặc định: dùng pool proxy chung. - Proxies premium: pool premium proxy. Nếu dùng premium proxy thì $50/tháng cho 10.000 requests. Đa phần những website bật chế độ super bot fight đều phải dùng premium proxy mới qua được. Căn bản là anh em không cần phải lo vụ coding cũng như proxy khi crawl, toàn bộ request chỉ tính phí khi trả về html thành công. Còn nếu anh em nào muốn parse luôn dữ liệu và trả về json thì liên hệ riêng vì tùy thuộc vào website nguồn và dữ liệu cần lấy. Các anh em cho ý kiến với nha. Liệu với phí căn bản $50/tháng anh em có sẵn sàng mua không? Nếu anh em nào cần crawl webs nào đặc biệt thì cứ inbox mình xem cho nhé.
Bất chấp victim là gì đều trả về full html đã load xong của page luôn hả anh. Nếu là vậy thì ngon quá, vì có nhiều site load data từ script và còn bị captcha kiểu kéo trượt nữa.
Cứ crawl theo tool của m gặp khó thì mới đẩy qua api kể ra cũng đc. Vụ giá thì e mù tịt để các b sau lên tiếng.
Load data từ script nghĩa là cần render javascript thì giá tăng một chút: $50 cho 20.000 requests. Còn captcha thì không cần lo vì hệ thống sẽ tự đổi proxy để vượt captcha và chỉ tính phí khi trả về được html. Như anh đề cập thì nhiều victim bật super bot fight hoặc sử dụng các bên thứ 3 như perimeterX thì phải xài premium proxy mới crawl được. Bản chất dịch vụ không xử lý captcha mà dựa vào số lượng lớn proxy + premium proxy để bypass captcha.
Vụ này hay đấy, em cũng đang cần crawl mấy thằng mà chưa biết crawl kiểu gì? Bác tính phí cho em thằng similarweb.com với ạ.
Có thể nào @RockSoft public cái skype để anh em liên hệ khi cần hoặc có trang web nào giới thiệu dịch vụ này không?
Dịch vụ crawl websites chắc không bao giờ public! Vì mình cũng như khá nhiều anh em ở đây đều đang làm crawler cho chính mình hoặc cho team, nên hiểu rõ bản chất của công việc này không chỉ đơn giản là crawl một đống data về, mà là cần làm gì tiếp theo để kiếm tiền từ đống data đó. Mình đang think out of the box để chuyển việc crawl data thành data mining/data analysis. Có như thế thì developers mới có nguồn thu hàng tháng từ những dòng code mình viết ra. Nếu chỉ đơn giản là crawl data 1 lần của 1 web nào đó rồi thôi thì các bạn có thể tìm thấy nhan nhản ở các platform freelancers. Và những clients dạng như thế thì mình tránh càng xa càng tốt ! Mindset mình hướng đến là tìm kiếm những clients có nhu cầu cập nhật data hàng ngày hoặc realtime. Khi đó mình mang đến cho họ giải pháp dashboard, APIs....và ngược lại mình sẽ nhận $ hàng tháng từ họ. Đây là mối quan hệ phụ thuộc lẫn nhau nên cả 2 cùng win-win chứ không mua đứt bán đoạn 1 giải pháp nào cả. Mình tin một điều là bất cứ thợ crawl nào ở forum này đều có giải pháp crawl tẹt ga bất kể search engineer hay bot fighting mode nào. Tất cả phụ thuộc vào bước đầu tiên (tiền đâu) mà khách hàng có sẵn sàng chi hay không thôi!
Đại ka RockSoft có thể cho em xin lại cái SĐT để call trao đổi cho tiện ko Vì cơ bản em ko biết kỹ thuật giải quyết đc ko mà viết thì hơi loằng ngoằng.
