Dịch vụ Crawl Websites

Chào toàn thể anh em, Mình đang làm private crawler cho sếp ở US nên mạng phép thăm dò nhu cầu anh em. Nếu anh em có nhu cầu có thể mình sẽ mở dịch vụ public API phục vụ cho anh em. Tóm gọn crawler của mình sẽ theo dạng: - Mỗi một users/clients sẽ chạy 1 Docker riêng để crawl. Tùy vào mức độ crawl của mỗi users mà sẽ thêm Docker nếu cần. - Phí hàng tháng: trung bình tầm $50/tháng cho 100.000 requests. Mỗi request là 1 url web mà cần crawl. - Proxies mặc định: dùng pool proxy chung. - Proxies premium: pool premium proxy. Nếu dùng premium proxy thì $50/tháng cho 10.000 requests. Đa phần những website bật chế độ super bot fight đều phải dùng premium proxy mới qua được. Căn bản là anh em không cần phải lo vụ coding cũng như proxy khi crawl, toàn bộ request chỉ tính phí khi trả về html thành công. Còn nếu anh em nào muốn parse luôn dữ liệu và trả về json thì liên hệ riêng vì tùy thuộc vào website nguồn và dữ liệu cần lấy. Các anh em cho ý kiến với nha. Liệu với phí căn bản $50/tháng anh em có sẵn sàng mua không? Nếu anh em nào cần crawl webs nào đặc biệt thì cứ inbox mình xem cho nhé.