Em tính search dùng Bing Api, nhưng gói của nó đắt quá 1000 transaction 3$. Các bác có cách nào để get Free hoặc Crawl không bị nó chặn không chỉ em với. Thanks cả nhà
Bing API nào mà bị limit vậy thớt? Vẫn đang dùng image search của nó tẹt ga đây, 10 proxy là thoải mái.
Bác dùng gói Free của nó phải không? Em có tầm 30k user tìm kiếm hàng ngày, của bác 10 proxy thì được tầm bao nhiêu transaction vậy bác
À lúc nãy ghi nhầm, dùng image search chứ ko phải image api nha thớt. Send htttprequest lấy html, parse ra cái mình cần rồi lưu cache.
Mình dùng Web HttpRequest của C# (giống như cURL) để query đến Bing Image Search --> lấy về 1 đống HTML --> parse HTML --> lấy những thứ mình cần và lưu vào file hoặc database để giảm số lượng request đến Bing (chứ ko phải user search/vào siate là request đến Bing). Tuy nhiên do nhiều request nên trung bình 1s vẫn cần gọi đến Bing 2-3 lần. Dùng 10 proxy. Cứ 1 lần request đến Bing thì lấy ngẫu nhiên 1 proxy trong list 10 cái đó nên tính ra trung bình mỗi proxy vài giây mới gọi đến Bing 1 lần. Chỉ có nhiêu đó, ko có tips nào đặc biệt.
Anh ko thích dùng external lib. Cái nào tự có mà xài tốt thì cứ xài. Giảm tối đa các khả năng phải chỉnh sửa/thay đổi tool khi đi đường dài.
Trình pro ai xài ext lib hả cưng? Ext lib anh viết đầy và cái nào cũng free và hidden code kiếm chút cháo