Đúng rồi, bọn sunfrog limit lượng áo được show ra. Cách mình hay làm là sử dụng 1 list keyword có sẵn, chạy keyword suggestion để lấy ra tầm vài trăm k đến vài m longtail keywords rồi vứt vào sunfrog để search.
Đã thử và đếm. offset như nào nó cũng hiển thị 40 sp thôi ạ thay cái page theo offset thì lại lỗi 404
40 sp của 1 page đúng rồi, khi offset lớn nó sẽ hiện 40 sp của những page sau. chứ đâu phải để offset 1000 là hiện 1000 sp luôn. Còn trên page nó hiện hết khi click view more là do nó dùng ajax bổ sung thêm nội dung thôi.
Hầy, mỗi trang nó ra 40 sản phẩm là bạn lấy được 40 sản phẩm rồi còn đòi gì nữa. Bạn muốn 1 url nó ra full list áo luôn ý hả? Cái đó mình chịu. https://www.sunfrog.com/search/page...ular&productType=0&search=1990&cID=0&offset=1 https://www.sunfrog.com/search/page...lar&productType=0&search=1990&cID=0&offset=41 Mình vẫn vào bt, ko bị 404 gì cả. +++++++ Tóm lại là thằng sun frog này muốn crawl thì hiện tại phải chấp nhận + 1 url ra 40 sản phẩm + Tối đa 1000 sản phẩm cho mỗi keyword. Muốn lấy 1tr sản phẩm bạn phải chuẩn bị + ít nhất 1000 keyword (sẽ có sản phẩm trùng nhau) => cái này đơn giản + Crawl ít nhất 1000*25=25000 url. Hoặc: thuê người crawl, download list chia sẻ sẵn, mua list có sẵn. +++++ Mình thấy thằng sun frog này có api, cơ mà mình chưa thử.
Đang thảo luận cách chiến thành ra thảo luận cách cào hehe. Mình chia sẻ cách lấy link mới nhất của Sun nà: - Sáng phải buổi sáng nhé, dậy làm ly cafe cho tỉnh - Mở google search query: site:sunfrog.com - Chọn cái mới trong vòng 24h. Open rồi lưu lại txt. End tut!
Chuẩn bị thật nhiều keyword để craw thôi ^^, bên cạnh đó lúc craw củng để ý lấy thêm name của artist nữa. Xong vô chính profile của họ để craw tiếp nguyên ổ
Túm lại thì crawl data Sun có gì đâu mà khó, không code để lấy được thì có thể thuê hay mua, nhanh hay chậm, kiểu gì cũng được. Hỏi tiếp nà: ngoài Sun ra thì còn thằng nào cho ăn aff theo kiểu gắn ID như Sun không 500 ae?
Mấy bác cứ lăn tăn, làm được gì ra tiền không chứ ra thì code được code, không được thì thuê, không thì pm cụ Chung cho cái giá là có tất ấy mà. @Sói em thấy mỗi thằng Sun này là vậy còn nếu có chắc em không biết