Xin giải pháp lấy database keywork xvideo

Như tiêu đề mình đang cần lấy database keywork của thằng xvideo, bác nào có giải pháp lấy được không, cho mình xin ít kinh nghiệm

 

Cạn lời

 

Lấy tag ấy. Đúng hem?

 

Scrapy+nltk

 

Tà dâm là cưỡng hiếp ngoại tình,... đồ rứa còn mình làm 18+ thì có chút mà ko đáng kể . Không khuyến khích coi chỉ là dòng nước đang chảy ai múc uống thì tự tạo nghiệp =))

Thằng xvideo nó hoạt động trên cơ sở link liên kết nội bộ rất tốt. nhập keywork search vào nó rất đa dạng vẫn chưa nghĩ được cách get keywork nó, còn tag của nó có đó, nhưng ko lấy đc hết bài theo tag nó đc, vì nó giới hạn 1 tag chỉ show ra 166 page thôi. Vẫn chưa có giải pháp, của nó đến 8 triệu bài . Trên nguyên tắc thì toàn bộ 8 triệu bài của nó nằm toàn bộ trong tag, nhưng tag nó chỉ show ngang page 167 là max không show nữa, vậy có cách gì để lấy hết bài viết theo 1 tag ko nhỉ.

Anh em có kinh nghiệm chia sẻ với

 

Craw kiểu lưu trữ rồi check dup dc ko thím. Chứ đúng là ko cách nào lấy hơn dc 166 page

 

8 mil page thì làm con vps rồi crawl thôi, em tính sơ sơ mất tầm 10-20 ngày nếu không bị rate limiting

 

đang dùng cách này, nhưng ko cách gì lấy hết 8trieu bài tại bị limit page đó, đang nghiên cứu chưa có giải pháp. a/e dạo ngang topic cho xin ít ý kiến :d

 

xvideos có database url sẵn rồi. Bác chỉ cần làm con bot cho nó auto load rồi insert đâu đó. Nếu dùng mysql thì có thể check dup luôn Thường thì load 1 page chỉ mất tối đa 3s, xử lý get keywords tầm 1s là quá nhiều, check dup, insert không quá 2s. Tổng cộng cùng lắm 5s là xong 1 page. Đó là lâu nhất. Còn bt tất cả chỉ khoảng 2 3s là xong cmnr :v

 

Đó cũng là cách check dup đó coder ạ. Người ta nói "check dup" chứ có nói "code 1 function check dup" đâu?

 

https:// www.xvideos .com /search-suggest/a

cư thay vào từ a->zzz chơi theo kiểu Sói ca thì lấy gì chả sạch được

 

Mấy cái này chỉ nát bét cả rồi, chả hiểu sao ko chịu mò

 

Ok được rồi, thank bác kiểu này đúng là ko sót mà lấy sạch nữa

 

Lười suy nghĩ đó anh

 

Cái chỗ bôi đậm là sao hả Nai? Tự thông mình thì thông lỗ nào? Tởm vãi.