Em chào mọi người, Như title ạ. Mọi người cho em hỏi đã ai sử dụng Requests để crawl data từ web chưa ạ? Và có dùng multithreading được không? Vì em thử thì thấy nó không khác gì so với single threading cả. Và đọc trên document của Requests thì nó bảo như này: Mọi người cho em xin ý kiến thảo luận cách crawl data bằng requests với multithreading hoặc cách khác hiệu quả hơn với ạ. Em cảm ơn.
Vâng python vẫn dùng đa luồng được ạ. Cơ bản cái module Requests không biết nó có hỗ trợ đa luồng hay không? Vậy nên e mới đang thắc mắc.
Em cũng đang hơi lang mang tí ạ. https://stackoverflow.com/questions/38280094/python-requests-with-multithreading
Dùng được bạn. Thử code này xem sao: from multiprocessing.dummy import Pool as ThreadPool pool = ThreadPool(10) def multi_edit(): urls = [] # list url htmls = pool.map(action, urls) # list html được crawl pool.close() pool.join() def action(url): response = requests.get(url) return response.text
Hình như bạn hiểu sai ý của đoạn trích ở trên nên đặt câu hỏi không ăn nhậu gì nhau cả. Đoạn trích muốn nói Requests ko hỗ non-blocking ở chính bản thân nó khi xử lý 1 HTTP request. Vì vậy, nếu bạn muốn tăng số lượng crawler thì hoàn toàn có thể xài Threading hoặc Multi Processing.
Cũng rứa cả thôi. Lucifer trước khi thành quỷ Satan thì cũng là Tổng lãnh thiên thần mà. Chống lại lời Chúa dạy mới sa ngã rồi bị anh em Michael quất cho sml xuống địa ngục. Nay Lucifer đã tiến hóa thành Luxifer nhưng vẫn bị lộ footprint
Phải làm kèo Michael, Gabriel, ... mới cân nổi Chúa tể địa ngục. Anh Ngọc Hoàng là của phương Đông, anh không sang được thần thoại phương Tây đâu
