Dismiss Notice

Đa luồng Nodejs với Cluster liệu có ngon

Discussion in 'Hỏi Đáp Kỹ Thuật' started by Cải Lão Ngoan Đồng, Jul 16, 2020.

  1. Cải Lão Ngoan Đồng

    Cải Lão Ngoan Đồng Tân Thủ Thôn

    E đang dùng nodejs để cào dữ liệu, bây giờ muốn cào số lượng lớn url nên có tìm hiểu Cluster, anh em nào đã từng dùng cho e lời khuyên. Liệu Cluster và nodejs có hợp với crawl sll không? Thanks ae
     

    More Threads in same category

    Cải Lão Ngoan Đồng, Jul 16, 2020
    #1
  2. fixbug

    fixbug Moderator Staff Member

    cứ nodejs chạy async là ổn rồi, cào mỏi tay luôn
     
    fixbug, Jul 16, 2020
    #2
    Cải Lão Ngoan Đồng likes this.
  3. Cải Lão Ngoan Đồng

    Cải Lão Ngoan Đồng Tân Thủ Thôn

    E muốn tối ưu tiền mua VPS cào ạ
     
    Last edited: Jul 16, 2020
    Cải Lão Ngoan Đồng, Jul 16, 2020
    #3
  4. thitgaluoc

    thitgaluoc Hương Chủ

    theo mình mua vps rẻ rồi làm proxy hay hơn
     
    thitgaluoc, Jul 16, 2020
    #4
    Cải Lão Ngoan Đồng likes this.
  5. CSGO

    CSGO Khách Qua Đường

    Bạn cứ tạo nhiều process mà crawl.
    Thấy cpu full thì mua server to hơn hc làm con khác rồi lại tạo process crawl tiếp :))
    Mình chưa hiểu node cluster là như nào.
     
    CSGO, Jul 16, 2020
    #5
    Cải Lão Ngoan Đồng likes this.
  6. sincos

    sincos Bang Chúng

    chạy nhiều instance|thread thì phải chia block hoặc cắm cờ không lại dẫm lên chân nhau.
     
    sincos, Jul 16, 2020
    #6
    Cải Lão Ngoan Đồng likes this.
  7. Cải Lão Ngoan Đồng

    Cải Lão Ngoan Đồng Tân Thủ Thôn

    Hình như nodejs không thực sự đa luồng kể cả có dùng cluster các bác ạ
     
    Cải Lão Ngoan Đồng, Jul 17, 2020
    #7