[Coder] Ngôn ngữ code crawl web

Anh em coder cho mình hỏi anh em viết tool crawl bằng ngôn ngữ nào? Mình chưa bắt tay vào auto, mới tập code tool thôi. Nhưng làm bằng PHP thuần thì ko có multi thread crawl chậm quá. Chạy 4-5 ngày mới được 150k bài viết.

 

Ngôn ngữ nào mình giỏi nhất thì mình làm thôi. Hồi trước nghe các pro PHP phán là vẫn chạy dc multi thread cho php mà?

 

Nodejs nữa .

Ps: Thread thì example ở đây nè bác https://gist.github.com/ah01/2047810
Tác giả Tudor Barbu https://tudorbarbu.ninja/multithreading-in-php/

 

php chạy qua cli để chạy nhiều task 1 lúc nhé

 

PHP 7.2+ thì mới hỗ trợ thông qua pTheads. Nhưng localhost của mình đang chạy PHP 5.* nên không dùng được .

Thanks bác, để mình thử

PHP chạy quá cli là sao ạ?

 

Ý bác ấy là chạy bằng command line ấy.

btw, theo mình thì ai rành ngôn ngữ nào thì làm cái đó thôi, đỡ tốn time. Tối ưu 1 chút là nhanh sẻ nhanh.

Mình thì chọn Python vì viết nhanh và thư viện đầy đủ. Ai cần freelancer thì mướn em

 

Php không làm được multithread thì chạy nhiều command, nói chung code đc cái gì thì code cái đó thôi.

 

Em thấy python code nhanh gọn lẹ nhất :v

 

chuyên để crawl thì python là ngon nghẻ nhất.
Cơ mà mình trước học php để code web nên xài luôn php crawl cho tiện, về cơ bản thì php đủ để làm mọi thứ mà mà mình muốn làm

 

ngôn ngữ gì không quan trọng, quan trọng trình thằng làm / code thôi, trình cao thì có "cùi" cỡ php làm được hết, có những cái không cần phai quá nhanh , crawl nhanh xong vê build nhanh rồi google trảm nhanh so với lên từ từ mà lâu dài thì chọn cái nào ? cũng chưa đến mức big-data để tối ưu từng second bằng cách chọn từng ngôn ngữ nhanh nhất cho từng tác vụ cụ thể

mấy bác làm nodejs hoặc python hoặc các ngôn ngữ khác được gọi là đăng cấp nhưng cuối cùng làm ra cái site như cái lờ

không có ý anti nhưng chốt là quen hoặc rành thằng nào thì cứ làm cái đó là ngon nhất, chạy theo công nghệ để apply phí time, để time đó chạy theo coi google nó cập nhật gì để chơi nó

 

Mình xài python và cả nodejs, không gọi là đẳng cấp lắm nhưng mà làm site ra không giống cái lờ nhé mà cái lờ là cái quần què gì vậy

 

mình không có ý anti, chỉ nói chốt là quen nào xài đó, còn vụ python / nodejs hay gì gì đó, là ý nói có nhiều bác cứ khoe làm nhiều ngôn ngữ hay ho những cái sản phâm ra như *** thôi, , chứ nó là combo quen thuộc của bác thì làm ngon lành có gì đâu, chứ mình có chê mấy ngôn ngữ khác bao giờ

 

bác Trí nay qua xai C# rùi à, không còn php nữa sao

 

Làm gì có ngôn ngữ nào là đẳng cấp, chẳng qua mấy pé ấy cứ xoắn lên thế thôi. Nhưng mà lần sau đừng so sánh như thế nhé, khác nào làm nhục cái lờ (mình thích cái đó)

Pé quê đâu mà ko biết cái lờ hả? Từ nhỏ anh đã đi đặt lờ suốt rồi nhá. Hình mình họa đây:

 

Vãi, pé Trí triển cái vụ học Anh Văn rùi à? Anh vẫn còn đang cho nó trùm mền

 

minh hoa dau anh

 

Hình full HD vậy mà còn chê à