Năm 31 tuổi tôi lại thất nghiệp

Đóng góp tý ý kiến, em đã dùng qua cả scrapy và requests, theo em thấy thì dùng scrapy khoẻ hơn nhiều vì nó có queues, các thread được defer sẵn nên rất nhàn, viết dăm dòng lệnh để cho chạy vài ngày không thấy lỗi chi cả còn requests thì bác phải tự catch exception với đủ các loại lỗi như TimeOut, Notfound, 302, 403, nếu mạng k ổn định thì khó mà crawl được đến vài triệu page

 

Em dùng file_gets_contents cũng crawl được trăm triệu page như thường

 

Cám ơn í kiến của bạn, hồi mới tìm hiểu python mình có tìm hiểu thằng đó, đúng ra là vì tìm crawl web ra thằng đó mới biết đến python, nhưng lúc mới học mà mò vào nó thấy rất khó hiểu và phức tạp so với việc dùng requests. Còn chuyện mạng thì mình nghĩ ảnh hưởng chung thôi chứ?

 

EM hay Ship Mỹ phẩm nên phí Ship thì vẫn tính, chỉ Free dạy dùng thử một lần Bác ạ .Khách của EM chủ yếu mua dùng cho Body khó tự bôi mà EM thì được cái nhiệt tình giúp

 

thực ra nó là một cái framework, mà framework thì bạn biết rồi, nó hoàn toàn dựa trên các chức năng ở tầng thấp hơn (ở đây là nó tạo request dựa trên gói requests luôn). Mà framework thì như các bác đã biết nó làm code nhanh và tiện hơn, chứ thực ra dùng chức năng cơ bản cũng làm được việc rồi, phải không? ở đây em nêu ra một vài key làm em khoái :
1. code nhanh gọn, gom nhiều crawler cùng chủ đề vào một project
2. multithreaded + deferred requests cho phép retry nếu gặp error code (ví dụ 404, 503,...), nôm na là crawl không bỏ sót. Ai cũng biết code multithread thì vất vả như thế nào với việc quản lý các thread rồi.
3. thiết lập nhanh, đơn giản bằng file settings.py
(optional) 4. middleware, xử lý dữ liệu sau khi crawl tích cmn hợp vào luôn, cái này em mới viết đc 1 project với nó nên không dám bàn.
tổng kết : nếu chỉ crawl 1 lần xong vứt đó thì dùng requests+bs4+lxml nhanh gọn hơn, còn nếu code phải sửa sang về sau thì dùng scrapy tiện hơn

tạm thời thế đã, tiếp tục nhận gạch
nhà nghèo hay bị mất mạng phải tìm tòi thôi, còn thuê được server mạnh thì em chả phải crawl dữ liệu về làm gì, request thẳng đến thằng server gốc mình clone cho nó nhanh

 

Data crawl về đơn giản thôi chủ yếu kiếm tiền được mới khó. Còn ba cái ngôn ngữ, thư viện chỉ là công cụ. Thớt Cứ PHP cho nhanh học dễ hiểu

 

Cuộc đời là vậy, ông trời ông cho cái này thì mất cái khác...
Đối với dân dev thì data là chuyện nhỏ 3 nốt nhạc là xong, nhưng đối với người không biết dev thì nó là cả vấn đề mặc dù có mánh khóe kiếm được tiền, nên nhiều chuyện cũng không biết đường mà lần, nhiều ý kiến kiểu này chắc thớt búi. Còn nhớ hồi trước chơi BTC mình thì xăm xoi đc cách lấy tiền nhưng khỗ nỗi dev không được, may mắn gặp thằng em nó viết cho cái script chưa đến 10p là xong. Script cũng đơn giản kiểu như chơi tài xỉu thôi, đánh liên tục 1 mặt request liên tục 20 lần, nếu trúng thì đánh lại từ đầu, 20 lần đánh ko trúng cũng đánh lại từ đầu vì dạng đánh kiểu cấp số nhân, đc vài ba ngày admin nó fix mẹ vậy là kiếm dc mấy chục BTC mà BTC hồi đó rate có 500usd/BTC .
MMO đúng là một kho vàng, nhưng đào thế nào phải xắm xẻng, và xẻng thì cũng phải vừa tay mình, thì mới đào đc, mình cũng ko biết khả năng... kỹ năng... của thớt ra sao nên cũng ko biết góp ý gì cả

 

Cuộc sống khó khăn quá bác ơi! Có vẻ chua chua chát chát...
Em thì cũng éo may mắn hơn bác! bác thất nghiệp từ năm 31 và em thì thất nghiệp hồi em còn 26 kia.

Chạy grab là nghành chính

 

Đăng ký thêm goviet, now, grabfood, ... đi. Tích cực quay tay vận may sẽ đến.

 

Tình trạng mình cũng giống bác này, tạm sống được 5 tháng nữa để mày mò không thì học hỏi chạy grab để nuôi thân và 2 cái tàu há mồm vậy .

 

Mình biết là nó sẽ tối ưu các phần về quản lí, config, xử lí lỗi cho crawler, nhưng việc là framework thì sử dụng chức năng ở tầng thấp hơn là thế nào thì mình không rõ lắm, bạn chỉ thêm đoạn này được không?

 

em ở HN đây, rảnh hnao anh em cafe tý đi, cũng đang mờ mẫm mmo , mà chả biết tẹo gì

 

loãng topic của thớt rồi, em inbox bác trao đổi thêm nhé

 

vấn đề này hai bác nên lập thread mới cho em vào đàm đạo cùng ạ

 

Cuộc sống mà... nhưng mà phải cố gắng lên thôi! Biết đâu ngày mai

 

múa rìu qua mắt thợ thôi

 

Củng đang quan tâm vấn đề nầy nè

 

Nếu chịu dc nhiệt như bác money thì triển thôi . hơn 1 năm liền làm mười mấy tiếng một ngày để kiếm dc 100$ tiền gà thì phải còn trừ đi 20$ tiền phí nữa

 

Chắc là chơi bitsler hả bác mình cũng có viết script chơi kiểu này mà khác chút nên sml , giờ btc tụt quá nó cũng đóng cửa rồi, đợi nó mở cửa chơi lại cho vui

 

Em là ai, cô gái hay là gay? Mà sao em biết chuyện này?
Mà đó cũng là bài học. Ông anh tạo động lực cho mình theo nghề nhưng lại dấu nghề. Thấy làm mãi ko ra tiền thì chỉ phán cứ làm đi. Không phải trách ổng nhưng nhìn lại các bạn bây giờ cứ mong có sư mới chả phụ chỉ dẫn. Thời mình còn chả có mấy 4r về mmo mà học hỏi chứ ở đó mà chỉ dẫn. Rồi lắm bạn lại nói là hồi xưa cạnh tranh ít vì ít người làm. Bù lại hồi xưa chẳng có mấy networks để mà tham gia như bây giờ. Nên làm MMO tóm lại thì tự thân vận động vẫn là tốt nhất.