Hỏi về Curl để làm site auto

CURL là một hàm hay trong PHP. Hàm này giúp ta đọc nội dung một trang web khác ngay trên Server của chúng ta.

Quy trình:

//Lấy thông tin
$dau_vao = CURL / file_get_contents 1 url nào đó. Ra toàn mã HTML

//xử lý thông tin
Dùng simplehtmldom hoặc pregex_match/pregex_match_all (để bóc tách lấy tiêu đề, nội dung, tác giả, thời gian, chuyên mục các kiểu)
cho ra
$thong_tin = array(
'tieude' => 'Cháu lên ba'
'noidung' => 'cháu đi mẫu giáo'
'tacgia' => 'không rõ'
'thoigian' => '199x'
'chuyenmuc'=>'thiếu nhi'
);

// Lưu lại vào mysql, mongodb, hoặc đơn giản là ghi thẳng file xuống bằng file_put_contents

Cách 2: Không lưu DB

- Khách request tới 1 URL gì đấy. Ở web bác xử lý ngầm, lấy dữ liệu 1 chỗ khác.
Cũng phải lấy thông tin => bóc tách, rồi hiển thị lên.
Làm vậy sợ ram + CPU đuối nếu cùng 1 nội dung mà cứ liên tục lấy đi lấy lại hoài
Nên thường phải lưu = cơ sở dữ liệu, hoặc lưu xuống file (cached)


Và tất cả cần phải học

Em chỉ biết nhiu đó nên chia sẻ nhiêu đó

 

Ca này khó lắm, chia sẻ bảo học đi có khi kêu mình không chia sẻ. Hỏi lần quần thì cũng không hiểu được

 

Có em nè anh , gặp mấy cái bóc tách khó thì lên Stack Overflow là có hết

 

Em cũng vậy, sẵn tiện share trang test regex https://regex101.com/

 

Mình củng hay xài trang nầy http://regexr.com/v1/ bên phải nó có các ví dụ và diễn giải rất là hữu ích

 

Ví dụ 1 site truyện curl từ blogtruyen đây. Đơn giản thôi. nhưng thấy làm kiểu này giờ khó lên vãi. Mặc dù load cũng ok.
Demo: http://truyengo.com/
Download ATT

 

Theo mình hiểu và từng crawl vui 1 số trang phim và DJ thì như này:
- Dùng curl để lấy source từ 1 url (hiểu đơn giản là bạn vào url đó và ctrl + u là sẽ thấy tất cả những gì mình lấy đc từ curl)
- Từ đống bèo nhèo source đó sẽ có những thông tin mình cần lấy ra (như site truyện thì là tên, tác giả, nội dung...) mình có thể dùng DOM hoặc regex để bóc tách. (Bóc tách sao thì phải học thôi ạ)
- Dữ liệu bóc tách được thì như các bro bên trên đã nói. 1 là lưu vào database, 2 là lưu vào file, 3 là query trực tiếp khi visitor truy cập
Còn các cách bóc tách cao siêu nữa thì e chưa được lĩnh ngộ ạ !
Mấy thứ trên e làm đều là code PHP nhé.

 

Như mình làm thì:
1. Curl hoặc file_get_contents để lấy html source
2. Phân tích source đó xem phần nào cần lấy sau đó dùng preg_match_all để lọc.
Tùy trường hợp mà có thể phải dùng thêm nhiều lệnh khác nữa. Nhưng mà nói chung chủ yếu là Curl và preg_match_all
3. Lưu thông tin vào database sql.
Cái này đỡ ngốn tài nguyên nhất, lại load nhanh.Nhưng mà có nhược điểm là khi content có nội dung chết (hình ảnh, video) thì mình không cập nhật được. Có thể cho thêm hàm rand(), kiểu cho rand(1,1000), nếu ra 10 thì lại curl làm mới data. Tức là page đó cứ trung bình 1000 lượt view thì sẽ đc update 1 lần.
4. Sau khi có database rồi thì build site theo hướng mình muốn.

 

Đi thuê cũng là một giải pháp tốt nhé bro. :v

 

Nói chung theo cái này cũng cần ít căn bản. Không biết gì thì hỏi mới dễ

 

tạo site mà không cần database ak ? thú vị nhỉ