Xin tư vấn lọc kết quả 10M rows Mysql

Có insert mysql hay ko là tuỳ em thôi, cá nhân anh là không. Anh dùng ES là nơi chứa data và quẻry data luôn. Ban đầu thì anh vẫn import data gốc từ mySQL hoặc CSV sang do hiện tại các tool của anh chỉ xuất ra data theo 2 format đó. Còn khi web đã go live, data mới sinh ra sẽ insert vào ES luôn.
Thật ra việc insert thẳng vào ES và xem ES là nơi chứa data không được khuyến khích nhé. Có lẽ nhà phát triển vẫn xem ES là search engine nên ko có cơ chế giải quyết xung đột/xử lý data lỗi/bảo toàn transaction/... khi làm việc với ES. Nhưng quan điểm của anh là tuỳ tình huống mà làm. Với các data như kiểu stats anh thấy cứ insert thẳng ES cho nhanh, khi nào làm với data quan trong như mua bán/tiền bạc/... mới phải cẩn thận.

 

Dữ liệu crawl e vẫn cập Nhật thường xuyên anh ạ. Vậy theo như cách a làm thì em chia làm 2 loại dât. Loại nào dữ liệu lớn thì đẩy hết qua Es còn mấy dữ liệu bé như user, config thì để mysql. A xem vậy ổn ko anh

 

Hơi khó để quyết định vì anh ko biết "big data" mà em nói đến nó là cái gì. Nhưng em suy nghĩ xem nếu big data của ES mất hết thì site em sẽ như thế nào? Vì ES có 1 số lỗ hổng có thể bị hack nếu cấu hình không tốt.
Giải pháp chung nhất & an toàn nhất vẫn là phải có backup data. Nếu mất data thì phải restore lại thật nhanh & càng đầy đủ càng tốt. Từ đó em sẽ có hướng để làm.
Riêng thông tin user & config thì lưu mySQL là chính xác rồi em.

 

Giải pháp là phải lưu Mysql rùi ạ

 

Theo mình thì tạo một bảng riêng kết nối khóa ngoại với bảng nội dung.Nó chứa những ngày tháng,lượng view theo nhu cầu của bạn.Như vậy database sẽ nhẹ và truy vấn nhanh hơn