Xin tư vấn lọc kết quả 10M rows Mysql

Các bác có giải pháp filter ra top bài post có lượng views cao nhất trong 1 khoảng thời gian tuỳ thích không ạ. Dữ liệu cỡ 10M row mysql. Mong ae tư vấn cho giải pháp đảm bảo được tốc độ lẫn chi phí server. Thank ae

 

Cho các cột trong mysql với data demo luôn thớt, cho dễ ae tư vấn

 

Em định Table sẽ thế này:
Posts
-id, title, total_views
Stats
-id, post_id, daily_view, date

Ý tưởng của em là hàng ngày sẽ quét toàn bộ 100k post để tạo mới 100k row trong cái bảng Stats (post_id kèm với daily_view), đồng thời đẩy index này qua ES.
Việc tìm kiếm với keyword kèm sắp xếp theo lượt view trong 1 khoảng thời gian (tối đa 1 tháng) là của ES xử lý.

Em chưa làm bao giờ, đây là những gì e suy nghĩ và tìm kiếm suốt 1 tuần qua. Rất mong anh em có kinh nghiệm chỉ giúp!

 

Theo ý kiến cá nhân thì :
1. Thống kê theo request (1 user dùng trình duyệt - thực thi được js => thì mới thống kê như đoạn bên dưới. Chứ ngày nào cũng loop và log all thì tốn tài nguyên quá!

HTML:

<script type="text/javascript">setTimeout(function(){new Image().src='https://domain.nam/path/to/statistic.gif?param1=1&param2=2&ex'},5E2)</script>

2. Tìm hiểu thêm api Google Analytics => đỡ hao resource.
3. Embed mã Google Analytics coi theo ngày đơn giản, nhẹ đầu

 

Mình làm để cho user nó lọc kết quả bạn à

 

Để đẩy 100k post qua ES thì tốn nhiều thời gian không anh. Thank a

 

Cụ thể quá anh! Nhưng phần Stats phải là tạo mới chứ không phải là update ạ. Dữ liệu giống như kiểu làm biểu đồ thống kê views từng ngày của Post đó anh

 

Ok anh

 

Check skype a ơi

 

Đang diễn hay thì 2 anh em đóng cửa kéo rèm chơi riêng là sao nhỉ?
Riêng cái cấu trúc table Stats nhiêu đó fileds là không đủ. Nên có thêm thông tin như: referer là gì, search engine gì, IP nào, ngày, giờ, ... Bởi vì đã thống kê thì thống kê cho tới, người xem mới sướng. Data cũng không quá to. Giả sử 1 ngày em có 200K visitors --> thêm 200K records/ngày --> tháng 6M records --> 1 năm mới có 72M records --> không nhằm nhò gì với khả năng của ES.
Việc import từ MySQL (hay DB nào đó) sang ES rất nhanh, 1s import 1 vài K records là bình thường. Thậm chí thay vì insert vào table Stats trên mySQL rồi lại phải import sang ES thì em có thể insert trực tiếp vào ES vẫn vô cùng nhanh.

 

Là user nó sẽ cần thêm đó em. Ví dụ cho nó xem theo ngày rồi, giờ nó thích theo giờ thì làm sao? Ko lẽ lúc đó lại đập đi làm lại. Nên db thì cứ thiết kế max volumn luôn, còn thực tế dùng bao nhiêu thì mình code bấy nhiêu, còn lại từ từ upgrade chức năng mới.

 

Đỉnh quá anh!
Nếu đẩy luôn sang Es thì có cần insert bên mysql nữa ko a nhỉ? Và bên Es thì đẩy toàn bộ field sang được ko anh, e nghĩ nếu đẩy toàn bộ thì khi lấy ra dữ liệu đỡ phải query ngược lại mysql. Mong được a trợ giúp