Em dạo forum thấy es nặng gấp 5 lần data bình thường. Nên em muốn import data lên mysql rồi import qua ES, để tạo data backup. Có cách nào import sql vào es nhanh không các bác. Hay các bác có cách nào tối ưu giúp em với.
Để nhanh thì dùng mysql export ra cvs rồi dùng logstash import file csv vào es. Import từ mysql bằng logstash cũng nhanh nếu mysql database nhỏ (vài triệu records). Khi database lớn sẽ rất chậm vì jdbc (hay bất kỳ connector nào) đều phải đọc db và duyệt nên không thể nhanh được. --- Double Post Merged, Sep 22, 2021, Original Post Date: Sep 22, 2021 --- Es tốn ổ cứng là đúng vì nó index nhiều (vì index nhiều nên search mới nhanh được)
Nếu cần chơi theo kiểu schedule thì config logstash chuẩn xíu là ok https://www.elastic.co/blog/how-to-...zed-with-a-relational-database-using-logstash Mình chỉ thấy hơi lạ, là sao bạn lại backup thằng elastic, vì theo mình biết nếu sync kiểu 1-1 đấy người ta sẽ chỉ backup db nguồn cho thuận tiện
Cám ơn anh. Cho em hỏi thêm nếu data csv lớn tầm vài gb thì mình để nguyên import được không ạ. Em không học đụng tới đâu em search tới đó. Em search làm es cả tháng nay mới ra. Giờ import lại bị lỗi nữa a --- Double Post Merged, Sep 22, 2021, Original Post Date: Sep 22, 2021 --- Cám ơn bác (Y) Hôm em post thẳng lên es này em tạo mysql để lưu lại bác nè.
Thấy log ở bài viết trước bác có dùng logstash là đúng bài rồi đó, ngoài ra nếu ko chuyên thì dùng elasticdump cho đỡ đau đầu. Set windows size bự tầm 10k, data đơn giản, ssd nữa, thì vài gb chắc tầm nửa tiếng. Thằng elasticdump đấy nếu biết xài thì nó vừa import vừa backup lên s3 khá tiện. Bọn bán thông tin trên raid forum thấy cũng hay xài cái này
