[Help]: Xử lý khi file database quá lớn

Discussion in 'AutoBlog' started by ngxcat, Mar 23, 2018.

  1. ngxcat

    ngxcat Tân Thủ Thôn

    E có file csv gần 4gb up lên database nhưng web đọc không nổi. Định mở note pad hay excell để tách nhỏ dung lượng nhưng máy cũng không đọc được. Các bác có công cụ nào để giải quyết tình huống này ko ạ?
    Web của e cài hocvps, sử dụng vps 5$ của vultr ạ.
     
  2. Nai

    Nai MiddleMan Staff Member

    Search soft nào chia nhỏ file csv là ra.
    ko thôi dùng emeditor cũng được
     
  3. money

    money Hương Chủ

    Chia nhỏ bigfile ra nhiều smallfile, mỗi smallfile có dung lượng 3MB:
    split -db 3M -a 4 bigfile.txt smallfile

    Chia mỗi smallfile có 5000 lines:
    split -dl 5000 -a 4 bigfile.txt smallfile

    P/S: các smallfile sau khi tạo ra sẽ có tên là: smallfile0000, smallfile0001, ... Muốn tăng/giảm số 0000, 0001 thì tăng/giảm option -a 3 (cho 3 số) hoặc a 5 (cho 5 số), ...
     
    automan, Hoa Mãn Lâu and Nai like this.
  4. Nai

    Nai MiddleMan Staff Member

    Lệnh này chạy ở đâu vậy anh :D
     
  5. money

    money Hương Chủ

    Nhìn lệnh mà còn ko biết cách chạy thì chịu rồi {burn_joss_stick}{burn_joss_stick}{burn_joss_stick}
    Kết nối đến vps bằng Putty, login và dùng lệnh cd di chuyển đến thư mục chứa bigfile.txt rồi chạy lệnh đó.
     
    Nai likes this.
  6. Nai

    Nai MiddleMan Staff Member

    Cũng đoán là chạy trên linux này nọ, nhưng hỏi cho chắc tại đó giờ toàn copy lệnh :D
     
  7. money

    money Hương Chủ

    Putty cũng cho copy paste dc nhé.
     
  8. ngxcat

    ngxcat Tân Thủ Thôn

    Đối với file CSV thì chỉ cần thay TXT => CSV là chạy đc đúng ko a?
     
  9. money

    money Hương Chủ

    uh
     
  10. ngxcat

    ngxcat Tân Thủ Thôn

    E cám ơn nhé, e làm xong sẽ xác nhận để m.ng đọc còn có cách làm :)