Có api hay tool nào split 1 chuỗi thành tag có nghĩa ko nhỉ ae?

Discussion in 'Thảo Luận Chung' started by Lãng KHách, Feb 5, 2022.

  1. Lãng KHách

    Lãng KHách Tân Thủ Thôn

    Ví dụ "the quick brown fox jumps over the lazy dog"

    [fox,dog,lazy,jump,lazy dog]
     
  2. firefox

    firefox Bang Chúng

    Last edited: Feb 5, 2022
    Tony Vu, Lãng KHách, sincos and 3 others like this.
  3. Lãng KHách

    Lãng KHách Tân Thủ Thôn

  4. firefox

    firefox Bang Chúng

    Em chịu, không rành tượng hình, cái này tokenization hay nlp đơn thuần chắc không đạt kết quả tốt đối với tượng hình, bác mò các thư viện AI xem sao, chạy chậm và tốn cpu nha
    https://huggingface.co/models?pipeline_tag=token-classification&sort=downloads&search=Chinese