# Tìm Hiểu Về Token

Hôm nay, mình muốn chia sẻ về một vài thông tin mà mình đã tìm hiểu được về token. Hi vọng điều này sẽ mang lại lợi ích cho bạn.

## Khái Niệm Về Token

Hãy tưởng tượng bạn đang đọc một cuốn sách. Thay vì nhìn từng chữ cái riêng lẻ hoặc từng từ nguyên vẹn, bạn có thể chia nhỏ nội dung thành các đoạn dễ hiểu hơn. Những đoạn này được gọi là token.

Ví dụ, khi đọc câu “Tôi thích ăn phở”, thay vì xử lý từng chữ cái (“T”, “ô”, “i”, ” “, “t”, “h”, “í”, “c”, “h”, …), mô hình có thể chia thành các phần như:

– “Tôi”
– ” thích”
– ” ăn”
– ” phở”

Sau đó, mô hình dùng kiến thức đã học để đoán xem token nào hợp lý nhất để xuất hiện tiếp theo. Nếu trước đó mô hình đã gặp nhiều câu như “Tôi thích ăn phở”, nó có thể dự đoán từ tiếp theo có thể là ” bò”.

Nói đơn giản, token giúp mô hình hiểu và tạo lập văn bản một cách tự nhiên hơn, thay vì chỉ nhìn từng chữ một cách máy móc.

## Token Trong Ngôn Ngữ Tiếng Anh và Tiếng Việt

Mình nhận thấy rằng trong tiếng Anh, một token trung bình có thể chứa khoảng 0.75 từ, thường là một từ. Trong tiếng Việt, một token trung bình có thể chứa khoảng 0.5 đến 0.75 từ. Tuy nhiên, sự khác biệt này cũng còn tùy thuộc vào mô hình, do cách tính toán token có thể thay đổi theo dữ liệu huấn luyện được đưa vào.

## Ứng Dụng Của Token

Hiểu được token, bạn sẽ dễ dàng hơn trong việc ước lượng số token cần dùng và giá tiền tương ứng. Đặc biệt, trong trường hợp bạn cần chạy hàng loạt hoặc tạo chatbot, việc kiểm soát số lượng token sẽ giúp giảm chi phí đáng kể.

## Công Cụ Kiểm Tra Token

Mọi người có thể thử nghiệm token thông qua công cụ của OpenAI mà mình thấy khá hữu ích: [OpenAI Tokenizer](https://platform.openai.com/tokenizer).

Hy vọng bạn sẽ tìm thấy những thông tin này hữu ích! Chúc bạn một ngày tốt lành.