Bài học tương tác · Tokenization
Một chuỗi. Nhiều cách máy nhìn.
TOKEN LAB · o200k_base chạy ngay trong trình duyệt
Xử lý cục bộ01 / 07
24 / 240 UTF-16
…token
Ví dụ nhanhRAW
DỰ ĐOÁN TRƯỚCĐO TRỰC TIẾP
Theo bạn, tokenizer sẽ tạo bao nhiêu token cho chuỗi đang theo dõi?
7token?
3
Từ gần đúng
Intl word segmentation
18
Grapheme
Ký tự người đọc cảm nhận
21
Code point
Unicode scalar values
36
UTF-8 byte
Dữ liệu mã hóa
…
o200k token
Mục trong vocabulary
TOKENIZER THẬT · o200k_base
Đang nạp từ điển o200k_base…