AI Fundamentals
分詞 / Token 化
分詞係將文本拆分成更細嘅單位（tokens）嘅過程，令 AI 模型可以處理同理解文本。每個 token 可以係一個字、一個詞、或者一個子詞。呢個過程直接影響 AI 點樣「閱讀」你嘅內容。
點解對 AEO 重要
理解 tokenization 幫你優化內容長度同結構。AI 嘅 context window 有限，所以你嘅核心資訊應該放喺內容嘅前段。中文內容嘅 token 數較多，意味住 AI 處理中文時嘅有效內容長度較短。
實際例子
- 1英文 'optimization' 可能被拆分為 'optim' + 'ization' 兩個 tokens
- 2中文每個字通常係一個獨立嘅 token，所以中文內容嘅 token 數通常較多
- 3GPT-4 嘅 context window 係 128K tokens，約等於 96,000 個英文字
相關術語
常見問題
AC
呢篇文章有用嗎？
HKSTP
創業
HKSTP 支持Tech+
Techathon+ 得獎SOC2
數據安全AEO 準備度評分
2 分鐘測試你嘅業務 AI 搜尋準備度
步驟 1 / 425%
你嘅行業
揀你嘅行業以獲得個人化評分