技术学习笔记

Appearance

Token计算原理 ​

概述 ​

Token是AI模型处理文本的基本单位，理解Token的计算原理对于优化AI应用成本至关重要。本文将深入探讨Token的定义、计算方式以及不同模型的差异，帮助开发者更好地预估和控制API调用成本。

核心内容 ​

什么是Token ​

Token是文本被分割成的最小处理单元，可以是单词、子词或字符。不同模型对Token的定义和切分方式有所不同：

  • 英文文本：通常一个单词对应1-2个Token
  • 中文文本：通常一个汉字对应1-3个Token
  • 代码：根据语法结构，Token数量变化较大
  • 特殊字符：标点符号、空格等也会占用Token

Token计算方式 ​

基本计算规则 ​

  1. 空格和换行：每个空格、换行符都计入Token
  2. 标点符号：独立计算，通常占用1个Token
  3. 数字序列：连续数字可能被合并或拆分
  4. 混合文本：中英文混合时，Token数量会增加

不同模型的Tokenizer ​

模型Tokenizer特点
GPT-3.5/4cl100k_base对中文较友好，1个汉字约1-2个Token
GPT-4oo200k_base更高效的编码，支持更多语言
ClaudeClaude tokenizer对代码优化，中英文混合效率高
GeminiSentencePiece多语言支持良好

Token计算实例 ​

英文文本示例 ​

输入: "Hello, how are you?"
Token数: 6
分解: ["Hello", ",", " how", " are", " you", "?"]

中文文本示例 ​

输入: "你好，今天天气怎么样？"
Token数: 约10-12个
分解: ["你", "好", "，", "今天", "天气", "怎么样", "？"]

代码示例 ​

python
输入: "def hello_world():\n    print('Hello')"
Token数: 约15-20个

Token计数工具 ​

OpenAI官方工具 ​

python
import tiktoken

def count_tokens(text, model="gpt-3.5-turbo"):
    encoding = tiktoken.encoding_for_model(model)
    return len(encoding.encode(text))

text = "你好，世界！"
print(f"Token数量: {count_tokens(text)}")

在线估算工具 ​

影响Token数量的因素 ​

1. 文本编码 ​

  • UTF-8编码的文本Token效率较高
  • 特殊Unicode字符可能占用更多Token
  • Emoji表情通常占用2-4个Token

2. 格式化方式 ​

markdown
# 格式化影响Token示例

**加粗文本**比普通文本多2个Token
`代码块`会增加额外的Token
列表格式会增加换行和符号Token

3. 语言混合 ​

中英文混合文本的Token效率通常低于纯文本：

纯英文: "Hello World" (2 tokens)
纯中文: "你好世界" (4-6 tokens)
混合: "Hello世界" (3-4 tokens)

实用技巧 ​

1. 预估Token数量 ​

python
def estimate_tokens(text, lang='mixed'):
    if lang == 'en':
        return len(text) // 4
    elif lang == 'zh':
        return len(text) // 1.5
    else:
        return len(text) // 3

2. 优化文本结构 ​

  • 移除不必要的空格和换行
  • 简化格式化标记
  • 使用简洁的表达方式

3. 批量处理优化 ​

python
def batch_process(texts, max_tokens=4000):
    batches = []
    current_batch = []
    current_tokens = 0
    
    for text in texts:
        tokens = count_tokens(text)
        if current_tokens + tokens > max_tokens:
            batches.append(current_batch)
            current_batch = [text]
            current_tokens = tokens
        else:
            current_batch.append(text)
            current_tokens += tokens
    
    if current_batch:
        batches.append(current_batch)
    
    return batches

4. 监控Token使用 ​

python
class TokenMonitor:
    def __init__(self):
        self.total_tokens = 0
        self.request_count = 0
    
    def track(self, prompt_tokens, completion_tokens):
        self.total_tokens += prompt_tokens + completion_tokens
        self.request_count += 1
        
    def get_stats(self):
        return {
            'total_tokens': self.total_tokens,
            'avg_tokens_per_request': self.total_tokens / self.request_count
        }

小结 ​

理解Token计算原理是优化AI应用成本的基础：

  1. 掌握基本概念：Token是文本分割的最小单元，不同模型有不同的切分方式
  2. 了解计算规则：空格、标点、特殊字符都会影响Token数量
  3. 使用工具辅助：利用tiktoken等工具精确计算Token
  4. 优化文本结构：通过简化格式、精简表达来减少Token消耗
  5. 持续监控：建立Token监控机制，及时发现成本异常

通过合理预估和优化Token使用，可以有效控制API调用成本，提升应用效率。