Throughput 吞吐量是什麼？AI 每秒能產出多少字

當你覺得某個模型「打字很慢」，你在感受的其實就是吞吐量。它是評估 AI 服務效能時最常被提到的數字之一。

它跟延遲、速率限制常常一起出現，但三者管的是不同的事。

定義

吞吐量是指 AI 模型每秒鐘能處理或生成多少個 Token。單位寫成 Tokens 每秒，也就是一秒內處理或生成的 Token 數量。

影響它的關鍵因素有五個：硬體效能、模型大小、輸入長度、批次大小、系統負載。模型參數量越大，計算量越高，吞吐量通常越低。

白話比喻

把 AI 服務想成一條水管。吞吐量是水管的粗細，決定每秒能流出多少水；延遲是你轉開水龍頭到第一滴水滴出來的等待時間。

水管很粗但要等很久才出水，跟出水很快卻細細一條，是兩種不同的難受。所以這兩個指標要分開看。

跟相近名詞的差別

實際用例

即時對話與客服的重點是低延遲，批次大小抓小、優化首字時間、選較小的模型。文件處理與摘要生成的重點是高吞吐量，可以把批次大小拉大、啟用量化與並行。

離線的批次任務則追求極高吞吐量，批次大小可以再放大，並用多張 GPU 並行處理。實務上就是依場景在 延遲 與吞吐量之間取平衡。