トークンとは

トークンToken
AIが文章を処理するときの単位。日本語では、おおよそ1〜2文字が1トークンにあたり、利用料金や一度に扱える量の目安になります。

もう少し詳しく

LLMは、文章をそのまま読むのではなく、「トークン」と呼ばれる小さな単位に分けて処理します。英語では1単語がおおよそ1トークン、日本語では1文字が1〜2トークン前後になることが多いです（モデルによって異なります）。

APIで利用する場合の料金は、入力と出力のトークン数で決まるのが一般的です。また、一度に扱える文章の量（コンテキストウィンドウ）もトークン数で表されます。「長い資料を読ませたら途中で切れた」「料金が思ったより高い」といった場面で、この単位が関係してきます。

業務でのポイント

• API利用の料金は「入力＋出力のトークン数」で決まる
• 日本語は英語より同じ内容でトークン数が多くなりやすい
• 長い資料は、必要な部分だけ渡すと料金も精度も良くなる

関連する用語

• 大規模言語モデル（LLM）：大量の文章を学習し、文章の理解と生成を行うAIモデル。ChatGPT・Gemini・Claudeの中核にあり、生成AIの「頭脳」にあたる部分です。
• コンテキストウィンドウ：AIが一度のやりとりで覚えていられる文章の量（トークン数）。これを超えると、古い内容や渡した資料の一部をAIが参照できなくなります。
• API：プログラムどうしが機能やデータをやりとりするための窓口。AIをチャット画面からではなく、自社の仕組みや自動化ツールから使うときに利用します。

AI用語集の一覧に戻る