トークン（その他表記）token

デジタル大辞泉

トークン（token）

１ 証拠。
２ 代用貨幣。代用硬貨。
３ コンピューターネットワーク上でデジタル認証を行うための小型装置。カード型やUSB型などがある。認証トークン。セキュリティートークン。
４ 対話型AIなどの大規模言語モデルにおける、文章の最小単位。入力された文字列をこの単位で区切り、パラメーターを付与して文章を生成する。学習モデルや言語によって区切り方は異なり、一般に日本語は英語に比べてトークン数が多くなる。

出典　小学館

ASCII.jpデジタル用語辞典

トークン

ソースコードの単位要素ソースコードを構成する最小単位の要素のこと。変数名や予約語、演算子、定数などがこれに相当する。コンパイルの処理工程のひとつである字句解析では、トークン単位で実際の値に展開するかどうかを判断している。終端記号とも呼ぶ。コンパイル字句解析パスワードの生成装置ワンタイムパスワードを生成するための装置。外出先からサーバーに接続する場合などに利用される。カード型などの「ハードトークン」や、パソコンなどにインストールして利用する「ソフトトークン」がある。ワンタイムパスワード

出典　ASCII.jpデジタル用語辞典