トークン（その他表記）token

デジタル大辞泉

トークン（token）

１ 証拠。
２ 貨幣の代わりに用いられるメダルや小札。代用貨幣。代用硬貨。「ブックトークン（＝図書券）」
３ 古代メソポタミア地域で用いられた道具。粘土製の小片で、形状や模様などによって品物や数量を記録したものとみられる。
４ コンピューターネットワーク上でデジタル認証を行うための小型装置。カード型やUSB型などがある。認証トークン。セキュリティートークン。
５ 対話型AIなどの大規模言語モデルにおける、文章の最小単位。入力された文字列をこの単位で区切り、パラメーターを付与して文章を生成する。学習モデルや言語によって区切り方は異なり、一般に日本語は英語に比べてトークン数が多くなる。

出典　小学館