デジタル大辞泉 「トークン」の意味・読み・例文・類語
トークン（token）
２ 代用貨幣。代用硬貨。
３ コンピューターネットワーク上でデジタル認証を行うための小型装置。カード型やUSB型などがある。認証トークン。セキュリティートークン。
４ 対話型AIなどの大規模言語モデルにおける、文章の最小単位。入力された文字列をこの単位で区切り、パラメーターを付与して文章を生成する。学習モデルや言語によって区切り方は異なり、一般に日本語は英語に比べてトークン数が多くなる。
Sponserd by 
翻訳｜token
２ 代用貨幣。代用硬貨。
３ コンピューターネットワーク上でデジタル認証を行うための小型装置。カード型やUSB型などがある。認証トークン。セキュリティートークン。
４ 対話型AIなどの大規模言語モデルにおける、文章の最小単位。入力された文字列をこの単位で区切り、パラメーターを付与して文章を生成する。学習モデルや言語によって区切り方は異なり、一般に日本語は英語に比べてトークン数が多くなる。
関連語
中国のゴビ砂漠などの砂がジェット気流に乗って日本へ飛来したとみられる黄色の砂。西日本に多く，九州西岸では年間 10日ぐらい，東岸では2日ぐらい降る。大陸砂漠の砂嵐の盛んな春に多いが，まれに冬にも起る。...