トークン(その他表記)token

翻訳|token

デジタル大辞泉 「トークン」の意味・読み・例文・類語

トークン(token)

証拠
代用貨幣。代用硬貨。
コンピューターネットワーク上でデジタル認証を行うための小型装置。カード型やUSB型などがある。認証トークンセキュリティートークン
対話型AIなどの大規模言語モデルにおける、文章の最小単位。入力された文字列をこの単位で区切り、パラメーターを付与して文章を生成する。学習モデルや言語によって区切り方は異なり、一般に日本語は英語に比べてトークン数が多くなる。

出典 小学館デジタル大辞泉について 情報 | 凡例

関連語 言語モデル

1 《「礼記」月令から》カワウソが自分のとった魚を並べること。人が物を供えて先祖を祭るのに似ているところからいう。獺祭魚。おそまつり。うそまつり。2 《晩唐の詩人李商隠が、文章を作るのに多数の書物を座...

獺祭の用語解説を読む