AI資格 G検定(予想問題) その6

問題 26 / 160

多くの大規模言語モデルで一般に採用されているトークン化手法はどれか

完全な文字単位トークン化のみを用いる
語彙を固定した単語単位トークン化のみを用いる
常に固定長バイト列でトークン化する
サブワード分割法(BPEやSentencePieceなど)を用いる

当サイトでは、ユーザー体験の向上を目的としてCookieを使用しています。サイトの利用を継続することで、Cookieの使用に同意したものとみなされます。