AI資格 G検定(予想問題) その6

問題 26 / 160

多くの大規模言語モデルで一般に採用されているトークン化手法はどれか

①完全な文字単位トークン化のみを用いる
②語彙を固定した単語単位トークン化のみを用いる
③常に固定長バイト列でトークン化する
④サブワード分割法(BPEやSentencePieceなど)を用いる

当サイトでは、ユーザー体験の向上を目的としてCookieを使用しています。サイトの利用を継続することで、Cookieの使用に同意したものとみなされます。