AWS認定試験 AI Practitioner(予想問題) その7

問題 35 / 65

多言語コーパスを用いてチャットボットの基礎モデルを学習する際に未知語や語彙膨張を抑えつつ言語間で語彙を共有するために最も有効な手法はどれですか?

BPEやSentencePieceによるサブワードトークナイゼーション
言語ごとに完全に独立した語彙表を用いる
文字単位のトークン化のみを使用する
単語単位の固定辞書だけを使う
ワンホット表現で語彙を管理する

当サイトでは、ユーザー体験の向上を目的としてCookieを使用しています。サイトの利用を継続することで、Cookieの使用に同意したものとみなされます。