AWS Certification Exam AI Practitioner (Practice Questions) set7

問題 35 / 65

When training a chatbot base model using a multilingual corpus, which method is most effective for sharing vocabulary across languages while suppressing unknown words and vocabulary bloat?

Subword tokenization using BPE and SentencePiece
Use completely independent vocabularies for each language.
Use only character-level tokenization.
Use only a fixed dictionary at the word level.
Manage the vocabulary using one-hot encoding.

当サイトでは、ユーザー体験の向上を目的としてCookieを使用しています。サイトの利用を継続することで、Cookieの使用に同意したものとみなされます。