テキスト分類タスクには、どのモデル（GPT2、BERT、XLNetなど）を使用しますか？どうして？
文分類タスクのモデルをトレーニングしようとしています。入力は文（整数のベクトル）で、出力はラベル（0または1）です。テキスト分類タスクにBertとGPT2を使用することについて、あちこちでいくつかの記事を見てきました。ただし、どれを選択すればよいかわかりません。元のTransformerモデル、Bert、GPT2、XLNetなど、NLPのこれらの最近のモデルのどれを使用して始めますか？なぜ？ Tensorflowで実装したいのですが、PyTorchにも柔軟に対応できます。ありがとう！
他の人が述べたように、それはデータセットに依存し、複数のモデルを試して、最良のモデルを選択する必要があります。
しかし、私の経験を共有すると、XLNetはこれまでのところ他のすべてのモデルをかなり上回っています。したがって、学習が目的でない場合は、XLNETから始めて、もう少し試して、結論を出します。探索の時間を節約するだけです。
以下のレポは、これらすべてをすばやく実行するのに最適です。彼らへの称賛。
https://github.com/Microsoft/nlp-recipes
それはハグ顔トランスフォーマーを使用し、それらを完全にシンプルにします。 ????