Nedir:

• BERT: Transformers ile Çift Yönlü Kodlayıcı Gösterimleri
• NLP görevlerinde transfer öğrenimi için bir model
• Etiketlenmemiş veride önceden eğitilerek dil gösterimi oluşturur
• Özel görevler için az miktarda etiketli veri gerektirir

Ne için kullanılır:

• denetimli görevler
• NLP modelleri için özellik üretme

ERNIE: Bilgi Entegrasyonu ile Geliştirilmiş Gösterim