Comment fonctionne l'auto-attention ?

2024 Auteur: Lynn Donovan | [email protected]. Dernière modifié: 2023-12-15 23:46

En termes simples, le soi - attention mécanisme permet aux entrées d'interagir les unes avec les autres (" soi ”) et découvrez qui ils devraient payer plus attention à (" attention »). Les sorties sommes agrégats de ces interactions et attention scores.

Aussi, qu'est-ce que l'auto-attention ?

Soi - attention , parfois appelé intra- attention est un attention mécanisme reliant différentes positions d'une même séquence afin de calculer une représentation de la séquence.

Aussi, qu'est-ce que l'auto-attention dans l'apprentissage en profondeur ? Tout d'abord, définissons ce que " soi - Attention " est. Cheng et al, dans leur article intitulé « Long Short-Term Memory-Networks for Machine Lecture », défini soi - Attention comme mécanisme de mise en relation des différentes positions d'une même séquence ou phrase afin d'obtenir une représentation plus vivante.

À ce sujet, qu'est-ce que le mécanisme d'attention ?

Mécanisme d'attention permet au décodeur de s'occuper de différentes parties de la phrase source à chaque étape de la génération de sortie. Au lieu de coder la séquence d'entrée dans un seul vecteur de contexte fixe, nous laissons le modèle apprendre à générer un vecteur de contexte pour chaque pas de temps de sortie.

Qu'est-ce qu'un modèle basé sur l'attention ?

Attention - modèles basés appartiennent à une classe de des modèles communément appelé séquence à séquence des modèles . Le but de ces des modèles , comme son nom l'indique, pour produire une séquence de sortie étant donné une séquence d'entrée qui sont, en général, de longueurs différentes.