Concept information
Preferred term
transformeur
Definition(s)
- « modèle de transduction de séquences entièrement basé sur l'attention, remplaçant les couches récurrentes les plus couramment utilisées dans les architectures encodeur-décodeur par l'auto-attention multi-têtes. » (Vaswani et al., 2017, p. 10).
Broader concept(s)
Synonym(s)
- modèle auto-attentif
- modèle d'auto-attention
Bibliographic citation(s)
- • Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A. N., Kaiser, L., & Polosukhin, I. (2017). Attention is all you need. arXiv:1706.03762 [cs]. http://arxiv.org/abs/1706.03762
is implemented by
- AbLang
- ALBERT
- AlBERTo
- ALeaseBERT
- AlephBERT
- AraBERT
- araELECTRA
- AraGPT2
- ARBERT
- BanglaBERT
- BART
- BARThez
- BEHRT
- BERTimbau
- BERTje
- BERTopic
- BERT-PLI
- BERT-SentiX
- BERTurk
- BERTweet
- BETO
- BioALBERT
- BioBERT
- BioMedBERT
- BioMed-RoBERTa
- BLOOM
- BlueBERT
- byT5
- CamemBERT
- CancerBERT
- CANINE
- CharBERT
- ClinicalBERT
- CodeBERT
- CodeGPT
- conBERTurk
- convBERT
- CoText
- COVID-Twitter-BERT
- Czech-B
- Czert-A
- DeBERTa
- DeLFT
- DistilBERT
- ELECTRA
- entityBERT
- ERNIE
- estBERT
- Finnish BERT
- Flair
- FlauBERT
- Genomic ULMFit
- GenSLMS
- German BERT
- GluonNLP
- golgotha
- GottBERT
- GPT
- GPT-2
- GPT-3
- GreekBERT
- GreenBioBERT
- HateBERT
- HeBERT
- HerBERT
- IndicBERT
- IndoBERT
- KB-BERT
- KeBioLM
- KeyBERT
- KLUE-BERT
- KLUE-RoBERTa
- KM-BERT
- KoBERT
- KoGPT2
- KoreALBERT
- KR-BERT
- LaMDA
- Legal-BERT
- Legal-HeBERT
- LongFormer
- MARBERT
- MathBERT
- M-BERT
- MC-BERT
- medBERT
- MiniLM
- MobileBERT
- Mol-BERT
- mT5
- MuRIL
- NetBERT
- OAG-BERT
- OuBioBERT
- ParsBERT
- PEGAUSUS
- PhoBERT
- PLBART
- PolishBERT
- ProteinBERT
- PTT5
- PubMedBERT
- RadBERT
- RBERT
- RobBERT
- RobeCzech
- RoBERTa
- RoBERTuito
- Romanian BERT
- ruBERT
- SBERT
- sciBERT
- SciFive
- Slavic BERT
- spanBERT
- srBERT
- StructBERT
- T5
- text
- TextAttack
- TinyBERT
- TOD-BERT
- Tohoku-BERT
- transformers
- UmBERTo
- UmlsBERT
- Unicoder
- UniLM
- UTH-BERT
- WangchanBERTa
- XLM-RoBERTa
- XLM-T
- XLNet
In other languages
-
English
-
self-attention model
URI
http://data.loterre.fr/ark:/67375/LTK-PFDPNVQ7-3
{{label}}
{{#each values }} {{! loop through ConceptPropertyValue objects }}
{{#if prefLabel }}
{{/if}}
{{/each}}
{{#if notation }}{{ notation }} {{/if}}{{ prefLabel }}
{{#ifDifferentLabelLang lang }} ({{ lang }}){{/ifDifferentLabelLang}}
{{#if vocabName }}
{{ vocabName }}
{{/if}}