Concept information
Terme préférentiel
Megatron-LM
Définition(s)
- Modèle de langage pré-entrainé grâce à traitements en parallèle de GPU.
Concept(s) générique(s)
Référence(s) bibliographique(s)
- • Narayanan, D., Shoeybi, M., Casper, J., LeGresley, P., Patwary, M., Korthikanti, V. A., Vainbrand, D., Kashinkunti, P., Bernauer, J., Catanzaro, B., Phanishayee, A., & Zaharia, M. (2021). Efficient large-scale language model training on GPU clusters using megatron-lm. ArXiv:2104.04473 [Cs]. http://arxiv.org/abs/2104.04473
- • Shoeybi, M., Patwary, M., Puri, R., LeGresley, P., Casper, J., & Catanzaro, B. (2019). Megatron-LM: Training multi-billion parameter language models using GPU model parallelism. https://arxiv.org/abs/1909.08053v1
base de
a pour champ d'application
a pour langage d'entrée
a pour entrepôt
est encodé en
est exécuté dans
a pour licence
Traductions
-
anglais
URI
http://data.loterre.fr/ark:/67375/LTK-DCJM3LC1-6
{{label}}
{{#each values }} {{! loop through ConceptPropertyValue objects }}
{{#if prefLabel }}
{{/if}}
{{/each}}
{{#if notation }}{{ notation }} {{/if}}{{ prefLabel }}
{{#ifDifferentLabelLang lang }} ({{ lang }}){{/ifDifferentLabelLang}}
{{#if vocabName }}
{{ vocabName }}
{{/if}}