![](\"https:\/\/oaidalleapiprodscus.blob.core.windows.net\/private\/org-PXteLUy4B6mslwRon6h7ri9z\/user-0jfma6aPNvZyLXZUbw4CmvZG\/img-R6JQzUjulDeeGfwfYcsu9w1u.png?st=2024-07-31T10%3A10%3A37Z&se=2024-07-31T12%3A10%3A37Z&sp=r&sv=2023-11-03&sr=b&rscd=inline&rsct=image\/png&skoid=6aaadede-4fb3-4698-a8f6-684d7786b067&sktid=a48cca56-e6da-484e-a814-9c849652bcb3&skt=2024-07-31T05%3A43%3A28Z&ske=2024-08-01T05%3A43%3A28Z&sks=b&skv=2023-11-03&sig=b8WvEgJu9bWOvnSjGhVJDAxR%2BEhhnFZW2slt1u3et8A%3D\")
<\/p>\n<\/p>\n
OuteAI a r\u00e9cemment d\u00e9voil\u00e9 les derniers mod\u00e8les de sa s\u00e9rie Lite, les Lite-Oute-1-300M et Lite-Oute-1-65M. Ces nouvelles versions visent \u00e0 am\u00e9liorer les performances tout en maintenant l’efficacit\u00e9, les rendant adapt\u00e9es \u00e0 divers appareils.<\/p>\n
### Lite-Oute-1-300M : Performance Am\u00e9lior\u00e9e<\/p>\n
Bas\u00e9 sur l’architecture Mistral, le mod\u00e8le Lite-Oute-1-300M contient environ 300 millions de param\u00e8tres, doublant ainsi son pr\u00e9d\u00e9cesseur avec 150 millions de param\u00e8tres. Entra\u00een\u00e9 sur un ensemble de donn\u00e9es plus raffin\u00e9 et plus large, son but est de fournir une meilleure r\u00e9tention du contexte et une coh\u00e9rence am\u00e9lior\u00e9e.<\/p>\n
Malgr\u00e9 sa taille compacte, il pr\u00e9sente certaines limitations par rapport aux mod\u00e8les de langue plus grands. Entra\u00een\u00e9 sur 30 milliards de tokens avec une longueur de contexte de 4096, il assure des capacit\u00e9s robustes de traitement du langage.<\/p>\n
#### Performance de R\u00e9f\u00e9rence<\/p>\n
Le mod\u00e8le a \u00e9t\u00e9 test\u00e9 sur plusieurs t\u00e2ches :<\/p>\n
* **ARC Challenge** : 26.37 (5-exemples), 26.02 (0-exemple)
\n * **ARC Easy** : 51.43 (5-exemples), 49.79 (0-exemple)
\n * **CommonsenseQA** : 20.72 (5-exemples), 20.31 (0-exemple)
\n * **HellaSWAG** : 34.93 (5-exemples), 34.50 (0-exemple)
\n * **MMLU** : 25.87 (5-exemples), 24.00 (0-exemple)
\n * **OpenBookQA** : 31.40 (5-exemples), 32.20 (0-exemple)
\n * **PIQA** : 65.07 (5-exemples), 65.40 (0-exemple)
\n * **Winogrande** : 52.01 (5-exemples), 53.75 (0-exemple)<\/p>\n
#### Compatibilit\u00e9 avec HuggingFace Transformers<\/p>\n
Il peut \u00eatre utilis\u00e9 avec la biblioth\u00e8que transformers de HuggingFace, facilitant son int\u00e9gration dans des projets Python. Divers param\u00e8tres comme la temp\u00e9rature et la p\u00e9nalit\u00e9 de r\u00e9p\u00e9tition peuvent affiner les r\u00e9ponses g\u00e9n\u00e9r\u00e9es.<\/p>\n
### Lite-Oute-1-65M : Exploration des Mod\u00e8les Ultra-Compacts<\/p>\n
Le mod\u00e8le Lite-Oute-1-65M, bas\u00e9 sur l\u2019architecture LLaMA, inclut environ 65 millions de param\u00e8tres. Ce mod\u00e8le ultra-compact explore les limites de la taille tout en conservant une compr\u00e9hension basique du langage. Entra\u00een\u00e9 sur 8 milliards de tokens avec une longueur de contexte de 2048, il est adapt\u00e9 aux t\u00e2ches de g\u00e9n\u00e9ration de texte basiques mais a des limitations notables en termes de coh\u00e9rence et de pr\u00e9cision.<\/p>\n
### Entra\u00eenement et Mat\u00e9riel<\/p>\n
Les deux mod\u00e8les ont \u00e9t\u00e9 entra\u00een\u00e9s sur du mat\u00e9riel NVIDIA RTX 4090, optimisant l’efficacit\u00e9 tout en garantissant une performance accrue.<\/p>\n
### Conclusion<\/p>\n
En r\u00e9sum\u00e9, les mod\u00e8les Lite-Oute-1-300M et Lite-Oute-1-65M offrent un \u00e9quilibre entre taille et capacit\u00e9, id\u00e9aux pour divers usages tout en maintenant une efficacit\u00e9 optimale pour diff\u00e9rents dispositifs.<\/p>\n","protected":false},"excerpt":{"rendered":"
OuteAI a r\u00e9cemment d\u00e9voil\u00e9 les derniers mod\u00e8les de sa s\u00e9rie Lite, les Lite-Oute-1-300M et Lite-Oute-1-65M. Ces nouvelles versions visent \u00e0 am\u00e9liorer les performances tout en maintenant l’efficacit\u00e9, les rendant adapt\u00e9es \u00e0 divers appareils. ### Lite-Oute-1-300M : Performance Am\u00e9lior\u00e9e Bas\u00e9 sur l’architecture Mistral, le mod\u00e8le Lite-Oute-1-300M contient environ 300 millions de param\u00e8tres, doublant ainsi son pr\u00e9d\u00e9cesseur […]<\/p>\n","protected":false},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[1],"tags":[],"class_list":["post-205","post","type-post","status-publish","format-standard","hentry","category-uncategorized"],"yoast_head":"\n