![](\"https:\/\/oaidalleapiprodscus.blob.core.windows.net\/private\/org-PXteLUy4B6mslwRon6h7ri9z\/user-0jfma6aPNvZyLXZUbw4CmvZG\/img-nSUhemrJhggAqnpf5vFrFR1e.png?st=2024-06-06T10%3A10%3A33Z&se=2024-06-06T12%3A10%3A33Z&sp=r&sv=2023-11-03&sr=b&rscd=inline&rsct=image\/png&skoid=6aaadede-4fb3-4698-a8f6-684d7786b067&sktid=a48cca56-e6da-484e-a814-9c849652bcb3&skt=2024-06-05T17%3A14%3A28Z&ske=2024-06-06T17%3A14%3A28Z&sks=b&skv=2023-11-03&sig=rxj3shxsx%2Btw6mWICFNGKQNmPy9OFLGkvgAn7WqbfjQ%3D\")
<\/p>\n<\/p>\n
L’apprentissage automatique a connu des avanc\u00e9es significatives, avec l’\u00e9mergence des Transformers comme architecture dominante en mod\u00e9lisation de langage. Ces mod\u00e8les ont r\u00e9volutionn\u00e9 le traitement du langage naturel en permettant aux machines de comprendre et g\u00e9n\u00e9rer la langue humaine avec pr\u00e9cision. Cependant, la scalabilit\u00e9 et l’efficacit\u00e9 restent des d\u00e9fis majeurs \u00e0 cause de la mont\u00e9e en puissance quadratique des m\u00e9canismes d’attention traditionnels avec la longueur des s\u00e9quences.<\/p>\n
Pour rem\u00e9dier \u00e0 cela, les chercheurs explorent des m\u00e9thodes alternatives afin de maintenir cette performance tout en am\u00e9liorant l’efficacit\u00e9. Un exemple est les mod\u00e8les de l’espace des \u00e9tats structur\u00e9s (SSMs), qui offrent une scalabilit\u00e9 lin\u00e9aire pendant l’entra\u00eenement et une taille d’\u00e9tat constante lors de la g\u00e9n\u00e9ration. Cependant, l’int\u00e9gration de ces mod\u00e8les dans les structures de deep learning existantes reste complexe.<\/p>\n
Des chercheurs de l’Universit\u00e9 de Princeton et l’Universit\u00e9 Carnegie Mellon ont introduit le cadre de dualit\u00e9 de l’espace des \u00e9tats (SSD), reliant les SSMs et les m\u00e9canismes d’attention. La nouvelle architecture Mamba-2 affine le SSM s\u00e9lectif, atteignant des vitesses 2 \u00e0 8 fois plus rapides que son pr\u00e9d\u00e9cesseur tout en maintenant une performance comp\u00e9titive avec les Transformers. Mamba-2 optimise les processus d’entra\u00eenement et d’inf\u00e9rence en exploitant les unit\u00e9s de multiplication de matrices des mat\u00e9riels modernes.<\/p>\n
Au c\u0153ur du design de Mamba-2, une s\u00e9rie d’algorithmes efficaces exploitent les matrices semi-s\u00e9parables. Ces matrices permettent des compromis optimaux entre calcul, utilisation de la m\u00e9moire et scalabilit\u00e9, am\u00e9liorant ainsi significativement la performance du mod\u00e8le. Le mod\u00e8le utilise aussi l’attention aux valeurs group\u00e9es et le parall\u00e9lisme tensoriel, emprunt\u00e9es des optimisations des Transformers.<\/p>\n
Les performances de Mamba-2 sont valid\u00e9es \u00e0 travers divers benchmarks, d\u00e9montrant sa sup\u00e9riorit\u00e9 par rapport aux mod\u00e8les pr\u00e9c\u00e9dents. Par exemple, Mamba-2, avec 2,7B param\u00e8tres entra\u00een\u00e9s sur 300B jetons, surpasse Pythia-2.8B et Pythia-6.9B. Il obtient des r\u00e9sultats remarquables, notamment des scores de perplexit\u00e9 plus bas et des temps d’entra\u00eenement plus rapides, validant son efficacit\u00e9 dans les applications r\u00e9elles.<\/p>\n
En somme, ce travail pr\u00e9sente une approche innovante qui comble le foss\u00e9 entre les SSMs et les m\u00e9canismes d’attention, offrant une solution scalable et efficace pour la mod\u00e9lisation du langage, ouvrant la voie \u00e0 de futurs d\u00e9veloppements dans le domaine.<\/p>\n","protected":false},"excerpt":{"rendered":"
L’apprentissage automatique a connu des avanc\u00e9es significatives, avec l’\u00e9mergence des Transformers comme architecture dominante en mod\u00e9lisation de langage. Ces mod\u00e8les ont r\u00e9volutionn\u00e9 le traitement du langage naturel en permettant aux machines de comprendre et g\u00e9n\u00e9rer la langue humaine avec pr\u00e9cision. Cependant, la scalabilit\u00e9 et l’efficacit\u00e9 restent des d\u00e9fis majeurs \u00e0 cause de la mont\u00e9e en […]<\/p>\n","protected":false},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[1],"tags":[],"class_list":["post-150","post","type-post","status-publish","format-standard","hentry","category-uncategorized"],"yoast_head":"\n