![](\"https:\/\/oaidalleapiprodscus.blob.core.windows.net\/private\/org-PXteLUy4B6mslwRon6h7ri9z\/user-0jfma6aPNvZyLXZUbw4CmvZG\/img-juuSfmlMc5q7nL72r3gazuEI.png?st=2024-07-06T10%3A10%3A39Z&se=2024-07-06T12%3A10%3A39Z&sp=r&sv=2023-11-03&sr=b&rscd=inline&rsct=image\/png&skoid=6aaadede-4fb3-4698-a8f6-684d7786b067&sktid=a48cca56-e6da-484e-a814-9c849652bcb3&skt=2024-07-05T22%3A39%3A39Z&ske=2024-07-06T22%3A39%3A39Z&sks=b&skv=2023-11-03&sig=91lrg2HGwEKBeL\/DMSju%2BFlhqgO1Z%2BNAJIK9G7MDRv4%3D\")
<\/p>\n<\/p>\n
La mod\u00e9lisation linguistique en intelligence artificielle se focalise sur le d\u00e9veloppement de syst\u00e8mes capables de comprendre, interpr\u00e9ter et g\u00e9n\u00e9rer le langage humain. Ce domaine couvre diverses applications comme la traduction automatique, le r\u00e9sum\u00e9 de texte et les agents conversationnels. Les chercheurs visent \u00e0 cr\u00e9er des mod\u00e8les qui imitent les capacit\u00e9s linguistiques humaines, facilitant ainsi l\u2019interaction fluide entre les humains et les machines. Les progr\u00e8s dans ce domaine ont conduit \u00e0 la cr\u00e9ation de mod\u00e8les de plus en plus complexes et volumineux n\u00e9cessitant des ressources computationnelles importantes.<\/p>\n
L’augmentation de la complexit\u00e9 et de la taille des grands mod\u00e8les linguistiques (LLMs) entra\u00eene des co\u00fbts importants de formation et d’inf\u00e9rence. Ces co\u00fbts r\u00e9sultent de la n\u00e9cessit\u00e9 de coder d’\u00e9normes quantit\u00e9s de connaissances dans les param\u00e8tres du mod\u00e8le, ce qui est exigeant tant en termes de ressources que de calculs. La gestion de ces co\u00fbts est cruciale pour le d\u00e9veloppement durable des technologies de mod\u00e9lisation du langage.<\/p>\n
Les m\u00e9thodes actuelles pour att\u00e9nuer ces co\u00fbts incluent l\u2019optimisation de divers aspects des LLMs, comme leur architecture, la qualit\u00e9 des donn\u00e9es et la parall\u00e9lisation. Les mod\u00e8les de g\u00e9n\u00e9ration augment\u00e9e par r\u00e9cup\u00e9ration (RAG) utilisent des bases de connaissances externes pour r\u00e9duire la charge sur les param\u00e8tres du mod\u00e8le. Cependant, ces mod\u00e8les d\u00e9pendent encore fortement de la taille importante des param\u00e8tres, ce qui limite leur efficacit\u00e9. D’autres approches incluent l’am\u00e9lioration de la qualit\u00e9 des donn\u00e9es et l’utilisation de mat\u00e9riel avanc\u00e9, mais ces solutions ne r\u00e9solvent que partiellement le probl\u00e8me des co\u00fbts computationnels \u00e9lev\u00e9s.<\/p>\n
Des chercheurs de l\u2019Institut de Recherche sur les Algorithmes Avanc\u00e9s de Shanghai, Moqi Inc. et le Centre de Recherche sur l\u2019Apprentissage Automatique de l\u2019Universit\u00e9 de P\u00e9kin ont introduit le mod\u00e8le Memory3. Cette approche novatrice int\u00e8gre une m\u00e9moire explicite dans les LLMs, externalisant une partie importante des connaissances et permettant au mod\u00e8le de maintenir une taille de param\u00e8tres plus r\u00e9duite. L\u2019introduction de la m\u00e9moire explicite repr\u00e9sente un changement de paradigme dans la mani\u00e8re dont les mod\u00e8les linguistiques stockent et r\u00e9cup\u00e8rent les connaissances.<\/p>\n
Memory3 utilise des m\u00e9moires explicites, moins co\u00fbteuses \u00e0 stocker et \u00e0 rappeler que les param\u00e8tres traditionnels des mod\u00e8les. Cette conception inclut un m\u00e9canisme de rar\u00e9faction de la m\u00e9moire et un sch\u00e9ma de pr\u00e9-entrainement en deux phases pour faciliter la formation efficace de la m\u00e9moire. Le mod\u00e8le convertit les textes en m\u00e9moires explicites, qui peuvent \u00eatre r\u00e9cup\u00e9r\u00e9es lors de l’inf\u00e9rence, r\u00e9duisant ainsi les co\u00fbts computationnels globaux. L’architecture de Memory3 est con\u00e7ue pour \u00eatre compatible avec les LLMs existants bas\u00e9s sur le Transformer, n\u00e9cessitant un ajustement minimal. La base de connaissances comprend 1,1 \u00d7 108 fragments de texte, chacun d\u2019une longueur allant jusqu\u2019\u00e0 128 tokens, et est stock\u00e9e et trait\u00e9e de mani\u00e8re efficace.<\/p>\n
Le mod\u00e8le Memory3, avec 2,4 milliards de param\u00e8tres non-embarqu\u00e9s, a surpass\u00e9 les LLMs plus grands et les mod\u00e8les RAG. Il a obtenu de meilleures performances de r\u00e9f\u00e9rence, d\u00e9montrant une efficacit\u00e9 et une pr\u00e9cision sup\u00e9rieures. Sp\u00e9cifiquement, Memory3 a montr\u00e9 une vitesse de d\u00e9codage sup\u00e9rieure aux mod\u00e8les RAG, car il ne d\u00e9pendait pas de processus de r\u00e9cup\u00e9ration de texte extensif. En outre, la performance sur des t\u00e2ches professionnelles, impliquant une r\u00e9cup\u00e9ration fr\u00e9quente de m\u00e9moires explicites, a montr\u00e9 la robustesse et l\u2019adaptabilit\u00e9 du mod\u00e8le \u00e0 diverses applications. L’int\u00e9gration de m\u00e9moires explicites a consid\u00e9rablement r\u00e9duit la charge computationnelle, permettant un traitement plus rapide et plus efficace.<\/p>\n
Le mod\u00e8le Memory3 a montr\u00e9 des r\u00e9sultats impressionnants avec une augmentation de 2,51% des scores moyens gr\u00e2ce \u00e0 la m\u00e9moire explicite par rapport aux mod\u00e8les sans cette caract\u00e9ristique. Dans des t\u00e2ches sp\u00e9cifiques, le mod\u00e8le Memory3 a obtenu un score de 83,3 sur HellaSwag et 80,4 sur BoolQ, surpassant un mod\u00e8le de 9,1 milliards de param\u00e8tres, qui avait des scores de 70,6 et 70,7 respectivement. La vitesse de d\u00e9codage du mod\u00e8le \u00e9tait 35,2% plus lente sans l’utilisation de la m\u00e9moire, indiquant une utilisation efficace de la m\u00e9moire. De plus, le m\u00e9canisme de m\u00e9moire explicite a r\u00e9duit les besoins totaux en stockage de m\u00e9moire de 7,17PB \u00e0 45,9TB, rendant son utilisation plus pratique pour des applications \u00e0 grande \u00e9chelle.<\/p>\n
En conclusion, le mod\u00e8le Memory3 repr\u00e9sente une avanc\u00e9e significative dans la r\u00e9duction du co\u00fbt et de la complexit\u00e9 de la formation et de l’exploitation des grands mod\u00e8les linguistiques. Les chercheurs offrent une solution plus efficace et \u00e9volutive qui maintient des performances et une pr\u00e9cision \u00e9lev\u00e9es en externalisant certaines connaissances dans des m\u00e9moires explicites. Cette approche innovante r\u00e9pond \u00e0 la question cruciale des co\u00fbts computationnels dans la mod\u00e9lisation linguistique, ouvrant la voie \u00e0 des technologies d’IA plus durables et accessibles.<\/p>\n","protected":false},"excerpt":{"rendered":"
La mod\u00e9lisation linguistique en intelligence artificielle se focalise sur le d\u00e9veloppement de syst\u00e8mes capables de comprendre, interpr\u00e9ter et g\u00e9n\u00e9rer le langage humain. Ce domaine couvre diverses applications comme la traduction automatique, le r\u00e9sum\u00e9 de texte et les agents conversationnels. Les chercheurs visent \u00e0 cr\u00e9er des mod\u00e8les qui imitent les capacit\u00e9s linguistiques humaines, facilitant ainsi l\u2019interaction […]<\/p>\n","protected":false},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[1],"tags":[],"class_list":["post-180","post","type-post","status-publish","format-standard","hentry","category-uncategorized"],"yoast_head":"\n