![](\"https:\/\/oaidalleapiprodscus.blob.core.windows.net\/private\/org-PXteLUy4B6mslwRon6h7ri9z\/user-0jfma6aPNvZyLXZUbw4CmvZG\/img-0J47jpyRsUDLZikXu6oIPggU.png?st=2024-07-29T10%3A10%3A36Z&se=2024-07-29T12%3A10%3A36Z&sp=r&sv=2023-11-03&sr=b&rscd=inline&rsct=image\/png&skoid=6aaadede-4fb3-4698-a8f6-684d7786b067&sktid=a48cca56-e6da-484e-a814-9c849652bcb3&skt=2024-07-28T23%3A51%3A47Z&ske=2024-07-29T23%3A51%3A47Z&sks=b&skv=2023-11-03&sig=oLLuXxcplcpU0t0hS7IquwnoaVxvB1kD6LD55JEMMl0%3D\")
<\/p>\n<\/p>\n
Les mod\u00e8les de langage volumineux (LLMs) sont une sous-cat\u00e9gorie de l’intelligence artificielle qui se concentre sur la compr\u00e9hension et la g\u00e9n\u00e9ration du langage humain. Ils utilisent des architectures complexes pour produire des textes similaires \u00e0 ceux des humains, facilitant ainsi des applications dans les services clients et la cr\u00e9ation de contenu. <\/p>\n
Un d\u00e9fi majeur pour les LLMs est leur efficacit\u00e9 lors du traitement de longs textes. L’architecture Transformer, qu’ils utilisent, a une complexit\u00e9 temporelle quadratique, ce qui augmente consid\u00e9rablement la charge computationnelle avec des s\u00e9quences prolong\u00e9es. Les chercheurs ont introduit le m\u00e9canisme KV-Cache pour att\u00e9nuer ce probl\u00e8me en stockant les cl\u00e9s et valeurs g\u00e9n\u00e9r\u00e9es par les tokens pass\u00e9s, r\u00e9duisant ainsi la complexit\u00e9 temporelle de quadratique \u00e0 lin\u00e9aire. Cependant, le KV-Cache augmente l’utilisation de la m\u00e9moire GPU, intensifiant ainsi les d\u00e9fis de gestion de la m\u00e9moire.<\/p>\n
Une \u00e9quipe de recherche des universit\u00e9s de Wuhan et de Shanghai Jiao Tong a propos\u00e9 plusieurs m\u00e9thodes de compression du KV-Cache pour optimiser son usage lors des phases de pr\u00e9-entra\u00eenement, d\u00e9ploiement et inf\u00e9rence. Ces m\u00e9thodes consistent \u00e0 r\u00e9duire la taille des vecteurs de cl\u00e9s et valeurs durant le pr\u00e9-entra\u00eenement, et \u00e0 d\u00e9ployer le KV-Cache sur plusieurs serveurs pour am\u00e9liorer la gestion de la m\u00e9moire. Par exemple, l’attention pagin\u00e9e utilise une table de mappage pour stocker le KV-Cache de mani\u00e8re discontinue en m\u00e9moire GPU, minimisant la fragmentation et am\u00e9liorant la vitesse d’inf\u00e9rence.<\/p>\n
Des optimisations comme la m\u00e9thode GQA, utilis\u00e9e dans des mod\u00e8les populaires tels que LLaMA2-70B, montrent une utilisation plus efficace de la m\u00e9moire en r\u00e9duisant la taille du KV-Cache tout en maintenant les niveaux de performance. GQA a permis de r\u00e9duire l’utilisation de la m\u00e9moire de chaque token de 0,5 Mo \u00e0 0,125 Mo, am\u00e9liorant ainsi de mani\u00e8re significative l’efficacit\u00e9. En outre, les mod\u00e8les utilisant l’Attention Multi-Query (MQA) et GQA d\u00e9montrent une meilleure capacit\u00e9 de traitement et une latence r\u00e9duite, des m\u00e9triques essentielles pour les applications en temps r\u00e9el.<\/p>\n
Ces m\u00e9thodes optimisent la gestion de la m\u00e9moire dans les LLMs, favorisant des solutions d’IA plus durables et \u00e9volutives. Les travaux des universit\u00e9s de Wuhan et de Shanghai Jiao Tong offrent une feuille de route pour de futures avanc\u00e9es tout en soulignant l’importance cruciale de l’efficacit\u00e9 de la m\u00e9moire dans l’\u00e9volution des technologies de LLM. Ces strat\u00e9gies ouvrent la voie \u00e0 des applications plus sophistiqu\u00e9es des LLMs dans divers secteurs.<\/p>\n
Pour en savoir plus, vous pouvez consulter l’article complet [ici](https:\/\/arxiv.org\/abs\/2407.18003). Assurez-vous de suivre les derniers d\u00e9veloppements sur nos r\u00e9seaux sociaux et de vous abonner \u00e0 notre newsletter pour rester inform\u00e9s des derni\u00e8res avanc\u00e9es en AI.<\/p>\n","protected":false},"excerpt":{"rendered":"
Les mod\u00e8les de langage volumineux (LLMs) sont une sous-cat\u00e9gorie de l’intelligence artificielle qui se concentre sur la compr\u00e9hension et la g\u00e9n\u00e9ration du langage humain. Ils utilisent des architectures complexes pour produire des textes similaires \u00e0 ceux des humains, facilitant ainsi des applications dans les services clients et la cr\u00e9ation de contenu. Un d\u00e9fi majeur pour […]<\/p>\n","protected":false},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[1],"tags":[],"class_list":["post-203","post","type-post","status-publish","format-standard","hentry","category-uncategorized"],"yoast_head":"\n