![](\"https:\/\/oaidalleapiprodscus.blob.core.windows.net\/private\/org-PXteLUy4B6mslwRon6h7ri9z\/user-0jfma6aPNvZyLXZUbw4CmvZG\/img-tNrVRNCstifF1fn2moYdrOWJ.png?st=2024-05-23T00%3A45%3A31Z&se=2024-05-23T02%3A45%3A31Z&sp=r&sv=2021-08-06&sr=b&rscd=inline&rsct=image\/png&skoid=6aaadede-4fb3-4698-a8f6-684d7786b067&sktid=a48cca56-e6da-484e-a814-9c849652bcb3&skt=2024-05-22T11%3A08%3A16Z&ske=2024-05-23T11%3A08%3A16Z&sks=b&skv=2021-08-06&sig=1HbM4zY4lM6v3UM8DlWWCYlvDBgdj7byxGJfQPMzdcY%3D\")
<\/p>\n<\/p>\n
Les mod\u00e8les de langage de grande envergure (LLMs), notamment les mod\u00e8les GPT, ont d\u00e9montr\u00e9 de solides performances dans diverses t\u00e2ches linguistiques. Cependant, leur architecture de d\u00e9codeur pr\u00e9sente encore des d\u00e9fis, particuli\u00e8rement en ce qui concerne le temps de g\u00e9n\u00e9ration du premier token (TTFT) et le temps par token g\u00e9n\u00e9r\u00e9 (TPOT). TTFT, d\u00e9pendant de l’\u00e9tendue du contexte utilisateur, et TPOT, essentiel pour la rapidit\u00e9 de g\u00e9n\u00e9ration des tokens suivants, ont conduit \u00e0 des recherches sur des solutions comme la rar\u00e9faction et le d\u00e9codage sp\u00e9culatif pour r\u00e9soudre ces probl\u00e8mes de m\u00e9moire.<\/p>\n
Des techniques de parall\u00e9lisation, utilisant des m\u00e9thodes en tensor et en s\u00e9quence, visent \u00e0 r\u00e9soudre le probl\u00e8me de TTFT, bien qu’elles manquent encore d’optimisation pour une inf\u00e9rence LLM \u00e9volutive, en raison des inefficacit\u00e9s dans le calcul et la communication de l’attention. La gestion efficace du cache KV et le calcul rapide de la carte d’attention sont cruciaux pour minimiser le TTFT pour les longs contextes. Des approches d’optimisation comme PagedAttention et CacheGen traitent ces d\u00e9fis. Les techniques de parall\u00e9lisation, telles que la parall\u00e9lisation tensorielle et s\u00e9quentielle, recherchent \u00e0 optimiser le TTFT bas\u00e9 sur le calcul. <\/p>\n
Les chercheurs d’Apple ont pr\u00e9sent\u00e9 KV-Runahead, une technique de parall\u00e9lisation con\u00e7ue pour l’inf\u00e9rence LLM visant \u00e0 r\u00e9duire le TTFT. En utilisant le m\u00e9canisme de cache KV existant, KV-Runahead optimise en distribuant la population du cache KV \u00e0 travers divers processus, assurant un \u00e9quilibrage de charge au niveau du contexte.<\/p>\n
Les exp\u00e9riences r\u00e9alis\u00e9es sur un n\u0153ud unique \u00e9quip\u00e9 de 8 GPU NVidia A100, sous des conditions de bande passante haute (300GB\/s) et basse (10GB\/s), ont montr\u00e9 que KV-Runahead surpassait r\u00e9guli\u00e8rement la parall\u00e9lisation tensorielle\/s\u00e9quentielle (TSP) dans plusieurs sc\u00e9narios. Des variantes de KV-Runahead, y compris KVR-E avec partitionnement contextuel \u00e9gal, KVR-S avec partitionnement recherch\u00e9, et KVR-P avec partitionnement pr\u00e9dit, ont \u00e9t\u00e9 \u00e9valu\u00e9es pour leur efficacit\u00e9. KV-Runahead atteint des acc\u00e9l\u00e9rations significatives, m\u00eame sur des r\u00e9seaux \u00e0 faible bande passante, montrant les avantages de son m\u00e9canisme de communication.<\/p>\n
En r\u00e9sum\u00e9, KV-Runahead, en tirant parti de la calcul de l’attention causale dans le cache KV, r\u00e9duit efficacement les co\u00fbts de calcul et de communication, offrant une r\u00e9duction du TTFT par rapport aux m\u00e9thodes existantes. Cette technique offre une r\u00e9silience accrue, notamment dans des environnements \u00e0 bande passante non uniforme, d\u00e9montrant ainsi les b\u00e9n\u00e9fices de son m\u00e9canisme innovant.<\/p>\n","protected":false},"excerpt":{"rendered":"
Les mod\u00e8les de langage de grande envergure (LLMs), notamment les mod\u00e8les GPT, ont d\u00e9montr\u00e9 de solides performances dans diverses t\u00e2ches linguistiques. Cependant, leur architecture de d\u00e9codeur pr\u00e9sente encore des d\u00e9fis, particuli\u00e8rement en ce qui concerne le temps de g\u00e9n\u00e9ration du premier token (TTFT) et le temps par token g\u00e9n\u00e9r\u00e9 (TPOT). TTFT, d\u00e9pendant de l’\u00e9tendue du […]<\/p>\n","protected":false},"author":1,"featured_media":0,"comment_status":"closed","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[1],"tags":[],"class_list":["post-58","post","type-post","status-publish","format-standard","hentry","category-uncategorized"],"yoast_head":"\n