![](\"https:\/\/oaidalleapiprodscus.blob.core.windows.net\/private\/org-PXteLUy4B6mslwRon6h7ri9z\/user-0jfma6aPNvZyLXZUbw4CmvZG\/img-fsj5pjIRyDuaxhndiSYWP4hu.png?st=2024-05-24T04%3A45%3A26Z&se=2024-05-24T06%3A45%3A26Z&sp=r&sv=2021-08-06&sr=b&rscd=inline&rsct=image\/png&skoid=6aaadede-4fb3-4698-a8f6-684d7786b067&sktid=a48cca56-e6da-484e-a814-9c849652bcb3&skt=2024-05-23T22%3A42%3A23Z&ske=2024-05-24T22%3A42%3A23Z&sks=b&skv=2021-08-06&sig=NDuI5azED\/EXYnjTalyuM4TxD4sKStIGgu\/OufnIA2M%3D\")
<\/p>\n<\/p>\n
L’intelligence artificielle \u00e9volue rapidement, notamment avec le d\u00e9veloppement de mod\u00e8les de langage massifs (LLM) comprenant plus de 70 milliards de param\u00e8tres. Ces mod\u00e8les sont essentiels pour diverses t\u00e2ches telles que la g\u00e9n\u00e9ration de textes cr\u00e9atifs et la traduction. Cependant, leur exploitation optimale n\u00e9cessite l’apport humain via une technique appel\u00e9e l’apprentissage par renforcement avec feedback humain (RLHF). La gestion des besoins en m\u00e9moire de ces mod\u00e8les constitue le principal d\u00e9fi des cadres RLHF actuels.<\/p>\n
Les approches actuelles RLHF impliquent souvent la division du LLM sur plusieurs GPU, mais cette strat\u00e9gie pr\u00e9sente des inconv\u00e9nients. La fragmentation de la m\u00e9moire et la communication excessive entre les parties partitionn\u00e9es ralentissent le processus global.<\/p>\n
Pour relever ces d\u00e9fis, les chercheurs proposent OpenRLHF, un cadre RLHF r\u00e9volutionnaire. OpenRLHF utilise Ray pour une r\u00e9partition intelligente des t\u00e2ches sur les GPU et vLLM pour am\u00e9liorer la vitesse de calcul. Compar\u00e9 au cadre DSChat, OpenRLHF a montr\u00e9 une rapide convergence de l’apprentissage d’un mod\u00e8le LLaMA2 de 7B param\u00e8tres, r\u00e9duisant significativement le temps de formation.<\/p>\n
En conclusion, OpenRLHF surmonte les obstacles majeurs rencontr\u00e9s dans la formation des LLM colossaux avec RLHF, ouvrant de nouvelles possibilit\u00e9s pour le traitement du langage et l’interaction des informations.<\/p>\n","protected":false},"excerpt":{"rendered":"
L’intelligence artificielle \u00e9volue rapidement, notamment avec le d\u00e9veloppement de mod\u00e8les de langage massifs (LLM) comprenant plus de 70 milliards de param\u00e8tres. Ces mod\u00e8les sont essentiels pour diverses t\u00e2ches telles que la g\u00e9n\u00e9ration de textes cr\u00e9atifs et la traduction. Cependant, leur exploitation optimale n\u00e9cessite l’apport humain via une technique appel\u00e9e l’apprentissage par renforcement avec feedback humain […]<\/p>\n","protected":false},"author":1,"featured_media":0,"comment_status":"closed","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[1],"tags":[],"class_list":["post-65","post","type-post","status-publish","format-standard","hentry","category-uncategorized"],"yoast_head":"\n