![](\"https:\/\/oaidalleapiprodscus.blob.core.windows.net\/private\/org-PXteLUy4B6mslwRon6h7ri9z\/user-0jfma6aPNvZyLXZUbw4CmvZG\/img-bcbwUapVw3PYeFVcuMZOSGp2.png?st=2024-07-30T10%3A10%3A33Z&se=2024-07-30T12%3A10%3A33Z&sp=r&sv=2023-11-03&sr=b&rscd=inline&rsct=image\/png&skoid=6aaadede-4fb3-4698-a8f6-684d7786b067&sktid=a48cca56-e6da-484e-a814-9c849652bcb3&skt=2024-07-30T00%3A27%3A19Z&ske=2024-07-31T00%3A27%3A19Z&sks=b&skv=2023-11-03&sig=\/BE3jIwXiJG7UaiTcCtw7ZZLAjtWeLX58jfXE5TvKRQ%3D\")
<\/p>\n<\/p>\n
Un aspect crucial de la recherche en IA consiste \u00e0 ajuster les grands mod\u00e8les de langage (LLM) pour qu’ils correspondent aux pr\u00e9f\u00e9rences humaines. Cette optimisation garantit que les syst\u00e8mes d’IA g\u00e9n\u00e8rent des r\u00e9ponses utiles et align\u00e9es avec les attentes des utilisateurs. La m\u00e9thode courante met l’accent sur l’apprentissage \u00e0 partir des donn\u00e9es de pr\u00e9f\u00e9rences humaines pour affiner ces mod\u00e8les, rendant inutile la sp\u00e9cification manuelle des fonctions de r\u00e9compense pour diverses t\u00e2ches. Les deux principales techniques ici sont l’apprentissage par renforcement en ligne (RL) et les m\u00e9thodes contrastives hors ligne.<\/p>\n
Un d\u00e9fi majeur dans le r\u00e9glage fin des LLMs selon les pr\u00e9f\u00e9rences humaines est la couverture limit\u00e9e des datasets statiques. Ceux-ci ne refl\u00e8tent pas toujours la diversit\u00e9 et la dynamique des pr\u00e9f\u00e9rences humaines dans les applications r\u00e9elles, ce qui conduit \u00e0 des performances sous-optimales. Pour y rem\u00e9dier, il faut des m\u00e9thodes qui exploitent efficacement \u00e0 la fois les datasets statiques et les donn\u00e9es en temps r\u00e9el.<\/p>\n
Les techniques actuelles incluent des m\u00e9thodes de RL en ligne comme l’optimisation des politiques proximales (PPO) et des m\u00e9thodes contrastives hors ligne comme l’optimisation des pr\u00e9f\u00e9rences directes (DPO). Les m\u00e9thodes de RL en ligne b\u00e9n\u00e9ficient de retours en temps r\u00e9el mais sont co\u00fbteuses en calcul. Les m\u00e9thodes hors ligne \u00e9vitent l’\u00e9chantillonnage en temps r\u00e9el mais peuvent sur-apprendre et mal g\u00e9n\u00e9raliser.<\/p>\n
Des chercheurs de l’Universit\u00e9 Carnegie Mellon, Aurora Innovation, et l’Universit\u00e9 Cornell ont introduit la m\u00e9thode HyPO (Hybrid Preference Optimization), qui combine les techniques en ligne et hors ligne pour am\u00e9liorer les performances du mod\u00e8le tout en maintenant une efficacit\u00e9 computationnelle. HyPO int\u00e8gre des donn\u00e9es hors ligne pour une optimisation initiale et utilise des donn\u00e9es non-labellis\u00e9es en ligne pour une r\u00e9gulation KL, garantissant une meilleure g\u00e9n\u00e9ralisation au-del\u00e0 des donn\u00e9es d’entra\u00eenement.<\/p>\n
HyPO utilise un cadre algorithmique sophistiqu\u00e9 qui exploite les donn\u00e9es hors ligne pour l’objectif DPO et des \u00e9chantillons en ligne pour contr\u00f4ler la divergence inverse KL. Cette m\u00e9thode hybride r\u00e9sout les limites des m\u00e9thodes purement hors ligne, comme le sur-apprentissage, en int\u00e9grant la robustesse des m\u00e9thodes RL en ligne sans leur complexit\u00e9 computationnelle.<\/p>\n
Les r\u00e9sultats empiriques de HyPO montrent une am\u00e9lioration significative des performances dans des benchmarks comme la t\u00e2che de synth\u00e8se TL;DR et les \u00e9valuations g\u00e9n\u00e9rales de chat comme AlpacaEval 2.0 et MT-Bench. HyPO a enregistr\u00e9 des taux de r\u00e9ussite plus \u00e9lev\u00e9s et une meilleure ma\u00eetrise de la divergence KL par rapport aux m\u00e9thodes DPO existantes.<\/p>\n
En conclusion, l’introduction de l’optimisation hybride des pr\u00e9f\u00e9rences (HyPO), qui combine efficacement donn\u00e9es hors ligne et en ligne, am\u00e9liore l’alignement des mod\u00e8les de langage avec les pr\u00e9f\u00e9rences humaines. Les am\u00e9liorations de performances d\u00e9montr\u00e9es soulignent le potentiel de HyPO \u00e0 fournir des syst\u00e8mes d’IA plus pr\u00e9cis et fiables.<\/p>\n","protected":false},"excerpt":{"rendered":"
Un aspect crucial de la recherche en IA consiste \u00e0 ajuster les grands mod\u00e8les de langage (LLM) pour qu’ils correspondent aux pr\u00e9f\u00e9rences humaines. Cette optimisation garantit que les syst\u00e8mes d’IA g\u00e9n\u00e8rent des r\u00e9ponses utiles et align\u00e9es avec les attentes des utilisateurs. La m\u00e9thode courante met l’accent sur l’apprentissage \u00e0 partir des donn\u00e9es de pr\u00e9f\u00e9rences humaines […]<\/p>\n","protected":false},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[1],"tags":[],"class_list":["post-204","post","type-post","status-publish","format-standard","hentry","category-uncategorized"],"yoast_head":"\n