![](\"https:\/\/oaidalleapiprodscus.blob.core.windows.net\/private\/org-PXteLUy4B6mslwRon6h7ri9z\/user-0jfma6aPNvZyLXZUbw4CmvZG\/img-YwFy7uATF5QkTgXiah7xT0D2.png?st=2024-06-16T10%3A10%3A28Z&se=2024-06-16T12%3A10%3A28Z&sp=r&sv=2023-11-03&sr=b&rscd=inline&rsct=image\/png&skoid=6aaadede-4fb3-4698-a8f6-684d7786b067&sktid=a48cca56-e6da-484e-a814-9c849652bcb3&skt=2024-06-15T19%3A05%3A19Z&ske=2024-06-16T19%3A05%3A19Z&sks=b&skv=2023-11-03&sig=HjYBHe\/roPDGlw6p3M9kb7kzLHIxGFM5w4Mxo5t78Ao%3D\")
<\/p>\n<\/p>\n
Avec l’augmentation des donn\u00e9es g\u00e9n\u00e9r\u00e9es par l’IA, des inqui\u00e9tudes surgissent quant \u00e0 la d\u00e9gradation des performances des mod\u00e8les, un ph\u00e9nom\u00e8ne appel\u00e9 \u00ab\u00a0effondrement des mod\u00e8les\u00a0\u00bb. Ce probl\u00e8me limite le d\u00e9veloppement de m\u00e9thodes efficaces pour r\u00e9sumer de grandes quantit\u00e9s de donn\u00e9es textuelles.<\/p>\n
Actuellement, diverses approches sont utilis\u00e9es pour contrer cet effondrement, telles que l’apprentissage par renforcement avec feedback humain (RLHF), la curation des donn\u00e9es et l’ing\u00e9nierie des invites. RLHF, bien qu’efficace, est co\u00fbteux et difficilement \u00e9volutif. La curation et le filtrage des donn\u00e9es synth\u00e9tiques sont laborieux et ne garantissent pas toujours l’\u00e9limination du risque d’effondrement des mod\u00e8les. L’ing\u00e9nierie des invites, quant \u00e0 elle, est limit\u00e9e par les biais et faiblesses inh\u00e9rents aux mod\u00e8les.<\/p>\n
Un groupe de chercheurs de Meta AI, NYU et l’Universit\u00e9 de P\u00e9kin propose une nouvelle m\u00e9thode utilisant des m\u00e9canismes de feedback pour s\u00e9lectionner ou \u00e9laguer les donn\u00e9es synth\u00e9tiques. Les exp\u00e9riences, comme le calcul des valeurs propres de matrices par des transformateurs et la synth\u00e8se de r\u00e9sum\u00e9s de nouvelles, ont d\u00e9montr\u00e9 l’efficacit\u00e9 de cette approche, surpassant les mod\u00e8les originaux m\u00eame avec une fraction des donn\u00e9es utilis\u00e9es.<\/p>\n
Ce travail offre une solution prometteuse au probl\u00e8me de l’effondrement des mod\u00e8les en int\u00e9grant des m\u00e9canismes de feedback, assurant ainsi des performances soutenues sans d\u00e9pendre fortement de l’intervention humaine.<\/p>\n","protected":false},"excerpt":{"rendered":"
Avec l’augmentation des donn\u00e9es g\u00e9n\u00e9r\u00e9es par l’IA, des inqui\u00e9tudes surgissent quant \u00e0 la d\u00e9gradation des performances des mod\u00e8les, un ph\u00e9nom\u00e8ne appel\u00e9 \u00ab\u00a0effondrement des mod\u00e8les\u00a0\u00bb. Ce probl\u00e8me limite le d\u00e9veloppement de m\u00e9thodes efficaces pour r\u00e9sumer de grandes quantit\u00e9s de donn\u00e9es textuelles. Actuellement, diverses approches sont utilis\u00e9es pour contrer cet effondrement, telles que l’apprentissage par renforcement avec […]<\/p>\n","protected":false},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[1],"tags":[],"class_list":["post-160","post","type-post","status-publish","format-standard","hentry","category-uncategorized"],"yoast_head":"\n