![](\"https:\/\/oaidalleapiprodscus.blob.core.windows.net\/private\/org-PXteLUy4B6mslwRon6h7ri9z\/user-0jfma6aPNvZyLXZUbw4CmvZG\/img-Rv1XBs3Rxgy9siTzqfJQQrqs.png?st=2024-08-18T10%3A10%3A40Z&se=2024-08-18T12%3A10%3A40Z&sp=r&sv=2024-08-04&sr=b&rscd=inline&rsct=image\/png&skoid=d505667d-d6c1-4a0a-bac7-5c84a87759f8&sktid=a48cca56-e6da-484e-a814-9c849652bcb3&skt=2024-08-18T05%3A27%3A01Z&ske=2024-08-19T05%3A27%3A01Z&sks=b&skv=2024-08-04&sig=E8L1wD\/jgXwBtjIlU76eE1sTpDTNpNfoT3Jl\/HenhJ8%3D\")
<\/p>\n<\/p>\n
Aligner efficacement les grands mod\u00e8les de langage (LLM) avec les instructions humaines demeure un d\u00e9fi crucial en IA. Les approches actuelles, fond\u00e9es sur des ensembles de donn\u00e9es annot\u00e9s manuellement et des donn\u00e9es synth\u00e9tiques, pr\u00e9sentent des limitations concernant l’\u00e9volutivit\u00e9 et la diversit\u00e9 des donn\u00e9es. Pour r\u00e9soudre ces probl\u00e8mes, une m\u00e9thode innovante, baptis\u00e9e \u00ab traduction aller-retour \u00bb, a \u00e9t\u00e9 propos\u00e9e par des chercheurs de l’Universit\u00e9 de Washington et Meta Fair.<\/p>\n
Cette m\u00e9thode combine la r\u00e9trotraduction avec la r\u00e9\u00e9criture des r\u00e9ponses. Les instructions sont d’abord g\u00e9n\u00e9r\u00e9es \u00e0 partir de r\u00e9ponses existantes provenant d’un corpus web \u00e0 grande \u00e9chelle, puis affin\u00e9es par un LLM pour mieux correspondre aux instructions g\u00e9n\u00e9r\u00e9es. Le corpus Dolma sert de source initiale pour ces donn\u00e9es, filtr\u00e9es ensuite pour ne conserver que les paires de haute qualit\u00e9. L’usage de la technique de r\u00e9\u00e9criture par des mod\u00e8les align\u00e9s, tels que Llama-2-70B-chat, permet d’am\u00e9liorer encore la qualit\u00e9 des r\u00e9ponses, en utilisant le \u00ab\u00a0nucleus sampling\u00a0\u00bb.<\/p>\n
Cette approche a montr\u00e9 des performances sup\u00e9rieures sur plusieurs benchmarks, notamment avec un taux de r\u00e9ussite de 91,74 % sur le benchmark AlpacaEval, d\u00e9passant les mod\u00e8les entra\u00een\u00e9s sur des ensembles de donn\u00e9es comme OpenOrca et ShareGPT. Ceci d\u00e9montre l’efficacit\u00e9 de la m\u00e9thode de traduction aller-retour pour g\u00e9n\u00e9rer des donn\u00e9es d’instructions diversifi\u00e9es et de haute qualit\u00e9.<\/p>\n
En conclusion, cette m\u00e9thode repr\u00e9sente une avanc\u00e9e significative pour l’alignement des mod\u00e8les de langage avec les instructions humaines, apportant une solution plus scalable et pr\u00e9cise pour les applications pratiques de l’IA.<\/p>\n","protected":false},"excerpt":{"rendered":"
Aligner efficacement les grands mod\u00e8les de langage (LLM) avec les instructions humaines demeure un d\u00e9fi crucial en IA. Les approches actuelles, fond\u00e9es sur des ensembles de donn\u00e9es annot\u00e9s manuellement et des donn\u00e9es synth\u00e9tiques, pr\u00e9sentent des limitations concernant l’\u00e9volutivit\u00e9 et la diversit\u00e9 des donn\u00e9es. Pour r\u00e9soudre ces probl\u00e8mes, une m\u00e9thode innovante, baptis\u00e9e \u00ab traduction aller-retour \u00bb, […]<\/p>\n","protected":false},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[1],"tags":[],"class_list":["post-223","post","type-post","status-publish","format-standard","hentry","category-uncategorized"],"yoast_head":"\n