![](\"https:\/\/oaidalleapiprodscus.blob.core.windows.net\/private\/org-PXteLUy4B6mslwRon6h7ri9z\/user-0jfma6aPNvZyLXZUbw4CmvZG\/img-UrqXzoFRVYzWNyJ5YqeZmS2k.png?st=2024-06-08T10%3A10%3A33Z&se=2024-06-08T12%3A10%3A33Z&sp=r&sv=2023-11-03&sr=b&rscd=inline&rsct=image\/png&skoid=6aaadede-4fb3-4698-a8f6-684d7786b067&sktid=a48cca56-e6da-484e-a814-9c849652bcb3&skt=2024-06-08T08%3A55%3A13Z&ske=2024-06-09T08%3A55%3A13Z&sks=b&skv=2023-11-03&sig=C5WlFVuAfK1WWsFJDMq%2BBSroVJyRii1JHxxuxmBmtp4%3D\")
<\/p>\n<\/p>\n
Les mod\u00e8les de langage (LM) sont con\u00e7us pour refl\u00e9ter une vari\u00e9t\u00e9 de perspectives, r\u00e9sultant souvent en des r\u00e9ponses g\u00e9n\u00e9riques. Pour am\u00e9liorer la personnalisation, les m\u00e9thodes comme le r\u00e9glage supervis\u00e9 (SFT) et l’apprentissage par renforcement avec feedback humain (RLHF) peuvent \u00eatre utilis\u00e9es, mais n\u00e9cessitent de grandes quantit\u00e9s de donn\u00e9es, rendant leur application difficile pour des t\u00e2ches sp\u00e9cifiques et nouvelles. <\/p>\n
Les chercheurs de l’Universit\u00e9 de Stanford ont introduit DITTO (Demonstration ITerated Task Optimization), une m\u00e9thode utilisant des d\u00e9monstrations de l’utilisateur pour aligner les sorties des mod\u00e8les de langage et g\u00e9n\u00e9rer des donn\u00e9es de comparaison en ligne \u00e0 faible co\u00fbt. DITTO donne la priorit\u00e9 aux d\u00e9monstrations sur les sorties interm\u00e9diaires des LLM, et d\u00e9passe les approches comme le few-shot prompting et SFT avec un taux de r\u00e9ussite moyen de 19 points sup\u00e9rieur.<\/p>\n
DITTO est capable d’apprendre des alignements fins de style et de t\u00e2ches dans divers domaines comme les articles de presse et les emails. En utilisant des boucles it\u00e9ratives de d\u00e9monstrations et de feedback, il am\u00e9liore les r\u00e9sultats des mod\u00e8les de langage, affichant un taux de victoire moyen de 77,09 %.<\/p>\n
Ces r\u00e9sultats soulignent l’efficacit\u00e9 de l’approche ax\u00e9e sur les d\u00e9monstrations pour la personnalisation des LLM, m\u00eame avec un nombre limit\u00e9 de comportements d\u00e9montr\u00e9s. Cependant, des \u00e9tudes suppl\u00e9mentaires sont n\u00e9cessaires pour explorer d’autres tailles de mod\u00e8les et types de donn\u00e9es de pr\u00e9f\u00e9rence. Pour plus de d\u00e9tails, voir l’article et le code sur GitHub.<\/p>\n","protected":false},"excerpt":{"rendered":"
Les mod\u00e8les de langage (LM) sont con\u00e7us pour refl\u00e9ter une vari\u00e9t\u00e9 de perspectives, r\u00e9sultant souvent en des r\u00e9ponses g\u00e9n\u00e9riques. Pour am\u00e9liorer la personnalisation, les m\u00e9thodes comme le r\u00e9glage supervis\u00e9 (SFT) et l’apprentissage par renforcement avec feedback humain (RLHF) peuvent \u00eatre utilis\u00e9es, mais n\u00e9cessitent de grandes quantit\u00e9s de donn\u00e9es, rendant leur application difficile pour des t\u00e2ches […]<\/p>\n","protected":false},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[1],"tags":[],"class_list":["post-152","post","type-post","status-publish","format-standard","hentry","category-uncategorized"],"yoast_head":"\n