![](\"https:\/\/oaidalleapiprodscus.blob.core.windows.net\/private\/org-PXteLUy4B6mslwRon6h7ri9z\/user-0jfma6aPNvZyLXZUbw4CmvZG\/img-E33UndgSSvp1N7Wz8G4rrE53.png?st=2024-07-01T10%3A10%3A37Z&se=2024-07-01T12%3A10%3A37Z&sp=r&sv=2023-11-03&sr=b&rscd=inline&rsct=image\/png&skoid=6aaadede-4fb3-4698-a8f6-684d7786b067&sktid=a48cca56-e6da-484e-a814-9c849652bcb3&skt=2024-07-01T02%3A03%3A48Z&ske=2024-07-02T02%3A03%3A48Z&sks=b&skv=2023-11-03&sig=wHcJmUv4G5JmEIss33xkBI6uFRq25B1XHIdwKXvt2oE%3D\")
<\/p>\n<\/p>\n
Les mod\u00e8les de langue de grande taille (LLM) affrontent un d\u00e9fi crucial lors de leur entra\u00eenement : la raret\u00e9 imminente des donn\u00e9es de qualit\u00e9 sur Internet. Il est pr\u00e9vu qu’en 2026, ces donn\u00e9es seront \u00e9puis\u00e9es, poussant les chercheurs \u00e0 utiliser des donn\u00e9es g\u00e9n\u00e9r\u00e9es par des mod\u00e8les ou synth\u00e9tiques. Cette transition pr\u00e9sente \u00e0 la fois des opportunit\u00e9s et des risques. Alors que certaines \u00e9tudes montrent que l’augmentation des donn\u00e9es synth\u00e9tiques peut am\u00e9liorer les performances sur des t\u00e2ches de raisonnement complexe, d’autres r\u00e9v\u00e8lent une tendance pr\u00e9occupante : l’entra\u00eenement sur des donn\u00e9es synth\u00e9tiques peut amplifier les biais, propager des informations erron\u00e9es et renforcer des propri\u00e9t\u00e9s stylistiques ind\u00e9sirables.<\/p>\n
La gestion de ces donn\u00e9es synth\u00e9tiques pose un d\u00e9fi de taille puisque l’on ne comprend pas encore pleinement leur influence sur le comportement des LLM. Les chercheurs explorent diverses approches pour relever ces d\u00e9fis, notamment en se basant sur des m\u00e9thodes traditionnelles telles que \u00ab\u00a0l’enseignement forc\u00e9\u00a0\u00bb avec des donn\u00e9es d’expert, bien que cela montre des limites, particuli\u00e8rement dans le raisonnement math\u00e9matique. Des efforts sont d\u00e9ploy\u00e9s pour g\u00e9n\u00e9rer des donn\u00e9es synth\u00e9tiques positives qui imitent les donn\u00e9es d’entra\u00eenement de haute qualit\u00e9, en utilisant des mod\u00e8les enseignants plus robustes et du contenu auto-g\u00e9n\u00e9r\u00e9. <\/p>\n
Des chercheurs de Carnegie Mellon University, Google DeepMind et MultiOn ont observ\u00e9 que les donn\u00e9es positives am\u00e9liorent les performances, bien que de mani\u00e8re plus lente que les donn\u00e9es de pr\u00e9-entra\u00eenement. Plus notablement, les r\u00e9ponses positives auto-g\u00e9n\u00e9r\u00e9es se sont souvent r\u00e9v\u00e9l\u00e9es aussi efficaces que des donn\u00e9es issues de mod\u00e8les plus grands. Ils proposent \u00e9galement une approche robuste utilisant des donn\u00e9es n\u00e9gatives, montrant que l’utilisation strat\u00e9gique de ces donn\u00e9es peut am\u00e9liorer l’efficience des donn\u00e9es jusqu’\u00e0 huit fois par rapport \u00e0 l’utilisation de donn\u00e9es positives uniquement. <\/p>\n
Pour mieux illustrer ce point, il est comparable \u00e0 l’utilisation d’une combinaison de strat\u00e9gies dans le sport : imaginez un entra\u00eeneur combinant des s\u00e9ances de visionnage de matchs (donn\u00e9es positives) avec des exercices intensifs de correction d’erreurs (donn\u00e9es n\u00e9gatives). Cette combinaison permettrait de maximiser les performances de l’\u00e9quipe de mani\u00e8re significative. Dans l’entra\u00eenement LLM, cela pourrait \u00eatre vu par l’utilisation d’optimisation de pr\u00e9f\u00e9rence directe (DPO) \u00e0 chaque \u00e9tape critique pour se concentrer sur les processus de raisonnement les plus d\u00e9terminants. <\/p>\n
Des lois de mise \u00e0 l’\u00e9chelle pour les deux types de donn\u00e9es sur des r\u00e9f\u00e9rentiels courants de raisonnement sont d\u00e9velopp\u00e9es, offrant des perspectives pr\u00e9cieuses pour optimiser l’utilisation des donn\u00e9es synth\u00e9tiques pour am\u00e9liorer les capacit\u00e9s de raisonnement math\u00e9matique des LLM. En conclusion, bien que l’utilisation de donn\u00e9es synth\u00e9tiques pr\u00e9sente des d\u00e9fis, une approche \u00e9quilibr\u00e9e et bien \u00e9tudi\u00e9e permet de surmonter ces obstacles et d’am\u00e9liorer consid\u00e9rablement les performances des mod\u00e8les, tout comme dans le sport o\u00f9 une strat\u00e9gie diversifi\u00e9e m\u00e8ne souvent au succ\u00e8s.<\/p>\n","protected":false},"excerpt":{"rendered":"
Les mod\u00e8les de langue de grande taille (LLM) affrontent un d\u00e9fi crucial lors de leur entra\u00eenement : la raret\u00e9 imminente des donn\u00e9es de qualit\u00e9 sur Internet. Il est pr\u00e9vu qu’en 2026, ces donn\u00e9es seront \u00e9puis\u00e9es, poussant les chercheurs \u00e0 utiliser des donn\u00e9es g\u00e9n\u00e9r\u00e9es par des mod\u00e8les ou synth\u00e9tiques. Cette transition pr\u00e9sente \u00e0 la fois des […]<\/p>\n","protected":false},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[1],"tags":[],"class_list":["post-175","post","type-post","status-publish","format-standard","hentry","category-uncategorized"],"yoast_head":"\n