![](\"https:\/\/oaidalleapiprodscus.blob.core.windows.net\/private\/org-PXteLUy4B6mslwRon6h7ri9z\/user-0jfma6aPNvZyLXZUbw4CmvZG\/img-lM9Lq8SixPY3iVLCC49FcZJ8.png?st=2024-07-18T10%3A10%3A46Z&se=2024-07-18T12%3A10%3A46Z&sp=r&sv=2023-11-03&sr=b&rscd=inline&rsct=image\/png&skoid=6aaadede-4fb3-4698-a8f6-684d7786b067&sktid=a48cca56-e6da-484e-a814-9c849652bcb3&skt=2024-07-17T12%3A58%3A12Z&ske=2024-07-18T12%3A58%3A12Z&sks=b&skv=2023-11-03&sig=jEBgg\/zSXLqR2Q1CxISmcT7bTJYnkZ9IyFAuEbXu2uU%3D\")
<\/p>\n<\/p>\n
L’\u00e9valuation des mod\u00e8les de langage (LMs) demeure cruciale pour mesurer leurs capacit\u00e9s, suivre les avanc\u00e9es scientifiques et guider leur s\u00e9lection. Toutefois, les benchmarks traditionnels ont du mal \u00e0 r\u00e9v\u00e9ler de nouvelles tendances et se montrent parfois trop faciles pour les mod\u00e8les \u00e9volu\u00e9s, limitant leur potentiel d’am\u00e9lioration. L’article met en lumi\u00e8re trois crit\u00e8res essentiels souvent absents des benchmarks actuels : la pertinence, l’originalit\u00e9 et la difficult\u00e9.<\/p>\n
Pour combler cette lacune, les chercheurs ont d\u00e9velopp\u00e9 AutoBencher, un outil qui g\u00e9n\u00e8re automatiquement des ensembles de donn\u00e9es r\u00e9pondant \u00e0 ces trois crit\u00e8res en exploitant des sources d’information privil\u00e9gi\u00e9es. Par exemple, AutoBencher peut d\u00e9tecter des lacunes dans la connaissance des LMs sur des sujets moins courants tels que l’extinction du Permien ou le fordisme.<\/p>\n
En utilisant un mod\u00e8le de langage pour proposer des sujets d’\u00e9valuation et cr\u00e9er des ensembles de donn\u00e9es, AutoBencher \u00e9value chacun en fonction de sa pertinence, son originalit\u00e9 et sa difficult\u00e9 avant de les inclure dans le benchmark. Cette approche adaptative et it\u00e9rative permet de perfectionner continuellement la g\u00e9n\u00e9ration des ensembles de donn\u00e9es pour maximiser les propri\u00e9t\u00e9s recherch\u00e9es. Notamment, les r\u00e9sultats montrent que les benchmarks cr\u00e9\u00e9s par AutoBencher sont en moyenne 27 % plus originaux et 22 % plus difficiles que ceux \u00e9labor\u00e9s par des humains.<\/p>\n
Ce nouvel outil a \u00e9t\u00e9 employ\u00e9 pour cr\u00e9er des ensembles de donn\u00e9es dans divers domaines tels que les math\u00e9matiques, l’histoire, la science, l’\u00e9conomie et le multilinguisme, r\u00e9v\u00e9lant ainsi de nouvelles tendances et des lacunes dans les performances des mod\u00e8les. En automatisant la cr\u00e9ation de benchmarks pertinents, originaux et difficiles, AutoBencher offre une solution prometteuse pour \u00e9valuer plus efficacement les mod\u00e8les de langage et orienter leur d\u00e9veloppement futur.<\/p>\n
Ce travail met en exergue les faiblesses actuelles des mod\u00e8les tout en ouvrant la voie \u00e0 leur am\u00e9lioration. Pour plus de d\u00e9tails, consultez le papier et la page GitHub des chercheurs.<\/p>\n
N’oubliez pas de suivre nos mises \u00e0 jour sur Twitter et de vous abonner \u00e0 notre newsletter pour rester inform\u00e9 des derni\u00e8res nouvelles en intelligence artificielle et en science des donn\u00e9es.<\/p>\n","protected":false},"excerpt":{"rendered":"
L’\u00e9valuation des mod\u00e8les de langage (LMs) demeure cruciale pour mesurer leurs capacit\u00e9s, suivre les avanc\u00e9es scientifiques et guider leur s\u00e9lection. Toutefois, les benchmarks traditionnels ont du mal \u00e0 r\u00e9v\u00e9ler de nouvelles tendances et se montrent parfois trop faciles pour les mod\u00e8les \u00e9volu\u00e9s, limitant leur potentiel d’am\u00e9lioration. L’article met en lumi\u00e8re trois crit\u00e8res essentiels souvent absents […]<\/p>\n","protected":false},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[1],"tags":[],"class_list":["post-192","post","type-post","status-publish","format-standard","hentry","category-uncategorized"],"yoast_head":"\n