![](\"https:\/\/oaidalleapiprodscus.blob.core.windows.net\/private\/org-PXteLUy4B6mslwRon6h7ri9z\/user-0jfma6aPNvZyLXZUbw4CmvZG\/img-V6bqpPOfQ4NuHWY161Gb19qZ.png?st=2024-06-13T10%3A10%3A55Z&se=2024-06-13T12%3A10%3A55Z&sp=r&sv=2023-11-03&sr=b&rscd=inline&rsct=image\/png&skoid=6aaadede-4fb3-4698-a8f6-684d7786b067&sktid=a48cca56-e6da-484e-a814-9c849652bcb3&skt=2024-06-12T18%3A47%3A15Z&ske=2024-06-13T18%3A47%3A15Z&sks=b&skv=2023-11-03&sig=Zti5PGvXr3S2F3XjWeo828Cspke%2By\/nFSq1KD9wpVKo%3D\")
<\/p>\n<\/p>\n
Pr\u00e9voir le comportement des syst\u00e8mes d’IA de pointe tels que GPT-4, Claude, et Gemini est crucial pour anticiper leur potentiel et orienter leur d\u00e9veloppement. Les lois d’\u00e9chelle, reliant les param\u00e8tres, les donn\u00e9es, le calcul et la perte de pr\u00e9entra\u00eenement, sont bien \u00e9tablies. Cependant, les performances sur des t\u00e2ches sp\u00e9cifiques demeurent impr\u00e9visibles \u00e0 mesure que ces syst\u00e8mes gagnent en ampleur. Par exemple, les r\u00e9sultats sur les benchmarks NLP standard \u00e9voluent parfois de mani\u00e8re inattendue, possiblement \u00e0 cause des choix m\u00e9triques et du manque de r\u00e9solution.<\/p>\n
L’article explore deux axes principaux. Le premier, \u00ab\u00a0Au-del\u00e0 des Benchmarks \u00e0 Choix Multiples,\u00a0\u00bb se concentre sur les t\u00e2ches \u00e9valu\u00e9es via des formats de choix multiples bas\u00e9s sur la vraisemblance logarithmique. Bien que ces t\u00e2ches soient r\u00e9pandues et utiles, les conclusions peuvent \u00eatre limit\u00e9es en termes d’application plus large. Le second axe, \u00ab\u00a0Pr\u00e9voir les Performances des Benchmarks A Priori,\u00a0\u00bb explique pourquoi les performances des benchmarks \u00e0 choix multiples sont difficiles \u00e0 pr\u00e9dire avec des m\u00e9triques comme l’Exactitude et le Score de Brier sans utiliser de r\u00e9trocalcul.<\/p>\n
Des chercheurs de l’Universit\u00e9 de Cambridge, Stanford CS, EleutherAI, et MILA ont d\u00e9montr\u00e9 que des m\u00e9triques comme l’Exactitude, le Score de Brier et la Probabilit\u00e9 Correcte peuvent \u00eatre \u00e9valu\u00e9es \u00e0 partir des sorties brutes des mod\u00e8les. Cela est r\u00e9alis\u00e9 via une s\u00e9rie de transformations qui alt\u00e8rent progressivement la relation statistique entre ces m\u00e9triques et les param\u00e8tres d’\u00e9chelle. L’une des raisons principales est que ces m\u00e9triques reposent sur une comparaison directe entre la sortie correcte et un ensemble limit\u00e9 de sorties incorrectes sp\u00e9cifiques. Par cons\u00e9quent, pr\u00e9dire avec pr\u00e9cision les performances downstream n\u00e9cessite de mod\u00e9liser comment la probabilit\u00e9 varie parmi des alternatives incorrectes sp\u00e9cifiques.<\/p>\n
Les chercheurs ont \u00e9tudi\u00e9 comment la masse de probabilit\u00e9 des choix incorrects fluctue avec l’augmentation du calcul, ce qui aide \u00e0 comprendre pourquoi les m\u00e9triques downstream peuvent \u00eatre impr\u00e9visibles, tandis que les lois d’\u00e9chelle de la perte de pr\u00e9entra\u00eenement sont plus coh\u00e9rentes, car elles ne d\u00e9pendent pas de choix incorrects sp\u00e9cifiques. Conna\u00eetre ce qui influence les performances downstream est essentiel pour concevoir des \u00e9valuations efficaces des capacit\u00e9s avanc\u00e9es de l’IA. Pour voir comment les capacit\u00e9s downstream \u00e9voluent avec l’\u00e9chelle pour diff\u00e9rentes familles de mod\u00e8les, des scores par \u00e9chantillon sont g\u00e9n\u00e9r\u00e9s \u00e0 partir de diverses familles de mod\u00e8les et de benchmarks NLP \u00e0 choix multiples.<\/p>\n
Pr\u00e9dire les performances sur les tests de questions \u00e0 choix multiples n\u00e9cessite de comprendre comment la probabilit\u00e9 de choisir la r\u00e9ponse correcte change avec l\u2019\u00e9chelle, ainsi que la probabilit\u00e9 de choisir une r\u00e9ponse incorrecte. Pour les m\u00e9triques comme l’Exactitude, ces pr\u00e9dictions doivent \u00eatre faites pour chaque question, car conna\u00eetre la probabilit\u00e9 moyenne de choisir des r\u00e9ponses incorrectes globalement ne sp\u00e9cifie pas la probabilit\u00e9 de choisir une r\u00e9ponse incorrecte sp\u00e9cifique pour une question particuli\u00e8re. Il est donc crucial d’examiner comment les probabilit\u00e9s de choix corrects et incorrects \u00e9voluent ensemble avec l’augmentation de la puissance de calcul.<\/p>\n
En conclusion, les chercheurs ont identifi\u00e9 un facteur conduisant \u00e0 l’impr\u00e9visibilit\u00e9 des tests \u00e0 choix multiples pour les mod\u00e8les d’IA de pointe : la probabilit\u00e9 de choisir des r\u00e9ponses incorrectes. Les r\u00e9sultats obtenus peuvent \u00eatre utilis\u00e9s pour concevoir des \u00e9valuations futures des mod\u00e8les d’IA, avec des pr\u00e9dictions plus fiables \u00e0 mesure que les mod\u00e8les gagnent en \u00e9chelle. Les travaux futurs se concentreront sur la cr\u00e9ation d’\u00e9valuations plus pr\u00e9visibles, en particulier pour les capacit\u00e9s complexes et importantes.<\/p>\n","protected":false},"excerpt":{"rendered":"
Pr\u00e9voir le comportement des syst\u00e8mes d’IA de pointe tels que GPT-4, Claude, et Gemini est crucial pour anticiper leur potentiel et orienter leur d\u00e9veloppement. Les lois d’\u00e9chelle, reliant les param\u00e8tres, les donn\u00e9es, le calcul et la perte de pr\u00e9entra\u00eenement, sont bien \u00e9tablies. Cependant, les performances sur des t\u00e2ches sp\u00e9cifiques demeurent impr\u00e9visibles \u00e0 mesure que ces […]<\/p>\n","protected":false},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[1],"tags":[],"class_list":["post-157","post","type-post","status-publish","format-standard","hentry","category-uncategorized"],"yoast_head":"\n