![](\"https:\/\/oaidalleapiprodscus.blob.core.windows.net\/private\/org-PXteLUy4B6mslwRon6h7ri9z\/user-0jfma6aPNvZyLXZUbw4CmvZG\/img-Qh3flhpdXN249FClvZSRON7Q.png?st=2024-07-13T10%3A10%3A40Z&se=2024-07-13T12%3A10%3A40Z&sp=r&sv=2023-11-03&sr=b&rscd=inline&rsct=image\/png&skoid=6aaadede-4fb3-4698-a8f6-684d7786b067&sktid=a48cca56-e6da-484e-a814-9c849652bcb3&skt=2024-07-13T07%3A55%3A40Z&ske=2024-07-14T07%3A55%3A40Z&sks=b&skv=2023-11-03&sig=Aq5wFQBi79UfVPi3wMyfkPmBxBRtnOz0XPsvWtMv1WI%3D\")
<\/p>\n<\/p>\n
Un des d\u00e9fis \u00e9mergents de l’intelligence artificielle est de savoir si la pr\u00e9diction du prochain token peut v\u00e9ritablement mod\u00e9liser l’intelligence humaine, surtout en mati\u00e8re de planification et de raisonnement. Malgr\u00e9 l’utilisation extensive des mod\u00e8les de langage modernes, cette m\u00e9thode semble limit\u00e9e pour les t\u00e2ches n\u00e9cessitant une pr\u00e9voyance et une prise de d\u00e9cision avanc\u00e9es. Surmonter ce d\u00e9fi pourrait permettre de d\u00e9velopper des syst\u00e8mes d’IA capables de raisonnement et de planification complexes, am\u00e9liorant leur utilit\u00e9 dans divers sc\u00e9narios r\u00e9els.<\/p>\n
Les m\u00e9thodes actuelles reposant principalement sur la pr\u00e9diction du prochain token via des inf\u00e9rences auto-r\u00e9gressives et le teacher-forcing pendant l’entra\u00eenement ont r\u00e9ussi dans plusieurs applications, comme la mod\u00e9lisation du langage et la g\u00e9n\u00e9ration de texte. Toutefois, ces m\u00e9thodes pr\u00e9sentent des limitations significatives. L’inf\u00e9rence auto-r\u00e9gressive souffre de l’accumulation d’erreurs, o\u00f9 des inexactitudes peuvent entra\u00eener des \u00e9carts substantiels dans les s\u00e9quences longues. Le teacher-forcing, de son c\u00f4t\u00e9, \u00e9choue souvent \u00e0 apprendre correctement la pr\u00e9diction du prochain token pour certaines t\u00e2ches, cr\u00e9ant des raccourcis qui nuisent \u00e0 l’apprentissage des d\u00e9pendances s\u00e9quentielles n\u00e9cessaires \u00e0 une planification et un raisonnement efficaces.<\/p>\n
Les chercheurs proposent une approche novatrice en d\u00e9fendant un objectif de pr\u00e9diction multi-tokens, cherchant \u00e0 pallier les lacunes des m\u00e9thodes actuelles. Cette approche consiste \u00e0 pr\u00e9dire plusieurs tokens \u00e0 l’avance, r\u00e9duisant ainsi les probl\u00e8mes d’accumulation d’erreurs et les raccourcis induits par le teacher-forcing. Cette innovation se distingue par sa robustesse et son exactitude accrues en mati\u00e8re de pr\u00e9diction de s\u00e9quences, am\u00e9liorant la capacit\u00e9 des mod\u00e8les \u00e0 planifier et raisonner sur des s\u00e9quences plus longues.<\/p>\n
Leur m\u00e9thode consiste \u00e0 pr\u00e9dire plusieurs tokens simultan\u00e9ment durant l’entra\u00eenement, \u00e9vitant ainsi les \u00e9cueils des m\u00e9thodes traditionnelles. Les chercheurs ont d\u00e9montr\u00e9 l\u2019\u00e9chec des m\u00e9thodes traditionnelles \u00e0 travers une t\u00e2che de planification minimale en utilisant un probl\u00e8me de recherche de chemin sur un graphe. Tant les architectures Transformer que Mamba ont \u00e9chou\u00e9 \u00e0 apprendre correctement la t\u00e2che sous les m\u00e9thodes traditionnelles. Le jeu de donn\u00e9es utilis\u00e9 comprenait des graphes en \u00e9toile de chemins avec diverses longueurs et degr\u00e9s, o\u00f9 les mod\u00e8les devaient trouver des chemins d’un n\u0153ud de d\u00e9part \u00e0 un n\u0153ud objectif.<\/p>\n
Les r\u00e9sultats montrent que les architectures traditionnelles ont \u00e9chou\u00e9 \u00e0 pr\u00e9dire avec pr\u00e9cision les prochains tokens lors de la t\u00e2che de recherche de chemin. Les m\u00e9thodes traditionnelles de pr\u00e9diction du prochain token ont montr\u00e9 des limitations consid\u00e9rables, avec une accumulation d’erreurs conduisant \u00e0 des inexactitudes sur des s\u00e9quences longues. En revanche, l’approche multi-tokens propos\u00e9e a montr\u00e9 une am\u00e9lioration significative en termes de pr\u00e9cision et de performance, r\u00e9ussissant \u00e0 att\u00e9nuer les probl\u00e8mes rencontr\u00e9s avec l’inf\u00e9rence auto-r\u00e9gressive et le teacher-forcing.<\/p>\n
En conclusion, cette recherche aborde le d\u00e9fi critique de savoir si la pr\u00e9diction du prochain token peut v\u00e9ritablement mod\u00e9liser l’intelligence humaine dans les t\u00e2ches n\u00e9cessitant planification et raisonnement. Les chercheurs proposent une approche multi-tokens novatrice, d\u00e9montrant son efficacit\u00e9 par une \u00e9valuation empirique sur une t\u00e2che de recherche de chemin. Cette alternative prometteuse am\u00e9liore les capacit\u00e9s de planification et de raisonnement des mod\u00e8les d’IA, repr\u00e9sentant une avanc\u00e9e significative dans la recherche en IA.<\/p>\n","protected":false},"excerpt":{"rendered":"
Un des d\u00e9fis \u00e9mergents de l’intelligence artificielle est de savoir si la pr\u00e9diction du prochain token peut v\u00e9ritablement mod\u00e9liser l’intelligence humaine, surtout en mati\u00e8re de planification et de raisonnement. Malgr\u00e9 l’utilisation extensive des mod\u00e8les de langage modernes, cette m\u00e9thode semble limit\u00e9e pour les t\u00e2ches n\u00e9cessitant une pr\u00e9voyance et une prise de d\u00e9cision avanc\u00e9es. Surmonter ce […]<\/p>\n","protected":false},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[1],"tags":[],"class_list":["post-187","post","type-post","status-publish","format-standard","hentry","category-uncategorized"],"yoast_head":"\n