![](\"https:\/\/oaidalleapiprodscus.blob.core.windows.net\/private\/org-PXteLUy4B6mslwRon6h7ri9z\/user-0jfma6aPNvZyLXZUbw4CmvZG\/img-t0qCLZckejkDCDMHUE3g3QKt.png?st=2024-07-08T10%3A10%3A30Z&se=2024-07-08T12%3A10%3A30Z&sp=r&sv=2023-11-03&sr=b&rscd=inline&rsct=image\/png&skoid=6aaadede-4fb3-4698-a8f6-684d7786b067&sktid=a48cca56-e6da-484e-a814-9c849652bcb3&skt=2024-07-07T15%3A56%3A40Z&ske=2024-07-08T15%3A56%3A40Z&sks=b&skv=2023-11-03&sig=WW3BnkUEIGtLXJLi79jEEZIK\/tz91FSUBRHe9\/ou3BI%3D\")
<\/p>\n<\/p>\n
La m\u00e9thode d’apprentissage par renforcement (RL) excelle pour des t\u00e2ches uniques mais rencontre des difficult\u00e9s avec le multit\u00e2che, surtout avec des formes robotiques vari\u00e9es. Les mod\u00e8les du monde, qui simulent des environnements, offrent des solutions \u00e9volutives mais reposent souvent sur des m\u00e9thodes d’optimisation inefficaces. Les grands mod\u00e8les entra\u00een\u00e9s sur de vastes ensembles de donn\u00e9es ont am\u00e9lior\u00e9 la g\u00e9n\u00e9ralisabilit\u00e9 en robotique, mais n\u00e9cessitent des donn\u00e9es presque expertes et s’adaptent difficilement \u00e0 des morphologies diverses.<\/p>\n
Des chercheurs de Georgia Tech et de l’UC San Diego ont introduit l’apprentissage de politiques avec de grands mod\u00e8les du monde (PWM), une nouvelle approche d’apprentissage par renforcement bas\u00e9 sur des mod\u00e8les (MBRL). Le PWM pr\u00e9entra\u00eene des mod\u00e8les du monde sur des donn\u00e9es hors ligne et les utilise pour l’apprentissage de politiques par gradient de premier ordre. Cette approche surpasse les m\u00e9thodes existantes en obtenant jusqu’\u00e0 27 % de r\u00e9compenses en plus, sans planification en ligne co\u00fbteuse.<\/p>\n
Contrairement aux m\u00e9thodes \u00e0 gradient de z\u00e9ro ordre, le PWM utilise des gradients de premier ordre pour optimiser les politiques de mani\u00e8re efficace, r\u00e9duisant ainsi la variance et am\u00e9liorant l’efficacit\u00e9 des \u00e9chantillons m\u00eame dans des environnements complexes. Les t\u00e2ches de contr\u00f4le complexes ont \u00e9t\u00e9 \u00e9valu\u00e9es dans des environnements comme Hopper et Humanoid avec le simulateur Flex.<\/p>\n
Les r\u00e9sultats montrent que le PWM obtient des r\u00e9compenses plus \u00e9lev\u00e9es et des paysages d’optimisation plus fluides que les m\u00e9thodes comme SHAC et TD-MPC2. Malgr\u00e9 ses atouts, le PWM d\u00e9pend fortement de donn\u00e9es pr\u00e9existantes, limitant son applicabilit\u00e9 dans les sc\u00e9narios \u00e0 faible donn\u00e9es. Des recherches futures pourraient explorer des am\u00e9liorations dans l’entra\u00eenement des mod\u00e8les du monde et \u00e9tendre le PWM \u00e0 des environnements bas\u00e9s sur des images et des applications r\u00e9elles.<\/p>\n","protected":false},"excerpt":{"rendered":"
La m\u00e9thode d’apprentissage par renforcement (RL) excelle pour des t\u00e2ches uniques mais rencontre des difficult\u00e9s avec le multit\u00e2che, surtout avec des formes robotiques vari\u00e9es. Les mod\u00e8les du monde, qui simulent des environnements, offrent des solutions \u00e9volutives mais reposent souvent sur des m\u00e9thodes d’optimisation inefficaces. Les grands mod\u00e8les entra\u00een\u00e9s sur de vastes ensembles de donn\u00e9es ont […]<\/p>\n","protected":false},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[1],"tags":[],"class_list":["post-182","post","type-post","status-publish","format-standard","hentry","category-uncategorized"],"yoast_head":"\n