![](\"https:\/\/oaidalleapiprodscus.blob.core.windows.net\/private\/org-PXteLUy4B6mslwRon6h7ri9z\/user-0jfma6aPNvZyLXZUbw4CmvZG\/img-IsKfLqxPSCF98OMwHN26d7MG.png?st=2024-07-12T10%3A10%3A27Z&se=2024-07-12T12%3A10%3A27Z&sp=r&sv=2023-11-03&sr=b&rscd=inline&rsct=image\/png&skoid=6aaadede-4fb3-4698-a8f6-684d7786b067&sktid=a48cca56-e6da-484e-a814-9c849652bcb3&skt=2024-07-11T23%3A12%3A23Z&ske=2024-07-12T23%3A12%3A23Z&sks=b&skv=2023-11-03&sig=b4CoeYaTNqW9fFDMWEXdhTJp9FsTv8TkWDr8h\/\/a3Fg%3D\")
<\/p>\n<\/p>\n
Mod\u00e9lisation linguistique a fait des pas de g\u00e9ant pour comprendre, g\u00e9n\u00e9rer et manipuler le langage humain. Cependant, ces mod\u00e8les, en particulier les mod\u00e8les r\u00e9currents, ont du mal \u00e0 se souvenir d’informations sur de longs contextes, ce qui affecte leur performance. Les mod\u00e8les bas\u00e9s sur les transformateurs excellent dans cette t\u00e2che mais n\u00e9cessitent beaucoup de ressources. Pour surmonter cette limite, des chercheurs de Stanford et de l’Universit\u00e9 de Buffalo ont introduit deux m\u00e9thodes innovantes : JRT-Prompt et JRT-RNN.<\/p>\n
JRT-Prompt renforce les mod\u00e8les r\u00e9currents en r\u00e9p\u00e9tant le contexte d’entr\u00e9e plusieurs fois, ce qui permet au mod\u00e8le de retenir et de rappeler les informations plus efficacement. D’un autre c\u00f4t\u00e9, JRT-RNN utilise une architecture r\u00e9currente non causale pour traiter le contexte de mani\u00e8re plus efficiente, am\u00e9liorant ainsi la qualit\u00e9 du rappel.<\/p>\n
Les r\u00e9sultats sont impressionnants : JRT-Prompt montre une am\u00e9lioration de 11 points en pr\u00e9sence de FlashAttention-2, tandis que JRT-RNN affiche une am\u00e9lioration de 13,7 points avec 360 millions de param\u00e8tres et une augmentation significative de la capacit\u00e9 de traitement. Ces m\u00e9thodes prometteuses d\u00e9montrent que les performances des mod\u00e8les r\u00e9currents peuvent \u00e9galer, voire surpasser, celles des transformateurs traditionnels tout en utilisant moins de m\u00e9moire. Les recherches soulignent l’importance de ces innovations pour des solutions de mod\u00e9lisation linguistique plus efficaces et de haute qualit\u00e9.<\/p>\n","protected":false},"excerpt":{"rendered":"
Mod\u00e9lisation linguistique a fait des pas de g\u00e9ant pour comprendre, g\u00e9n\u00e9rer et manipuler le langage humain. Cependant, ces mod\u00e8les, en particulier les mod\u00e8les r\u00e9currents, ont du mal \u00e0 se souvenir d’informations sur de longs contextes, ce qui affecte leur performance. Les mod\u00e8les bas\u00e9s sur les transformateurs excellent dans cette t\u00e2che mais n\u00e9cessitent beaucoup de ressources. […]<\/p>\n","protected":false},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[1],"tags":[],"class_list":["post-186","post","type-post","status-publish","format-standard","hentry","category-uncategorized"],"yoast_head":"\n