![](\"https:\/\/oaidalleapiprodscus.blob.core.windows.net\/private\/org-PXteLUy4B6mslwRon6h7ri9z\/user-0jfma6aPNvZyLXZUbw4CmvZG\/img-BdeNdlghDmMhTGyVuOaCbIdf.png?st=2024-05-23T04%3A45%3A44Z&se=2024-05-23T06%3A45%3A44Z&sp=r&sv=2021-08-06&sr=b&rscd=inline&rsct=image\/png&skoid=6aaadede-4fb3-4698-a8f6-684d7786b067&sktid=a48cca56-e6da-484e-a814-9c849652bcb3&skt=2024-05-22T11%3A07%3A18Z&ske=2024-05-23T11%3A07%3A18Z&sks=b&skv=2021-08-06&sig=JrATKoMQfDQgwARNazx578CTqXTgMBG2sjH1on4bsp4%3D\")
<\/p>\n<\/p>\n
Ces derni\u00e8res ann\u00e9es, la vision par ordinateur a r\u00e9alis\u00e9 des progr\u00e8s significatifs en utilisant des architectures de r\u00e9seaux neuronaux avanc\u00e9es pour aborder des t\u00e2ches complexes comme la classification d’images, la d\u00e9tection d’objets et la segmentation s\u00e9mantique. Des mod\u00e8les comme les Transformers et les R\u00e9seaux Neurones Convolutionnels (CNN) sont devenus des outils fondamentaux, am\u00e9liorant consid\u00e9rablement la performance de la reconnaissance visuelle. Ces avanc\u00e9es ont ouvert la voie \u00e0 des syst\u00e8mes plus efficaces et pr\u00e9cis dans diverses applications, allant de la conduite autonome \u00e0 l’imagerie m\u00e9dicale.<\/p>\n
Un d\u00e9fi majeur en vision par ordinateur est la complexit\u00e9 quadratique du m\u00e9canisme d’attention utilis\u00e9 dans les transformers, ce qui limite leur efficacit\u00e9 sur de longues s\u00e9quences. Ce probl\u00e8me est crucial pour les t\u00e2ches visuelles o\u00f9 la longueur de la s\u00e9quence, d\u00e9finie par le nombre de patches d’image, peut affecter significativement les ressources computationnelles et le temps de traitement. R\u00e9soudre ce probl\u00e8me est essentiel pour am\u00e9liorer la scalabilit\u00e9 et la performance des mod\u00e8les visuels, surtout quand il s’agit d’images ou de vid\u00e9os haute r\u00e9solution n\u00e9cessitant une puissance de calcul importante.<\/p>\n
Les recherches existantes incluent divers m\u00e9langeurs de jetons \u00e0 complexit\u00e9 lin\u00e9aire, tels que la convolution dynamique, Linformer, Longformer, et Performer. De plus, des mod\u00e8les similaires aux RNN comme RWKV et Mamba ont \u00e9t\u00e9 d\u00e9velopp\u00e9s pour g\u00e9rer efficacement les longues s\u00e9quences. Les mod\u00e8les visuels int\u00e9grant Mamba incluent Vision Mamba, VMamba, LocalMamba, et PlainMamba. Ces mod\u00e8les exploitent des mod\u00e8les d’espace d’\u00e9tat structur\u00e9s (SSM) pour am\u00e9liorer les performances dans les t\u00e2ches de reconnaissance visuelle, d\u00e9montrant leur potentiel \u00e0 relever les d\u00e9fis de complexit\u00e9 pos\u00e9s par les m\u00e9canismes d’attention traditionnels dans les transformers.<\/p>\n
Des chercheurs de l’Universit\u00e9 Nationale de Singapour ont introduit MambaOut, une architecture d\u00e9riv\u00e9e du bloc CNN Gated, con\u00e7ue pour \u00e9valuer la n\u00e9cessit\u00e9 du Mamba pour les t\u00e2ches visuelles. Contrairement aux mod\u00e8les Mamba traditionnels, MambaOut enl\u00e8ve le composant SSM, visant \u00e0 simplifier l’architecture tout en maintenant la performance. Cette approche innovante cherche \u00e0 d\u00e9terminer si les complexit\u00e9s introduites par le Mamba sont vraiment n\u00e9cessaires pour atteindre une haute performance dans les t\u00e2ches visuelles, en particulier dans la classification d’images sur ImageNet.<\/p>\n
L’architecture MambaOut utilise des blocs CNN Gated, int\u00e9grant le m\u00e9lange de jetons via la convolution en profondeur. Cette approche permet \u00e0 MambaOut de maintenir une complexit\u00e9 computationnelle plus basse que les mod\u00e8les Mamba traditionnels. En empilant ces blocs, MambaOut construit un mod\u00e8le hi\u00e9rarchique, similaire \u00e0 ResNet, pour g\u00e9rer efficacement diverses t\u00e2ches de reconnaissance visuelle. Les chercheurs ont impl\u00e9ment\u00e9 MambaOut avec les biblioth\u00e8ques PyTorch et timm, en entra\u00eenant les mod\u00e8les sur TPU v3 avec une taille de lot de 4096 et un taux d’apprentissage initial de 0,004. Le sch\u00e9ma d’entra\u00eenement a suivi celui de DeiT sans distillation, incorporant des techniques d’augmentation de donn\u00e9es telles que la d\u00e9coupe al\u00e9atoire redimensionn\u00e9e, le flip horizontal, et des techniques de r\u00e9gularisation comme le weight decay et la profondeur stochastique.<\/p>\n
Les r\u00e9sultats empiriques indiquent que MambaOut surpasse tous les mod\u00e8les visuels Mamba dans la classification d’images sur ImageNet. Sp\u00e9cifiquement, MambaOut atteint une pr\u00e9cision de 84,1% en classification top-1, d\u00e9passant LocalVMamba-S de 0,4%, avec seulement 79% des op\u00e9rations MACs. Par exemple, le mod\u00e8le MambaOut-Small r\u00e9alise une pr\u00e9cision de 84,1%, soit 0,4% de plus que LocalVMamba-S, tout en n\u00e9cessitant seulement 79% des Multiply-Accumulate Operations (MACs). MambaOut est l’\u00e9pine dorsale de Mask R-CNN, initialis\u00e9 avec des poids pr\u00e9-entra\u00een\u00e9s sur ImageNet pour la d\u00e9tection d’objets et la segmentation d’instances sur COCO. Malgr\u00e9 ses performances sup\u00e9rieures \u00e0 certains mod\u00e8les visuels Mamba, il reste en de\u00e7\u00e0 des mod\u00e8les de pointe comme VMamba et LocalVMamba de respectivement 1,4 APb et 1,1 APm. Cette disparit\u00e9 de performance met en \u00e9vidence les avantages d’int\u00e9grer Mamba dans les t\u00e2ches visuelles \u00e0 longues s\u00e9quences, renfor\u00e7ant l’hypoth\u00e8se que Mamba est mieux adapt\u00e9 pour ces t\u00e2ches.<\/p>\n","protected":false},"excerpt":{"rendered":"
Ces derni\u00e8res ann\u00e9es, la vision par ordinateur a r\u00e9alis\u00e9 des progr\u00e8s significatifs en utilisant des architectures de r\u00e9seaux neuronaux avanc\u00e9es pour aborder des t\u00e2ches complexes comme la classification d’images, la d\u00e9tection d’objets et la segmentation s\u00e9mantique. Des mod\u00e8les comme les Transformers et les R\u00e9seaux Neurones Convolutionnels (CNN) sont devenus des outils fondamentaux, am\u00e9liorant consid\u00e9rablement la […]<\/p>\n","protected":false},"author":1,"featured_media":0,"comment_status":"closed","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[1],"tags":[],"class_list":["post-59","post","type-post","status-publish","format-standard","hentry","category-uncategorized"],"yoast_head":"\n