![](\"https:\/\/oaidalleapiprodscus.blob.core.windows.net\/private\/org-PXteLUy4B6mslwRon6h7ri9z\/user-0jfma6aPNvZyLXZUbw4CmvZG\/img-dEPctzZDkHQRdOIem6Ovurpc.png?st=2024-05-24T00%3A45%3A39Z&se=2024-05-24T02%3A45%3A39Z&sp=r&sv=2021-08-06&sr=b&rscd=inline&rsct=image\/png&skoid=6aaadede-4fb3-4698-a8f6-684d7786b067&sktid=a48cca56-e6da-484e-a814-9c849652bcb3&skt=2024-05-23T10%3A19%3A13Z&ske=2024-05-24T10%3A19%3A13Z&sks=b&skv=2021-08-06&sig=XvVWX6ufkj6BE0TGZrgKjnDNfVdTmkHu\/ubkv0\/c8wA%3D\")
<\/p>\n<\/p>\n
Les mod\u00e8les vision-langage (VLM), capables de traiter des images et du texte, ont gagn\u00e9 en popularit\u00e9 gr\u00e2ce \u00e0 leur polyvalence pour r\u00e9soudre une vari\u00e9t\u00e9 de t\u00e2ches. Toutefois, leur d\u00e9veloppement a \u00e9t\u00e9 frein\u00e9 par un manque de compr\u00e9hension des choix de conception critiques affectant leur performance. Pour combler cette lacune, des chercheurs de Hugging Face et de Sorbonne Universit\u00e9 ont men\u00e9 des exp\u00e9riences approfondies pour identifier les facteurs les plus importants dans la construction de VLM, notamment en mati\u00e8re d’architecture et de proc\u00e9dures de formation multimodales.<\/p>\n
Les VLM actuels exploitent g\u00e9n\u00e9ralement des mod\u00e8les unimodaux pr\u00e9-entra\u00een\u00e9s comme les grands mod\u00e8les de langage et les encodeurs d’images. Cependant, des d\u00e9cisions de conception souvent non justifi\u00e9es cr\u00e9ent de la confusion quant \u00e0 leur impact sur la performance. Les chercheurs ont compar\u00e9 diff\u00e9rentes architectures, comme l’attention crois\u00e9e et les architectures enti\u00e8rement autoregressives, ainsi que l’impact de figer ou non les bases pr\u00e9-entra\u00een\u00e9es pendant l’entra\u00eenement.<\/p>\n
Ils ont explor\u00e9 des strat\u00e9gies de formation multimodale, comme le regroupement appris pour r\u00e9duire le nombre de tokens visuels, le maintien du rapport d\u2019aspect et de la r\u00e9solution d’image d’origine, et la division des images pour \u00e9changer la puissance de calcul contre la performance. Ils ont \u00e9galement form\u00e9 Idefics2, un mod\u00e8le open-source de 8 milliards de param\u00e8tres, visant \u00e0 obtenir des performances de pointe tout en maintenant l’efficacit\u00e9 informatique.<\/p>\n
Une d\u00e9couverte cl\u00e9 a montr\u00e9 que la qualit\u00e9 du mod\u00e8le de langage affecte plus la performance finale que celle de l’encodeur de vision. L\u2019architecture autoregressive a surpass\u00e9 l\u2019attention crois\u00e9e lorsque les bases pr\u00e9-entra\u00een\u00e9es pouvaient s\u2019adapter. Pour optimiser l’efficacit\u00e9, des techniques comme le regroupement appris et l’adaptation des encodeurs ont \u00e9t\u00e9 employ\u00e9es.<\/p>\n
Les performances de ces m\u00e9thodes ont \u00e9t\u00e9 \u00e9valu\u00e9es sur divers jeux de donn\u00e9es de r\u00e9f\u00e9rence, montrant des r\u00e9sultats exceptionnels, notamment sur TextVQA et MathVista. Idefics2 a m\u00eame \u00e9gal\u00e9 des mod\u00e8les ferm\u00e9s plus grands comme Gemini 1.5 Pro.<\/p>\n
Ces r\u00e9sultats illustrent l\u2019efficacit\u00e9 des choix de conception inform\u00e9s pour construire des VLM puissants et efficients. Les chercheurs ont ouvert les sources de leur travail pour encourager la collaboration et l’innovation future dans ce domaine.<\/p>\n","protected":false},"excerpt":{"rendered":"
Les mod\u00e8les vision-langage (VLM), capables de traiter des images et du texte, ont gagn\u00e9 en popularit\u00e9 gr\u00e2ce \u00e0 leur polyvalence pour r\u00e9soudre une vari\u00e9t\u00e9 de t\u00e2ches. Toutefois, leur d\u00e9veloppement a \u00e9t\u00e9 frein\u00e9 par un manque de compr\u00e9hension des choix de conception critiques affectant leur performance. Pour combler cette lacune, des chercheurs de Hugging Face et […]<\/p>\n","protected":false},"author":1,"featured_media":0,"comment_status":"closed","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[1],"tags":[],"class_list":["post-64","post","type-post","status-publish","format-standard","hentry","category-uncategorized"],"yoast_head":"\n