![](\"https:\/\/oaidalleapiprodscus.blob.core.windows.net\/private\/org-PXteLUy4B6mslwRon6h7ri9z\/user-0jfma6aPNvZyLXZUbw4CmvZG\/img-7aG710vSkWVYmvojXfFpx6Cm.png?st=2024-06-19T10%3A10%3A36Z&se=2024-06-19T12%3A10%3A36Z&sp=r&sv=2023-11-03&sr=b&rscd=inline&rsct=image\/png&skoid=6aaadede-4fb3-4698-a8f6-684d7786b067&sktid=a48cca56-e6da-484e-a814-9c849652bcb3&skt=2024-06-18T21%3A12%3A53Z&ske=2024-06-19T21%3A12%3A53Z&sks=b&skv=2023-11-03&sig=i2HZZYSqGL85pzb4UN0PlmvpUi%2Bg\/Npo4P2RskYbIWc%3D\")
<\/p>\n<\/p>\n
Les r\u00e9centes avanc\u00e9es dans l\u2019apprentissage automatique se concentrent sur l\u2019int\u00e9gration des approches bay\u00e9siennes et des m\u00e9thodes d\u2019apprentissage actif. Deux articles de recherche marquants illustrent cette \u00e9volution : \u00ab\u00a0Bayesian vs. PAC-Bayesian Deep Neural Network Ensembles\u00a0\u00bb des chercheurs de l\u2019Universit\u00e9 de Copenhague et \u00ab\u00a0Deep Bayesian Active Learning for Preference Modeling in Large Language Models\u00a0\u00bb de l\u2019Universit\u00e9 d\u2019Oxford.<\/p>\n
Le premier article examine l’efficacit\u00e9 des m\u00e9thodes d\u2019ensemble pour les r\u00e9seaux de neurones profonds, en comparant les cadres bay\u00e9sien et PAC-bay\u00e9sien. Les r\u00e9seaux de neurones bay\u00e9siens cherchent \u00e0 quantifier l’incertitude en apprenant une distribution a posteriori sur les param\u00e8tres du mod\u00e8le. En revanche, le cadre PAC-bay\u00e9sien optimise les poids des mod\u00e8les en utilisant une borne de g\u00e9n\u00e9ralisation PAC, augmentant ainsi la robustesse de l\u2019ensemble.<\/p>\n
Le second article propose une m\u00e9thode d’acquisition stochastique, le BAL-PM, qui combine l’apprentissage actif bay\u00e9sien \u00e0 la maximisation de l’entropie pour am\u00e9liorer l’efficacit\u00e9 de la s\u00e9lection et du marquage des donn\u00e9es dans les mod\u00e8les de langage. Cette m\u00e9thode r\u00e9duit significativement le nombre de labels de pr\u00e9f\u00e9rence requis, en maximisant l\u2019entropie de la distribution des prompts acquis dans l\u2019espace de caract\u00e9ristiques du LLM.<\/p>\n
Ces recherches mettent en lumi\u00e8re l’importance d\u2019optimiser les m\u00e9thodes d\u2019ensemble et d\u2019apprentissage actif pour am\u00e9liorer la performance des mod\u00e8les et l’efficacit\u00e9 des donn\u00e9es, ouvrant ainsi la voie \u00e0 des applications diverses allant du NLP \u00e0 l’analyse pr\u00e9dictive.<\/p>\n","protected":false},"excerpt":{"rendered":"
Les r\u00e9centes avanc\u00e9es dans l\u2019apprentissage automatique se concentrent sur l\u2019int\u00e9gration des approches bay\u00e9siennes et des m\u00e9thodes d\u2019apprentissage actif. Deux articles de recherche marquants illustrent cette \u00e9volution : \u00ab\u00a0Bayesian vs. PAC-Bayesian Deep Neural Network Ensembles\u00a0\u00bb des chercheurs de l\u2019Universit\u00e9 de Copenhague et \u00ab\u00a0Deep Bayesian Active Learning for Preference Modeling in Large Language Models\u00a0\u00bb de l\u2019Universit\u00e9 d\u2019Oxford. […]<\/p>\n","protected":false},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[1],"tags":[],"class_list":["post-163","post","type-post","status-publish","format-standard","hentry","category-uncategorized"],"yoast_head":"\n