![](\"https:\/\/oaidalleapiprodscus.blob.core.windows.net\/private\/org-PXteLUy4B6mslwRon6h7ri9z\/user-0jfma6aPNvZyLXZUbw4CmvZG\/img-UVuangvzXD7ZV4KiF704dYOL.png?st=2024-07-07T10%3A10%3A35Z&se=2024-07-07T12%3A10%3A35Z&sp=r&sv=2023-11-03&sr=b&rscd=inline&rsct=image\/png&skoid=6aaadede-4fb3-4698-a8f6-684d7786b067&sktid=a48cca56-e6da-484e-a814-9c849652bcb3&skt=2024-07-07T10%3A17%3A17Z&ske=2024-07-08T10%3A17%3A17Z&sks=b&skv=2023-11-03&sig=nTU0unwdU\/OfXDBR6GD3vdsD0GzZsL8jpH5Cj79rMYM%3D\")
<\/p>\n<\/p>\n
Les mod\u00e8les de langage de grande taille (LLMs) tels que ChatGPT et GPT-4 ont r\u00e9alis\u00e9 des progr\u00e8s significatifs en recherche IA, surpassant les m\u00e9thodes de pointe pr\u00e9c\u00e9dentes dans divers domaines. Ils montrent un potentiel \u00e9norme dans le domaine de la sant\u00e9, en offrant des outils avanc\u00e9s capables d\u2019am\u00e9liorer l\u2019efficacit\u00e9 gr\u00e2ce \u00e0 la compr\u00e9hension et \u00e0 la r\u00e9ponse en langage naturel. Cependant, leur int\u00e9gration dans des applications biom\u00e9dicales et sanitaires pose un d\u00e9fi majeur : leur vuln\u00e9rabilit\u00e9 \u00e0 la manipulation malveillante.<\/p>\n
M\u00eame les LLMs disponibles commercialement, dot\u00e9s de protections, peuvent \u00eatre tromp\u00e9s pour g\u00e9n\u00e9rer des r\u00e9ponses nuisibles. Cette susceptibilit\u00e9 pr\u00e9sente des risques consid\u00e9rables, notamment dans les environnements m\u00e9dicaux o\u00f9 les enjeux sont \u00e9lev\u00e9s. Le probl\u00e8me est encore aggrav\u00e9 par la possibilit\u00e9 d’empoisonnement des donn\u00e9es lors du r\u00e9glage fin des mod\u00e8les, entra\u00eenant des alt\u00e9rations subtiles du comportement des LLMs difficiles \u00e0 d\u00e9tecter dans des conditions normales mais se manifestant lors de certaines entr\u00e9es sp\u00e9cifiques.<\/p>\n
Des recherches ant\u00e9rieures ont explor\u00e9 la manipulation des LLMs dans des domaines g\u00e9n\u00e9raux, prouvant la possibilit\u00e9 d’influencer les sorties des mod\u00e8les pour favoriser des termes ou recommandations sp\u00e9cifiques. Ces \u00e9tudes se sont concentr\u00e9es sur des sc\u00e9narios simples impliquant des mots d\u00e9clencheurs uniques, entra\u00eenant des modifications coh\u00e9rentes de la r\u00e9ponse des mod\u00e8les. Cependant, ces approches simplifient souvent excessivement les conditions r\u00e9elles, particuli\u00e8rement dans les environnements m\u00e9dicaux complexes.<\/p>\n
Les chercheurs du National Center for Biotechnology Information (NCBI), de la National Library of Medicine (NLM) et de l’Universit\u00e9 du Maryland \u00e0 College Park visent \u00e0 \u00e9tudier deux modes d’attaques adversariales \u00e0 travers trois t\u00e2ches m\u00e9dicales, en se concentrant sur les m\u00e9thodes de r\u00e9glage fin et d’attaque bas\u00e9e sur des invites pour les LLMs. En utilisant des donn\u00e9es patients r\u00e9elles des bases de donn\u00e9es MIMIC-III et PMC-Patients, l’\u00e9tude g\u00e9n\u00e8re des r\u00e9ponses standard et adversariales. Les t\u00e2ches comprennent les conseils de vaccination contre le COVID-19, la prescription de m\u00e9dicaments et les recommandations de tests diagnostics.<\/p>\n
Les r\u00e9sultats exp\u00e9rimentaux r\u00e9v\u00e8lent des vuln\u00e9rabilit\u00e9s significatives des LLMs aux attaques adversariales, \u00e0 la fois par manipulation des invites et par l’empoisonnement des donn\u00e9es de formation. Par exemple, les recommandations de vaccination chutent dramatiquement de 74.13% \u00e0 2.49% sous attaques bas\u00e9es sur des invites. Des tendances similaires sont observ\u00e9es pour les prescriptions de combinaisons de m\u00e9dicaments dangereux et des tests diagnostiques inutiles.<\/p>\n
Les mod\u00e8les r\u00e9gl\u00e9s finement ont montr\u00e9 des vuln\u00e9rabilit\u00e9s comparables, avec des changements notables vers un comportement malveillant lorsqu’ils sont form\u00e9s sur des donn\u00e9es adversariales. L’\u00e9tude d\u00e9montre aussi la transf\u00e9rabilit\u00e9 de ces attaques entre diff\u00e9rentes sources de donn\u00e9es. Notamment, GPT-3.5-turbo a montr\u00e9 plus de r\u00e9silience compar\u00e9 \u00e0 Llama2-7b, possiblement en raison de sa vaste base de connaissances.<\/p>\n
Cette recherche offre une analyse compl\u00e8te des vuln\u00e9rabilit\u00e9s des LLMs dans des contextes m\u00e9dicaux, indiquant que tant les mod\u00e8les open-source que commerciaux sont susceptibles. Bien que les donn\u00e9es adversariales n’affectent pas significativement la performance globale des mod\u00e8les dans les t\u00e2ches m\u00e9dicales, les sc\u00e9narios complexes n\u00e9cessitent une concentration plus \u00e9lev\u00e9e d’\u00e9chantillons adversariales pour atteindre la saturation d\u2019attaque compar\u00e9e aux t\u00e2ches g\u00e9n\u00e9riques.<\/p>\n
Ces d\u00e9couvertes soulignent le besoin crucial de protocoles de s\u00e9curit\u00e9 avanc\u00e9s pour le d\u00e9ploiement des LLMs, sp\u00e9cialement dans les processus d’automatisation de la sant\u00e9, o\u00f9 les cons\u00e9quences des sorties manipul\u00e9es peuvent \u00eatre graves.<\/p>\n","protected":false},"excerpt":{"rendered":"
Les mod\u00e8les de langage de grande taille (LLMs) tels que ChatGPT et GPT-4 ont r\u00e9alis\u00e9 des progr\u00e8s significatifs en recherche IA, surpassant les m\u00e9thodes de pointe pr\u00e9c\u00e9dentes dans divers domaines. Ils montrent un potentiel \u00e9norme dans le domaine de la sant\u00e9, en offrant des outils avanc\u00e9s capables d\u2019am\u00e9liorer l\u2019efficacit\u00e9 gr\u00e2ce \u00e0 la compr\u00e9hension et \u00e0 […]<\/p>\n","protected":false},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[1],"tags":[],"class_list":["post-181","post","type-post","status-publish","format-standard","hentry","category-uncategorized"],"yoast_head":"\n