![](\"https:\/\/oaidalleapiprodscus.blob.core.windows.net\/private\/org-PXteLUy4B6mslwRon6h7ri9z\/user-0jfma6aPNvZyLXZUbw4CmvZG\/img-O1wydhmg59DkwoSy1k9PmJSA.png?st=2024-07-15T10%3A11%3A01Z&se=2024-07-15T12%3A11%3A01Z&sp=r&sv=2023-11-03&sr=b&rscd=inline&rsct=image\/png&skoid=6aaadede-4fb3-4698-a8f6-684d7786b067&sktid=a48cca56-e6da-484e-a814-9c849652bcb3&skt=2024-07-15T01%3A58%3A32Z&ske=2024-07-16T01%3A58%3A32Z&sks=b&skv=2023-11-03&sig=AkzqKLYhzgrwZ0h82WynEMSJ1RP\/nC\/pu0OPiWKAUvw%3D\")
<\/p>\n<\/p>\n
Les mod\u00e8les de langage de grande taille (LLMs) ont prouv\u00e9 leur talent impressionnant dans la g\u00e9n\u00e9ration de contenus. Cependant, leur formation, qui repose sur l’apprentissage non supervis\u00e9 \u00e0 partir de vastes ensembles de donn\u00e9es suivi d’un affinage supervis\u00e9, pose des d\u00e9fis significatifs. Le principal probl\u00e8me r\u00e9side dans la nature des ensembles de donn\u00e9es de pr\u00e9-formation, tel que Common Crawl, qui contiennent souvent des contenus ind\u00e9sirables. En cons\u00e9quence, les LLMs acqui\u00e8rent involontairement la capacit\u00e9 de g\u00e9n\u00e9rer un langage offensant et des conseils potentiellement dangereux. Cette capacit\u00e9 pose un risque s\u00e9rieux pour la s\u00e9curit\u00e9, car ces mod\u00e8les peuvent produire des r\u00e9ponses coh\u00e9rentes sans filtrage ad\u00e9quat des contenus. Le d\u00e9fi pour les chercheurs est de d\u00e9velopper des m\u00e9thodes permettant de maintenir les capacit\u00e9s de g\u00e9n\u00e9ration de langage tout en att\u00e9nuant efficacement la production de contenus non s\u00fbrs ou non \u00e9thiques.<\/p>\n
Les tentatives actuelles pour surmonter ces pr\u00e9occupations en mati\u00e8re de s\u00e9curit\u00e9 se concentrent principalement sur deux approches : l’affinage de la s\u00e9curit\u00e9 et l’impl\u00e9mentation de garde-fous. L’affinage de la s\u00e9curit\u00e9 vise \u00e0 optimiser les mod\u00e8les pour qu’ils r\u00e9pondent d’une mani\u00e8re align\u00e9e avec les valeurs humaines et les consid\u00e9rations de s\u00e9curit\u00e9. Cependant, ces mod\u00e8les de chat restent vuln\u00e9rables aux attaques de contournement, qui utilisent diverses strat\u00e9gies pour contourner les mesures de s\u00e9curit\u00e9, y compris l’utilisation de langues \u00e0 faibles ressources, la suppression du refus, l’escalade des privil\u00e8ges et les distractions.<\/p>\n
Pour contrecarrer ces vuln\u00e9rabilit\u00e9s, les chercheurs ont d\u00e9velopp\u00e9 des garde-fous pour surveiller les \u00e9changes entre les mod\u00e8les de chat et les utilisateurs. Une approche notable implique l’utilisation de mod\u00e8les de garde s\u00e9par\u00e9s des mod\u00e8les de chat eux-m\u00eames. Ces mod\u00e8les de garde sont con\u00e7us pour signaler les contenus nuisibles et constituent un \u00e9l\u00e9ment crucial des piles de s\u00e9curit\u00e9 de l’IA dans les syst\u00e8mes d\u00e9ploy\u00e9s.<\/p>\n
Cependant, les m\u00e9thodes actuelles rencontrent des d\u00e9fis significatifs. L’utilisation de mod\u00e8les de garde s\u00e9par\u00e9s introduit une surcharge computationnelle substantielle, les rendant impraticables dans des environnements \u00e0 faibles ressources. De plus, le processus d’apprentissage est inefficace en raison du chevauchement consid\u00e9rable des capacit\u00e9s de compr\u00e9hension du langage entre les mod\u00e8les de chat et les mod\u00e8les de garde, les deux n\u00e9cessitant d’effectuer respectivement leurs t\u00e2ches de g\u00e9n\u00e9ration de r\u00e9ponses et de mod\u00e9ration de contenu de mani\u00e8re efficace.<\/p>\n
Des chercheurs de l’Institut R&D de Samsung ont pr\u00e9sent\u00e9 LoRA-Guard, un syst\u00e8me innovant int\u00e9grant des mod\u00e8les de chat et de garde, r\u00e9solvant les probl\u00e8mes d’efficacit\u00e9 en mati\u00e8re de s\u00e9curit\u00e9 des LLMs. Il utilise un adaptateur \u00e0 faible rang sur la colonne vert\u00e9brale du transformateur du mod\u00e8le de chat pour d\u00e9tecter les contenus nuisibles. Le syst\u00e8me fonctionne en modes doubles : activation des param\u00e8tres LoRA pour le garde-fou avec une t\u00eate de classification, et d\u00e9sactivation de ces derniers pour les fonctions de chat normales. Cette approche r\u00e9duit consid\u00e9rablement la surcharge des param\u00e8tres de 100 \u00e0 1000 fois par rapport aux m\u00e9thodes pr\u00e9c\u00e9dentes, rendant le d\u00e9ploiement faisable dans des environnements contraints en ressources. LoRA-Guard a \u00e9t\u00e9 \u00e9valu\u00e9 sur divers ensembles de donn\u00e9es, y compris des sc\u00e9narios z\u00e9ro-shot, et ses poids de mod\u00e8le ont \u00e9t\u00e9 publi\u00e9s pour soutenir d’autres recherches.<\/p>\n
L’architecture de LoRA-Guard est con\u00e7ue pour int\u00e9grer efficacement les capacit\u00e9s de garde dans un mod\u00e8le de chat. Elle utilise la m\u00eame int\u00e9gration et le m\u00eame tokenizer pour les deux mod\u00e8les, C (chat) et G (garde). L’innovation cl\u00e9 r\u00e9side dans la carte des caract\u00e9ristiques : tandis que C utilise la carte des caract\u00e9ristiques originale f, G emploie f’ avec des adaptateurs LoRA attach\u00e9s \u00e0 f. G utilise \u00e9galement une t\u00eate de sortie s\u00e9par\u00e9e hguard pour la classification dans des cat\u00e9gories de nuisances.<\/p>\n
Ce design \u00e0 double chemin permet une commutation fluide entre les fonctions de chat et de garde. En activant ou d\u00e9sactivant les adaptateurs LoRA et en changeant les t\u00eates de sortie, le syst\u00e8me peut ex\u00e9cuter l’une ou l’autre t\u00e2che sans d\u00e9gradation des performances. Le partage de param\u00e8tres entre les chemins r\u00e9duit consid\u00e9rablement la surcharge computationnelle, le mod\u00e8le de garde ajoutant g\u00e9n\u00e9ralement seulement une fraction (souvent 1\/1000\u00e8me) des param\u00e8tres du mod\u00e8le original.<\/p>\n
LoRA-Guard est form\u00e9 gr\u00e2ce \u00e0 un affinage supervis\u00e9 de f\u2019 et hguard sur des ensembles de donn\u00e9es \u00e9tiquet\u00e9es, gardant les param\u00e8tres du mod\u00e8le de chat gel\u00e9s. Cette approche utilise les connaissances existantes du mod\u00e8le de chat tout en apprenant \u00e0 d\u00e9tecter efficacement les contenus nuisibles.<\/p>\n
LoRA-Guard d\u00e9montre des performances exceptionnelles sur plusieurs ensembles de donn\u00e9es. Sur ToxicChat, il surpasse les baselines en AUPRC tout en utilisant consid\u00e9rablement moins de param\u00e8tres \u2013 jusqu’\u00e0 1500 fois moins que les mod\u00e8les enti\u00e8rement affin\u00e9s. Pour OpenAIModEval, il \u00e9gale les m\u00e9thodes alternatives avec 100 fois moins de param\u00e8tres. Les \u00e9valuations cross-domain r\u00e9v\u00e8lent des asym\u00e9tries int\u00e9ressantes : les mod\u00e8les form\u00e9s sur ToxicChat se g\u00e9n\u00e9ralisent bien \u00e0 OpenAIModEval, mais l’inverse montre des baisses de performance consid\u00e9rables. Cette asym\u00e9trie peut \u00eatre due \u00e0 des diff\u00e9rences dans les caract\u00e9ristiques des ensembles de donn\u00e9es ou \u00e0 la pr\u00e9sence d’\u00e9chantillons de contournement dans ToxicChat. Globalement, LoRA-Guard s’av\u00e8re \u00eatre une solution efficace et efficiente pour la mod\u00e9ration de contenu dans les mod\u00e8les de langage.<\/p>\n","protected":false},"excerpt":{"rendered":"
Les mod\u00e8les de langage de grande taille (LLMs) ont prouv\u00e9 leur talent impressionnant dans la g\u00e9n\u00e9ration de contenus. Cependant, leur formation, qui repose sur l’apprentissage non supervis\u00e9 \u00e0 partir de vastes ensembles de donn\u00e9es suivi d’un affinage supervis\u00e9, pose des d\u00e9fis significatifs. Le principal probl\u00e8me r\u00e9side dans la nature des ensembles de donn\u00e9es de pr\u00e9-formation, […]<\/p>\n","protected":false},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[1],"tags":[],"class_list":["post-189","post","type-post","status-publish","format-standard","hentry","category-uncategorized"],"yoast_head":"\n