La technique de watermarking pour les mod\u00e8les linguistiques de grande taille (LLM) int\u00e8gre des signaux subtils et d\u00e9tectables dans les textes g\u00e9n\u00e9r\u00e9s par IA pour identifier leur origine, et ainsi limiter les risques d’usurpation d’identit\u00e9, de r\u00e9daction fant\u00f4me et de fausses nouvelles. Cependant, le domaine rencontre des d\u00e9fis d\u00fb \u00e0 la complexit\u00e9 des algorithmes et \u00e0 la diversit\u00e9 des m\u00e9thodes d’\u00e9valuation. <\/p>\n
Des chercheurs de plusieurs universit\u00e9s ont d\u00e9velopp\u00e9 MARKLLM, un outil open source pour le watermarking des LLM, offrant une structure unifi\u00e9e et extensible pour l’impl\u00e9mentation d’algorithmes. MARKLLM simplifie le chargement des algorithmes, le watermarking des textes, la d\u00e9tection et la visualisation des donn\u00e9es, et propose 12 outils d’\u00e9valuation et deux pipelines automatis\u00e9s pour tester la d\u00e9tection, la robustesse et l’impact sur la qualit\u00e9 des textes.<\/p>\n
Les algorithmes de watermarking de LLM se divisent en deux familles principales : KGW et Christ. KGW modifie les pr\u00e9f\u00e9rences de token des mod\u00e8les pour cr\u00e9er des textes identifiables par un seuil statistique, tandis que Christ utilise des s\u00e9quences pseudo-al\u00e9atoires pour guider l’\u00e9chantillonnage des tokens. <\/p>\n
MARKLLM permet l’\u00e9valuation de neuf algorithmes sur divers jeux de donn\u00e9es et utilise des mod\u00e8les linguistiques comme OPT-1.3b et Starcoder. Les \u00e9valuations montrent une pr\u00e9cision \u00e9lev\u00e9e et des r\u00e9sultats vari\u00e9s selon les m\u00e9triques et les attaques. <\/p>\n
En conclusion, MARKLLM offre une solution flexible et extensible pour le watermarking des LLM, m\u00eame si des contributions futures seront n\u00e9cessaires pour couvrir les approches r\u00e9centes et diversifier les visualisations. Les chercheurs et d\u00e9veloppeurs sont invit\u00e9s \u00e0 enrichir cet outil.<\/p>\n","protected":false},"excerpt":{"rendered":"
La technique de watermarking pour les mod\u00e8les linguistiques de grande taille (LLM) int\u00e8gre des signaux subtils et d\u00e9tectables dans les textes g\u00e9n\u00e9r\u00e9s par IA pour identifier leur origine, et ainsi limiter les risques d’usurpation d’identit\u00e9, de r\u00e9daction fant\u00f4me et de fausses nouvelles. Cependant, le domaine rencontre des d\u00e9fis d\u00fb \u00e0 la complexit\u00e9 des algorithmes et […]<\/p>\n","protected":false},"author":1,"featured_media":0,"comment_status":"closed","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[1],"tags":[],"class_list":["post-24","post","type-post","status-publish","format-standard","hentry","category-uncategorized"],"yoast_head":"\n