![](\"https:\/\/oaidalleapiprodscus.blob.core.windows.net\/private\/org-PXteLUy4B6mslwRon6h7ri9z\/user-0jfma6aPNvZyLXZUbw4CmvZG\/img-IiSmC1Y7HbVAoPSGwj0f9nyf.png?st=2024-06-14T10%3A10%3A43Z&se=2024-06-14T12%3A10%3A43Z&sp=r&sv=2023-11-03&sr=b&rscd=inline&rsct=image\/png&skoid=6aaadede-4fb3-4698-a8f6-684d7786b067&sktid=a48cca56-e6da-484e-a814-9c849652bcb3&skt=2024-06-13T19%3A07%3A37Z&ske=2024-06-14T19%3A07%3A37Z&sks=b&skv=2023-11-03&sig=zHKpcBcxFw37FzM%2BoJtrvObDR2Bhkvf\/au\/Iy3Jh5pY%3D\")
<\/p>\n<\/p>\n
La synth\u00e8se de texte en parole (TTS) vise \u00e0 convertir du texte en mots parl\u00e9s avec un haut degr\u00e9 de naturel et d\u2019intelligibilit\u00e9. Ce domaine croise le traitement du langage naturel, le traitement du signal vocal, et l’apprentissage automatique. La technologie TTS est devenue essentielle dans diverses applications comme les assistants virtuels, les livres audio, et les outils d’accessibilit\u00e9, avec pour objectif de g\u00e9n\u00e9rer une parole indistinguable des voix humaines.<\/p>\n
Un d\u00e9fi majeur de la synth\u00e8se TTS est d\u2019obtenir une parole de haute qualit\u00e9 et naturelle pouvant g\u00e9rer diverses voix et accents. Les m\u00e9thodes TTS traditionnelles, souvent tributaires de grandes quantit\u00e9s de donn\u00e9es d\u2019entra\u00eenement, ont des difficult\u00e9s avec la variabilit\u00e9 des voix de locuteurs, ce qui limite leur \u00e9volutivit\u00e9 et flexibilit\u00e9, surtout dans les sc\u00e9narios d\u2019apprentissage sans donn\u00e9es pr\u00e9alables (zero-shot learning).<\/p>\n
Les recherches actuelles incluent des approches TTS bas\u00e9es sur des r\u00e9seaux neuronaux comme les mod\u00e8les s\u00e9quence-\u00e0-s\u00e9quence et les auto-encodeurs variationnels. Le VALL-E, utilisant la mod\u00e9lisation de langage \u00e0 codec neural, dispose de codes codecs discrets pour les t\u00e2ches TTS. D’autres travaux incluent Voicebox et Audiobox avec des m\u00e9thodes de correspondance de flux, tandis que NaturalSpeech 3 utilise des mod\u00e8les de diffusion. Ces m\u00e9thodes am\u00e9liorent la qualit\u00e9 et la variabilit\u00e9 de la parole mais sont confront\u00e9es \u00e0 des d\u00e9fis d’efficacit\u00e9 et de besoins en donn\u00e9es, surtout dans les sc\u00e9narios de zero-shot.<\/p>\n
Les chercheurs de Microsoft ont introduit le VALL-E 2, une nouvelle approche utilisant la mod\u00e9lisation de langage \u00e0 codec neural, inspir\u00e9e par le succ\u00e8s des grands mod\u00e8les de langage dans le traitement de texte. Cette m\u00e9thode repr\u00e9sente la parole comme des codes codecs discrets et aborde la TTS en tant que t\u00e2che de mod\u00e9lisation de langage \u00e0 codec conditionnel. VALL-E 2 int\u00e8gre deux am\u00e9liorations cl\u00e9s : l’\u00e9chantillonnage conscient des r\u00e9p\u00e9titions et la mod\u00e9lisation des codes group\u00e9s. Ces innovations visent \u00e0 am\u00e9liorer les capacit\u00e9s TTS en zero-shot gr\u00e2ce \u00e0 une structure de mod\u00e8le polyvalente et efficace.<\/p>\n
Le VALL-E 2 utilise une approche en deux \u00e9tapes impliquant des mod\u00e8les autoregressifs (AR) et non-autoregressifs (NAR). Le mod\u00e8le AR pr\u00e9dit une s\u00e9quence de codes codecs utilisant l’\u00e9chantillonnage par noyau avec des techniques conscientes des r\u00e9p\u00e9titions, assurant stabilit\u00e9 et diversit\u00e9 dans la sortie vocale. Le mod\u00e8le NAR g\u00e9n\u00e8re les codes restants, am\u00e9liorant l’efficience et la robustesse. L’\u00e9chantillonnage conscient des r\u00e9p\u00e9titions emploie de mani\u00e8re adaptative l’\u00e9chantillonnage al\u00e9atoire ou par noyau pour chaque pr\u00e9diction de token en fonction de la r\u00e9p\u00e9tition du token dans l’historique de d\u00e9codage. La mod\u00e9lisation des codes group\u00e9s partitionne les codes codecs en groupes, chacun \u00e9tant mod\u00e9lis\u00e9 comme une seule trame, r\u00e9duisant la longueur de la s\u00e9quence et am\u00e9liorant les performances.<\/p>\n
Les \u00e9valuations de performance de VALL-E 2 d\u00e9montrent des am\u00e9liorations significatives dans les sc\u00e9narios TTS en zero-shot. Le mod\u00e8le a \u00e9t\u00e9 entra\u00een\u00e9 sur le dataset Libriheavy et \u00e9valu\u00e9 sur les datasets LibriSpeech et VCTK. Il a atteint la parit\u00e9 humaine en termes de robustesse, naturel et scores de similarit\u00e9. Sur le dataset LibriSpeech, VALL-E 2 a obtenu un taux d’erreur de mots (WER) de 4.2% pour des prompts de 3 secondes et 3.8% pour des prompts de 5 secondes, compar\u00e9 au WER de v\u00e9rit\u00e9 terrain de 4.5%. Le score de similarit\u00e9 (SIM) pour VALL-E 2 \u00e9tait de 0.803 avec un \u00e9chantillonnage unique et am\u00e9lior\u00e9 \u00e0 0.807 avec un \u00e9chantillonnage cinq fois, indiquant une synth\u00e8se vocale tr\u00e8s pr\u00e9cise et naturelle. Dans le dataset VCTK, le mod\u00e8le a atteint un score de robustesse de 0.3 et un score de naturel de 4.47 pour des prompts de 3 secondes, d\u00e9montrant sa performance sup\u00e9rieure dans des sc\u00e9narios de locuteurs divers.<\/p>\n
La m\u00e9thodologie de VALL-E 2 est d\u00e9taill\u00e9e et robuste. Le mod\u00e8le AR est entra\u00een\u00e9 pour pr\u00e9dire la premi\u00e8re s\u00e9quence de codes codecs conditionn\u00e9e sur la s\u00e9quence textuelle de mani\u00e8re autoregressive. Le mod\u00e8le NAR, quant \u00e0 lui, pr\u00e9dit les codes codecs subs\u00e9quents bas\u00e9s sur la sortie initiale du mod\u00e8le AR, exploitant les conditions textuelles et acoustiques. Cette approche en deux \u00e9tapes assure \u00e0 la fois la stabilit\u00e9 et l’efficacit\u00e9 dans la g\u00e9n\u00e9ration de parole de haute qualit\u00e9. La m\u00e9thode d’\u00e9chantillonnage consciente des r\u00e9p\u00e9titions am\u00e9liore significativement la stabilit\u00e9 du d\u00e9codage, tandis que la mod\u00e9lisation des codes group\u00e9s aborde le probl\u00e8me de mod\u00e9lisation de long contexte en r\u00e9duisant la longueur de la s\u00e9quence et en am\u00e9liorant l’efficience d’inf\u00e9rence.<\/p>\n
En conclusion, VALL-E 2 aborde des d\u00e9fis cruciaux dans la synth\u00e8se TTS en introduisant une nouvelle approche de mod\u00e9lisation de langage \u00e0 codec. Cette m\u00e9thode am\u00e9liore les capacit\u00e9s d’apprentissage en zero-shot, offrant une synth\u00e8se de parole de haute qualit\u00e9 et naturelle avec une meilleure efficacit\u00e9 et robustesse. Les recherches men\u00e9es par Microsoft marquent une avanc\u00e9e significative dans le d\u00e9veloppement de syst\u00e8mes TTS \u00e9volutifs et flexibles, capables de synth\u00e9tiser la parole pour diverses applications, des assistants virtuels aux outils d’accessibilit\u00e9 pour les personnes avec des troubles de la parole.<\/p>\n","protected":false},"excerpt":{"rendered":"
La synth\u00e8se de texte en parole (TTS) vise \u00e0 convertir du texte en mots parl\u00e9s avec un haut degr\u00e9 de naturel et d\u2019intelligibilit\u00e9. Ce domaine croise le traitement du langage naturel, le traitement du signal vocal, et l’apprentissage automatique. La technologie TTS est devenue essentielle dans diverses applications comme les assistants virtuels, les livres audio, […]<\/p>\n","protected":false},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[1],"tags":[],"class_list":["post-158","post","type-post","status-publish","format-standard","hentry","category-uncategorized"],"yoast_head":"\n