![](\"https:\/\/oaidalleapiprodscus.blob.core.windows.net\/private\/org-PXteLUy4B6mslwRon6h7ri9z\/user-0jfma6aPNvZyLXZUbw4CmvZG\/img-LPDkNqelfj1yAKFuGCyyJp5e.png?st=2024-08-10T10%3A10%3A49Z&se=2024-08-10T12%3A10%3A49Z&sp=r&sv=2024-08-04&sr=b&rscd=inline&rsct=image\/png&skoid=d505667d-d6c1-4a0a-bac7-5c84a87759f8&sktid=a48cca56-e6da-484e-a814-9c849652bcb3&skt=2024-08-09T23%3A17%3A28Z&ske=2024-08-10T23%3A17%3A28Z&sks=b&skv=2024-08-04&sig=q9cX%2BD1y2HdHTVZfDm2m\/qDCYn8mJT9BWApnIE3yN18%3D\")
<\/p>\n<\/p>\n
La capacit\u00e9 de convertir des questions en langage naturel en langage de requ\u00eate structur\u00e9 (SQL), connue sous le nom de text-to-SQL, facilite l’interaction des non-experts avec les bases de donn\u00e9es en utilisant le langage naturel. Des \u00e9tudes r\u00e9centes ont mis en lumi\u00e8re des r\u00e9alisations significatives dans les grands mod\u00e8les de langage (LLM) puissants \u00e0 source ferm\u00e9e comme GPT-4, utilisant des techniques de sollicitation avanc\u00e9es. Cependant, l’adoption de LLM \u00e0 source ferm\u00e9e suscite des pr\u00e9occupations li\u00e9es \u00e0 la transparence, \u00e0 la vie priv\u00e9e et aux co\u00fbts. Par cons\u00e9quent, les LLM open-source ont attir\u00e9 une grande attention en offrant des performances similaires aux mod\u00e8les ferm\u00e9s dans diverses t\u00e2ches de traitement du langage naturel.<\/p>\n
Des m\u00e9thodes ant\u00e9rieures comme IRNET utilisaient des mod\u00e8les bas\u00e9s sur l’attention pour l’apprentissage des repr\u00e9sentations pour l’analyse text-to-SQL, tandis que des m\u00e9thodes plus r\u00e9centes introduisaient des mod\u00e8les bas\u00e9s sur le fine-tuning. Derni\u00e8rement, les LLM sont au centre de l’attention, avec divers travaux explorant de nouvelles techniques de sollicitation. Par exemple, ACT-SQL g\u00e9n\u00e8re automatiquement des exemples de cha\u00eene de pens\u00e9e, DIN-SQL d\u00e9compose les t\u00e2ches complexes en sous-t\u00e2ches, et DAIL-SQL organise des \u00e9chantillons, am\u00e9liorant ainsi consid\u00e9rablement les performances dans le domaine du text-to-SQL. Cependant, la plupart de ces m\u00e9thodes d\u00e9pendent des LLM \u00e0 source ferm\u00e9e. Des progr\u00e8s r\u00e9cents incluent la g\u00e9n\u00e9ration de donn\u00e9es synth\u00e9tiques, comme le cadre Self-Instruct, qui am\u00e9liore les comp\u00e9tences en suivi des instructions.<\/p>\n
Des chercheurs de divers instituts chinois et d’Alibaba Group ont propos\u00e9 une approche de donn\u00e9es synth\u00e9tiques qui combine des donn\u00e9es puissantes g\u00e9n\u00e9r\u00e9es par de grands mod\u00e8les avec des donn\u00e9es plus faibles g\u00e9n\u00e9r\u00e9es par des mod\u00e8les plus petits et moins pr\u00e9cis. Cette m\u00e9thode am\u00e9liore la g\u00e9n\u00e9ralisation des domaines dans les mod\u00e8les text-to-SQL et explore le potentiel de supervision par des donn\u00e9es faibles \u00e0 travers l’apprentissage par pr\u00e9f\u00e9rence. En utilisant cette m\u00e9thodologie, les chercheurs ont affin\u00e9 les mod\u00e8les open-source LLM, cr\u00e9ant SENSE, un mod\u00e8le text-to-SQL sp\u00e9cialis\u00e9. SENSE a prouv\u00e9 son efficacit\u00e9 en obtenant des r\u00e9sultats de pointe sur les benchmarks SPIDER et BIRD.<\/p>\n
L’efficacit\u00e9 de SENSE est test\u00e9e sur cinq ensembles de donn\u00e9es text-to-SQL populaires. Le benchmark g\u00e9n\u00e9ral Spider contient 7 000 paires text-SQL dans son ensemble d’entra\u00eenement et 1 034 paires dans son ensemble de d\u00e9veloppement, couvrant 200 bases de donn\u00e9es et 138 domaines. Le benchmark de d\u00e9fi BIRD se concentre sur de grandes bases de donn\u00e9es r\u00e9elles avec 95 grandes bases de donn\u00e9es contenant 33,4 Go de donn\u00e9es r\u00e9parties sur 37 champs. Contrairement \u00e0 Spider, BIRD met en avant le contenu des bases de donn\u00e9es r\u00e9elles n\u00e9cessitant des connaissances pour raisonner entre les questions en langage naturel et le contenu des bases de donn\u00e9es.<\/p>\n
Les r\u00e9sultats montrent que les m\u00e9thodes de sollicitation surpassent le fine-tuning dans les t\u00e2ches text-to-SQL, en raison des atouts des LLM \u00e0 source ferm\u00e9e et des demandes personnalis\u00e9es. Cependant, les LLM open-source posent encore des d\u00e9fis en mati\u00e8re de g\u00e9n\u00e9ralisation. Il est constat\u00e9 que les grands mod\u00e8les tendent \u00e0 produire de meilleurs r\u00e9sultats et que le fine-tuning des instructions am\u00e9liore les performances, soulignant la valeur de l’utilisation de donn\u00e9es synth\u00e9tiques. De plus, le mod\u00e8le SENSE cr\u00e9\u00e9 par les chercheurs \u00e9tablit une nouvelle norme pour le dataset Spider, d\u00e9passant le DAILSQL bas\u00e9 sur GPT-4. Notamment, le mod\u00e8le SENSE-13B montre une am\u00e9lioration de 21,8% par rapport \u00e0 CodeLLaMA-13B-Instruct sur l’ensemble de d\u00e9veloppement et surpasse l\u00e9g\u00e8rement DAILSQL.<\/p>\n","protected":false},"excerpt":{"rendered":"
La capacit\u00e9 de convertir des questions en langage naturel en langage de requ\u00eate structur\u00e9 (SQL), connue sous le nom de text-to-SQL, facilite l’interaction des non-experts avec les bases de donn\u00e9es en utilisant le langage naturel. Des \u00e9tudes r\u00e9centes ont mis en lumi\u00e8re des r\u00e9alisations significatives dans les grands mod\u00e8les de langage (LLM) puissants \u00e0 source […]<\/p>\n","protected":false},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[1],"tags":[],"class_list":["post-215","post","type-post","status-publish","format-standard","hentry","category-uncategorized"],"yoast_head":"\n