Chương 1 Tổng quan- giới thiệu chung về bài toán cần giải quyết, các vấn đề gặp phải, và đưa ra một hình dung về các phần còn lại của luận văn được thể hiện như thế nào. « Chương 2 Các nghiên cứu liên quan và kién thức cơ sở - trình bày các kiến thức nền tảng và nghiên cứu nổi bật liên quan đến bài toán text-to-SQL cũng như thông tin về học máy giám sát và học máy tăng cường. « Chương 3 Text-to-SQL với tiếp cận học máy tăng cường - đề cập đến phương pháp đề xuất của luận văn. Các nội dung về thuật toán REINFORCE, RELAX, hàm phần thưởng và kiến trúc của hệ thống text-to-SQL sẽ được trình bày chỉ tiết tại đây.
« Chương 4 Thực nghiệm và đánh giá - trình bày cài đặt thực nghiệm va kết quả của phương pháp đề xuất cùng các mô hình tham chiếu sẽ được trình bày và phân tích ở chương này. »« Két luận - trình bày một sô kêt luận của luận văn và các hướng nghiên cứu có thể thực hiện trong tương lai. « Nghiên cứu cắt bỏ Một số thí nghiệm để làm rõ đóng góp của các thuật toán học máy tăng cường. Chương 2: Các nghiên cứu liên quan và kiến thức cơ sở Trong chương này, một số nghiên cứu về bài toán text-to-SQL sẽ được thảo luận để đưa ra cái nhìn tổng quan về tình hình nghiên cứu.
Phần còn lại sẽ trình bày kiến thức nền tảng liên quan đến phương pháp đề xuất, bao gồm thông tin về mô hình huấn luyện săn được sử dụng, phương pháp học máy giám sát và học máy tăng cường. Các nghiên cứu liên quan Text-to-SQL đã được giới thiệu từ lâu, tuy nhiên trước day bài toán này chưa được quan tâm nhiều. Những năm gần đây, cùng với sự phát triển của học sâu và đặc biệt là các mô hình theo kiến trúc Transformer, nghiên cứu về text-to-SQL đã đạt được những bước tiến đáng kể. Wang và cộng sự [4] đã đưa ra RAT-SQL, một mô hình sử dụng nhiều lớp self-attention để mã hoá và liên kết cấu trúc cơ sở dit liệu.
Lin và cộng sự [5] đề xuất kiến trúc BRIDGE, biểu diễn câu đầu vào và cấu trúc cơ sở dữ liệu dưới dạng một chuỗi và gán nhãn cho từng thành phần trong chuỗi đầu vào đó. Chuỗi này sau đó được đưa vào bộ mã hoá BERT để sinh ra vector biểu diễn và cuối cùng câu SQL được sinh ra bởi một mạng pointer-generator. Scholak và cộng sự [7] phát triển một phương pháp kiểm soát việc sinh ra câu SQL mà tại mỗi bước, các ký tự không hợp lệ sẽ bị loại bỏ khỏi tập từ điển, gọi là PICARD. Ưu điểm của phương pháp này là không tác động đến mô hình đã được huấn luyện mà có thể áp dụng trực tiếp như một mô-đun cho bất kỳ mô hình Transformer nào.
Nhiều nghiên cứu [8]—[10] đã sử dụng PICARD để nâng cao chất lượng đầu ra của họ. Khi các mô hình ngôn ngữ lớn (Large Language Model - LLM) xuất hiện và trở nên thông dụng, nhiều hệ thống text-to-SQL được áp dung LLM và đạt kết quả rất tốt. Các nghiên cứu của Liu và cộng sự [11], Dong và cộng sự [12] cho thấy độ chính xác ChatGPT mang lại rất hứa hẹn. Với việc chuẩn bị các lời nhac (prompt) bằng các kỹ thuật phức tạp, nghiên cứu của họ đã đạt độ chính xác thực thi 70- 6 82% trên tập đánh giá của Spider.
Agrahari và cộng su [13] đã huấn luyện lại mô hình Llama-V2 7B [14] trên nhiều kịch bản. Kết quả cho thấy độ chính xác tăng từ 11.4% khi chưa tinh chỉnh so với khi đã tinh chỉnh. Các kết quả sử dung LLM thường được báo cáo kết quả sử dụng độ chính xác thực thi, còn với độ chính xác của câu SQL thì các mô hình ngôn ngữ lớn vẫn chưa có kết quả tốt. Tuy nhiên, những nghiên cứu về sử dụng mô hình ngôn ngữ lớn có thể đạt được những kết quả ấn tượng hơn nữa trong thời gian tới.
Trên bảng xếp hạng của bộ dữ liệu Spider, một mô hình ngôn ngữ lớn tuỳ chỉnh có tên MiniSeek đạt độ chính xác EM va EX lần lượt là là 81.2% trên tập kiểm thử, xếp hạng cao nhất trong các nghiên cứu được liệt kê. Tuy nghiên, nghiên cứu này chưa được công bố chỉ tiết. Về độ chính xác thực thi, các nghiên cứu đạt kết quả tốt nhất tiếp theo sử dụng kết hợp GPT-4, các công cụ như DAIL-SQL [15] và các kỹ thuật giúp GPT-4 có kết quả nhất quán hơn, hoặc có thể tự chỉnh sửa câu SQL đầu ra. Độ chính xác trên tập kiểm thử của các nghiên cứu này lần lượt đạt 86.
Về độ chính xác so khớp, các nghiên cứu có độ chính xác cao hiện tại không sử dụng hệ thống LLM mà sử dụng các mô hình truyền thống hon. Li và cộng sự [8] huấn luyện mô hình Graphix-3B dựa trên mô hình Tð 3B nhưng có thêm các lớp mạng nơ-ron mang thông tin về đồ thị (Graph-Aware Layers). Kết hợp với PICARD, Graphix-3B đạt độ chính xác 77.1% trên tập kiểm chứng. Xiang và cộng sự [16] đề xuất một phương pháp sinh câu SQL dựa vào đồ thị.
Kết hợp với LGESQL [17] và mô hình ELECTRA [18], hệ thống nay đạt độ chính xác EM 78.1% trên tập kiểm chứng. Bên cạnh học máy giám sát, học máy tăng cường là một cơ chế học máy bắt chước quá trình học tập “thử sai” của con người và đã được ứng dụng trong nhiều lĩnh vực. Nó cũng đã được sử dung trong các bài toán sinh ngôn ngữ tự nhiên như tóm tất văn ban [19]-[21] hay dịch máy [22], [23]. Zhong và cộng sự [24] đã ứng dụng học máy tăng cường cho mô hình trên bộ dữ liệu WikiSQL do họ công bố, kết quả cho thấy có cải thiện so với không sử dụng học máy tăng cường.
Tuy nhiên, WikiSQL là một bộ dữ liệu với các câu truy vấn khá đơn giản, và số điểm phần trăm cải thiện do học máy tăng cường mang lại chưa quá lớn. Kiến thức cơ sở 2. Học máy giám sát Học máy giám sát là một kỹ thuật hoc máy rất phổ biến, trong đó dit liệu đầu vào được gán nhãn đầu ra tương ứng khi đưa vào huấn luyện. Giả sử ta có đầu vào X và đầu ra Y, mục tiêu là cần tìm ánh xạ ƒ sao cho: Y = f(X) (2.1) Với dữ liệu đầu vào Xpain, ta sẽ có tập Yirain đã được gán nhãn sẵn (thường là do con người gán nhãn).
Tập dữ liệu này sẽ được dùng để huấn luyện mô hình sao cho hàm ƒ xap xi “tốt nhất” có thể trên các cặp dữ liệu trong Xtrain Va Yirain tương > ứng. Định nghĩa “tốt nhất” như thế nào tuỳ tính chất của bài toán và thuật toán được sử dụng. Ví dụ khi sử dụng thuật toán hồi quy tuyến tính, để đạt được xấp xỉ tốt nhất, người ta sẽ cố gắng tối thiểu tổng các khoảng cách Euclid giữa điểm dữ liệu y; và ƒ(z;): N L= tu — f(@i))? (2. Hoc may tăng cường Học máy tăng cường là phương pháp học dựa vào sự tương tác qua lại với môi trường bên ngoài mô hình được huấn luyện.
Thông qua một chuỗi các hành động, tương tác với môi trường và nhận về phản hồi cho hành động đó, sau mỗi bước mô hình sẽ được cập nhật để đạt được nhiều phản hồi theo hướng mong muốn hơn. Ví dụ với một mô hình dịch máy, có thể định nghĩa hành động là việc sinh ra các ký tự, môi trường bao gồm dữ liệu huấn luyện và các hàm đánh giá liên quan, và sau mỗi câu dịch mô hình sẽ nhận được phản hồi là điểm số BLEU [25] chẳng hạn.1 thể hiện một mô hình đặc trưng của học máy tăng cường. Tại mỗi bước, tác tử có trạng thái S; sẽ thực hiện một hành động 4;, nhận về phần thưởng (phan hồi) #, từ môi trường và chuyển sang trạng thái S;41. Ban đầu, học máy tăng cường thường được sử dụng trong các vấn đề như huấn luyện một mô hình có thể chơi trò chơi hay điều khiển rô-bốt.
Với mô hình có thể chơi trò chơi, chắng hạn như cờ tướng, sau một loạt các nước đi, có thể đưa phản hồi cho mô hình dựa vào các thuật toán chơi cờ có săn mà không cần con người phải gán nhãn cho các thế cờ cụ thể. Trạng thái ` Hành động At Hình 2.1: Học máy tăng cường [26] Để hiểu rõ hơn về học máy tăng cường, ta sẽ đi vào một vài thuật toán cơ bản. Trong học máy tăng cường, chính sách z chính là mô hình cần được huấn luyện, với mỗi trang thái s, chính sách z đưa ra xác suất của các hành động có thể lựa chọn. Giá trị trả về tại mỗi bước £ được định nghĩa: loo} Ge = Rigi + Rin +P Rig +.3) Giá trị này được hiểu là tổng phần thưởng có thể nhận được từ bước £ cho đến khi quá trình kết thúc.
Trong đó, R; là phần thưởng tại bước k, + là tham số suy giảm theo thời gian (0 < + < 1). Các giá trị gần với bước £ sẽ có trọng số cao hơn; giá trị Œ, được thiết kế để hội tụ với bị chặn trên và + < 1. Hàm giá trị trạng thái: Un(s) = Er[G¡|5¡ = 5] (2.5) 6) phương trình trên, p đại diện cho môi trường bên ngoài tác tử, cho ta biết xác suất tác tử chuyển sang trạng thái s và nhận được phần thưởng z khi thực hiện hành động ø từ trạng thái s. Giá trị của trạng thái là kỳ vọng của giá trị trả về mà tại đó tác tử đang ở trạng thái S; = s cu thể.5 được gọi là phương trình Bellman, nó mô tả liên hệ giữa giá trị của một trạng thái với giá trị của các trạng thái sau đó.
Hàm giá trị hành động qx(s,ø) = Ey [Gi|S; = s, Ay = a] (2.6) = Tvl rae +33 wel (2.7) Tương tự, giá trị của hành động chính là kỳ vọng của giá trị trả về G mà tại đó tác tử ở trạng thái S; = s đồng thời thực hiện hành động A; = a. Mục tiêu của các thuật toán học máy tăng cường là tối ưu z để tác tử có thể lựa chọn hành động tối ưu nhất ở mỗi trạng thái, và đạt được giá trị trả về lớn nhất. Giá trị tối ưu của chính sách, hàm giá trị trạng thái và hàm giá trị hành động lần lượt được ký hiệu là z„, 0„(s), và ø(s,ø).