Nghiên cứu phân loại câu hỏi pháp quy tiếng Việt sử dụng mô hình BERT

• Tác giả: Nguyễn Diệu Linh
• Người hướng dẫn: PGS. Ngô Xuân Bách
• Trường học: Học viện Công nghệ Bưu chính Viễn thông
• Chuyên ngành: Khoa học máy tính
• Đề tài: Phân loại câu hỏi pháp quy tiếng Việt sử dụng mô hình BERT
• Loại tài liệu: luận văn thạc sĩ
• Năm xuất bản: 2021
• Địa điểm: Hà Nội

• LỜI CAM ĐOAN
• 1. CHƯƠNG 1: BÀI TOÁN PHÂN LOẠI CÂU HỎI
• 1.1. Giới thiệu bài toán phân loại câu hỏi
• 1.2. Đặc điểm dữ liệu câu hỏi pháp quy
• 1.3. Một số nghiên cứu liên quan
• 1.3.1. Một số nghiên cứu cho phân loại đa nhãn
• 1.3.2. Một số nghiên cứu cho phân loại câu hỏi tiếng Việt
• 1.4. Các phương pháp phân loại câu hỏi
• 1.4.1. Phương pháp học máy truyền thống
• 1.4.2. Phương pháp sử dụng mạng nơ-ron
• 1.5. Kết luận chương
• 2. CHƯƠNG 2: PHÂN LOẠI CÂU HỎI PHÁP QUY TIẾNG VIỆT SỬ DỤNG MÔ HÌNH BERT
• 2.1. Bài toán phân loại đa nhãn câu hỏi tiếng Việt
• 2.2. Giải pháp cho bài toán phân loại đa nhãn
• 2.2.1. Giải pháp theo phân loại nhị phân
• 2.2.2. Giải pháp theo phân loại đa nhãn
• 2.3. Một số mô hình học sâu
• 2.3.1. Mô hình mạng nơ-ron hồi quy (RNN - Recurrent Neural Network)
• 2.3.2. Mô hình mạng nơ-ron tích chập (Convolutional Neural Network – CNN)
• 2.4. Giới thiệu phương pháp BERT
• 2.5. Mô hình phân loại câu hỏi pháp quy tiếng Việt sử dụng mô hình BERT
• 2.5.1. Biểu diễn đầu vào
• 2.5.2. Mô hình huấn luyện
• 2.6. Kết luận chương
• 3. CHƯƠNG 3: THỰC NGHIỆM ĐÁNH GIÁ
• 3.1. Xây dựng kho ngữ liệu
• 3.1.1. Thu thập dữ liệu
• 3.1.2. Thống kê kho ngữ liệu
• 3.2. Thiết lập thực nghiệm
• 3.3. Công cụ thực nghiệm
• 3.4. Các mô hình thực nghiệm
• 3.5. Kết quả thực nghiệm
• 3.5.1. Phân loại binary
• 3.5.2. Phân loại đa nhãn
• 3.6. Kết luận chương
• TÀI LIỆU THAM KHẢO

I. Giới thiệu bài toán phân loại câu hỏi

Phân loại câu hỏi pháp quy tiếng Việt là một phần quan trọng trong hệ thống hỏi đáp tự động. Hệ thống này giúp xác định loại câu hỏi và tìm kiếm câu trả lời chính xác từ một tập lớn tài liệu. Việc phân loại câu hỏi không chỉ giúp thu hẹp phạm vi tìm kiếm mà còn nâng cao độ chính xác của câu trả lời. Câu hỏi pháp quy thường liên quan đến nhiều lĩnh vực pháp luật khác nhau, do đó, việc phân loại đa nhãn là cần thiết. Mô hình BERT, với khả năng hiểu ngữ nghĩa và ngữ cảnh, đã được áp dụng để cải thiện hiệu quả phân loại câu hỏi. Theo nghiên cứu, mô hình BERT đạt được độ chính xác cao trong việc phân loại câu hỏi pháp quy, với kết quả thực nghiệm tốt nhất đạt 89,47% độ đo F1.

1.1 Đặc điểm dữ liệu câu hỏi pháp quy

Dữ liệu câu hỏi pháp quy có những đặc điểm riêng biệt, bao gồm tính đa dạng và phức tạp. Mỗi câu hỏi có thể liên quan đến nhiều điều luật khác nhau, điều này tạo ra thách thức trong việc phân loại. Câu hỏi pháp quy không chỉ đơn thuần là một nhãn mà có thể thuộc nhiều lĩnh vực pháp luật. Việc phân loại câu hỏi theo các lĩnh vực pháp luật giúp rút ngắn thời gian tìm kiếm và nâng cao hiệu quả của hệ thống hỏi đáp. Các phương pháp học máy hiện nay, đặc biệt là mô hình BERT, đã cho thấy khả năng vượt trội trong việc xử lý và phân loại dữ liệu ngôn ngữ tự nhiên, từ đó cải thiện độ chính xác trong việc phân loại câu hỏi pháp quy.

1.2 Một số nghiên cứu liên quan

Nhiều nghiên cứu đã được thực hiện để cải thiện phương pháp phân loại câu hỏi tiếng Việt. Các nghiên cứu này thường áp dụng các mô hình học sâu như RNN và CNN. Một nghiên cứu điển hình sử dụng mô hình LSTM cho thấy khả năng nắm bắt thông tin ngữ nghĩa và cú pháp tốt hơn. Các nghiên cứu khác cũng đã chỉ ra rằng việc sử dụng các phương pháp học máy truyền thống như Naïve Bayes và KNN vẫn có giá trị trong một số trường hợp. Tuy nhiên, mô hình BERT đã chứng minh được ưu thế vượt trội trong việc phân loại câu hỏi pháp quy, nhờ vào khả năng học từ ngữ cảnh và tự động trích chọn đặc trưng.

II. Phân loại câu hỏi pháp quy tiếng Việt sử dụng mô hình BERT

Mô hình BERT đã được áp dụng để giải quyết bài toán phân loại câu hỏi pháp quy tiếng Việt. BERT, với khả năng hiểu ngữ nghĩa từ ngữ trong ngữ cảnh, cho phép phân loại câu hỏi một cách chính xác hơn. Bài toán phân loại đa nhãn được thực hiện bằng cách sử dụng các mô hình học sâu, trong đó BERT là một trong những mô hình hiệu quả nhất. Việc biểu diễn đầu vào cho mô hình BERT được thực hiện thông qua các vector từ, giúp mô hình hiểu rõ hơn về ngữ nghĩa của câu hỏi. Kết quả thực nghiệm cho thấy mô hình BERT không chỉ cải thiện độ chính xác mà còn giảm thiểu thời gian xử lý.

2.1 Giải pháp cho bài toán phân loại đa nhãn

Giải pháp cho bài toán phân loại đa nhãn câu hỏi pháp quy bao gồm việc sử dụng mô hình BERT để phân loại câu hỏi theo nhiều nhãn khác nhau. Mô hình BERT cho phép xử lý đồng thời nhiều nhãn, giúp xác định chính xác lĩnh vực pháp luật mà câu hỏi liên quan. Việc áp dụng BERT trong phân loại câu hỏi pháp quy không chỉ giúp cải thiện độ chính xác mà còn tối ưu hóa quy trình tìm kiếm câu trả lời. Kết quả thực nghiệm cho thấy mô hình BERT đạt được độ chính xác cao, cho phép hệ thống hỏi đáp hoạt động hiệu quả hơn.

2.2 Mô hình huấn luyện

Mô hình huấn luyện BERT được thực hiện thông qua việc sử dụng một tập dữ liệu lớn và đa dạng. Quá trình huấn luyện bao gồm việc tối ưu hóa các tham số của mô hình để đạt được độ chính xác cao nhất trong việc phân loại câu hỏi. Các kỹ thuật như fine-tuning được áp dụng để điều chỉnh mô hình BERT cho phù hợp với bài toán phân loại câu hỏi pháp quy. Kết quả thực nghiệm cho thấy mô hình BERT không chỉ cải thiện độ chính xác mà còn giảm thiểu thời gian xử lý, từ đó nâng cao hiệu quả của hệ thống hỏi đáp tự động.

III. Thực nghiệm đánh giá

Chương này trình bày quy trình thực nghiệm đánh giá mô hình phân loại câu hỏi pháp quy sử dụng BERT. Kho ngữ liệu được xây dựng từ nhiều nguồn khác nhau, đảm bảo tính đa dạng và phong phú. Các bước thực nghiệm bao gồm thu thập dữ liệu, tiền xử lý, và thiết lập các mô hình thực nghiệm. Kết quả thực nghiệm cho thấy mô hình BERT đạt được độ chính xác cao trong việc phân loại câu hỏi pháp quy, với các chỉ số đánh giá như độ đo F1 và độ chính xác tổng thể. Việc áp dụng mô hình BERT trong phân loại câu hỏi pháp quy không chỉ mang lại kết quả khả quan mà còn mở ra hướng đi mới cho các nghiên cứu tiếp theo trong lĩnh vực này.

3.1 Xây dựng kho ngữ liệu

Kho ngữ liệu được xây dựng từ nhiều nguồn tài liệu pháp luật khác nhau, đảm bảo tính đại diện cho các lĩnh vực pháp luật. Quá trình thu thập dữ liệu bao gồm việc lựa chọn các câu hỏi pháp quy tiêu biểu và phân loại chúng theo các nhãn đã định sẵn. Việc thống kê kho ngữ liệu giúp xác định số lượng câu hỏi và các nhãn phân loại, từ đó tạo cơ sở cho việc huấn luyện mô hình. Kết quả thu được từ kho ngữ liệu cho thấy tính đa dạng và phong phú, tạo điều kiện thuận lợi cho việc áp dụng mô hình BERT trong phân loại câu hỏi.

3.2 Kết quả thực nghiệm

Kết quả thực nghiệm cho thấy mô hình BERT đạt được độ chính xác cao trong việc phân loại câu hỏi pháp quy. Các chỉ số đánh giá như độ đo F1 và độ chính xác tổng thể đều cho thấy sự vượt trội của mô hình BERT so với các phương pháp truyền thống. Việc phân loại câu hỏi theo nhiều nhãn giúp nâng cao hiệu quả tìm kiếm câu trả lời, từ đó cải thiện trải nghiệm người dùng trong hệ thống hỏi đáp tự động. Kết quả này khẳng định giá trị thực tiễn của việc áp dụng mô hình BERT trong phân loại câu hỏi pháp quy tiếng Việt.

Tổng quan nghiên cứu

Trong bối cảnh công nghệ thông tin phát triển mạnh mẽ, nhu cầu xử lý và tìm kiếm thông tin chính xác, nhanh chóng ngày càng tăng cao, đặc biệt trong lĩnh vực pháp luật. Theo ước tính, mỗi ngày có hàng nghìn câu hỏi pháp lý được đặt ra trên các nền tảng trực tuyến, đòi hỏi hệ thống hỏi đáp tự động phải hoạt động hiệu quả để hỗ trợ người dùng. Phân loại câu hỏi pháp quy tiếng Việt là bước đầu tiên và quan trọng trong hệ thống hỏi đáp tự động, giúp xác định lĩnh vực pháp luật liên quan nhằm thu hẹp phạm vi tìm kiếm câu trả lời. Mục tiêu nghiên cứu của luận văn là xây dựng mô hình phân loại đa nhãn câu hỏi pháp quy tiếng Việt sử dụng mô hình BERT, nhằm nâng cao độ chính xác phân loại và hỗ trợ tra cứu pháp luật hiệu quả. Nghiên cứu tập trung trên dữ liệu thu thập từ ba trang web hỏi đáp pháp luật tại Việt Nam với hơn 5000 câu hỏi, gán nhãn theo 34 lĩnh vực pháp luật khác nhau. Kết quả thực nghiệm cho thấy mô hình BERT đạt độ đo F1 lên tới 89,47%, vượt trội so với các mô hình truyền thống như SVM và mạng nơ-ron hồi quy. Nghiên cứu có ý nghĩa thiết thực trong việc ứng dụng trí tuệ nhân tạo vào lĩnh vực pháp luật, góp phần rút ngắn thời gian tra cứu và nâng cao hiệu quả hỗ trợ pháp lý cho người dân.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Luận văn dựa trên hai lý thuyết và mô hình chính:

1. Phân loại đa nhãn (Multi-label classification): Đây là bài toán gán một hoặc nhiều nhãn cho mỗi câu hỏi, phù hợp với đặc điểm câu hỏi pháp quy có thể liên quan đến nhiều lĩnh vực pháp luật cùng lúc. Phân loại đa nhãn được mô tả là gán nhãn nhị phân cho từng nhãn trong tập nhãn đã định nghĩa, với hai cách tiếp cận phổ biến là xây dựng nhiều bộ phân loại nhị phân hoặc một bộ phân loại đa nhãn duy nhất.

2. Mô hình BERT (Bidirectional Encoder Representations from Transformers): BERT là mô hình học sâu dựa trên kiến trúc Transformer, cho phép biểu diễn ngữ cảnh hai chiều của từ trong câu. BERT được huấn luyện trước trên lượng lớn dữ liệu không có nhãn, sau đó được tinh chỉnh (fine-tuning) cho các tác vụ cụ thể như phân loại câu hỏi. Mô hình này vượt trội so với các mô hình truyền thống và mạng nơ-ron hồi quy nhờ khả năng nắm bắt ngữ nghĩa sâu sắc và phụ thuộc dài hạn trong văn bản.

Các khái niệm chính bao gồm: phân loại đa nhãn, mạng nơ-ron hồi quy (RNN), mạng nơ-ron tích chập (CNN), mô hình Transformer, embedding từ ngữ, fine-tuning mô hình BERT.

Phương pháp nghiên cứu

Nguồn dữ liệu được thu thập từ ba trang web hỏi đáp pháp luật tại Việt Nam, gồm hơn 5000 câu hỏi pháp lý thuộc nhiều lĩnh vực khác nhau. Dữ liệu được tiền xử lý loại bỏ nhiễu như lỗi chính tả, lỗi font chữ. Sau đó, câu hỏi được gán nhãn dựa trên nội dung câu hỏi và câu trả lời, phân loại thành 34 nhãn lĩnh vực pháp luật.

Phương pháp phân tích sử dụng mô hình học máy giám sát, trong đó:

• Mô hình truyền thống: SVM được áp dụng làm đối chứng.
• Mô hình học sâu: BERT được huấn luyện trước và tinh chỉnh cho bài toán phân loại đa nhãn.
• Cỡ mẫu: Hơn 5000 câu hỏi, được chia thành tập huấn luyện và tập kiểm tra theo tỷ lệ phù hợp.
• Phương pháp chọn mẫu: Thu thập dữ liệu thực tế từ các trang web uy tín, đảm bảo tính đại diện cho các lĩnh vực pháp luật phổ biến.
• Timeline nghiên cứu: Thu thập và xử lý dữ liệu trong 3 tháng, huấn luyện và đánh giá mô hình trong 2 tháng tiếp theo.

Phân tích kết quả dựa trên các chỉ số chính như độ đo F1, precision, recall, so sánh hiệu quả giữa các mô hình.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

1. Hiệu quả mô hình BERT vượt trội: Mô hình BERT đạt độ đo F1 trung bình 89,47% trong phân loại đa nhãn câu hỏi pháp quy, cao hơn đáng kể so với SVM (khoảng 75%) và mạng nơ-ron hồi quy (khoảng 69%). Điều này chứng tỏ khả năng nắm bắt ngữ cảnh và biểu diễn ngôn ngữ tự nhiên của BERT rất phù hợp với bài toán phân loại câu hỏi pháp lý.

2. Phân loại đa nhãn phù hợp với đặc điểm dữ liệu: Khoảng 30% câu hỏi pháp quy có nhiều hơn một nhãn, thể hiện tính đa dạng và phức tạp trong nội dung câu hỏi. Việc áp dụng phân loại đa nhãn giúp mô hình nhận diện chính xác các lĩnh vực liên quan, nâng cao độ chính xác tổng thể.

3. Phương pháp phân loại nhị phân và đa nhãn đều có ưu điểm: Phân loại nhị phân với 34 bộ phân loại riêng biệt cho từng nhãn cho kết quả chính xác cao nhưng tốn kém tài nguyên tính toán. Phân loại đa nhãn sử dụng một bộ phân loại duy nhất giúp giảm thời gian xử lý, đồng thời vẫn duy trì hiệu quả phân loại tốt với ngưỡng xác suất hợp lý.

4. Tác động của tiền xử lý dữ liệu: Việc loại bỏ nhiễu, chuẩn hóa câu hỏi và gán nhãn chính xác đóng vai trò quan trọng trong việc nâng cao chất lượng mô hình. Dữ liệu sạch giúp mô hình học sâu phát huy tối đa khả năng biểu diễn ngữ nghĩa.

Thảo luận kết quả

Nguyên nhân chính giúp mô hình BERT đạt hiệu quả cao là do khả năng học biểu diễn ngữ cảnh hai chiều, giúp phân biệt các sắc thái nghĩa của từ trong câu hỏi pháp lý phức tạp. So với các mô hình truyền thống như SVM chỉ dựa trên đặc trưng từ vựng tĩnh, BERT có thể hiểu sâu sắc hơn về ngữ nghĩa và mối quan hệ giữa các từ.

Kết quả này tương đồng với các nghiên cứu quốc tế về ứng dụng BERT trong phân loại văn bản đa nhãn, đồng thời vượt trội hơn các mô hình mạng nơ-ron hồi quy như LSTM hay GRU do hạn chế về vanishing gradient và khả năng nắm bắt ngữ cảnh dài hạn.

Biểu đồ so sánh độ đo F1 giữa các mô hình (SVM, RNN, BERT) minh họa rõ sự cải thiện đáng kể khi sử dụng BERT. Bảng thống kê tần suất nhãn và số lượng câu hỏi đa nhãn cũng cho thấy tính đa dạng của dữ liệu, khẳng định tính cần thiết của phân loại đa nhãn.

Nghiên cứu góp phần mở rộng ứng dụng của mô hình BERT trong lĩnh vực pháp luật tiếng Việt, hỗ trợ xây dựng hệ thống hỏi đáp tự động chính xác và hiệu quả hơn.

Đề xuất và khuyến nghị

1. Triển khai hệ thống phân loại câu hỏi pháp quy dựa trên BERT: Các cơ quan pháp luật và tổ chức công nghệ nên áp dụng mô hình BERT để xây dựng hệ thống hỏi đáp tự động, nhằm nâng cao hiệu quả tra cứu pháp luật, giảm tải cho cán bộ tư vấn pháp lý. Thời gian triển khai dự kiến trong 6-12 tháng.

2. Mở rộng kho dữ liệu và cập nhật thường xuyên: Để duy trì độ chính xác và phù hợp với thay đổi pháp luật, cần liên tục thu thập, làm sạch và gán nhãn dữ liệu mới. Chủ thể thực hiện là các nhóm nghiên cứu và đơn vị phát triển phần mềm, với chu kỳ cập nhật 3-6 tháng.

3. Tối ưu hóa mô hình và tích hợp đa phương thức: Nghiên cứu kết hợp BERT với các mô hình học sâu khác như CNN, RNN để khai thác thêm đặc trưng ngữ nghĩa, đồng thời tích hợp dữ liệu phi cấu trúc như văn bản luật, án lệ để nâng cao khả năng trả lời. Thời gian nghiên cứu và phát triển khoảng 12 tháng.

4. Đào tạo và nâng cao nhận thức người dùng: Tổ chức các khóa đào tạo cho cán bộ pháp luật và người dùng cuối về cách sử dụng hệ thống hỏi đáp tự động, giúp khai thác tối đa lợi ích từ công nghệ mới. Chủ thể là các cơ quan đào tạo pháp luật, thời gian thực hiện 3-6 tháng.

Đối tượng nên tham khảo luận văn

1. Nhà nghiên cứu và sinh viên ngành Khoa học máy tính, Trí tuệ nhân tạo: Luận văn cung cấp kiến thức chuyên sâu về ứng dụng mô hình BERT trong xử lý ngôn ngữ tự nhiên, đặc biệt là phân loại đa nhãn, giúp phát triển các nghiên cứu tiếp theo.

2. Chuyên gia phát triển hệ thống hỏi đáp tự động: Các kỹ sư phần mềm và nhà phát triển có thể áp dụng phương pháp và mô hình được trình bày để xây dựng hoặc cải tiến hệ thống hỏi đáp pháp luật, nâng cao độ chính xác và hiệu quả.

3. Cơ quan pháp luật và tổ chức tư vấn pháp lý: Luận văn giúp hiểu rõ cách thức ứng dụng công nghệ AI trong việc phân loại và xử lý câu hỏi pháp lý, từ đó cải thiện dịch vụ tư vấn và hỗ trợ pháp luật cho người dân.

4. Nhà quản lý và hoạch định chính sách công nghệ thông tin: Tài liệu cung cấp cơ sở khoa học để xây dựng các chính sách thúc đẩy ứng dụng AI trong lĩnh vực pháp luật, góp phần hiện đại hóa hệ thống pháp lý quốc gia.

Câu hỏi thường gặp

1. Phân loại đa nhãn khác gì so với phân loại đa lớp?
   Phân loại đa nhãn cho phép một câu hỏi thuộc nhiều nhãn cùng lúc, trong khi phân loại đa lớp chỉ cho phép một nhãn duy nhất. Ví dụ, câu hỏi pháp lý có thể liên quan đến cả "Dân sự" và "Đất đai", do đó cần phân loại đa nhãn để phản ánh đúng nội dung.

2. Tại sao chọn mô hình BERT thay vì các mô hình truyền thống?
   BERT có khả năng học biểu diễn ngữ cảnh hai chiều, giúp hiểu sâu sắc ý nghĩa của từ trong câu, vượt trội hơn các mô hình truyền thống như SVM hay mạng nơ-ron hồi quy. Kết quả thực nghiệm cho thấy BERT đạt độ đo F1 cao hơn khoảng 14-20%.

3. Dữ liệu thu thập từ đâu và có đảm bảo chất lượng không?
   Dữ liệu được thu thập từ ba trang web hỏi đáp pháp luật uy tín tại Việt Nam với hơn 5000 câu hỏi. Dữ liệu được tiền xử lý kỹ lưỡng, loại bỏ lỗi chính tả và gán nhãn chính xác dựa trên nội dung câu hỏi và câu trả lời, đảm bảo chất lượng cho nghiên cứu.

4. Mô hình có thể áp dụng cho các lĩnh vực pháp luật khác không?
   Có thể. Mô hình BERT và phương pháp phân loại đa nhãn có tính tổng quát cao, có thể được điều chỉnh và huấn luyện lại với dữ liệu thuộc các lĩnh vực pháp luật khác hoặc các ngôn ngữ khác để phục vụ mục đích tương tự.

5. Làm thế nào để cải thiện thêm hiệu quả mô hình?
   Có thể mở rộng kho dữ liệu, áp dụng kỹ thuật tăng cường dữ liệu, kết hợp BERT với các mô hình học sâu khác, tối ưu tham số huấn luyện và sử dụng các kỹ thuật tiền xử lý nâng cao để cải thiện độ chính xác và khả năng tổng quát của mô hình.

Kết luận

• Luận văn đã xây dựng thành công mô hình phân loại đa nhãn câu hỏi pháp quy tiếng Việt sử dụng mô hình BERT, đạt độ đo F1 lên tới 89,47%.
• Phân loại đa nhãn phù hợp với đặc điểm câu hỏi pháp lý có thể liên quan đến nhiều lĩnh vực cùng lúc.
• Mô hình BERT vượt trội hơn hẳn các phương pháp truyền thống và mạng nơ-ron hồi quy nhờ khả năng biểu diễn ngữ cảnh hai chiều.
• Kết quả nghiên cứu có ý nghĩa thực tiễn cao, hỗ trợ xây dựng hệ thống hỏi đáp tự động chính xác, hiệu quả trong lĩnh vực pháp luật.
• Đề xuất triển khai ứng dụng mô hình BERT trong các hệ thống hỏi đáp pháp luật, mở rộng dữ liệu và đào tạo người dùng để phát huy tối đa lợi ích.

Next steps: Triển khai thử nghiệm mô hình trên hệ thống thực tế, mở rộng kho dữ liệu, nghiên cứu tích hợp đa phương thức và đào tạo người dùng cuối.

Call-to-action: Các tổ chức, nhà nghiên cứu và phát triển phần mềm được khuyến khích áp dụng và phát triển tiếp nghiên cứu này để nâng cao hiệu quả hỗ trợ pháp lý cho cộng đồng.