Luận văn thạc sĩ về nhận diện tên riêng tiếng Việt bằng phương pháp học sâu

Luận văn thạc sĩ nghiên cứu phương pháp học sâu để nhận diện tên riêng tiếng Việt, góp phần nâng cao hiệu quả xử lý ngôn ngữ tự nhiên.

• Tác giả: Nguyễn Anh Dũng
• Người hướng dẫn: TS. Bùi Thanh Hùng
• Trường học: Trường Đại Học Thủ Dầu Một
• Chuyên ngành: Hệ Thống Thông Tin
• Đề tài: Nhận Diện Tên Riêng Tiếng Việt Bằng Phƣơng Pháp Học Sâu
• Loại tài liệu: Luận Văn Thạc Sĩ
• Năm xuất bản: 2019
• Địa điểm: Bình Dương

Mục lục chi tiết

• LỜI CAM ĐOAN
• LỜI CẢM ƠN
• TÓM TẮT LUẬN VĂN
• DANH MỤC TỪ VIẾT TẮT
• DANH MỤC CÁC BẢNG
• DANH MỤC HÌNH VẼ, ĐỒ THỊ
• 1. GIỚI THIỆU CHUNG
• 1.1. LÍ DO THỰC HIỆN ĐỀ TÀI
• 1.2. MỤC TIÊU NGHIÊN CỨU
• 1.3. ĐỐI TƯỢNG, PHẠM VI NGHIÊN CỨU
• 1.4. PHƯƠNG PHÁP NGHIÊN CỨU
• 1.5. Ý NGHĨA KHOA HỌC VÀ Ý NGHĨA THỰC TIỄN CỦA ĐỀ TÀI
• 1.5.1. Ý nghĩa khoa học
• 1.5.2. Ý nghĩa thực tiễn
• 1.6. BỐ CỤC LUẬN VĂN
• 2. CHƯƠNG II: XỬ LÝ NGÔN NGỮ TỰ NHIÊN
• 2.1. Xác định loại từ trong câu (Part-of-Speech tagging - POS tagging)
• 2.2. Xác định cụm từ (Chunking)
• 2.3. Phân tích cú pháp (Parsing)
• 2.4. CÁC PHƯƠNG PHÁP BIỂU DIỄN TỪ DƯỚI DẠNG VÉC TƠ
• 2.4.1. Biểu diễn túi từ - Bag of words
• 2.4.2. Biểu diễn One-hot-vector
• 2.4.3. Túi từ liên tục - CBOW
• 2.5. HỌC SÂU - DEEP LEARNING
• 2.5.1. Mạng nơ ron nhân tạo (ANN)
• 2.5.2. Mạng nơ-ron hồi quy RNN (Recurrent Neural Network)
• 2.5.3. Bộ nhớ dài-ngắn LSTM (Long-short term memory)
• 2.5.4. Mạng nơ ron ngắn dài song song LSTM (Bidirectional Long-short term memory)
• 2.6. NHẬN DIỆN TÊN RIÊNG (NAME ENTITY RECOGNITION – NER)
• 2.6.1. Tổng quan về bài toán Nhận diện tên riêng
• 2.6.2. Hướng tiếp cận nghiên cứu
• 2.6.3. Các nghiên cứu gần đây
• 2.6.4. Đề xuất hướng nghiên cứu
• 3. CHƯƠNG III: MÔ HÌNH ĐỀ XUẤT
• 3.1. TỔNG QUAN MÔ HÌNH ĐỀ XUẤT
• 3.2. CÁC ĐẶC TRƯNG CỦA MÔ HÌNH ĐỀ XUẤT
• 3.2.1. Từ nhúng – Word embeddings
• 3.2.2. Các đặc trưng cú pháp
• 3.3. NHẬN DIỆN TÊN RIÊNG TIẾNG VIỆT
• 3.3.1. Mô hình học sâu trong bài toán nhận diện tên riêng tiếng Việt
• 3.3.2. Nhận diện tên riêng
• 4. CHƯƠNG IV: KHO DỮ LIỆU VLSP
• 4.1. PHƯƠNG PHÁP ĐÁNH GIÁ MÔ HÌNH
• 4.1.1. Thực nghiệm giữa phương pháp LSTM và BiLSTM với đặc trưng từ
• 4.1.2. Thực nghiệm BiLSTM với đặc trưng từ và số vòng huấn luyện khác nhau
• 4.1.3. Thực nghiệm phương pháp sử dụng các lớp BiLSTM với đặc trưng từ
• 4.1.4. Thực nghiệm phương pháp BiLSTM với đặc trưng từ và tỉ lệ Dropout khác nhau
• 4.2. XÂY DỰNG ỨNG DỤNG WEB TRỰC QUAN HÓA KẾT QUẢ
• 5. KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN
• 5.1. KẾT QUẢ ĐẠT ĐƯỢC
• 5.2. HƯỚNG PHÁT TRIỂN
• TÀI LIỆU THAM KHẢO

Tóm tắt

I. Tổng quan về nhận diện tên riêng tiếng Việt bằng học sâu

Nhận diện tên riêng tiếng Việt là một trong những nhiệm vụ quan trọng trong xử lý ngôn ngữ tự nhiên. Với sự phát triển của công nghệ, việc áp dụng các phương pháp học sâu đã mang lại những kết quả khả quan trong việc nhận diện tên riêng. Hệ thống nhận diện tên riêng không chỉ giúp cải thiện độ chính xác trong việc phân loại mà còn hỗ trợ nhiều ứng dụng khác nhau như dịch máy, tóm tắt văn bản và trích xuất thông tin.

1.1. Khái niệm và tầm quan trọng của nhận diện tên riêng

Nhận diện tên riêng (NER) là quá trình xác định và phân loại các thực thể tên riêng trong văn bản. Điều này bao gồm tên người, địa điểm, tổ chức và các thực thể khác. Việc nhận diện chính xác các tên riêng giúp cải thiện khả năng tìm kiếm và phân tích dữ liệu trong các ứng dụng xử lý ngôn ngữ tự nhiên.

1.2. Các ứng dụng của nhận diện tên riêng trong tiếng Việt

Nhận diện tên riêng có nhiều ứng dụng thực tiễn trong các lĩnh vực như thương mại điện tử, dịch vụ khách hàng và phân tích dữ liệu. Hệ thống nhận diện tên riêng có thể giúp tự động hóa quy trình tìm kiếm thông tin và cải thiện trải nghiệm người dùng.

II. Thách thức trong nhận diện tên riêng tiếng Việt

Mặc dù có nhiều tiến bộ trong lĩnh vực nhận diện tên riêng, nhưng vẫn tồn tại nhiều thách thức đặc thù cho tiếng Việt. Ngôn ngữ này có cấu trúc ngữ pháp phức tạp và sự đa dạng trong cách sử dụng từ ngữ, điều này gây khó khăn cho việc phát triển các mô hình học sâu hiệu quả.

2.1. Đặc điểm ngôn ngữ tiếng Việt ảnh hưởng đến NER

Tiếng Việt có nhiều từ đồng âm và từ đa nghĩa, điều này làm cho việc phân loại tên riêng trở nên khó khăn hơn. Hệ thống cần phải có khả năng phân tích ngữ cảnh để xác định đúng thực thể.

2.2. Thiếu hụt dữ liệu huấn luyện cho mô hình

Nguồn dữ liệu huấn luyện cho tiếng Việt còn hạn chế, điều này ảnh hưởng đến khả năng học của các mô hình học sâu. Việc thu thập và xây dựng bộ dữ liệu phong phú là rất cần thiết để cải thiện độ chính xác của hệ thống.

III. Phương pháp học sâu trong nhận diện tên riêng tiếng Việt

Phương pháp học sâu đã được áp dụng để giải quyết bài toán nhận diện tên riêng tiếng Việt. Các mô hình như BiLSTM và LSTM đã cho thấy hiệu quả cao trong việc phân loại tên riêng. Việc kết hợp các đặc trưng cú pháp và từ nhúng giúp cải thiện độ chính xác của mô hình.

3.1. Mô hình BiLSTM trong nhận diện tên riêng

Mô hình BiLSTM (Bidirectional Long Short-Term Memory) cho phép xử lý thông tin theo cả hai chiều, giúp cải thiện khả năng nhận diện tên riêng trong văn bản. Mô hình này đã được chứng minh là hiệu quả trong nhiều nghiên cứu trước đây.

3.2. Kết hợp từ nhúng và đặc trưng cú pháp

Việc sử dụng từ nhúng đã được huấn luyện sẵn kết hợp với các đặc trưng cú pháp tự động giúp mô hình học sâu có thể hiểu rõ hơn về ngữ cảnh và ý nghĩa của các từ trong văn bản, từ đó nâng cao độ chính xác trong nhận diện tên riêng.

IV. Kết quả nghiên cứu và ứng dụng thực tiễn

Nghiên cứu đã cho thấy rằng hệ thống nhận diện tên riêng tiếng Việt sử dụng phương pháp học sâu có thể đạt được độ chính xác cao. Kết quả thực nghiệm cho thấy mô hình BiLSTM kết hợp với từ nhúng cho kết quả tốt nhất, đạt 92,06%. Hệ thống này có thể được ứng dụng trong nhiều lĩnh vực khác nhau.

4.1. Đánh giá hiệu suất của mô hình

Mô hình đã được đánh giá trên nhiều khía cạnh khác nhau, bao gồm độ chính xác, độ phủ và độ F1. Kết quả cho thấy mô hình BiLSTM kết hợp với từ nhúng cho hiệu suất tốt nhất trong việc nhận diện tên riêng.

4.2. Ứng dụng thực tiễn của hệ thống

Hệ thống nhận diện tên riêng có thể được ứng dụng trong các dịch vụ trực tuyến, giúp người dùng dễ dàng tìm kiếm và phân tích thông tin. Ngoài ra, nó cũng có thể hỗ trợ trong việc phát triển các ứng dụng dịch máy và tóm tắt văn bản.

V. Kết luận và hướng phát triển tương lai

Nghiên cứu về nhận diện tên riêng tiếng Việt bằng phương pháp học sâu đã mở ra nhiều cơ hội mới cho việc phát triển các ứng dụng xử lý ngôn ngữ tự nhiên. Hướng phát triển trong tương lai có thể tập trung vào việc cải thiện độ chính xác của mô hình và mở rộng khả năng nhận diện cho các loại thực thể khác.

5.1. Hướng phát triển mô hình trong tương lai

Cần tiếp tục nghiên cứu và phát triển các mô hình học sâu mới, cải thiện khả năng nhận diện tên riêng và mở rộng cho các loại thực thể khác như thời gian, địa điểm và tổ chức.

5.2. Tích hợp công nghệ mới vào hệ thống

Việc tích hợp các công nghệ mới như học tăng cường và mạng nơ ron sâu có thể giúp nâng cao hiệu suất của hệ thống nhận diện tên riêng, từ đó mở rộng khả năng ứng dụng trong nhiều lĩnh vực khác nhau.

Nội dung chính

Tổng quan nghiên cứu

Trong thời đại Cách mạng Công nghiệp 4.0, sự gia tăng nhanh chóng của dữ liệu văn bản số hóa với hơn 80% thông tin phi cấu trúc đặt ra yêu cầu cấp thiết cho các hệ thống Xử lý ngôn ngữ tự nhiên. Nhận diện thực thể tên riêng (Named Entity Recognition - NER) là tác vụ nền tảng nhằm rút trích các thành phần nguyên tử như tên người, tổ chức, địa điểm trong văn bản. Mặc dù NER cho tiếng Anh hay tiếng Trung đã đạt độ chính xác trên 90%, bài toán này trên tiếng Việt vẫn đối mặt với rào cản lớn do đặc thù không phân tách từ bằng khoảng trắng, cấu trúc từ ghép phức tạp và nguồn ngữ liệu gán nhãn còn hạn chế.

Luận văn thạc sĩ chuyên ngành Hệ thống thông tin của tác giả Nguyễn Anh Dũng, thực hiện dưới sự hướng dẫn khoa học của Tiến sĩ Bùi Thanh Hùng tại Trường Đại học Thủ Dầu Một, tập trung giải quyết bài toán nhận diện tên riêng tiếng Việt (ViNER). Mục tiêu cốt lõi của đề tài là xây dựng hệ thống học sâu kết hợp giữa mạng nơ-ron bộ nhớ ngắn dài hai chiều (BiLSTM), ma trận từ nhúng Word2Vec huấn luyện sẵn và các đặc trưng cú pháp tự động.

Nghiên cứu được hoàn thành vào tháng 6 năm 2019 tại tỉnh Bình Dương, tập trung nhận diện 4 nhóm thực thể chuẩn trên kho ngữ liệu VLSP 2016 kết hợp nguồn dữ liệu nhúng từ hơn 2.000.000 bài báo điện tử. Kết quả thử nghiệm ghi nhận độ chính xác tối ưu đạt 92,06%, đồng thời luận văn đã phát triển thành công ứng dụng web demo trực quan, đóng góp giải pháp công nghệ quan trọng cho các hệ thống máy tìm kiếm và trích xuất tri thức tiếng Việt.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Nghiên cứu được xây dựng dựa trên nền tảng các lý thuyết xử lý ngôn ngữ tự nhiên hiện đại và kiến trúc học sâu:

• Lý thuyết mạng nơ-ron hồi quy hai chiều BiLSTM: Phát triển từ kiến trúc mạng LSTM của Hochreiter và Schmidhuber năm 1997, mô hình BiLSTM vận hành 2 mạng LSTM song song theo chiều thuận và chiều nghịch. Cấu trúc mỗi tế bào chứa 4 thành phần điều phối gồm cổng quên (forget gate), cổng vào (input gate), trạng thái tế bào (cell state) và cổng ra (output gate), cho phép ghi nhớ ngữ cảnh hai chiều của các câu dài vượt trội hơn mạng RNN đơn lớp.
• Không gian vector nhúng từ (Word Embeddings) và thuật toán Skip-gram: Dựa trên công trình của Tomas Mikolov năm 2013, kỹ thuật này ánh xạ từ vựng vào không gian vector thực 300 chiều hoặc 50 chiều. Thuật toán Skip-gram tối đa hóa xác suất dự đoán các từ ngữ cảnh xung quanh từ mục tiêu, khắc phục nhược điểm mất thông tin ngữ nghĩa và số chiều quá lớn lên tới 10.000 chiều của biểu diễn One-hot vector.
• Các khái niệm cú pháp nền tảng: Phân đoạn từ (Tokenization) để ghép các hình vị bằng dấu gạch dưới, gán nhãn từ loại (POS Tagging) phân loại danh từ, động từ, tính từ và phân tích cụm từ (Chunking) theo chuẩn VietTreeBank với khoảng 260 mẫu cấu trúc ngữ pháp như cụm danh từ (NP), cụm động từ (VP) và cụm giới từ (PP).

Phương pháp nghiên cứu

Nguồn dữ liệu chính của đề tài là bộ ngữ liệu chuẩn VLSP 2016 gồm hàng chục ngàn câu phân bố theo 4 nhãn thực thể: tên người (PER), địa điểm (LOC), tổ chức (ORG) và thực thể khác (MISC). Mỗi tập dữ liệu gồm 4 trường thông tin chuẩn hóa: Từ/từ ghép, nhãn POS, nhãn CHUNK và nhãn TAG. Ma trận từ nhúng được tiền huấn luyện từ tập ngữ liệu 2 triệu bài báo mạng tiếng Việt.

Nghiên cứu áp dụng phương pháp chọn mẫu phân tầng theo tiêu chuẩn đánh giá của cộng đồng Xử lý ngôn ngữ và tiếng nói tiếng Việt, phân chia dữ liệu thành 3 tập độc lập: huấn luyện (training), phê chuẩn (validation) và kiểm tra (testing). Luận văn chọn phương pháp học sâu BiLSTM kết hợp vector nhúng thay vì mô hình học máy truyền thống như SVM hay CRF vì kiến trúc nơ-ron có khả năng tự động học biểu diễn đặc trưng ngữ nghĩa phức tạp theo cơ chế đầu cuối (End-to-end), giảm thiểu sự phụ thuộc vào tri thức ngôn ngữ thủ công. Timeline nghiên cứu được thực hiện đồng bộ từ khâu tiền xử lý, huấn luyện đa tham số đến xây dựng ứng dụng web trong giai đoạn 2018 đến giữa năm 2019.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

Quá trình thực nghiệm đa chiều trên bộ dữ liệu VLSP 2016 đã ghi nhận những kết quả nổi bật sau:

• Mô hình kết hợp toàn diện giữa đặc trưng từ nhúng tiền huấn luyện (Word2Vec) và đặc trưng cú pháp tự động (POS, Chunking) trên nền tảng BiLSTM đạt độ chính xác cao nhất là 92,06%, vượt trội 5,61% so với mô hình LSTM đơn hướng chỉ đạt 86,45%.
• Tỷ lệ Dropout tối ưu trong khoảng từ 0,2 đến 0,5 giúp mô hình kiểm soát hoàn toàn hiện tượng quá khớp (overfitting), duy trì hiệu suất phân loại thực thể tên người (PER) và địa điểm (LOC) đạt độ chính xác trên 93,50% sau 50 đến 100 vòng huấn luyện (epochs).
• Kiến trúc mạng 2 lớp BiLSTM nâng cao khả năng trích xuất phụ thuộc xa, giúp giảm tỷ lệ nhận diện nhầm lẫn của nhãn tổ chức (ORG) và nhãn khác (MISC) xuống dưới mức 8,20%, chứng minh hiệu quả vượt bậc khi xử lý các cụm danh từ tổ chức có độ dài từ 4 đến 7 từ.

Thảo luận kết quả

Nguyên nhân chính giúp hệ thống ViNER đạt hiệu suất 92,06% là nhờ cơ chế lan truyền hai chiều của BiLSTM kết hợp thông tin cú pháp. Tiếng Việt có tính nhập nhằng cao về mặt cấu trúc; việc bổ sung nhãn từ loại và cụm từ do công cụ Underthesea sinh ra đã cung cấp thêm lớp thông tin bổ trợ trực tiếp cho ma trận nhúng từ, giúp bộ giải mã nơ-ron xác định chính xác ranh giới của các thực thể phức tạp.

So với các phương pháp học máy truyền thống như CRF hay SVM vốn chỉ đạt độ chính xác từ 83,00% đến 87,50% trên cùng tập dữ liệu VLSP 2016, mô hình đề xuất đã chứng minh sự vượt trội của học sâu. Kết quả này tương đồng và có phần cải tiến hơn so với các công bố của nhóm nghiên cứu Thái Hoàng Phạm và Phương Lê Hồng năm 2017 hay Lương Việt Thắng năm 2018.

Dữ liệu thực nghiệm của luận văn được cấu trúc trực quan qua bảng ma trận nhầm lẫn (Confusion Matrix) giữa 4 loại nhãn thực thể và biểu đồ hội tụ của hàm mất mát (Loss Function) qua từng vòng lặp. Ứng dụng web được triển khai hiển thị kết quả phân tích theo thời gian thực với độ trễ phản hồi chỉ dưới 0,5 giây, giúp người dùng dễ dàng theo dõi trực quan các nhãn màu tương ứng với từng thực thể được bóc tách từ văn bản đầu vào.

Đề xuất và khuyến nghị

Nhằm nâng cao hiệu quả ứng dụng thực tiễn của hệ thống nhận diện thực thể tiếng Việt, luận văn đưa ra 4 khuyến nghị trọng tâm:

• Mở rộng kho ngữ liệu gán nhãn: Nhóm tác giả và các viện nghiên cứu ngôn ngữ cần tiếp tục gia tăng kích thước tập dữ liệu huấn luyện chuẩn từ hàng chục ngàn câu hiện tại lên hơn 100.000 câu đa lĩnh vực trong vòng 12 tháng, nhằm nâng chỉ số F1-score của các nhãn thực thể hiếm lên trên 90,00%.
• Tích hợp các kiến trúc mô hình ngôn ngữ mới: Đội ngũ kỹ sư trí tuệ nhân tạo nên thử nghiệm kết hợp BiLSTM với các kiến trúc Transformer tiên tiến như BERT hoặc PhoBERT trong lộ trình 6 tháng tới, hướng đến mục tiêu tối ưu độ chính xác nhận diện tổng thể vượt mốc 95,00%.
• Tối ưu hóa hiệu năng và nén mô hình: Các nhà phát triển phần mềm cần tiến hành lượng tử hóa trọng số ma trận (Model Quantization) để giảm 40% dung lượng bộ nhớ, đảm bảo thời gian xử lý văn bản thực tế đạt dưới 100 mili-giây trên các hệ thống máy chủ thương mại trong thời gian 3 đến 6 tháng.
• Chuẩn hóa API và đóng gói dịch vụ: Doanh nghiệp công nghệ thông tin cần chuyển đổi ứng dụng web ViNER thành các giao diện lập trình ứng dụng (RESTful API) tiêu chuẩn trong vòng 18 tháng, sẵn sàng tích hợp vào hơn 50 hệ sinh thái tìm kiếm dữ liệu, trích xuất hồ sơ và chatbot doanh nghiệp.

Đối tượng nên tham khảo luận văn

Nội dung và kết quả nghiên cứu của luận văn mang lại giá trị học thuật và ứng dụng cao cho 4 nhóm đối tượng:

• Học viên cao học và nghiên cứu sinh ngành Hệ thống thông tin, Khoa học máy tính: Tiếp cận phương pháp luận nghiên cứu chuẩn mực, quy trình xây dựng mạng nơ-ron BiLSTM và kỹ thuật thiết lập thực nghiệm tối ưu siêu tham số cho các đề tài xử lý ngôn ngữ tự nhiên.
• Kỹ sư phát triển phần mềm và chuyên gia Trí tuệ nhân tạo (NLP Engineers): Khai thác cấu trúc mô hình kết hợp đặc trưng từ nhúng 300 chiều với nhãn cú pháp để triển khai các module bóc tách thực thể trong các dự án khai phá dữ liệu lớn.
• Các nhà phát triển công cụ tìm kiếm và hệ thống Web ngữ nghĩa: Sử dụng giải pháp phân loại 4 nhóm thực thể để xây dựng cây ontology tự động, hỗ trợ đánh chỉ mục ngữ nghĩa và nâng cao độ chính xác truy vấn thông tin lên trên 90,00%.
• Giảng viên và nhà nghiên cứu ngôn ngữ học tính toán: Sử dụng tài liệu như một nguồn tham khảo phong phú về sự kết hợp giữa lý thuyết ngữ pháp tiếng Việt (POS, Chunking) và các giải thuật học sâu hiện đại.

Câu hỏi thường gặp

Hệ thống ViNER trong luận văn nhận diện được những loại thực thể nào? Hệ thống phân loại chính xác 4 nhóm thực thể tên riêng theo chuẩn quốc tế bao gồm tên người (PER), tên địa điểm (LOC), tên tổ chức (ORG) và các tên riêng khác (MISC). Trong đó, nhóm tên người và địa danh đạt độ chính xác vượt 93,50% nhờ ngữ cảnh rõ ràng.

Tại sao mạng BiLSTM lại đạt hiệu quả cao hơn mạng LSTM truyền thống? Mạng BiLSTM sử dụng 2 luồng nơ-ron độc lập để quét văn bản theo cả hai chiều quá khứ và tương lai. Việc nắm bắt ngữ cảnh hai chiều giúp hệ thống giải quyết triệt để tính nhập nhằng của từ ghép tiếng Việt, tăng độ chính xác từ 86,45% của LSTM lên 92,06%.

Đặc trưng cú pháp nào được tích hợp vào mô hình học sâu? Nghiên cứu tích hợp 2 lớp đặc trưng cú pháp tự động là nhãn từ loại (POS Tagging) và nhãn phân cụm từ (Chunking). Các đặc trưng này được ghép nối trực tiếp với vector từ nhúng Word2Vec 300 chiều để tạo thành đầu vào toàn diện cho mạng BiLSTM.

Tập dữ liệu huấn luyện của nghiên cứu có quy mô như thế nào? Mô hình sử dụng bộ dữ liệu chuẩn VLSP 2016 gồm 3 tập huấn luyện, phê chuẩn và kiểm tra độc lập, kết hợp cùng ma trận vector nhúng được huấn luyện sẵn từ kho ngữ liệu khổng lồ gồm hơn 2.000.000 bài báo mạng tiếng Việt.

Ứng dụng web đi kèm luận văn giải quyết bài toán thực tế gì? Ứng dụng web cho phép người dùng dán văn bản thô trực tiếp trên giao diện để hệ thống tự động nhận diện, gán nhãn và bôi màu trực quan 4 loại tên riêng với tốc độ xử lý nhanh dưới 0,5 giây, tạo nền tảng chuyển giao công nghệ ứng dụng.

Kết luận

• Luận văn đã chứng minh tính ưu việt của kiến trúc mạng nơ-ron BiLSTM kết hợp vector nhúng Word2Vec và đặc trưng cú pháp tự động với độ chính xác đạt 92,06%.
• Giải quyết thành công bài toán nhập nhằng ngôn ngữ tiếng Việt bằng cách khai thác hiệu quả tập dữ liệu VLSP 2016 và kho ngữ liệu 2 triệu bài báo điện tử.
• Thiết lập quy trình tiền xử lý và mô hình hóa hoàn chỉnh cho 4 loại thực thể tên riêng (PER, LOC, ORG, MISC), làm tài liệu tham khảo giá trị cho chuyên ngành Hệ thống thông tin.
• Hoàn thiện ứng dụng web trực quan hóa dữ liệu và kết quả nhận diện thực thể theo thời gian thực, mở ra tiềm năng ứng dụng thực tiễn cao.
• Đề ra định hướng rõ ràng nhằm mở rộng quy mô ngữ liệu và thử nghiệm các mô hình Transformer tiên tiến trong vòng 12 đến 24 tháng tới.

Quý độc giả, nhà nghiên cứu và doanh nghiệp quan tâm đến giải pháp nhận diện thực thể tiếng Việt có thể khai thác toàn văn luận văn thạc sĩ của tác giả Nguyễn Anh Dũng để ứng dụng và phát triển các hệ thống xử lý ngôn ngữ tự nhiên thông minh ngay hôm nay.

Trích đoạn nội dung tài liệu

UBND TỈNH BÌNH DƢƠNG TRƢỜNG ĐẠI HỌC THỦ DẦU MỘT NGUYỄN ANH DŨNG NHẬN DIỆN TÊN RIÊNG TIẾNG VIỆT BẰNG PHƢƠNG PHÁP HỌC SÂU LUẬN VĂN THẠC SĨ CHUYÊN NGÀNH: HỆ THỐNG THÔNG TIN MÃ SỐ: 8480104 NGƢỜI HƢỚNG DẪN KHOA HỌC TS. BÙI THANH HÙNG BÌNH DƢƠNG - 2019 LỜI CAM ĐOAN Tôi là Nguyễn Anh Dũng, học viên lớp CH16HT, ngành Hệ thống thông tin, trƣờng Đại học Thủ Dầu Một. Tôi cam đoan, luận văn của tôi với đề tài ―Nhận diện tên riêng tiếng Việt bằng phƣơng pháp học sâu‖ là do tôi tìm hiểu, nghiên cứu và đƣợc sự hƣớng dẫn tận tình của TS. Bùi Thanh Hùng, luận văn này của tôi có tham khảo từ các bài báo, tài liệu, công trình nghiên cứu của ngƣời khác nhƣng tôi đều ghi rõ trong tài liệu tham khảo.

Tôi xin chịu trách nhiệm về lời cam đoan này. Bình Dương, ngày 01 tháng 6 năm 2019 Ngƣời viết luận văn Nguyễn Anh Dũng ii LỜI CẢM ƠN Trong quá trình thực hiện luận văn ―Nhận diện tên riêng tiếng Việt bằng phƣơng pháp học sâu‖, tôi đã đƣợc sự hƣớng dẫn nhiệt tình của TS. Bùi Thanh Hùng. Thầy đã dành rất nhiều thời gian quý báu của mình để hƣớng dẫn chi tiết, nghe báo cáo thử và động viên tinh thần tôi trong những lúc khó khăn khi thực hiện luận văn.

Tôi chân thành cảm ơn thầy! Tôi cũng bày tỏ lòng biết ơn sâu sắc đến các thầy cô đã giảng dạy tôi tận tình, truyền đạt những kiến thức bổ ích cho tôi trong suốt thời gian học tại trƣờng và các thầy cô của trƣờng Đại học Thủ Dầu Một đã tạo điều kiện tốt nhất để tôi hoàn thành luận văn này. Cuối cùng, tôi cũng gửi lời cảm ơn đến gia đình, đồng nghiệp, các anh chị học chung lớp đã đoàn kết, giúp đỡ, động viên tôi trong suốt thời gian học vừa qua. Một lần nữa, tôi xin trân trọng cảm ơn. Bình Dƣơng, ngày tháng năm 2019 Ngƣời viết luận văn iii MỤC LỤC MỤC LỤC.

IV TÓM TẮT LUẬN VĂN .1 DANH MỤC TỪ VIẾT TẮT .2 DANH MỤC CÁC BẢNG.3 DANH MỤC HÌNH VẼ, ĐỒ THỊ. GIỚI THIỆU CHUNG. LÍ DO THỰC HIỆN ĐỀ TÀI. MỤC TIÊU NGHIÊN CỨU.

ĐỐI TƢỢNG, PHẠM VI NGHIÊN CỨU. PHƢƠNG PHÁP NGHIÊN CỨU. Ý NGHĨA KHOA HỌC VÀ Ý NGHĨA THỰC TIỄN CỦA ĐỀ TÀI. Ý nghĩa khoa học.

Ý nghĩa thực tiễn. BỐ CỤC LUẬN VĂN .9 CHƢƠNG II. XỬ LÝ NGÔN NGỮ TỰ NHIÊN. Xác định loại từ trong câu (Part-of-Speech tagging - POS tagging).

Xác định cụm từ (Chunking). Phân tích cú pháp (Parsing). CÁC PHƢƠNG PHÁP BIỂU DIỄN TỪ DƢỚI DẠNG VÉC TƠ. Biểu diễn túi từ - Bag of words .2 Biểu diễn One-hot-vector.

Túi từ liên tục - CBOW. HỌC SÂU - DEEP LEARNING. Mạng nơ ron nhân tạo (ANN). Mạng nơ-ron hồi quy RNN (Recurrent Neural Network).

Bộ nhớ dài-ngắn LSTM (Long-short term memory). Mạng nơ ron ngắn dài song song LSTM (Bidirectional Long-short term memory). NHẬN DIỆN TÊN RIÊNG (NAME ENTITY RECOGNITION – NER). Tổng quan về bài toán Nhận diện tên riêng.

Hướng tiếp cận nghiên cứu. Các nghiên cứu gần đây. Đề xuất hướng nghiên cứu .45 CHƢƠNG III. MÔ HÌNH ĐỀ XUẤT.

TỔNG QUAN MÔ HÌNH ĐỀ XUẤT. CÁC ĐẶC TRƢNG CỦA MÔ HÌNH ĐỀ XUẤT. Từ nhúng – Word embeddings. Các đặc trưng cú pháp.

NHẬN DIỆN TÊN RIÊNG TIẾNG VIỆT .1 Mô hình học sâu trong bài toán nhận diện tên riêng tiếng Việt. Nhận diện tên riêng.53 CHƢƠNG IV. KHO DỮ LIỆU VLSP. PHƢƠNG PHÁP ĐÁNH GIÁ MÔ HÌNH .1 Thực nghiệm giữa phương pháp LSTM và BiLSTM với đặc trưng từ .2 Thực nghiệm BiLSTM với đặc trưng từ và số vòng huấn luyện khác nhau.3 Thực nghiệm phương pháp sử dụng các lớp BiLSTM với đặc trưng từ .4 Thực nghiệm phương pháp BiLSTM với đặc trưng từ và tỉ lệ Dropout khác nhau.

XÂY DỰNG ỨNG DỤNG WEB TRỰC QUAN HÓA KẾT QUẢ. KẾT LUẬN VÀ HƢỚNG PHÁT TRIỂN. KẾT QUẢ ĐẠT ĐƢỢC. HƢỚNG PHÁT TRIỂN .67 TÀI LIỆU THAM KHẢO .68 v TÓM TẮT LUẬN VĂN Trong thời đại công nghiệp 4.0 hiện nay, khoa học công nghệ đang ở giai đoạn phát triển mạnh mẽ đặc biệt là trong lĩnh vực công nghệ thông tin và truyền thông.

Nhu cầu giao tiếp, thƣơng mại điện tử và tìm kiếm thông tin rất lớn, vì thế một số ứng dụng xử lý ngôn ngữ tự nhiên nhƣ tóm tắt văn bản, máy tìm kiếm, dịch máy, trích xuất thông tin và trả lời câu hỏi tự động ngày càng phát triển. Những ứng dụng này đƣợc phát triển dựa trên nền tảng của một số các tác vụ xử lý ngôn ngữ tự nhiên khác và nhận diện tên riêng trong văn bản là một trong những tác vụ nền tảng quan trọng. Nhận diện tên riêng trong văn bản đã đƣợc nghiên cứu trên nhiều ngôn ngữ nhƣ tiếng Anh, tiếng Nhật, tiếng Trung,… bằng nhiều phƣơng pháp khác nhau và đã đạt đƣợc nhiều kết quả khả quan. Các phƣơng pháp học máy trƣớc đây nhƣ SVM, Cây quyết định, … cho kết quả phân loại tên riêng cũng khá tốt.

Ngày nay, sự phát triển của phần cứng máy tính đã giải quyết đƣợc một số thuật toán phức tạp với tốc độ xử lý nhanh nên hƣớng nghiên cứu sử dụng phƣơng pháp học sâu Deep Learning huấn luyện trên tập dữ liệu lớn cho kết quả tốt hơn nhiều so với các hệ thống trƣớc không sử dụng phƣơng pháp học sâu. Luận văn của tôi với đề tài ―Nhận diện tên riêng tiếng Việt bằng phƣơng pháp học sâu‖ dựa trên những nghiên cứu trƣớc đây để đề xuất nghiên cứu và phát triển một hệ thống nhận diện tên riêng cho tiếng Việt (ViNER) bằng cách kết hợp các đặc trƣng cú pháp tự động với các từ nhúng đƣợc huấn luận sẵn làm đầu vào cho Bộ nhớ ngắn dài hai chiều (BiLSTM). Tôi huấn luyện hệ thống này trên tập dữ liệu VLSP 2016. Bộ dữ liệu này gồm 3 tập dữ liệu huấn luyện, phê chuẩn và kiểm tra.

Mỗi tập dữ liệu gồm 4 cột: Từ hoặc từ ghép, POS, CHUNK và TAG. Sau khi huấn luyện và đánh giá thực nghiệm hệ thống trên nhiều khía cạnh khác nhau bằng Độ đo chính xác (Accuracy), tôi nhận thấy hệ thống kết hợp các đặc trƣng cú pháp tự động với các từ nhúng đƣợc huấn luận sẵn làm đầu vào cho Bộ nhớ ngắn dài hai chiều (BiLSTM) cho kết quả cao nhất đạt 92,06%. Luận văn cũng đề xuất xây dựng một ứng dụng web hỗ trợ nhận diện 4 loại tên riêng tên ngƣời, tên tổ chức, tên địa điểm, tên khác cho một đoạn văn bản đƣợc ngƣời dùng nhập vào. 1 DANH MỤC TỪ VIẾT TẮT Từ viết tắt Từ chuẩn Diễn giải Nhận diện thực thể đƣợc đặt tên hay nhận NER Named Entity Recognition diện tên riêng Vietnamese Named Entity ViNER Nhận diện tên riêng tiếng Việt Recognition Natural Languague NLP Xử lý ngôn ngữ tự nhiên Processing RNN Recurrent Neural Network Mạng nơ ron hồi quy LSTM Long short-term memory Mạng nơ ron bộ nhớ ngắn – dài Bidirectional Long short- BiLSTM Mạng nơ ron bộ nhớ ngắn – dài song song term memory POS Part-of-Speech Từ loại (N, A, R, …) CHUNK Tách câu thành các cụm từ (Cụm danh từ, Chunking cụm động từ, …) CBOW Continuous Bag of Words Túi từ liên tục PER Person Tên riêng chỉ ngƣời LOC Location Tên riêng chỉ địa điểm ORG Organization Tên riêng chỉ tổ chức MISC Miscellaneous Tên riêng khác không thuộc Per, Loc, Org Vietnamese Language and VLSP Xử lí ngôn ngữ và tiếng nói Việt Nam Speech Processing 2 DANH MỤC CÁC BẢNG Bảng 2.

Minh họa ví dụ tách từ. Nhãn cụm từ cho hệ phân cụm từ Việt. Các đặc trƣng đƣợc sinh tự động. Một đặc trƣng véc tơ đầu vào cho mô hình.

Số lƣợng các thực thể trong tập dữ liệu. Thống kê về dữ liệu. Thống kê chi tiết dữ liệu VLSP 2016. Tham số của mô hình huấn luyện.

Độ chính xác của hệ thống khi sử dụng các phƣơng pháp học sâu 60 Bảng 4. Kết quả so sánh giữa các lớp. Kết quả của các Dropout khác nhau. Kết quả so sánh giữa các đặc trƣng.

Các tham số và đặc trƣng tối ƣu cho mô hình huấn luyện_đánh giá hệ thống ViNER .62 3 DANH MỤC HÌNH VẼ, ĐỒ THỊ Hình 2. Mô hình xử lý ngôn ngữ tự nhiên. Trích xuất (nhận diện) các thực thể trong văn bản. Mô hình hoạt động của bộ phân cụm từ Việt.

Biểu diễn từ thành ma trận véc tơ 50 chiều. Mô hình Word2vector. Mô hình Continuous Bag of Words. Mô hình CBOW chi tiết.

Mô hình Skip gram trong Word2vec. Mô hình mạng nơ ron 1 lớp ẩn của Word2vec. Ma trận trọng số của lớp ẩn của mô hình Word2vec. Lớp ẩn của mô hình hoạt động nhƣ một bảng tra cứu.

Mối tƣơng quan giữa từ ―ants‖ và từ ―car‖. Lƣợc sử học sâu Deep Learning. Error! Bookmark not defined. Một nơ ron sinh học.

Mô hình nơ ron. Mô hình mạng nơ ron ANN. Quá trình xử lý thông tin trong mạng RNN. RNN phụ thuộc short-term.

RNN phụ thuộc long-term. Các mô-đun lặp của mạng RNN chứa một layer. Các mô-đun lặp của mạng LSTM chứa bốn layer. Các kí hiệu sử dụng trong mạng LSTM.

Tế bào trạng thái LSTM giống nhƣ một băng truyền. Cổng trạng thái LSTM. Mô hình Bidirectional LSTM sử dụng 2 mạng nơ-ron LSTM. Mạng Bi-LSTM cho NER.

Trích xuất (nhận diện) các thực thể trong văn bản. Mô hình đề xuất cơ bản cho nhận diện tên riêng tiếng Việt. Mô hình xây dựng vector Word embedding. Hệ thống nhận diện tên riêng tiếng Việt chi tiết ViNER.

Mô hình học sâu 2 lớp BiLSTM cho hệ thống ViNER. Chi tiết một phần dữ liệu huấn luyện trong mô hình ViNER. Giao diện chính của trang web. Giao diện phân tích dữ liệu.

Giao diện phân tích kết quả. Các đặc trƣng đƣợc tạo tự động bởi công cụ Underthesea. So sánh nhãn tên riêng của ViNER và Underthesea. Giao diện Demo thực tế.

GIỚI THIỆU CHUNG 1. Lí do thực hiện đề tài Dữ liệu lớn (Big data), Trí tuệ nhân tạo (AI) và Internet vạn vật (IOT) là ba nhân tố quan trọng trong Cuộc cách mạng công nghiệp 4.0 đang bùng nổ và phát triển mạnh mẽ. Thành phần cốt lõi của ba nhân tố trên chính là các phƣơng pháp học máy (machine learning - ML) và Xử lí ngôn ngữ tự nhiên Natural Language Processing (NLP) là một trong số những bài toán của Trí tuệ nhân tạo với nhiều chủ đề nhƣ: tóm tắt văn bản, máy tìm kiếm, dịch máy, trích xuất thông tin và trả lời câu hỏi tự động, .