Luận văn: Nhận diện tên riêng tiếng Việt bằng phương pháp Học Sâu

Bài viết giới thiệu phương pháp nhận diện tên riêng tiếng Việt bằng học sâu. Tìm hiểu các mô hình, kỹ thuật NER tiên tiến cho kết quả chính xác.

• Tác giả: Nguyễn Anh Dũng
• Người hướng dẫn: Ts. Bùi Thanh Hùng
• Trường học: Trường Đại học Thủ Dầu Một
• Chuyên ngành: Hệ Thống Thông Tin
• Đề tài: Nhận diện tên riêng tiếng Việt bằng phương pháp học sâu
• Loại tài liệu: Luận văn thạc sĩ
• Năm xuất bản: 2019
• Địa điểm: Bình Dương

Mục lục chi tiết

• LỜI CAM ĐOAN
• LỜI CẢM ƠN
• TÓM TẮT LUẬN VĂN
• DANH MỤC TỪ VIẾT TẮT
• DANH MỤC CÁC BẢNG
• DANH MỤC HÌNH VẼ, ĐỒ THỊ
• 1. CHƯƠNG 1: GIỚI THIỆU CHUNG
• 1.1. LÍ DO THỰC HIỆN ĐỀ TÀI
• 1.2. MỤC TIÊU NGHIÊN CỨU
• 1.3. ĐỐI TƯỢNG, PHẠM VI NGHIÊN CỨU
• 1.4. PHƯƠNG PHÁP NGHIÊN CỨU
• 1.5. Ý NGHĨA KHOA HỌC VÀ Ý NGHĨA THỰC TIỄN CỦA ĐỀ TÀI
• 1.5.1. Ý nghĩa khoa học
• 1.5.2. Ý nghĩa thực tiễn
• 1.6. BỐ CỤC LUẬN VĂN
• 2. CHƯƠNG 2: XỬ LÝ NGÔN NGỮ TỰ NHIÊN
• 2.1. Xác định loại từ trong câu (Part-of-Speech tagging - POS tagging)
• 2.2. Xác định cụm từ (Chunking)
• 2.3. Phân tích cú pháp (Parsing)
• 2.4. CÁC PHƯƠNG PHÁP BIỂU DIỄN TỪ DƯỚI DẠNG VÉC TƠ
• 2.4.1. Biểu diễn túi từ - Bag of words
• 2.4.2. Biểu diễn One-hot-vector
• 2.4.3. Túi từ liên tục - CBOW
• 2.5. HỌC SÂU - DEEP LEARNING
• 2.5.1. Mạng nơ ron nhân tạo (ANN)
• 2.5.2. Mạng nơ-ron hồi quy RNN (Recurrent Neural Network)
• 2.5.3. Bộ nhớ dài-ngắn LSTM (Long-short term memory)
• 2.5.4. Mạng nơ ron ngắn dài song song LSTM (Bidirectional Long-short term memory)
• 2.6. NHẬN DIỆN TÊN RIÊNG (NAME ENTITY RECOGNITION – NER)
• 2.6.1. Tổng quan về bài toán Nhận diện tên riêng
• 2.6.2. Hướng tiếp cận nghiên cứu
• 2.6.3. Các nghiên cứu gần đây
• 2.6.4. Đề xuất hướng nghiên cứu
• 3. CHƯƠNG 3: MÔ HÌNH ĐỀ XUẤT
• 3.1. TỔNG QUAN MÔ HÌNH ĐỀ XUẤT
• 3.2. CÁC ĐẶC TRƯNG CỦA MÔ HÌNH ĐỀ XUẤT
• 3.2.1. Từ nhúng – Word embeddings
• 3.2.2. Các đặc trưng cú pháp
• 3.3. NHẬN DIỆN TÊN RIÊNG TIẾNG VIỆT
• 3.3.1. Mô hình học sâu trong bài toán nhận diện tên riêng tiếng Việt
• 3.3.2. Nhận diện tên riêng
• 4. CHƯƠNG 4: KHO DỮ LIỆU VLSP
• 4.1. PHƯƠNG PHÁP ĐÁNH GIÁ MÔ HÌNH
• 4.1.1. Thực nghiệm giữa phương pháp LSTM và BiLSTM với đặc trưng từ
• 4.1.2. Thực nghiệm BiLSTM với đặc trưng từ và số vòng huấn luyện khác nhau
• 4.1.3. Thực nghiệm phương pháp sử dụng các lớp BiLSTM với đặc trưng từ
• 4.1.4. Thực nghiệm phương pháp BiLSTM với đặc trưng từ và tỉ lệ Dropout khác nhau
• 4.2. XÂY DỰNG ỨNG DỤNG WEB TRỰC QUAN HÓA KẾT QUẢ
• 5. CHƯƠNG 5: KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN
• 5.1. KẾT QUẢ ĐẠT ĐƯỢC
• 5.2. HƯỚNG PHÁT TRIỂN
• TÀI LIỆU THAM KHẢO

Tóm tắt

I. Hướng dẫn Học Sâu nhận diện tên riêng tiếng Việt hiệu quả

Trong bối cảnh cuộc cách mạng công nghiệp 4.0, Xử lý ngôn ngữ tự nhiên (NLP) đã trở thành một lĩnh vực cốt lõi của Trí tuệ nhân tạo (AI). Một trong những tác vụ nền tảng và quan trọng nhất của NLP là Nhận diện tên riêng (Named Entity Recognition - NER), nhiệm vụ xác định và phân loại các thực thể có tên như tên người, tổ chức, địa điểm trong văn bản. Việc trích xuất thực thể có tên chính xác mang lại giá trị to lớn cho các ứng dụng như máy tìm kiếm, tóm tắt văn bản tự động, và hệ thống trả lời câu hỏi. Đối với tiếng Việt, một ngôn ngữ có cấu trúc phức tạp và nguồn tài nguyên hạn chế, bài toán NER tiếng Việt đặt ra nhiều thách thức đặc thù. Gần đây, các phương pháp học sâu (Deep Learning) đã chứng tỏ hiệu quả vượt trội so với các phương pháp học máy truyền thống. Luận văn "Nhận diện tên riêng tiếng Việt bằng phương pháp học sâu" của Nguyễn Anh Dũng (2019) đã đề xuất một hệ thống tiên tiến sử dụng mạng Mạng nơ-ron hồi quy (RNN), cụ thể là kiến trúc Bộ nhớ ngắn dài hai chiều (BiLSTM), để giải quyết bài toán này. Hệ thống này không chỉ dựa vào dữ liệu văn bản thô mà còn kết hợp các đặc trưng cú pháp và từ nhúng (word embeddings) được huấn luyện sẵn, giúp mô hình hiểu sâu hơn về ngữ cảnh và ngữ nghĩa của từ. Bài viết này sẽ phân tích chi tiết phương pháp tiếp cận này, từ những thách thức cơ bản của NLP tiếng Việt đến kiến trúc mô hình, kết quả thực nghiệm và tiềm năng ứng dụng trong tương lai, dựa trên những phát hiện và kết quả từ nghiên cứu gốc.

1.1. Tầm quan trọng của Named Entity Recognition trong NLP

Named Entity Recognition (NER) là bước tiền xử lý quan trọng, giúp chuyển đổi văn bản phi cấu trúc thành thông tin có cấu trúc. Bằng cách xác định các thực thể như Tên người (PER), Tổ chức (ORG), Địa điểm (LOC), hệ thống máy tính có thể "hiểu" được các đối tượng chính được đề cập. Điều này cực kỳ hữu ích cho việc xây dựng các máy tìm kiếm hướng thực thể, cho phép người dùng tìm kiếm thông tin về "Clinton" là một địa danh thay vì tổng thống Bill Clinton. Hơn nữa, NER là nền tảng cho các bài toán phức tạp hơn như trích xuất quan hệ (Relation Extraction) và xây dựng cơ sở tri thức (Knowledge Base). Một hệ thống NER tiếng Việt mạnh mẽ sẽ là tiền đề để phát triển các ứng dụng AI thông minh, phục vụ hiệu quả cho người dùng Việt Nam.

1.2. Giới thiệu tổng quan về phương pháp học sâu cho NER

Các phương pháp học sâu, đặc biệt là các mô hình dựa trên mạng nơ-ron, đã cách mạng hóa lĩnh vực Xử lý ngôn ngữ tự nhiên. Thay vì phải thiết kế các đặc trưng thủ công phức tạp, các mô hình như Mạng nơ-ron hồi quy (RNN) và Mạng nơ-ron tích chập (CNN) có khả năng tự động học các biểu diễn đặc trưng từ dữ liệu. Đối với các bài toán xử lý chuỗi như NER, kiến trúc LSTM cho NER và BiLSTM đặc biệt hiệu quả vì chúng có khả năng ghi nhớ các phụ thuộc xa trong câu, giúp nắm bắt ngữ cảnh một cách toàn diện. Các mô hình hiện đại hơn như Mô hình Transformer (ví dụ: PhoBERT, BERT đa ngữ) còn đẩy hiệu suất lên một tầm cao mới bằng cơ chế chú ý (attention mechanism), cho phép mô hình tập trung vào những từ quan trọng nhất trong câu khi đưa ra dự đoán.

II. Top thách thức khi triển khai NER tiếng Việt chuyên sâu

Việc xây dựng một hệ thống NER tiếng Việt hiệu quả phải đối mặt với nhiều rào cản đặc thù của ngôn ngữ. Thứ nhất, tiếng Việt là ngôn ngữ đơn âm tiết, không có ranh giới từ rõ ràng như tiếng Anh. Việc tách từ (word segmentation) không chính xác sẽ dẫn đến sai sót trong các bước xử lý tiếp theo, bao gồm cả việc gán nhãn thực thể. Ví dụ, "Đại học Quốc gia" có thể bị tách sai, làm ảnh hưởng đến khả năng nhận diện đây là một tổ chức. Thứ hai, hiện tượng nhập nhằng ngữ nghĩa rất phổ biến. Một từ có thể vừa là danh từ chung, vừa là tên riêng tùy thuộc vào ngữ cảnh, ví dụ "Hòa bình" có thể là một tỉnh hoặc một trạng thái. Thứ ba, nguồn tài nguyên cho NLP tiếng Việt còn hạn chế. So với tiếng Anh, số lượng Dataset cho NER tiếng Việt có gán nhãn chất lượng cao như bộ dữ liệu VLSP còn ít, gây khó khăn cho việc huấn luyện các mô hình học sâu phức tạp đòi hỏi lượng dữ liệu lớn. Cuối cùng, các tên riêng tiếng Việt, đặc biệt là tên người và địa danh, thường không tuân theo một quy tắc viết hoa nhất quán, làm giảm hiệu quả của các phương pháp dựa trên đặc trưng hình thái từ. Những thách thức này đòi hỏi các mô hình không chỉ mạnh mẽ về mặt kiến trúc mà còn phải được huấn luyện trên dữ liệu chất lượng và kết hợp các kỹ thuật tiền xử lý ngôn ngữ tinh vi.

2.1. Vấn đề nhập nhằng và đa nghĩa trong ngôn ngữ Việt

Sự nhập nhằng là một trong những thách thức lớn nhất. Một chuỗi âm tiết có thể được hiểu theo nhiều cách khác nhau tùy thuộc vào cách phân tách từ. Ví dụ, câu "ông ấy yêu cầu bà bán chiếu" có thể mang nhiều nghĩa. Bên cạnh đó, sự đa nghĩa của từ vựng cũng là một vấn đề. Nhiều tên riêng có thể trùng với các từ thông thường. Ví dụ, "Sơn" có thể là tên người hoặc động từ "sơn (nhà)". Để giải quyết vấn đề này, các mô hình NER tiếng Việt phải có khả năng phân tích sâu sắc ngữ cảnh xung quanh từ, một thế mạnh của các kiến trúc như BiLSTM và Transformer. Việc sử dụng các thư viện NLP cho tiếng Việt như VnCoreNLP để tiền xử lý văn bản, bao gồm tách từ và gán nhãn từ loại (POS tagging), là một bước quan trọng để giảm thiểu sự nhập nhằng trước khi đưa vào mô hình học sâu.

2.2. Hạn chế về bộ dữ liệu gán nhãn thực thể tiếng Việt

Mặc dù đã có những nỗ lực đáng ghi nhận như bộ dữ liệu VLSP 2016 và VLSP 2018, nguồn Dataset cho NER tiếng Việt vẫn còn khá khiêm tốn so với các ngôn ngữ phổ biến khác. Việc xây dựng một bộ dữ liệu lớn và chất lượng đòi hỏi nhiều thời gian và công sức của các chuyên gia ngôn ngữ. Sự thiếu hụt này làm hạn chế khả năng của các mô hình học sâu trong việc học các mẫu phức tạp và tổng quát hóa tốt trên dữ liệu thực tế. Để khắc phục, các nhà nghiên cứu thường áp dụng các kỹ thuật như học chuyển giao (transfer learning) và Fine-tuning mô hình ngôn ngữ lớn đã được huấn luyện trước trên một kho văn bản khổng lồ (ví dụ PhoBERT). Bằng cách này, mô hình có thể tận dụng kiến thức ngôn ngữ tổng quát đã học được và tinh chỉnh lại cho nhiệm vụ gán nhãn thực thể cụ thể.

III. Phương pháp BiLSTM Cách nhận diện tên riêng tiếng Việt

Để giải quyết các thách thức của NER tiếng Việt, nghiên cứu của Nguyễn Anh Dũng (2019) đã đề xuất một mô hình học sâu dựa trên kiến trúc Mạng Bộ nhớ Ngắn-Dài Song song (Bidirectional Long Short-Term Memory - BiLSTM). Mô hình này là một biến thể nâng cao của Mạng nơ-ron hồi quy (RNN), được thiết kế đặc biệt để xử lý dữ liệu chuỗi. Khác với RNN hay LSTM truyền thống chỉ xử lý câu theo một chiều từ trái sang phải, BiLSTM xử lý câu theo cả hai chiều: thuận và nghịch. Bằng cách này, mô hình có thể thu thập thông tin ngữ cảnh từ cả các từ đứng trước và các từ đứng sau một từ đích. Điều này cực kỳ quan trọng trong việc trích xuất thực thể có tên, vì ngữ cảnh hai chiều giúp phân giải sự nhập nhằng và xác định ranh giới thực thể chính xác hơn. Ví dụ, để xác định "Hùng" trong câu "Anh Hùng là một kỹ sư" là tên người, mô hình cần cả thông tin từ "Anh" đứng trước và "là một kỹ sư" đứng sau. Lớp đầu ra của mô hình BiLSTM thường được kết nối với một lớp Điều kiện Ngẫu nhiên Tuyến tính (CRF) để đảm bảo rằng chuỗi nhãn đầu ra là hợp lệ về mặt ngữ pháp, giúp cải thiện đáng kể độ chính xác của việc gán nhãn thực thể.

3.1. Cấu trúc và nguyên lý hoạt động của LSTM cho NER

Mạng LSTM cho NER là nền tảng của BiLSTM. Nó giải quyết vấn đề "vanishing gradient" (gradient biến mất) của RNN truyền thống, cho phép mô hình học các phụ thuộc dài hạn. Một đơn vị LSTM bao gồm một "tế bào trạng thái" (cell state) và ba "cổng" (gates): cổng quên (forget gate), cổng vào (input gate) và cổng ra (output gate). Tế bào trạng thái hoạt động như một băng chuyền, lưu trữ thông tin qua các bước thời gian. Cổng quên quyết định thông tin nào sẽ bị loại bỏ khỏi tế bào. Cổng vào quyết định thông tin mới nào sẽ được lưu trữ. Cổng ra quyết định thông tin nào từ tế bào sẽ được sử dụng cho đầu ra ở bước hiện tại. Cơ chế này cho phép LSTM ghi nhớ các thông tin quan trọng từ đầu câu để sử dụng cho việc dự đoán ở cuối câu, một khả năng thiết yếu cho NLP tiếng Việt.

3.2. Ưu điểm của kiến trúc BiLSTM so với LSTM một chiều

Kiến trúc BiLSTM bao gồm hai mạng LSTM độc lập. Mạng thứ nhất xử lý chuỗi đầu vào theo chiều từ trái sang phải (forward), và mạng thứ hai xử lý theo chiều ngược lại từ phải sang trái (backward). Tại mỗi bước thời gian, đầu ra của BiLSTM là sự kết hợp (thường là phép nối) của đầu ra từ cả hai mạng LSTM này. Ưu điểm chính là tại bất kỳ thời điểm nào trong chuỗi, mô hình đều có quyền truy cập vào thông tin ngữ cảnh từ cả quá khứ và tương lai. Trong bài toán NER tiếng Việt, điều này giúp mô hình phân biệt được "Đông" là tên người trong "Anh Đông" và là phương hướng trong "gió Đông", dựa vào các từ xung quanh. Nghiên cứu trên bộ dữ liệu VLSP 2016 đã chứng minh rằng mô hình BiLSTM cho kết quả cao hơn đáng kể so với mô hình LSTM một chiều.

IV. Bí quyết kết hợp Word Embedding và đặc trưng cú pháp

Sức mạnh của mô hình BiLSTM không chỉ đến từ kiến trúc mạng mà còn từ chất lượng của dữ liệu đầu vào. Để máy tính có thể hiểu được văn bản, mỗi từ cần được biểu diễn dưới dạng một vector số. Kỹ thuật này được gọi là Word Embedding. Nghiên cứu của Nguyễn Anh Dũng (2019) đã áp dụng phương pháp kết hợp hai nguồn đặc trưng chính: (1) Từ nhúng (Word Embeddings) được huấn luyện trước và (2) Các đặc trưng cú pháp được sinh tự động. Word Embeddings được tạo ra từ một kho dữ liệu lớn (khoảng 2 triệu bài báo) bằng mô hình Skip-gram, giúp nắm bắt quan hệ ngữ nghĩa giữa các từ. Những từ có nghĩa tương tự sẽ có vector biểu diễn gần nhau trong không gian. Ví dụ, vector của "Hà Nội" và "Sài Gòn" sẽ gần nhau. Bên cạnh đó, các đặc trưng cú pháp như nhãn từ loại (POS tag) và nhãn cụm từ (Chunk tag) được trích xuất bằng các thư viện NLP cho tiếng Việt. Việc kết hợp các đặc trưng này cung cấp cho mô hình một cái nhìn đa chiều về mỗi từ: không chỉ về mặt ngữ nghĩa (qua word embedding) mà còn về mặt chức năng ngữ pháp (qua POS/Chunk tag). Sự kết hợp này là bí quyết giúp mô hình trích xuất thực thể có tên đạt độ chính xác cao, đặc biệt với một ngôn ngữ phức tạp như tiếng Việt.

4.1. Vai trò của từ nhúng Word Embeddings được huấn luyện sẵn

Sử dụng Word Embeddings đã được huấn luyện sẵn là một kỹ thuật học chuyển giao hiệu quả. Thay vì khởi tạo các vector từ một cách ngẫu nhiên, mô hình bắt đầu với các vector đã chứa đựng kiến thức ngôn ngữ phong phú được chắt lọc từ hàng triệu văn bản. Điều này giúp mô hình hội tụ nhanh hơn và đạt hiệu suất tốt hơn, đặc biệt khi Dataset cho NER tiếng Việt có kích thước hạn chế. Các từ nhúng này giúp mô hình nhận ra các mối quan hệ ngữ nghĩa tinh vi mà có thể không học được chỉ từ bộ dữ liệu gán nhãn. Ví dụ, mô hình có thể suy ra rằng nếu "Nguyễn Văn A" là tên người, thì "Trần Thị B" cũng có khả năng cao là tên người vì các họ "Nguyễn" và "Trần" thường xuất hiện trong cùng ngữ cảnh.

4.2. Tăng cường độ chính xác bằng đặc trưng POS và Chunking

Các đặc trưng cú pháp cung cấp thông tin bổ sung quan trọng. Nhãn từ loại (POS tag) giúp phân biệt một từ là danh từ riêng (NNP) hay danh từ chung (NN). Ví dụ, "Bình" có thể là NNP (tên người) hoặc NN (cái bình). Nhãn cụm từ (Chunk tag) giúp xác định ranh giới của các cụm danh từ (NP) hoặc cụm động từ (VP), là những manh mối hữu ích để khoanh vùng các thực thể. Hệ thống ViNER trong nghiên cứu gốc đã chứng minh rằng việc thêm các đặc trưng này làm đầu vào cho mạng BiLSTM giúp cải thiện đáng kể kết quả đánh giá mô hình NER. Sự kết hợp giữa biểu diễn ngữ nghĩa dày đặc từ word embedding và thông tin cấu trúc rõ ràng từ các đặc trưng cú pháp tạo ra một đầu vào vô cùng mạnh mẽ cho mô hình học sâu.

V. Cách đánh giá mô hình NER trên Dataset cho NER tiếng Việt

Để xác định hiệu quả của một hệ thống, việc đánh giá mô hình NER một cách khách quan là vô cùng cần thiết. Trong lĩnh vực này, các độ đo phổ biến nhất là Precision (Độ chính xác), Recall (Độ phủ) và F1-score. Precision đo lường tỷ lệ các thực thể được hệ thống dự đoán là đúng trong tổng số các thực thể mà hệ thống dự đoán. Recall đo lường tỷ lệ các thực thể đúng mà hệ thống tìm thấy được trong tổng số các thực thể thực sự có trong dữ liệu. F1-score là trung bình điều hòa của Precision và Recall, cung cấp một thước đo cân bằng duy nhất về hiệu suất của mô hình. Nghiên cứu của Nguyễn Anh Dũng đã thực hiện các thực nghiệm trên bộ Dataset cho NER tiếng Việt tiêu chuẩn là VLSP 2016. Bộ dữ liệu này được chia thành ba tập: huấn luyện, phê chuẩn và kiểm tra, cho phép đánh giá mô hình một cách công bằng. Kết quả thực nghiệm cho thấy mô hình BiLSTM kết hợp các đặc trưng cú pháp và từ nhúng đạt được độ chính xác F1-score tổng thể rất cao, lên tới 92.06%. Kết quả này khẳng định tính ưu việt của phương pháp học sâu được đề xuất trong việc giải quyết bài toán NER tiếng Việt và đặt ra một tiêu chuẩn tham chiếu cho các nghiên cứu trong tương lai.

5.1. Phân tích kết quả trên bộ dữ liệu VLSP 2016

Bộ dữ liệu VLSP 2016 bao gồm văn bản từ báo chí điện tử, được gán nhãn cho bốn loại thực thể: PER (Tên người), ORG (Tổ chức), LOC (Địa điểm), và MISC (Khác). Quá trình thực nghiệm trong luận văn gốc đã khảo sát nhiều khía cạnh khác nhau, chẳng hạn như so sánh hiệu suất giữa LSTM và BiLSTM, ảnh hưởng của số lớp BiLSTM, và tác động của tỷ lệ Dropout. Kết quả nhất quán cho thấy kiến trúc 2 lớp BiLSTM với các đặc trưng kết hợp (từ nhúng, POS, Chunk) mang lại hiệu quả cao nhất. Độ chính xác F1-score đạt 92.06% trên tập kiểm tra là một con số rất ấn tượng, cho thấy khả năng của mô hình trong việc nhận diện chính xác các thực thể trong văn bản tiếng Việt thực tế.

5.2. So sánh hiệu suất với các phương pháp tiếp cận khác

Trước khi các phương pháp học sâu trở nên phổ biến, bài toán NER tiếng Việt thường được giải quyết bằng các mô hình học máy thống kê như Hidden Markov Model (HMM), Maximum Entropy Markov Model (MEMM), và đặc biệt là Conditional Random Fields (CRF). Các phương pháp này đòi hỏi quá trình thiết kế đặc trưng thủ công phức tạp và phụ thuộc nhiều vào kiến thức chuyên gia ngôn ngữ. Mô hình BiLSTM-CRF được đề xuất thể hiện sự vượt trội rõ rệt bằng cách tự động học các đặc trưng từ dữ liệu. Gần đây, các mô hình dựa trên Transformer như PhoBERT đã tiếp tục nâng cao hiệu suất trên bộ dữ liệu VLSP. Tuy nhiên, kết quả 92.06% của mô hình BiLSTM vẫn là một cột mốc quan trọng, chứng tỏ hiệu quả của kiến trúc này đối với các ngôn ngữ có nguồn tài nguyên vừa phải.

VI. Tương lai của NER Triển khai mô hình AI và API hiệu quả

Kết quả nghiên cứu ấn tượng của mô hình học sâu cho NER tiếng Việt mở ra nhiều hướng phát triển và ứng dụng thực tiễn. Tương lai của lĩnh vực này không chỉ dừng lại ở việc cải thiện độ chính xác trên các bộ dữ liệu học thuật, mà còn tập trung vào việc triển khai mô hình AI một cách hiệu quả và dễ tiếp cận. Một trong những hướng đi phổ biến là xây dựng các API nhận diện tên riêng. Các API này cho phép các nhà phát triển khác dễ dàng tích hợp khả năng nhận diện thực thể vào ứng dụng của họ mà không cần phải có kiến thức sâu về AI hay Xử lý ngôn ngữ tự nhiên. Nghiên cứu của Nguyễn Anh Dũng cũng đã đề xuất xây dựng một ứng dụng web để trực quan hóa kết quả, đây là một bước đi đầu tiên hướng tới việc triển khai thực tế. Trong tương lai, việc tối ưu hóa mô hình để có tốc độ xử lý nhanh hơn, giảm yêu cầu về tài nguyên phần cứng, và mở rộng để nhận diện nhiều loại thực thể hơn (ví dụ: sản phẩm, sự kiện, thuật ngữ chuyên ngành) sẽ là những thách thức cần giải quyết. Sự phát triển của các Mô hình Transformer như PhoBERT và kỹ thuật Fine-tuning mô hình ngôn ngữ sẽ tiếp tục là động lực chính thúc đẩy sự tiến bộ trong lĩnh vực NLP tiếng Việt.

6.1. Xây dựng ứng dụng web và API nhận diện tên riêng

Việc triển khai mô hình AI dưới dạng một dịch vụ web hoặc API nhận diện tên riêng là một bước đi thiết yếu để đưa nghiên cứu ra khỏi phòng thí nghiệm. Một API cho phép các hệ thống khác gửi một đoạn văn bản và nhận lại danh sách các thực thể được nhận diện cùng với loại và vị trí của chúng. Điều này có thể được ứng dụng trong các hệ thống phân tích tin tức để tự động gán thẻ (tag) các nhân vật, công ty được đề cập, hoặc trong các chatbot để trích xuất thông tin quan trọng từ câu hỏi của người dùng. Việc xây dựng một giao diện trực quan như ứng dụng web trong luận văn gốc giúp người dùng cuối dễ dàng tương tác và đánh giá hiệu quả của mô hình một cách trực tiếp.

6.2. Hướng phát triển với mô hình Transformer và PhoBERT

Mặc dù mô hình BiLSTM đã đạt được kết quả xuất sắc, các kiến trúc mới hơn như Mô hình Transformer đang định hình lại lĩnh vực NLP. Các mô hình như BERT và đặc biệt là PhoBERT (một phiên bản BERT được huấn luyện riêng cho tiếng Việt) đã thiết lập những kỷ lục mới về độ chính xác trên nhiều tác vụ, bao gồm cả NER tiếng Việt. Hướng phát triển trong tương lai sẽ tập trung vào việc áp dụng và Fine-tuning mô hình ngôn ngữ PhoBERT cho bài toán nhận diện thực thể. Lợi thế của PhoBERT là nó đã được huấn luyện trước trên một kho dữ liệu tiếng Việt khổng lồ, giúp nó có một sự "hiểu biết" sâu sắc về ngôn ngữ. Việc kết hợp kiến thức này với dữ liệu gán nhãn của VLSP hứa hẹn sẽ tạo ra các hệ thống nhận diện tên riêng với độ chính xác và khả năng tổng quát hóa cao hơn nữa.

Trích đoạn nội dung tài liệu

UBND TỈNH BÌNH DƢƠNG TRƢỜNG ĐẠI HỌC THỦ DẦU MỘT NGUYỄN ANH DŨNG NHẬN DIỆN TÊN RIÊNG TIẾNG VIỆT BẰNG PHƢƠNG PHÁP HỌC SÂU LUẬN VĂN THẠC SĨ CHUYÊN NGÀNH: HỆ THỐNG THÔNG TIN MÃ SỐ: 8480104 NGƢỜI HƢỚNG DẪN KHOA HỌC TS. BÙI THANH HÙNG BÌNH DƢƠNG - 2019 LỜI CAM ĐOAN Tôi là Nguyễn Anh Dũng, học viên lớp CH16HT, ngành Hệ thống thông tin, trƣờng Đại học Thủ Dầu Một. Tôi cam đoan, luận văn của tôi với đề tài ―Nhận diện tên riêng tiếng Việt bằng phƣơng pháp học sâu‖ là do tôi tìm hiểu, nghiên cứu và đƣợc sự hƣớng dẫn tận tình của TS. Bùi Thanh Hùng, luận văn này của tôi có tham khảo từ các bài báo, tài liệu, công trình nghiên cứu của ngƣời khác nhƣng tôi đều ghi rõ trong tài liệu tham khảo.

Tôi xin chịu trách nhiệm về lời cam đoan này. Bình Dương, ngày 01 tháng 6 năm 2019 Ngƣời viết luận văn Nguyễn Anh Dũng ii LỜI CẢM ƠN Trong quá trình thực hiện luận văn ―Nhận diện tên riêng tiếng Việt bằng phƣơng pháp học sâu‖, tôi đã đƣợc sự hƣớng dẫn nhiệt tình của TS. Bùi Thanh Hùng. Thầy đã dành rất nhiều thời gian quý báu của mình để hƣớng dẫn chi tiết, nghe báo cáo thử và động viên tinh thần tôi trong những lúc khó khăn khi thực hiện luận văn.

Tôi chân thành cảm ơn thầy! Tôi cũng bày tỏ lòng biết ơn sâu sắc đến các thầy cô đã giảng dạy tôi tận tình, truyền đạt những kiến thức bổ ích cho tôi trong suốt thời gian học tại trƣờng và các thầy cô của trƣờng Đại học Thủ Dầu Một đã tạo điều kiện tốt nhất để tôi hoàn thành luận văn này. Cuối cùng, tôi cũng gửi lời cảm ơn đến gia đình, đồng nghiệp, các anh chị học chung lớp đã đoàn kết, giúp đỡ, động viên tôi trong suốt thời gian học vừa qua. Một lần nữa, tôi xin trân trọng cảm ơn. Bình Dƣơng, ngày tháng năm 2019 Ngƣời viết luận văn iii MỤC LỤC MỤC LỤC.

IV TÓM TẮT LUẬN VĂN .1 DANH MỤC TỪ VIẾT TẮT .2 DANH MỤC CÁC BẢNG.3 DANH MỤC HÌNH VẼ, ĐỒ THỊ. GIỚI THIỆU CHUNG. LÍ DO THỰC HIỆN ĐỀ TÀI. MỤC TIÊU NGHIÊN CỨU.

ĐỐI TƢỢNG, PHẠM VI NGHIÊN CỨU. PHƢƠNG PHÁP NGHIÊN CỨU. Ý NGHĨA KHOA HỌC VÀ Ý NGHĨA THỰC TIỄN CỦA ĐỀ TÀI. Ý nghĩa khoa học.

Ý nghĩa thực tiễn. BỐ CỤC LUẬN VĂN .9 CHƢƠNG II. XỬ LÝ NGÔN NGỮ TỰ NHIÊN. Xác định loại từ trong câu (Part-of-Speech tagging - POS tagging).

Xác định cụm từ (Chunking). Phân tích cú pháp (Parsing). CÁC PHƢƠNG PHÁP BIỂU DIỄN TỪ DƢỚI DẠNG VÉC TƠ. Biểu diễn túi từ - Bag of words .2 Biểu diễn One-hot-vector.

Túi từ liên tục - CBOW. HỌC SÂU - DEEP LEARNING. Mạng nơ ron nhân tạo (ANN). Mạng nơ-ron hồi quy RNN (Recurrent Neural Network).

Bộ nhớ dài-ngắn LSTM (Long-short term memory). Mạng nơ ron ngắn dài song song LSTM (Bidirectional Long-short term memory). NHẬN DIỆN TÊN RIÊNG (NAME ENTITY RECOGNITION – NER). Tổng quan về bài toán Nhận diện tên riêng.

Hướng tiếp cận nghiên cứu. Các nghiên cứu gần đây. Đề xuất hướng nghiên cứu .45 CHƢƠNG III. MÔ HÌNH ĐỀ XUẤT.

TỔNG QUAN MÔ HÌNH ĐỀ XUẤT. CÁC ĐẶC TRƢNG CỦA MÔ HÌNH ĐỀ XUẤT. Từ nhúng – Word embeddings. Các đặc trưng cú pháp.

NHẬN DIỆN TÊN RIÊNG TIẾNG VIỆT .1 Mô hình học sâu trong bài toán nhận diện tên riêng tiếng Việt. Nhận diện tên riêng.53 CHƢƠNG IV. KHO DỮ LIỆU VLSP. PHƢƠNG PHÁP ĐÁNH GIÁ MÔ HÌNH .1 Thực nghiệm giữa phương pháp LSTM và BiLSTM với đặc trưng từ .2 Thực nghiệm BiLSTM với đặc trưng từ và số vòng huấn luyện khác nhau.3 Thực nghiệm phương pháp sử dụng các lớp BiLSTM với đặc trưng từ .4 Thực nghiệm phương pháp BiLSTM với đặc trưng từ và tỉ lệ Dropout khác nhau.

XÂY DỰNG ỨNG DỤNG WEB TRỰC QUAN HÓA KẾT QUẢ. KẾT LUẬN VÀ HƢỚNG PHÁT TRIỂN. KẾT QUẢ ĐẠT ĐƢỢC. HƢỚNG PHÁT TRIỂN .67 TÀI LIỆU THAM KHẢO .68 v TÓM TẮT LUẬN VĂN Trong thời đại công nghiệp 4.0 hiện nay, khoa học công nghệ đang ở giai đoạn phát triển mạnh mẽ đặc biệt là trong lĩnh vực công nghệ thông tin và truyền thông.

Nhu cầu giao tiếp, thƣơng mại điện tử và tìm kiếm thông tin rất lớn, vì thế một số ứng dụng xử lý ngôn ngữ tự nhiên nhƣ tóm tắt văn bản, máy tìm kiếm, dịch máy, trích xuất thông tin và trả lời câu hỏi tự động ngày càng phát triển. Những ứng dụng này đƣợc phát triển dựa trên nền tảng của một số các tác vụ xử lý ngôn ngữ tự nhiên khác và nhận diện tên riêng trong văn bản là một trong những tác vụ nền tảng quan trọng. Nhận diện tên riêng trong văn bản đã đƣợc nghiên cứu trên nhiều ngôn ngữ nhƣ tiếng Anh, tiếng Nhật, tiếng Trung,… bằng nhiều phƣơng pháp khác nhau và đã đạt đƣợc nhiều kết quả khả quan. Các phƣơng pháp học máy trƣớc đây nhƣ SVM, Cây quyết định, … cho kết quả phân loại tên riêng cũng khá tốt.

Ngày nay, sự phát triển của phần cứng máy tính đã giải quyết đƣợc một số thuật toán phức tạp với tốc độ xử lý nhanh nên hƣớng nghiên cứu sử dụng phƣơng pháp học sâu Deep Learning huấn luyện trên tập dữ liệu lớn cho kết quả tốt hơn nhiều so với các hệ thống trƣớc không sử dụng phƣơng pháp học sâu. Luận văn của tôi với đề tài ―Nhận diện tên riêng tiếng Việt bằng phƣơng pháp học sâu‖ dựa trên những nghiên cứu trƣớc đây để đề xuất nghiên cứu và phát triển một hệ thống nhận diện tên riêng cho tiếng Việt (ViNER) bằng cách kết hợp các đặc trƣng cú pháp tự động với các từ nhúng đƣợc huấn luận sẵn làm đầu vào cho Bộ nhớ ngắn dài hai chiều (BiLSTM). Tôi huấn luyện hệ thống này trên tập dữ liệu VLSP 2016. Bộ dữ liệu này gồm 3 tập dữ liệu huấn luyện, phê chuẩn và kiểm tra.

Mỗi tập dữ liệu gồm 4 cột: Từ hoặc từ ghép, POS, CHUNK và TAG. Sau khi huấn luyện và đánh giá thực nghiệm hệ thống trên nhiều khía cạnh khác nhau bằng Độ đo chính xác (Accuracy), tôi nhận thấy hệ thống kết hợp các đặc trƣng cú pháp tự động với các từ nhúng đƣợc huấn luận sẵn làm đầu vào cho Bộ nhớ ngắn dài hai chiều (BiLSTM) cho kết quả cao nhất đạt 92,06%. Luận văn cũng đề xuất xây dựng một ứng dụng web hỗ trợ nhận diện 4 loại tên riêng tên ngƣời, tên tổ chức, tên địa điểm, tên khác cho một đoạn văn bản đƣợc ngƣời dùng nhập vào. 1 DANH MỤC TỪ VIẾT TẮT Từ viết tắt Từ chuẩn Diễn giải Nhận diện thực thể đƣợc đặt tên hay nhận NER Named Entity Recognition diện tên riêng Vietnamese Named Entity ViNER Nhận diện tên riêng tiếng Việt Recognition Natural Languague NLP Xử lý ngôn ngữ tự nhiên Processing RNN Recurrent Neural Network Mạng nơ ron hồi quy LSTM Long short-term memory Mạng nơ ron bộ nhớ ngắn – dài Bidirectional Long short- BiLSTM Mạng nơ ron bộ nhớ ngắn – dài song song term memory POS Part-of-Speech Từ loại (N, A, R, …) CHUNK Tách câu thành các cụm từ (Cụm danh từ, Chunking cụm động từ, …) CBOW Continuous Bag of Words Túi từ liên tục PER Person Tên riêng chỉ ngƣời LOC Location Tên riêng chỉ địa điểm ORG Organization Tên riêng chỉ tổ chức MISC Miscellaneous Tên riêng khác không thuộc Per, Loc, Org Vietnamese Language and VLSP Xử lí ngôn ngữ và tiếng nói Việt Nam Speech Processing 2 DANH MỤC CÁC BẢNG Bảng 2.

Minh họa ví dụ tách từ. Nhãn cụm từ cho hệ phân cụm từ Việt. Các đặc trƣng đƣợc sinh tự động. Một đặc trƣng véc tơ đầu vào cho mô hình.

Số lƣợng các thực thể trong tập dữ liệu. Thống kê về dữ liệu. Thống kê chi tiết dữ liệu VLSP 2016. Tham số của mô hình huấn luyện.

Độ chính xác của hệ thống khi sử dụng các phƣơng pháp học sâu 60 Bảng 4. Kết quả so sánh giữa các lớp. Kết quả của các Dropout khác nhau. Kết quả so sánh giữa các đặc trƣng.

Các tham số và đặc trƣng tối ƣu cho mô hình huấn luyện_đánh giá hệ thống ViNER .62 3 DANH MỤC HÌNH VẼ, ĐỒ THỊ Hình 2. Mô hình xử lý ngôn ngữ tự nhiên. Trích xuất (nhận diện) các thực thể trong văn bản. Mô hình hoạt động của bộ phân cụm từ Việt.

Biểu diễn từ thành ma trận véc tơ 50 chiều. Mô hình Word2vector. Mô hình Continuous Bag of Words. Mô hình CBOW chi tiết.

Mô hình Skip gram trong Word2vec. Mô hình mạng nơ ron 1 lớp ẩn của Word2vec. Ma trận trọng số của lớp ẩn của mô hình Word2vec. Lớp ẩn của mô hình hoạt động nhƣ một bảng tra cứu.

Mối tƣơng quan giữa từ ―ants‖ và từ ―car‖. Lƣợc sử học sâu Deep Learning. Error! Bookmark not defined. Một nơ ron sinh học.

Mô hình nơ ron. Mô hình mạng nơ ron ANN. Quá trình xử lý thông tin trong mạng RNN. RNN phụ thuộc short-term.

RNN phụ thuộc long-term. Các mô-đun lặp của mạng RNN chứa một layer. Các mô-đun lặp của mạng LSTM chứa bốn layer. Các kí hiệu sử dụng trong mạng LSTM.

Tế bào trạng thái LSTM giống nhƣ một băng truyền. Cổng trạng thái LSTM. Mô hình Bidirectional LSTM sử dụng 2 mạng nơ-ron LSTM. Mạng Bi-LSTM cho NER.

Trích xuất (nhận diện) các thực thể trong văn bản. Mô hình đề xuất cơ bản cho nhận diện tên riêng tiếng Việt. Mô hình xây dựng vector Word embedding. Hệ thống nhận diện tên riêng tiếng Việt chi tiết ViNER.

Mô hình học sâu 2 lớp BiLSTM cho hệ thống ViNER. Chi tiết một phần dữ liệu huấn luyện trong mô hình ViNER. Giao diện chính của trang web. Giao diện phân tích dữ liệu.

Giao diện phân tích kết quả. Các đặc trƣng đƣợc tạo tự động bởi công cụ Underthesea. So sánh nhãn tên riêng của ViNER và Underthesea. Giao diện Demo thực tế.

GIỚI THIỆU CHUNG 1. Lí do thực hiện đề tài Dữ liệu lớn (Big data), Trí tuệ nhân tạo (AI) và Internet vạn vật (IOT) là ba nhân tố quan trọng trong Cuộc cách mạng công nghiệp 4.0 đang bùng nổ và phát triển mạnh mẽ. Thành phần cốt lõi của ba nhân tố trên chính là các phƣơng pháp học máy (machine learning - ML) và Xử lí ngôn ngữ tự nhiên Natural Language Processing (NLP) là một trong số những bài toán của Trí tuệ nhân tạo với nhiều chủ đề nhƣ: tóm tắt văn bản, máy tìm kiếm, dịch máy, trích xuất thông tin và trả lời câu hỏi tự động, .