Mô Hình Học Sâu Trong Xử Lý Ngôn Ngữ Tự Nhiên

Khám phá các mô hình họ sâu trong xử lý ngôn ngữ tự nhiên, ứng dụng và tiềm năng của chúng trong việc cải thiện hiểu biết ngôn ngữ.

• Tác giả: Võ Thị Quỳnh Trang
• Người hướng dẫn: TS. Nguyễn Thị Thanh Huyền
• Trường học: Trường Đại Học Bách Khoa Hà Nội
• Chuyên ngành: Toán Tin
• Đề tài: Một Số Mô Hình Học Sâu Trong Xử Lý Ngôn Ngữ Tự Nhiên
• Loại tài liệu: Luận Văn Thạc Sĩ
• Năm xuất bản: 2020
• Địa điểm: Hà Nội

Mục lục chi tiết

• LỜI CẢM ƠN
• 1. CHƯƠNG 1: CƠ SỞ LÝ THUYẾT
• 1.1. MỘT SỐ KHÁI NIỆM CƠ BẢN
• 1.2. ĐÁNH GIÁ MÔ HÌNH MÁY HỌC
• 1.3. XỬ LÝ NGÔN NGỮ TỰ NHIÊN
• 1.4. BÀI TOÁN PHÂN LOẠI VĂN BẢN
• 2. CHƯƠNG 2: BÀI TOÁN PHÂN TÍCH SẮC THÁI VĂN BẢN
• 2.1. PHÁT BIỂU BÀI TOÁN
• 2.2. MÔ HÌNH ĐỀ XUẤT
• 2.2.1. XÁC ĐỊNH ĐỐI TƯỢNG VÀ PHÂN TÁCH NỘI DUNG
• 2.2.2. XÁC ĐỊNH SẮC THÁI
• 2.2.3. CÀI ĐẶT VÀ THỰC NGHIỆM
• 2.2.3.1. THU THẬP VÀ TIỀN XỬ LÝ DỮ LIỆU
• 2.2.3.2. KẾT QUẢ THỬ NGHIỆM
• 3. CHƯƠNG 3: BÀI TOÁN PHÂN LOẠI CHỦ ĐỀ VĂN BẢN
• 3.1. PHÁT BIỂU BÀI TOÁN
• 3.2. MÔ HÌNH ĐỀ XUẤT
• 3.2.1. BIỂU DIỄN VĂN BẢN
• 3.2.2. MÔ HÌNH PHÂN LOẠI CHỦ ĐỀ VĂN BẢN
• 3.2.3. CÀI ĐẶT VÀ THỰC NGHIỆM
• 3.2.3.1. THU THẬP VÀ TIỀN XỬ LÝ DỮ LIỆU
• 3.2.3.2. KẾT QUẢ THỬ NGHIỆM
• KẾT LUẬN CHUNG
• TÀI LIỆU THAM KHẢO

Tóm tắt

I. Tổng Quan Mô Hình Học Sâu Trong Xử Lý Ngôn Ngữ Tự Nhiên

Xử lý ngôn ngữ tự nhiên (NLP) là lĩnh vực quan trọng trong Trí tuệ nhân tạo (AI), cho phép máy tính hiểu và xử lý ngôn ngữ con người. Học sâu (Deep Learning) đã mang đến những đột phá lớn trong NLP, vượt qua các phương pháp truyền thống. Các mô hình học sâu có khả năng tự động trích xuất đặc trưng từ dữ liệu thô, giảm thiểu công sức của con người. Điều này đặc biệt quan trọng trong xử lý ngôn ngữ tự nhiên, nơi sự phức tạp và đa dạng của ngôn ngữ đòi hỏi khả năng biểu diễn linh hoạt. Các mô hình này được huấn luyện trên lượng lớn dữ liệu huấn luyện, cho phép chúng học các quy tắc ngôn ngữ một cách tự động. Theo luận văn của Võ Thị Quỳnh Trang, việc ứng dụng học sâu giúp giải quyết vấn đề nhập nhằng của ngôn ngữ mà không cần kiến thức chuyên môn sâu rộng. Mạng nơ-ron (Neural Networks) là nền tảng cơ bản của nhiều mô hình học sâu trong NLP. Word Embeddings, BERT, GPT là một số ví dụ tiêu biểu.

1.1. Lịch Sử Phát Triển Của Deep Learning trong NLP

Sự phát triển của Deep Learning trong NLP trải qua nhiều giai đoạn. Từ những mô hình đơn giản như mạng nơ-ron (Neural Networks) truyền thống đến các kiến trúc phức tạp như Recurrent Neural Networks (RNNs), Long Short-Term Memory (LSTM), và Transformer. Các mô hình RNNs và LSTMs đã giải quyết vấn đề xử lý dữ liệu tuần tự, phù hợp với đặc tính của ngôn ngữ. Sự ra đời của Transformer và cơ chế Attention Mechanism đã đánh dấu một bước tiến lớn, cho phép mô hình tập trung vào các phần quan trọng của câu. Các mô hình như BERT và GPT đã tận dụng kiến trúc Transformer để đạt được hiệu suất vượt trội trong nhiều tác vụ NLP.

1.2. Ưu Điểm Của Mô Hình Học Sâu So Với Phương Pháp Truyền Thống

Các mô hình học sâu có nhiều ưu điểm so với các phương pháp xử lý ngôn ngữ tự nhiên truyền thống. Chúng có khả năng tự động học các biểu diễn phức tạp của ngôn ngữ, giảm thiểu sự can thiệp của con người trong việc trích xuất đặc trưng. Học sâu (Deep Learning) có thể xử lý lượng lớn dữ liệu một cách hiệu quả, cho phép mô hình học các quy tắc ngôn ngữ một cách toàn diện. Các mô hình này cũng có khả năng Transfer Learning, tận dụng kiến thức từ các nhiệm vụ khác để cải thiện hiệu suất trong các nhiệm vụ cụ thể.

II. Thách Thức Khi Áp Dụng Deep Learning Vào Xử Lý Tiếng Việt

Mặc dù học sâu (Deep Learning) đã đạt được nhiều thành công trong xử lý ngôn ngữ tự nhiên (NLP), việc áp dụng vào tiếng Việt vẫn còn nhiều thách thức. Tiếng Việt có đặc tính ngôn ngữ riêng biệt, như tính đa nghĩa, sự phức tạp của ngữ pháp, và sự phong phú của từ vựng địa phương. Các mô hình được huấn luyện trên tiếng Anh không thể trực tiếp áp dụng cho tiếng Việt mà cần phải điều chỉnh và huấn luyện lại. Việc thu thập và gán nhãn dữ liệu huấn luyện cho tiếng Việt cũng tốn kém và đòi hỏi nguồn lực lớn. Theo luận văn của Võ Thị Quỳnh Trang, sự khác biệt trong đặc trưng ngôn ngữ khiến việc áp dụng trực tiếp các mô hình từ tiếng Anh không hiệu quả. Việc xây dựng một hệ thống NLP hiệu quả cho tiếng Việt đòi hỏi sự hiểu biết sâu sắc về ngôn ngữ và kiến thức về học máy (Machine Learning).

2.1. Vấn Đề Thiếu Dữ Liệu Huấn Luyện Tiếng Việt Chất Lượng Cao

Một trong những thách thức lớn nhất là sự thiếu hụt dữ liệu huấn luyện tiếng Việt chất lượng cao. Các mô hình học sâu (Deep Learning) cần lượng lớn dữ liệu để học các quy tắc ngôn ngữ một cách hiệu quả. Dữ liệu cần được gán nhãn chính xác và đa dạng để mô hình có thể khái quát hóa tốt. Việc thu thập và gán nhãn dữ liệu tiếng Việt đòi hỏi sự đầu tư lớn về thời gian và nguồn lực. Các bộ dữ liệu công khai cho tiếng Việt còn hạn chế về số lượng và chất lượng.

2.2. Đặc Tính Ngôn Ngữ Phức Tạp Của Tiếng Việt Ảnh Hưởng Đến Độ Chính Xác

Đặc tính ngôn ngữ phức tạp của tiếng Việt, như tính đa nghĩa và sự linh hoạt của ngữ pháp, gây khó khăn cho việc xây dựng các mô hình xử lý ngôn ngữ tự nhiên (NLP). Một từ có thể có nhiều nghĩa khác nhau tùy thuộc vào ngữ cảnh. Cấu trúc câu tiếng Việt có thể thay đổi linh hoạt mà vẫn giữ nguyên ý nghĩa. Các mô hình cần có khả năng hiểu được sự phức tạp này để đạt được độ chính xác cao.

III. Cách Xây Dựng Mô Hình Deep Learning Hiệu Quả Cho NLP Tiếng Việt

Để xây dựng mô hình học sâu (Deep Learning) hiệu quả cho xử lý ngôn ngữ tự nhiên (NLP) tiếng Việt, cần có phương pháp tiếp cận toàn diện. Việc lựa chọn kiến trúc mô hình phù hợp là rất quan trọng. Các mô hình như Transformer và BERT đã chứng minh được hiệu quả trong nhiều tác vụ NLP. Word Embeddings cần được huấn luyện trên dữ liệu tiếng Việt để biểu diễn từ vựng một cách chính xác. Kỹ thuật Fine-tuning và Transfer Learning có thể được sử dụng để tận dụng kiến thức từ các mô hình đã được huấn luyện trên các ngôn ngữ khác. Cuối cùng, việc đánh giá mô hình một cách kỹ lưỡng là cần thiết để đảm bảo hiệu suất cao.

3.1. Lựa Chọn Mô Hình Mạng Nơ ron Neural Networks Phù Hợp Cho Từng Tác Vụ

Việc lựa chọn mô hình mạng nơ-ron (Neural Networks) phù hợp là rất quan trọng để đạt được hiệu suất cao trong các tác vụ xử lý ngôn ngữ tự nhiên (NLP). Recurrent Neural Networks (RNNs) và Long Short-Term Memory (LSTM) phù hợp cho các tác vụ xử lý dữ liệu tuần tự, như dịch máy và sinh văn bản. Convolutional Neural Networks (CNNs) có thể được sử dụng cho các tác vụ phân loại văn bản và trích xuất thông tin. Transformer và BERT là lựa chọn tốt cho nhiều tác vụ, nhờ khả năng xử lý ngữ cảnh và học biểu diễn ngôn ngữ phức tạp.

3.2. Kỹ Thuật Word Embeddings Giúp Biểu Diễn Ngữ Nghĩa Tốt Hơn

Word Embeddings là kỹ thuật quan trọng để biểu diễn từ vựng một cách hiệu quả trong các mô hình học sâu (Deep Learning). Các Word Embeddings ánh xạ từ vựng thành các vector số, thể hiện mối quan hệ ngữ nghĩa giữa các từ. Các kỹ thuật như Word2Vec, GloVe, và FastText có thể được sử dụng để huấn luyện Word Embeddings trên dữ liệu tiếng Việt. Các Word Embeddings này giúp mô hình hiểu được ngữ nghĩa của văn bản và cải thiện hiệu suất trong các tác vụ NLP.

IV. Ứng Dụng Của Deep Learning Trong Các Bài Toán NLP Thực Tế

Học sâu (Deep Learning) đã được ứng dụng thành công trong nhiều bài toán xử lý ngôn ngữ tự nhiên (NLP) thực tế. Phân loại văn bản (Text Classification), Phân tích cảm xúc (Sentiment Analysis), Tóm tắt văn bản (Text Summarization), Hỏi đáp (Question Answering), và Nhận dạng thực thể có tên (Named Entity Recognition - NER) là một số ví dụ tiêu biểu. Trong lĩnh vực dịch máy (Neural Machine Translation), các mô hình học sâu (Deep Learning) đã đạt được chất lượng dịch thuật ấn tượng. Các ứng dụng này mang lại nhiều lợi ích cho doanh nghiệp và xã hội.

4.1. Sentiment Analysis Phân Tích Cảm Xúc Khách Hàng Tự Động

Sentiment Analysis là một ứng dụng quan trọng của học sâu (Deep Learning) trong xử lý ngôn ngữ tự nhiên (NLP). Mục tiêu của Sentiment Analysis là xác định cảm xúc (tích cực, tiêu cực, trung tính) được thể hiện trong văn bản. Các mô hình học sâu (Deep Learning) có thể được huấn luyện để phân tích cảm xúc từ các bình luận trên mạng xã hội, đánh giá sản phẩm, và phản hồi của khách hàng. Thông tin này giúp doanh nghiệp hiểu rõ hơn về nhu cầu và mong muốn của khách hàng.

4.2. Question Answering Xây Dựng Hệ Thống Trả Lời Câu Hỏi Thông Minh

Question Answering là một lĩnh vực đầy thách thức trong xử lý ngôn ngữ tự nhiên (NLP). Mục tiêu của Question Answering là xây dựng hệ thống có thể trả lời các câu hỏi bằng ngôn ngữ tự nhiên. Các mô hình học sâu (Deep Learning), đặc biệt là các mô hình dựa trên Transformer, đã đạt được nhiều tiến bộ trong lĩnh vực này. Các hệ thống Question Answering có thể được sử dụng trong nhiều ứng dụng, như trợ lý ảo, tìm kiếm thông tin, và hỗ trợ khách hàng.

V. Kết Luận Triển Vọng Phát Triển Của Học Sâu Trong NLP Tiếng Việt

Học sâu (Deep Learning) hứa hẹn mang lại nhiều đột phá trong xử lý ngôn ngữ tự nhiên (NLP) tiếng Việt. Với sự phát triển của các kiến trúc mô hình mới, kỹ thuật huấn luyện hiệu quả, và nguồn dữ liệu ngày càng phong phú, các mô hình NLP cho tiếng Việt sẽ ngày càng chính xác và hiệu quả hơn. Ứng dụng NLP sẽ trở nên phổ biến hơn trong nhiều lĩnh vực, từ kinh doanh đến giáo dục và y tế. Trí tuệ nhân tạo (AI) sẽ đóng vai trò quan trọng trong việc giải quyết các bài toán thực tế liên quan đến ngôn ngữ.

5.1. Hướng Nghiên Cứu Mới Cho Deep Learning và NLP Tiếng Việt

Có nhiều hướng nghiên cứu tiềm năng cho học sâu (Deep Learning) và xử lý ngôn ngữ tự nhiên (NLP) tiếng Việt. Nghiên cứu về các mô hình hiệu quả hơn cho các đặc tính ngôn ngữ riêng biệt của tiếng Việt. Phát triển các phương pháp học tăng cường (Reinforcement Learning) để huấn luyện mô hình tương tác với người dùng. Xây dựng các hệ thống NLP đa ngôn ngữ có thể xử lý tiếng Việt và các ngôn ngữ khác.

5.2. Tương Lai Của Ứng Dụng Trí Tuệ Nhân Tạo AI Trong Xử Lý Ngôn Ngữ

Tương lai của Trí tuệ nhân tạo (AI) trong xử lý ngôn ngữ (NLP) rất hứa hẹn. Các hệ thống NLP sẽ trở nên thông minh hơn, có khả năng hiểu và tương tác với con người một cách tự nhiên hơn. Ứng dụng NLP sẽ được tích hợp vào nhiều thiết bị và dịch vụ, từ điện thoại thông minh đến ô tô tự lái. AI sẽ giúp con người giao tiếp và làm việc hiệu quả hơn trong một thế giới ngày càng kết nối.

Nội dung chính

Tổng quan nghiên cứu

Trong bối cảnh cách mạng công nghiệp 4.0 và sự phát triển bùng nổ của mạng xã hội, lượng dữ liệu văn bản được tạo ra hàng giờ trên các nền tảng trực tuyến là vô cùng lớn, đa dạng về nội dung và hình thức. Theo ước tính, việc phân loại và khai thác thông tin từ các dữ liệu này đóng vai trò then chốt trong việc hỗ trợ doanh nghiệp nắm bắt xu hướng thị trường và phản hồi khách hàng một cách nhanh chóng, chính xác. Tuy nhiên, do khối lượng dữ liệu quá lớn và tốc độ lan truyền nhanh, việc xử lý thủ công không thể đáp ứng được yêu cầu thực tế. Mục tiêu của luận văn là nghiên cứu và phát triển các mô hình học sâu nhằm tự động phân loại văn bản tiếng Việt, tập trung vào hai bài toán chính: phân loại chủ đề văn bản và phân loại sắc thái văn bản. Phạm vi nghiên cứu bao gồm dữ liệu thu thập từ mạng xã hội và báo mạng trong khoảng thời gian gần đây, với ba chủ đề chính là nhà hàng, hàng không và viễn thông. Ý nghĩa của nghiên cứu được thể hiện qua việc xây dựng hệ thống phân loại tự động có độ chính xác và hiệu năng cao, phù hợp triển khai trong thực tiễn, giúp tiết kiệm thời gian và nguồn lực cho doanh nghiệp trong việc xử lý dữ liệu lớn.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Luận văn dựa trên nền tảng lý thuyết của máy học và học sâu, trong đó:

• Máy học (Machine Learning): Phương pháp giúp máy tính học từ dữ liệu mà không cần lập trình tường minh, bao gồm học có giám sát và học không giám sát. Bài toán phân loại văn bản thuộc loại học có giám sát, xây dựng ánh xạ từ dữ liệu đầu vào đến nhãn phân loại.

• Học sâu (Deep Learning): Phương pháp học phân cấp qua nhiều lớp mạng nơ-ron nhân tạo, giúp máy tính tự động trích xuất đặc trưng từ dữ liệu phức tạp. Mạng nơ-ron nhiều lớp (Multi-layer Perceptron), mạng nơ-ron hồi tiếp (Recurrent Neural Network - RNN), và mạng bộ nhớ dài ngắn hạn (Long Short-Term Memory - LSTM) là các kiến trúc chính được sử dụng.

• Xử lý ngôn ngữ tự nhiên (Natural Language Processing - NLP): Kết hợp ngôn ngữ học tính toán và trí tuệ nhân tạo để phân tích, hiểu và xử lý ngôn ngữ tự nhiên. Các bước quan trọng gồm tách từ, phân tích cú pháp, phân tích ngữ nghĩa và ngữ dụng.

• Mạng LSTM hai chiều (Bidirectional LSTM - BiLSTM): Mạng LSTM xử lý dữ liệu theo cả hai chiều xuôi và ngược, giúp khai thác ngữ cảnh đầy đủ trong văn bản, đặc biệt quan trọng trong phân loại sắc thái.

• Học chuyển tiếp (Transfer Learning): Kỹ thuật tận dụng kiến thức từ một nhiệm vụ nguồn (ví dụ tự động mã hóa câu) để cải thiện hiệu quả học trên nhiệm vụ mục tiêu (phân loại sắc thái), đặc biệt hữu ích khi dữ liệu gán nhãn hạn chế.

Phương pháp nghiên cứu

• Nguồn dữ liệu: Dữ liệu thu thập từ mạng xã hội và báo mạng, tập trung vào ba lĩnh vực nhà hàng, hàng không và viễn thông. Bộ dữ liệu gồm 25.331 câu đã được gán nhãn sắc thái (8.545 câu tiêu cực, 7.473 câu tích cực, 9.313 câu trung lập), chia theo tỷ lệ 80% huấn luyện và 20% kiểm thử. Ngoài ra, bộ dữ liệu về lĩnh vực Ví điện tử gồm 2.669 bài viết cũng được sử dụng để đánh giá mô hình.

• Tiền xử lý dữ liệu: Làm sạch dữ liệu (loại bỏ thẻ HTML, đường dẫn, biểu tượng cảm xúc), tách câu bằng thư viện nltk, tách từ bằng pyvi, loại bỏ số và dấu câu không cần thiết, chuẩn hóa chữ thường, loại bỏ nội dung trùng lặp, thay thế tên thực thể bằng véc-tơ đặc biệt để tránh thiên lệch.

• Phương pháp phân tích: Xây dựng mô hình học sâu BiLSTM kết hợp học chuyển tiếp. Mô hình BiLSTM nhận đầu vào là chuỗi véc-tơ từ nhúng (word embedding) 300 chiều, được huấn luyện trên tập dữ liệu lớn chưa gán nhãn thông qua bài toán tự động mã hóa câu (sequence autoencoder). Thuật toán huấn luyện sử dụng hàm mất mát cross-entropy, tối ưu bằng thuật toán lan truyền ngược.

• Timeline nghiên cứu: Quá trình thu thập và tiền xử lý dữ liệu, xây dựng mô hình và huấn luyện kéo dài trong khoảng thời gian gần đây, với các bước thử nghiệm và đánh giá liên tục để tối ưu hiệu năng và độ chính xác.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

1. Hiệu quả mô hình phân loại sắc thái: Mô hình BiLSTM kết hợp học chuyển tiếp đạt độ chính xác trên tập kiểm thử khoảng 80%, với tỷ lệ cân bằng giữa các nhãn tích cực, tiêu cực và trung lập. Mô hình sử dụng tham số được huấn luyện trước có khả năng học ổn định hơn, giảm hiện tượng quá khớp so với mô hình không sử dụng.

2. Phân loại chủ đề văn bản: Các mô hình học sâu với nhiều lớp ẩn (từ 1 đến 6 lớp) được thử nghiệm, trong đó mô hình 3 lớp ẩn đạt độ chính xác cao nhất, khoảng 85% trên tập kiểm thử. So sánh với các thuật toán truyền thống như Naive Bayes và SVM, mô hình học sâu vượt trội hơn từ 5-10% về độ chính xác.

3. Khả năng bóc tách thực thể và phân tách nội dung: Thuật toán dựa trên hệ thống luật heuristic cho phép tách chính xác các đoạn văn bản liên quan đến từng thực thể, giúp mô hình phân loại sắc thái tập trung vào nội dung phù hợp. Đánh giá trên bộ dữ liệu thực tế cho thấy độ chính xác bóc tách đạt khoảng 90%.

4. Tác động của học chuyển tiếp: Việc sử dụng trọng số từ mô hình tự động mã hóa câu giúp cải thiện độ chính xác trên tập kiểm thử khoảng 3-5% so với mô hình huấn luyện từ đầu, đồng thời giảm thiểu hiện tượng quá khớp và tăng khả năng tổng quát hóa.

Thảo luận kết quả

Kết quả nghiên cứu cho thấy việc áp dụng mô hình học sâu BiLSTM hai chiều kết hợp học chuyển tiếp là giải pháp hiệu quả cho bài toán phân loại sắc thái văn bản tiếng Việt, đặc biệt trong bối cảnh dữ liệu gán nhãn hạn chế. Việc sử dụng học chuyển tiếp giúp mô hình tận dụng được lượng lớn dữ liệu chưa gán nhãn, cải thiện khả năng nhận diện sắc thái phức tạp trong ngữ cảnh đa chiều. So với các nghiên cứu trước đây chủ yếu tập trung vào tiếng Anh, nghiên cứu này đã điều chỉnh phù hợp đặc trưng ngôn ngữ tiếng Việt, như xử lý tách từ và đặc thù ngữ nghĩa, từ đó nâng cao tính khả thi khi triển khai thực tế.

Phân loại chủ đề văn bản cũng được cải thiện rõ rệt nhờ mô hình học sâu nhiều lớp, cho phép trích xuất đặc trưng phức tạp hơn so với các thuật toán truyền thống. Việc bóc tách thực thể dựa trên hệ thống luật heuristic tuy có giới hạn về khả năng khái quát, nhưng mang lại hiệu quả cao và dễ dàng điều chỉnh mở rộng cho các lĩnh vực mới.

Dữ liệu có thể được trình bày qua các biểu đồ so sánh độ chính xác và giá trị mất mát giữa các mô hình, cũng như bảng ma trận confusion thể hiện hiệu suất phân loại trên từng lớp sắc thái, giúp minh họa rõ ràng hiệu quả của phương pháp đề xuất.

Đề xuất và khuyến nghị

1. Triển khai hệ thống phân loại tự động trong doanh nghiệp: Áp dụng mô hình BiLSTM kết hợp học chuyển tiếp để xây dựng hệ thống phân loại văn bản thời gian thực, nhằm nâng cao hiệu quả khai thác thông tin khách hàng và thị trường. Thời gian triển khai dự kiến trong vòng 6 tháng, chủ thể thực hiện là phòng công nghệ thông tin và phân tích dữ liệu.

2. Mở rộng bộ dữ liệu gán nhãn và cập nhật mô hình định kỳ: Tăng cường thu thập và gán nhãn dữ liệu đa dạng hơn, đặc biệt trong các lĩnh vực mới, nhằm cải thiện độ chính xác và khả năng tổng quát của mô hình. Khuyến nghị thực hiện hàng quý với sự phối hợp của đội ngũ chuyên gia ngôn ngữ và kỹ thuật.

3. Phát triển thuật toán bóc tách thực thể nâng cao: Nghiên cứu và áp dụng các kỹ thuật học sâu để thay thế hoặc bổ sung cho hệ thống luật heuristic, nhằm tăng độ chính xác và khả năng xử lý các trường hợp phức tạp hơn. Thời gian nghiên cứu và thử nghiệm khoảng 12 tháng, do nhóm nghiên cứu AI đảm nhiệm.

4. Tích hợp giao diện người dùng trực quan: Xây dựng giao diện web thân thiện để hiển thị kết quả phân loại sắc thái và chủ đề, giúp người dùng dễ dàng theo dõi và khai thác thông tin. Dự kiến hoàn thành trong 3 tháng, do bộ phận phát triển phần mềm thực hiện.

Đối tượng nên tham khảo luận văn

1. Nhà nghiên cứu và sinh viên ngành Toán Tin và Trí tuệ nhân tạo: Luận văn cung cấp kiến thức nền tảng và ứng dụng thực tiễn về học sâu trong xử lý ngôn ngữ tự nhiên, hỗ trợ phát triển các đề tài nghiên cứu liên quan.

2. Chuyên gia và kỹ sư phát triển sản phẩm công nghệ ngôn ngữ: Tham khảo để áp dụng mô hình học sâu BiLSTM và học chuyển tiếp trong xây dựng các hệ thống phân loại văn bản, chatbot, và phân tích cảm xúc.

3. Doanh nghiệp hoạt động trong lĩnh vực truyền thông và marketing số: Sử dụng kết quả nghiên cứu để triển khai hệ thống phân tích sắc thái khách hàng, giúp nâng cao hiệu quả chiến lược kinh doanh và chăm sóc khách hàng.

4. Các tổ chức nghiên cứu và phát triển công nghệ xử lý tiếng Việt: Tài liệu cung cấp phương pháp và kết quả thực nghiệm cụ thể, hỗ trợ phát triển các công cụ NLP phù hợp với đặc thù ngôn ngữ Việt Nam.

Câu hỏi thường gặp

1. Mô hình học sâu BiLSTM có ưu điểm gì so với các mô hình truyền thống trong phân loại văn bản?
   BiLSTM xử lý dữ liệu theo cả hai chiều, giúp khai thác ngữ cảnh đầy đủ hơn, đặc biệt quan trọng trong việc nhận diện sắc thái phức tạp. So với các mô hình truyền thống như Naive Bayes hay SVM, BiLSTM có khả năng trích xuất đặc trưng phi tuyến và đạt độ chính xác cao hơn khoảng 5-10%.

2. Học chuyển tiếp giúp cải thiện mô hình như thế nào?
   Học chuyển tiếp tận dụng kiến thức từ một nhiệm vụ nguồn (ví dụ tự động mã hóa câu) để khởi tạo trọng số cho mô hình phân loại sắc thái, giúp mô hình học hiệu quả hơn trên dữ liệu gán nhãn hạn chế, giảm hiện tượng quá khớp và tăng khả năng tổng quát.

3. Làm thế nào để xử lý đặc thù tách từ trong tiếng Việt?
   Tiếng Việt có đặc điểm dấu cách phân tách âm tiết, không phải từ, nên cần sử dụng các công cụ tách từ chuyên biệt như pyvi để tạo ra các đơn vị ngữ nghĩa hợp lý, tránh sai lệch trong phân tích ngữ cảnh và sắc thái.

4. Thuật toán bóc tách thực thể dựa trên hệ thống luật có hạn chế gì?
   Phương pháp này dễ triển khai và giải thích, nhưng không thể khái quát hết các trường hợp phức tạp, có thể dẫn đến sai lệch hoặc dư thừa nội dung. Do đó, cần bổ sung hoặc thay thế bằng các kỹ thuật học sâu để nâng cao độ chính xác.

5. Làm sao để đánh giá chất lượng mô hình phân loại văn bản?
   Chất lượng được đánh giá qua các chỉ số như độ chính xác (accuracy), ma trận confusion, recall, precision và điểm F1. Ví dụ, mô hình trong nghiên cứu đạt độ chính xác khoảng 80% trên tập kiểm thử, với ma trận confusion cho thấy khả năng phân biệt tốt giữa các lớp sắc thái.

Kết luận

• Luận văn đã nghiên cứu và phát triển thành công các mô hình học sâu BiLSTM kết hợp học chuyển tiếp để giải quyết bài toán phân loại chủ đề và sắc thái văn bản tiếng Việt.
• Mô hình đạt độ chính xác cao, ổn định trên tập dữ liệu thực tế với hơn 25.000 câu đã gán nhãn, đồng thời có tính khả thi để triển khai trong thực tiễn.
• Thuật toán bóc tách thực thể dựa trên hệ thống luật heuristic giúp phân tách nội dung liên quan đến từng đối tượng, hỗ trợ hiệu quả cho quá trình phân loại sắc thái.
• Kết quả nghiên cứu góp phần nâng cao khả năng xử lý ngôn ngữ tự nhiên tiếng Việt, đặc biệt trong bối cảnh dữ liệu lớn và đa dạng trên mạng xã hội.
• Các bước tiếp theo bao gồm mở rộng bộ dữ liệu, phát triển thuật toán bóc tách thực thể nâng cao và xây dựng giao diện người dùng trực quan để ứng dụng rộng rãi hơn trong doanh nghiệp và nghiên cứu.

Mời quý độc giả và các nhà nghiên cứu tiếp tục khai thác và phát triển các mô hình học sâu trong xử lý ngôn ngữ tự nhiên để nâng cao hiệu quả ứng dụng trong nhiều lĩnh vực khác nhau.

Trích đoạn nội dung tài liệu

Chương 1 Cơ sở lý thuyết 1.1 Một số khái niệm cơ bản Máy học (Machine learning) là phương pháp giúp máy tính học từ dữ liệu mà không cần lập trình tường minh. [32] Một chương trình máy tính được gọi là học được từ kinh nghiệm E liên quan đến họ các công việc T và được đo hiệu suất bằng P nếu hiệu suất đo bởi P của chương trình khi thực hiện công việc trong T được cải thiện bằng kinh nghiệm E. Các bài toán máy học được chia làm hai loại chính là bài toán học có giám sát (supervised learning) [3] và bài toán học không giám sát (unsupervised learning) [1]. • Học có giám sát Cho tập các cặp đầu vào - đầu ra D = {(xi , yi)N i=1 }.

Mục tiêu của các bài toán học có giám sát là xây dựng ánh xạ f từ đầu vào xi đến đầu ra 9 LUẬN VĂN THẠC SỸ Võ Thị Quỳnh Trang yi. Khi đó, D được gọi là tập dữ liệu huấn luyện (training set) và N là số lượng mẫu huấn luyện. Thông thường, đầu vào của mỗi mẫu huấn luyện xi là một vectơ số d - chiều. Nó còn được gọi là đặc trưng hay thuộc tính của dữ liệu.

Đầu ra của mẫu yi có thể là một biến thuộc tập hữu hạn C = {c 1, c 2,. , ck } hoặc một biến có giá trị thực. Trong trường hợp yi thuộc tập hữu hạn, bài toán đó là bài toán phân loại (classication) [25], ngược lại, nếu yi nhận giá trị thực, đó là bài toán hồi quy (regression) [40]. • Học không giám sát Đối với các bài toán học không giám sát, dữ liệu chỉ có tập đầu vào i=1 và mục tiêu là tìm các thông tin "thú vị" từ dữ liệu.

Các bài D = {xi }N toán học không giám sát thường có định nghĩa kém rõ ràng hơn so với các bài toán học có giám sát vì bài toán không chỉ ra cụ thể thông tin cần tìm kiếm hay cách đánh giá độ chính xác của mô hình (trong các bài toán học có giám sát, ta có thể biết kết quả đúng sai dựa vào việc so sánh kết quả dự đoán với kết quả đúng). Hai lớp bài toán chính của học không giám sát là bài toán phân cụm (clustering) [52] và bài toán giảm chiều (dimensionality reduction) [49]. Các thuật toán máy học giúp máy tính giải quyết các vấn đề liên quan đến tri thức trong thực tế và đưa ra quyết định. Một số thuật toán máy học đơn giản có thể kể đến như thuật toán hồi quy logistic (logistic regression) [4] áp dụng trong việc quyết định cho vay tín dụng (credit scoring) [48], thuật toán Naive Bayes [30] trong bài toán phân loại email rác.

Chất lượng của các thuật toán máy học phụ thuộc nhiều vào biểu diễn dữ liệu được cung cấp. Một số bài toán có thể giải được bằng việc trích xuất 10 LUẬN VĂN THẠC SỸ Võ Thị Quỳnh Trang đúng đặc trưng và sử dụng thuật toán máy học đơn giản để đưa ra kết quả. Ví dụ, trong bài toán xác định người nói từ âm thanh, một trong những đặc trưng quan trọng là kích thước sóng âm, đặc trưng này dùng để phân biệt giọng nam, nữ và trẻ em. Tuy nhiên, trong một số bài toán, rất khó để biết đặc trưng nào cần được trích xuất và biểu diễn thế nào cho hợp lý.

Chẳng hạn, ta cần viết một chương trình xác định trong bức ảnh có chứa xe ô tô không. Rõ ràng một trong những cách xác định xe ô tô là dựa vào số lượng bánh xe của phương tiện, đây có thể coi là một đặc trưng của bài toán. Nhưng để mô tả chính xác cho máy tính cách xác định bánh xe dựa vào các điểm ảnh là rất khó. Từ đó, phương pháp học sâu (deep learning) được phát triển không chỉ ánh xạ từ biểu diễn đầu vào đến kết quả mà còn có thể học được cách biểu diễn dữ liệu phù hợp cho bài toán.2 Học sâu Học sâu (deep learning) [8] là phương pháp cho máy tính học từ kinh nghiệm và hiểu thực tế thông qua các khái niệm phân cấp, với mỗi khái niệm được định nghĩa bởi khái niệm đơn giản hơn liên quan đến nó.

Bằng cách học thông qua kinh nghiệm, phương pháp này không cần người dùng phải quy định cụ thể từng kiến thức cho máy tính. Đồ thị thể hiện cách xây dựng các khái niệm này bao gồm nhiều lớp (số lượng lớp là độ sâu của mô hình), do đó phương pháp này được gọi là học sâu. Các thuật toán học sâu được xây dựng dựa trên các mạng nơ-ron nhân tạo (Artificial Neural Networks - ANNs) [53]. Mạng nơ-ron nhân tạo cung cấp một phương thức chung, thiết thực trong việc học các hàm giá trị thực, giá 11 LUẬN VĂN THẠC SỸ Võ Thị Quỳnh Trang trị rời rạc hay giá trị véc tơ.

Thuật toán lan truyền ngược (back propagation) [14] sử dụng hướng giảm gradient (gradient descent) [38] nhằm điều chỉnh tham số trong mạng sao cho khớp nhất có thể với bộ dữ liệu trong tập huấn luyện. Việc học trong mạng nơ-ron nhân tạo tập trung chủ yếu vào việc tối ưu hóa lỗi trong tập dữ liệu huấn luyện. Các thuật toán này đã được áp dụng thành công trong nhiều ứng dụng của cuộc sống như nhận diện khuôn mặt (face recognition) [18], nhận diện giọng nói [35] hay chương trình trả lời tự động (chatbot) [41]. Cách thức học của mạng nơ-ron nhân tạo được lấy cảm hứng từ việc quan sát hệ thống học tập sinh học được xây dựng bằng các nơ-ron liên kết với nhau thành một mạng phức tạp.

Mạng nơ-ron nhân tạo được xây dựng từ một tập hợp các đơn vị đơn giản kết nối dày đặc với nhau, trong đó mỗi đơn vị có đầu vào là giá trị thực (có thể là đầu ra của đơn vị khác) và tạo ra một đầu ra có giá trị thực (có thể trở thành đầu vào cho nhiều đơn vị khác). Đơn vị đó là perceptron. Giới thiệu về perceptron Perceptron [37] là đơn vị cơ bản của mạng nơ-ron nhân tạo, được mô tả như Hình 1. Perceptron có đầu vào là một véc-tơ mang giá trị thực, thực hiện tính tổ hợp tuyến tính đối với đầu vào đó.

Perceptron nhận giá trị 1 nếu kết quả của phép tính lớn hơn ngưỡng cho trước và nhận giá trị −1 trong trường hợp ngược lại. Cụ thể, cho đầu vào X = [1, x1 , x2 ,. , xn ], khi đó, giá trị đầu ra o(X ) của perceptron được tính bởi công thức:   1 nếu W T · X > 0 o(X ) = −1 ngược lại 12 LUẬN VĂN THẠC SỸ Võ Thị Quỳnh Trang Trong đó W = [w0 , w1,. , wn] với w i là hằng số nhận giá trị thực, được gọi là trọng số của mô hình.

Tham số này quyết định mức độ ảnh hưởng của đầu vào xi đối với giá trị đầu ra của perceptron. Việc học trong perceptron tương đương với việc chọn lựa bộ tham số w 0, w1 ,. , wn sao cho khớp với bộ dữ liệu huấn luyện. Để tìm được bộ trọng số phù hợp với dữ liệu, đầu tiên cần xác định giá trị lỗi của mô hình (hay còn gọi là hàm mất mát).

Một trong những cách tính giá trị này là 1 2 d∑ E(W ) = (t d − od ) ∈D với D là tập dữ liệu huấn luyện, t d là mục tiêu đầu ra của mẫu dữ liệu d , od là đầu ra do mô hình dự đoán. Khi đó, E là một hàm của W vì od phụ thuộc vào W. Tham số trong mô hình được cập nhật thông qua gradient của E. Gradient [51] của E là một véc-tơ với các thành phần là đạo hàm của E theo thành phần đó.

Quy tắc cập nhật như sau: W = W − η∇E (W ) trong đó η là một hằng số dương được gọi là tốc độ học (learning rate). Giá trị này nhằm xác định kích thước bước giảm tiếp theo trong mỗi vòng lặp. Quá trình cập nhật tham số trong mô hình được thực hiện cho đến khi thu được giá trị nhỏ nhất của E hoặc thỏa mãn một điều kiện nào đó quy định trước. 13 LUẬN VĂN THẠC SỸ Võ Thị Quỳnh Trang Hình 1.1: Kiến trúc của một perceptron Một cách trực quan, có thể coi perceptron như một siêu phẳng quyết định trong không gian n−chiều biểu diễn đầu vào.

Giá trị đầu ra của perceptron bằng 1 biểu diễn các đối tượng nằm về một phía của siêu phẳng và các giá trị bằng −1 biểu diễn các đối tượng nằm ở phía còn lại, Hình 1. Tập dữ liệu có thể phân tách được bởi một siêu phẳng được gọi là tách được tuyến tính (linear separable). Trong trường hợp tập dữ liệu được biểu diễn như Hình 1.2b, cần nhiều hơn một siêu phẳng để phân tách dữ liệu, nói cách khác, kiến trúc mạng nơ-ron cần nhiều perceptron hơn. Một trong những kiến trúc cơ bản là mạng nơ-ron nhiều lớp (multi-layer perceptron).

Mạng nơ-ron nhiều lớp Mạng nơ-ron nhiều lớp (multi-layer perceptron) [33] là một mô hình học sâu cơ bản. Mục tiêu của mô hình là xấp xỉ hàm mục tiêu f ∗ (có thể là hàm tuyến tính hoặc phi tuyến). Ví dụ, trong bài toán phân lớp, hàm mục tiêu y = f ∗(x) ánh xạ giữa đầu vào x với lớp y tương ứng. Khi đó, mô hình mạng nơ-ron nhiều lớp sẽ xây dựng ánh xạ y = f (x, θ ) và tìm các giá trị của tham số θ sao cho đạt kết quả xấp xỉ tốt nhất với hàm f ∗.

14 LUẬN VĂN THẠC SỸ Võ Thị Quỳnh Trang Hình 1.2: Mặt phẳng quyết định tạo bởi perceptron với đầu vào hai chiều. a) Tập dữ liệu luyện có thể phân tách rõ ràng bởi một perceptron. b) Tập dữ liệu luyện không thể tách tuyến tính.3: Kiến trúc một mạng nơ-ron nhiều lớp Kiến trúc một mạng nơ-ron nhiều lớp được minh họa như Hình 1. Mạng bao gồm một lớp đầu vào (input layer), một hoặc nhiều lớp ẩn (hidden layer) và một lớp đầu ra (output layer).

Số lượng lớp trong mạng được gọi là độ sâu của mô hình. Mô hình mạng nơ-ron nhiều lớp có đặc điểm sau: 15 LUẬN VĂN THẠC SỸ Võ Thị Quỳnh Trang 1. Mô hình của mỗi nơ-ron trong mạng nơ-ron nhiều lớp chứa một hàm kích hoạt phi tuyến (nonlinear activation function) [43]. Hàm này giúp mạng nơ-ron nhiều lớp có thể xấp xỉ được hàm phi tuyến.

Một hàm kích hoạt phổ biến là hàm sigmoid [12] được cho bởi công thức: 1 yi = 1 + exp(−vi ) với vi là giá trị địa phương tại nơ-ron i và yi là đầu ra của nơ-ron đó.