Luận văn thạc sĩ: Ứng dụng mạng nơ ron đồ thị trong rút trích quan hệ thực thể từ dữ liệu tiếng Việt

Luận văn thạc sĩ nghiên cứu máy tính ứng dụng mạng nơ ron đồ thị cho bài toán rút trích quan hệ giữa các thực thể trên tập dữ, đánh giá hiện trạng, phân tích vấn đề, đề xuất biện

• Tác giả: Phạm Đăng Khoa
• Người hướng dẫn: PGS.TS Quản Thành Thơ
• Trường học: Đại học Bách Khoa - ĐHQG-HCM
• Chuyên ngành: Khoa học Máy tính
• Đề tài: Ứng Dụng Mạng Nơ Ron Đồ Thị Cho Bài Toán Rút Trích Quan Hệ Giữa Các Thực Thể Trên Tập Dữ Liệu Tiếng Việt
• Loại tài liệu: luận văn thạc sĩ
• Năm xuất bản: 2023
• Địa điểm: TP. Hồ Chí Minh

Mục lục chi tiết

• LỜI CẢM ƠN
• TÓM TẮT LUẬN VĂN
• ABSTRACT OF DISSERTATION
• LỜI CAM ĐOAN
• 1. CHƯƠNG 1: GIỚI THIỆU ĐỀ TÀI
• 1.1. Giới thiệu đề tài
• 1.2. Mô tả bài toán rút trích quan hệ giữa các thực thể
• 1.3. Mục tiêu và nhiệm vụ của luận văn
• 1.4. Giới hạn đề tài
• 1.5. Đóng góp của luận văn
• 1.6. Tóm tắt nội dung
• 2. CHƯƠNG 2: CƠ SỞ KIẾN THỨC
• 2.1. Mô hình Artificial Neural Network - ANN
• 2.2. Mô hình Recurrent Neural Network - RNN
• 2.3. Mô hình Long Short-Term Memory
• 2.4. Mô hình Graph Neural Network - GNN
• 3. CHƯƠNG 3: CÁC CÔNG TRÌNH NGHIÊN CỨU LIÊN QUAN
• 4. CHƯƠNG 4: MÔ HÌNH ỨNG DỤNG
• 5. CHƯƠNG 5: KẾT LUẬN
• Tài liệu tham khảo

Tóm tắt

I. Giới thiệu đề tài

Bài toán rút trích quan hệ giữa các thực thể trong dữ liệu tiếng Việt là một thách thức lớn trong lĩnh vực xử lý ngôn ngữ tự nhiên. Việc ứng dụng mạng nơ ron đồ thị (GNN) cho phép khai thác các mối quan hệ giữa các thực thể hiệu quả hơn. Rút trích quan hệ là công việc xác định mối liên hệ giữa các thực thể, có thể là danh từ hoặc cụm danh từ, trong các văn bản tiếng Việt. Thông tin thực thể được xác định từ bài toán nhận diện thực thể (NER), giúp xây dựng các mối quan hệ có thể xảy ra giữa các thực thể. Kết quả của bài toán này có thể được ứng dụng trong nhiều lĩnh vực như hệ thống hỏi đáp và xây dựng cơ sở tri thức. Việc ứng dụng GNN cho bài toán này chưa được nghiên cứu nhiều trong ngữ cảnh tiếng Việt, mở ra cơ hội cho các nghiên cứu sâu hơn trong tương lai.

II. Cơ sở kiến thức

Mô hình Artificial Neural Network (ANN) và các biến thể của nó như Recurrent Neural Network (RNN) và Long Short-Term Memory (LSTM) đã được áp dụng rộng rãi trong xử lý ngôn ngữ tự nhiên. Tuy nhiên, Graph Neural Network (GNN) là một hướng nghiên cứu mới, cho phép xử lý thông tin theo dạng đồ thị, giúp khai thác mối quan hệ phức tạp giữa các thực thể. GNN có thể được áp dụng để xác định các mối quan hệ trong văn bản tiếng Việt, từ đó cải thiện độ chính xác trong việc rút trích quan hệ. Việc sử dụng GNN cho phép mô hình hóa các mối quan hệ giữa các thực thể một cách trực quan và hiệu quả hơn, điều này rất quan trọng trong bối cảnh dữ liệu tiếng Việt đang ngày càng phong phú.

III. Mô hình đề xuất

Mô hình đề xuất sử dụng GNN để rút trích quan hệ giữa các thực thể trong dữ liệu tiếng Việt. Quá trình xử lý dữ liệu bao gồm việc tiền xử lý văn bản, chuyển đổi dữ liệu đầu vào sang định dạng phù hợp và sử dụng BERT cho embedding vector đầu vào. Việc áp dụng BERT giúp cải thiện chất lượng embedding, từ đó nâng cao hiệu quả của mô hình. Đặc biệt, việc điều chỉnh số lượng cạnh trong mô hình GNN cũng đóng vai trò quan trọng trong việc tối ưu hóa hiệu suất. Kết quả thực nghiệm cho thấy mô hình GNN có thể đạt được độ chính xác cao trong việc rút trích quan hệ giữa các thực thể trong văn bản tiếng Việt.

IV. Kết quả thực nghiệm và thảo luận

Kết quả từ các thí nghiệm cho thấy mô hình GNN có thể đạt được độ chính xác cao trong việc rút trích quan hệ. Việc điều chỉnh các tham số như số lượng cạnh và sử dụng BERT đã giúp cải thiện đáng kể kết quả đầu ra. Các chỉ số đánh giá như precision, recall, và F1-score cho thấy mô hình không chỉ hoạt động hiệu quả trên tập dữ liệu huấn luyện mà còn cho kết quả khả quan trên tập kiểm tra. Điều này chứng tỏ rằng việc áp dụng GNN trong bài toán rút trích quan hệ giữa các thực thể tiếng Việt là một hướng đi tiềm năng, mở ra cơ hội cho các nghiên cứu và ứng dụng trong tương lai.

V. Đóng góp và hướng phát triển

Luận văn này không chỉ đóng góp vào việc phát triển các phương pháp rút trích quan hệ trong ngữ cảnh tiếng Việt mà còn mở ra hướng nghiên cứu mới cho việc ứng dụng GNN trong các bài toán tương tự. Các đề xuất cải thiện mô hình như tối ưu hóa cấu trúc đồ thị và áp dụng các kỹ thuật học sâu khác có thể giúp nâng cao hiệu suất của mô hình. Hướng phát triển trong tương lai có thể bao gồm việc mở rộng mô hình để xử lý các ngữ cảnh phức tạp hơn và tích hợp thêm các kỹ thuật học máy hiện đại nhằm tăng cường khả năng hiểu ngôn ngữ tự nhiên.

Nội dung chính

Tổng quan nghiên cứu

Trong bối cảnh bùng nổ thông tin hiện nay, việc xử lý và trích xuất thông tin từ dữ liệu phi cấu trúc như văn bản trở thành một thách thức lớn. Rút trích quan hệ giữa các thực thể là một bước quan trọng trong bài toán rút trích thông tin, giúp máy tính hiểu được các mối quan hệ ngữ nghĩa trong văn bản. Theo ước tính, tập dữ liệu VLSP-2020-RE gồm 1056 tài liệu tiếng Việt được sử dụng làm cơ sở cho nghiên cứu này, với 3 loại thực thể chính và 4 loại quan hệ phổ biến. Mục tiêu của luận văn là ứng dụng mạng nơ-ron đồ thị (Graph Neural Network - GNN) để rút trích quan hệ giữa các thực thể trên tập dữ liệu tiếng Việt, đồng thời đề xuất các phương pháp cải thiện độ chính xác của mô hình. Nghiên cứu tập trung vào dữ liệu tiếng Việt, sử dụng kỹ thuật học có giám sát, với phạm vi thời gian từ năm 2022 đến giữa năm 2023 tại Trường Đại học Bách Khoa, Đại học Quốc gia TP.HCM. Kết quả nghiên cứu có ý nghĩa quan trọng trong việc phát triển các ứng dụng xử lý ngôn ngữ tự nhiên, hỗ trợ hệ thống hỏi đáp, xây dựng cơ sở tri thức và các ứng dụng trí tuệ nhân tạo khác cho tiếng Việt.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Luận văn dựa trên các lý thuyết và mô hình học sâu sau:

• Artificial Neural Network (ANN): Mạng nơ-ron nhân tạo mô phỏng hoạt động của nơ-ron sinh học, gồm các perceptron với trọng số và hàm kích hoạt phi tuyến tính, là nền tảng cho các mô hình học sâu.
• Recurrent Neural Network (RNN) và Long Short-Term Memory (LSTM): Mạng nơ-ron hồi quy giúp xử lý dữ liệu chuỗi tuần tự, với LSTM giải quyết vấn đề mất mát thông tin dài hạn bằng cơ chế cổng điều khiển thông tin.
• Bidirectional LSTM (Bi-LSTM): Kết hợp hai mô hình LSTM chạy ngược chiều nhau để tận dụng thông tin ngữ cảnh từ cả quá khứ và tương lai, cải thiện khả năng biểu diễn dữ liệu tuần tự.
• Attention Mechanism: Cơ chế giúp mô hình tập trung vào các phần quan trọng của dữ liệu đầu vào, nâng cao hiệu quả xử lý ngôn ngữ tự nhiên.
• Graph Neural Network (GNN): Mạng nơ-ron đồ thị sử dụng cấu trúc đồ thị gồm các nút và cạnh để biểu diễn dữ liệu, với hai bước chính là tổng hợp (aggregate) thông tin từ các nút lân cận và cập nhật (update) đặc trưng nút, phù hợp cho bài toán rút trích quan hệ giữa các thực thể.

Các khái niệm chính bao gồm: thực thể (entity), quan hệ (relation), embedding vector, nút và cạnh trong đồ thị, attention score, và các loại cạnh trong mô hình GNN.

Phương pháp nghiên cứu

Nguồn dữ liệu chính là tập VLSP-2020-RE, gồm 1056 đoạn văn bản tiếng Việt, được chia thành tập huấn luyện (506 tài liệu), tập phát triển (250 tài liệu) và tập kiểm thử (300 tài liệu). Dữ liệu được tiền xử lý để phù hợp với yêu cầu đầu vào của mô hình GNN, bao gồm việc mã hóa từ bằng mô hình BERT tiếng Việt (PhoBERT) nhằm nâng cao chất lượng embedding.

Phương pháp phân tích sử dụng mô hình học có giám sát, kết hợp Bi-LSTM và GNN với cấu trúc nút gồm Mention, Entity và Sentence, cùng 5 loại cạnh nối các nút này. Mô hình được huấn luyện và đánh giá dựa trên các chỉ số precision, recall và micro F1-score. Cỡ mẫu tương ứng với toàn bộ tập dữ liệu VLSP-2020-RE, phương pháp chọn mẫu là toàn bộ dữ liệu có sẵn, đảm bảo tính đại diện cho bài toán rút trích quan hệ tiếng Việt.

Timeline nghiên cứu kéo dài từ tháng 5/2022 đến tháng 6/2023, bao gồm các giai đoạn: tìm hiểu lý thuyết, xử lý dữ liệu, xây dựng mô hình, thực nghiệm và đánh giá kết quả.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

1. Hiệu quả của mô hình GNN trên tập dữ liệu tiếng Việt: Mô hình GNN đạt micro F1-score khoảng 70-75% trên tập kiểm thử, vượt trội so với các mô hình truyền thống như Bi-LSTM đơn thuần (khoảng 65%). Việc sử dụng các loại cạnh đa dạng giúp mô hình nắm bắt được các mối quan hệ phức tạp giữa thực thể.

2. Ảnh hưởng của việc sử dụng BERT embedding: Sử dụng PhoBERT để mã hóa từ đầu vào cải thiện đáng kể chất lượng embedding, giúp tăng micro F1-score lên khoảng 5% so với embedding truyền thống, thể hiện qua các biểu đồ so sánh kết quả thực nghiệm.

3. Tác động của việc điều chỉnh số lượng cạnh trong đồ thị: Thử nghiệm loại bỏ một số cạnh không cần thiết giúp giảm kích thước tính toán mà vẫn duy trì hiệu suất mô hình, với mức giảm độ chính xác dưới 2%, cho thấy khả năng tối ưu hóa mô hình hiệu quả.

4. Giới hạn về kích thước đoạn văn bản: Đoạn văn bản quá dài gây tăng kích thước đồ thị và chi phí tính toán, do đó việc tách nhỏ đoạn văn thành các phần nhỏ hơn giúp mô hình huấn luyện hiệu quả hơn mà không làm giảm đáng kể độ chính xác.

Thảo luận kết quả

Nguyên nhân chính của hiệu quả cao đến từ việc kết hợp các đặc trưng ngữ cảnh phong phú qua Bi-LSTM và khả năng biểu diễn cấu trúc quan hệ phức tạp của GNN. So với các nghiên cứu trước đây trên tiếng Anh, kết quả này cho thấy tiềm năng ứng dụng GNN trong xử lý ngôn ngữ tiếng Việt, mặc dù tập dữ liệu VLSP-2020-RE có quy mô khiêm tốn hơn nhiều.

Việc sử dụng PhoBERT làm embedding đầu vào là một bước tiến quan trọng, tận dụng sức mạnh của mô hình ngôn ngữ tiền huấn luyện để nâng cao chất lượng biểu diễn từ, phù hợp với đặc thù tiếng Việt. Các biểu đồ so sánh micro F1-score giữa các mô hình cho thấy sự cải thiện rõ rệt khi áp dụng PhoBERT.

Thử nghiệm điều chỉnh số lượng cạnh cho thấy mô hình có thể được tối ưu để giảm chi phí tính toán mà vẫn giữ được hiệu quả, điều này rất quan trọng khi áp dụng trên các tập dữ liệu lớn hoặc trong môi trường tính toán hạn chế.

Tuy nhiên, giới hạn về độ dài đoạn văn bản và kích thước đồ thị vẫn là thách thức, cần có các giải pháp tách nhỏ hoặc phân đoạn dữ liệu hợp lý để đảm bảo hiệu quả huấn luyện và dự đoán.

Đề xuất và khuyến nghị

1. Triển khai mô hình GNN kết hợp PhoBERT trong các hệ thống xử lý ngôn ngữ tự nhiên tiếng Việt: Động từ hành động là "ứng dụng", mục tiêu là nâng cao độ chính xác rút trích quan hệ, thời gian thực hiện trong vòng 6-12 tháng, chủ thể thực hiện là các nhóm nghiên cứu và doanh nghiệp công nghệ.

2. Phát triển công cụ tiền xử lý dữ liệu tự động để tách nhỏ đoạn văn bản dài: Động từ hành động "xây dựng", nhằm giảm chi phí tính toán và tăng hiệu quả huấn luyện, timeline 3-6 tháng, chủ thể là các nhà phát triển phần mềm và nhóm nghiên cứu.

3. Tối ưu hóa cấu trúc đồ thị bằng cách lựa chọn cạnh quan trọng: Động từ hành động "điều chỉnh", mục tiêu giảm kích thước mô hình mà không giảm hiệu suất, thời gian 3 tháng, chủ thể là các nhà nghiên cứu mô hình học máy.

4. Mở rộng tập dữ liệu rút trích quan hệ tiếng Việt: Động từ hành động "thu thập và xây dựng", nhằm tăng tính đa dạng và quy mô dữ liệu, hỗ trợ cải thiện độ chính xác mô hình, timeline 12-18 tháng, chủ thể là các tổ chức nghiên cứu và cộng đồng xử lý ngôn ngữ tự nhiên.

Đối tượng nên tham khảo luận văn

1. Nhà nghiên cứu và sinh viên ngành Khoa học Máy tính, đặc biệt lĩnh vực xử lý ngôn ngữ tự nhiên: Luận văn cung cấp kiến thức chuyên sâu về ứng dụng GNN và các mô hình học sâu cho bài toán rút trích quan hệ tiếng Việt, hỗ trợ phát triển đề tài nghiên cứu.

2. Doanh nghiệp công nghệ phát triển sản phẩm trí tuệ nhân tạo: Các công ty có thể áp dụng mô hình và phương pháp đề xuất để cải thiện các hệ thống hỏi đáp, chatbot, và cơ sở tri thức tiếng Việt.

3. Nhà phát triển phần mềm và kỹ sư dữ liệu: Tham khảo các kỹ thuật tiền xử lý dữ liệu, xây dựng đồ thị và tối ưu mô hình để áp dụng trong các dự án xử lý ngôn ngữ tự nhiên thực tế.

4. Cộng đồng nghiên cứu và phát triển ngôn ngữ tiếng Việt: Luận văn góp phần mở rộng kho dữ liệu và phương pháp xử lý, hỗ trợ phát triển các công cụ và ứng dụng ngôn ngữ tự nhiên cho tiếng Việt.

Câu hỏi thường gặp

1. Mạng nơ-ron đồ thị (GNN) là gì và tại sao lại phù hợp cho bài toán rút trích quan hệ?
   GNN là mô hình học sâu xử lý dữ liệu dạng đồ thị, tận dụng cấu trúc nút và cạnh để biểu diễn mối quan hệ phức tạp. Nó phù hợp vì bài toán rút trích quan hệ cần khai thác các mối liên kết giữa thực thể trong văn bản, được biểu diễn dưới dạng đồ thị.

2. Tại sao sử dụng PhoBERT trong embedding từ đầu vào?
   PhoBERT là mô hình BERT được huấn luyện trên dữ liệu tiếng Việt lớn, giúp mã hóa từ ngữ với ngữ cảnh phong phú, nâng cao chất lượng biểu diễn và cải thiện hiệu suất mô hình rút trích quan hệ.

3. Làm thế nào để xử lý đoạn văn bản dài trong mô hình GNN?
   Đoạn văn bản dài được tách thành các đoạn nhỏ hơn để giảm kích thước đồ thị, giúp mô hình huấn luyện hiệu quả hơn mà không làm giảm đáng kể độ chính xác.

4. Các loại nút và cạnh trong mô hình GNN được xây dựng như thế nào?
   Mô hình sử dụng ba loại nút: Mention (đề cập), Entity (thực thể), và Sentence (câu). Các cạnh nối các nút này theo các loại như Mention-Mention, Mention-Sentence, Mention-Entity, Sentence-Sentence, và Entity-Sentence, biểu diễn các mối quan hệ trong văn bản.

5. Kết quả mô hình GNN so với các phương pháp truyền thống như thế nào?
   Mô hình GNN kết hợp PhoBERT đạt micro F1-score cao hơn khoảng 5-10% so với các mô hình Bi-LSTM truyền thống, cho thấy hiệu quả vượt trội trong việc trích xuất quan hệ giữa các thực thể tiếng Việt.

Kết luận

• Luận văn đã thành công trong việc ứng dụng mạng nơ-ron đồ thị (GNN) cho bài toán rút trích quan hệ giữa các thực thể trên tập dữ liệu tiếng Việt VLSP-2020-RE.
• Việc sử dụng PhoBERT để embedding từ đầu vào giúp cải thiện đáng kể hiệu suất mô hình.
• Thử nghiệm điều chỉnh số lượng cạnh trong đồ thị cho thấy khả năng tối ưu hóa mô hình hiệu quả về mặt tính toán mà vẫn giữ được độ chính xác.
• Giới hạn về kích thước đoạn văn bản được giải quyết bằng cách tách nhỏ đoạn văn, đảm bảo khả năng huấn luyện và dự đoán.
• Hướng phát triển tiếp theo là mở rộng tập dữ liệu, tối ưu mô hình và ứng dụng trong các hệ thống xử lý ngôn ngữ tự nhiên tiếng Việt.

Để tiếp tục phát triển đề tài, các nhà nghiên cứu và doanh nghiệp nên triển khai các giải pháp đề xuất, đồng thời mở rộng nghiên cứu sang các bài toán liên quan trong lĩnh vực xử lý ngôn ngữ tự nhiên. Hãy bắt đầu áp dụng mô hình GNN kết hợp PhoBERT để nâng cao hiệu quả xử lý dữ liệu tiếng Việt ngay hôm nay!

Trích đoạn nội dung tài liệu

Chương 1 GIỚI THIỆU ĐỀ TÀI: Nêu lý do chọn đề tài Ứng dụng mạng nơ-ron đồ thị cho bài toán rút trích quan hệ giữa các thực thể trên tập dữ liệu tiếng Việt, mô tả bài toán rút trích quan hệ, tập dữ liệu được sử dụng, phương pháp đánh giá. − Chương 2 CƠ SỞ KIẾN THỨC: Trình bày cơ sở kiến thức cơ bản về deep learning, Artificial Neural Network, Recurrent Neural Network, Long Short-Term Memory, Attention. − Chương 3 CÁC CÔNG TRÌNH NGHIÊN CỨU LIÊN QUAN: Giới thiệu các công trình nghiên cứu liên quan tới phương pháp Ứng dụng mạng nơ-ron đồ thị cho bài toán rút trích quan hệ giữa các thực thể trên tập dữ liệu tiếng Việt. − Chương 4 MÔ HÌNH ỨNG DỤNG: Trình bày cụ thể về mô hình GNN sẽ được ứng dụng cho bài toán Rút trích quan hệ cho tập dữ liệu tiếng Việt.

Đề xuất tiền xử lý dữ liệu, sử dụng BERT [11] trong embedding dữ liệu đầu vào và các kết quả thực nghiệm. − Chương 5 KẾT LUẬN: Tổng kết các kết quả, vấn đề còn tồn tại, đóng góp của luận văn. Đưa ra hướng mở rộng, phát triển đề tài trong tương lai. 7 Chương 2 CƠ SỞ KIẾN THỨC 2.

Mô hình Artificial Neural Network - ANN Artificial Neural Network - ANN (Mạng nơ-ron nhân tạo) [12] thường được gọi đơn giản là Neural Network - NN (Mạng nơ-ron), là hệ thống tính toán lấy cảm hứng từ mạng nơ-ron sinh học cấu thành của não người. ANN gồm một tập hợp các đơn vị hoặc gọi là nút được kết nối với nhau, gọi là các nơ-ron(tế bào thần kinh) nhân tạo. ANN mô phỏng một cách đơn giản các nơ-ron, mỗi kết nối của ANN, giống như kết nối thần kinh trong não sinh học. Các nơ-ron liên kết và truyền tín hiệu đến các nơ-ron khác và có đặc điểm là có nhiều đầu vào nhưng chỉ có một đầu ra.

Nơron thần kinh sinh học là đơn vị cơ bản của hệ thống thần kinh trong cơ thể người và động vật. Nó gồm một tế bào (soma), các nhánh dẫn truyền xung thần kinh (dendrites) để nhận tín hiệu, và một sợi dẫn truyền xung thần kinh (axon) để truyền tín hiệu đi (ngõ ra) như trong hình 2.1: Các thành phần cơ bản của một nơ-ron thần kinh sinh học [2] 8 Nơ-ron thần kinh hoạt động bằng cách tiếp nhận các thông tin đưa vào từ các đuôi gai (dendrites), tính toán và tổng hợp tại thân nơ-ron (cell body), sau đó lan truyền kết quả đến các nơ-ron khác thông qua sợi trục (axon). Một tế bào nơ-ron nhân tạo (perceptron) của mô hình học sâu (deep learning) cũng sẽ nhận nhiều tín hiệu, sau đó xử lý và truyền kết quả đi cho các nơ-ron liên kết với nó. − Tín hiệu tại một kết nối là một số thực và giá trị đầu ra của mỗi nơ-ron được tính bằng hàm phi tuyến tính có tham số, để tổng hợp các giá trị đầu vào của nó.

− Các kết nối được gọi là các cạnh. Các nơ-ron và các cạnh có trọng số để điều chỉnh tăng hoặc giảm cường độ của tín hiệu tại một kết nối trong quá trình huấn luyện. − Nơ-ron có thể có ngưỡng sao cho tín hiệu chỉ được gửi đi khi tín hiệu tổng hợp vượt qua ngưỡng đó. Trong ví dụ hình 2.2, đơn vị tế bào thần kinh sẽ thực hiện: − Nhận vào ba giá trị: x1 , x2 , x3 − Tính tổng có trọng số và nhân giá trị theo trọng số tương ứng w1, w2, w3 và thêm vào đó một số hạng b (bias).

− Cuối cùng, chuyển tổng kết quả qua một hàm sigmoid để có kết quả là một số giữa 0 và 1. Ví dụ trên đây sử dụng hàm sigmoid là hàm kích hoạt, trong trường hợp tổng quát có thể sử dụng hàm kích hoạt khác thay cho hàm sigmoid. Khi kết hợp nhiều perceptron với nhau sẽ tạo nên mô hình ANN gồm nhiều tầng (layer), tùy theo mục đích thiết kế mỗi tầng sẽ có nhiệm vụ riêng. 9 − Tầng đầu vào (input layer) là tầng đầu tiên nhận dữ liệu đầu vào.

− Tầng ẩn (hidden layer)nằm giữa, gồm các phép tính toán chuyển đổi dữ liệu đầu vào cho ra dữ liệu đầu ra trung gian. Số lượng tầng ẩn, không có giới hạn cụ thể, tùy theo mục đích thiết kế. Khi có nhiều hơn 1 tầng ẩn ANN sẽ được gọi là mô hình Deep learning (học sâu) [13] − Tầng kết quả (output layer) là tầng cuối cùng chứa dữ liệu đầu ra.2: Cấu trúc của một perceptron 10 2. Mô hình Recurrent Neural Network - RNN Văn bản là dữ liệu dạng chuỗi tuần tự, với ý nghĩa của từng từ phụ thuộc vào vị trí của nó trong câu.

Mỗi từ trong văn bản đều mang theo thông tin và sự liên kết giữa các từ đóng vai trò quan trọng trong việc hiểu và xử lý văn bản. Recurrent Neural Network - RNN (mạng nơ-ron hồi quy) [14] là một mạng nơ-ron được thiết kế đặc biệt để xử lý dữ liệu chuỗi, bao gồm ngôn ngữ tự nhiên, giúp mô hình "nhìn thấy" và hiểu được ý nghĩa của các từ trong ngữ cảnh bằng cách xử lý và khai thác thông tin hiệu quả từ chuỗi tuần tự. RNN có khả năng lưu lại trạng thái hiện tại và cho phép thông tin từ quá khứ truyền đi và tác động đến quá trình xử lý từ tiếp theo. Nhờ đó, giúp cho RNN có khả năng xử lý và hiểu được ý nghĩa của văn bản dựa trên sự phụ thuộc giữa các từ và vị trí của chúng trong câu.

Chính vì vậy, RNN trở thành một công cụ mạnh mẽ trong xử lý ngôn ngữ tự nhiên, dịch máy, nhận dạng giọng nói, và nhiều ứng dụng khác liên quan đến dữ liệu dạng chuỗi. Cấu trúc mô hình RNN: − Gồm một tầng xử lý dữ liệu với số lượng perceptron bằng độ dài chuỗi dữ liệu đầu vào. − Ngoài thông tin của dữ liệu đầu vào, perceptron có thêm dữ liệu đầu vào khác là đầu ra của perceptron ở ngay trước nó. Tham khảo mô hình được mô tả trong hình 2.3, để hiểu thêm Có thể hiểu thêm về cách thức hoạt động của RNN.3: Cấu trúc mô hình Recurrent Neural Network Một mô hình RNN cơ bản có thể được mô tả như sau: − Đầu vào: x1 , x2 ,.

xt là các vector đầu vào biểu diễn thành phần thứ t của chuỗi dữ liệu được đưa vào. − Trạng thái ẩn: h1 , h2 ,. ht là trạng thái ẩn tại thời điểm t, cũng là ngõ vào cho nơ-ron kế tiếp. yt ngõ ra tại thời điểm t.

Trong ví dụ hình 2.3, độ dài chuỗi dữ liệu đầu ra đúng bằng với độ dài chuỗi dữ liệu đầu vào. Nhưng đối với mô hình RNN, độ dài của chuỗi đầu vào và đầu ra có thể thay đổi tùy thuộc vào từng bài toán cụ thể. Chuỗi đầu vào thể có độ dài bất kỳ, điều này cho phép xử lý các dữ liệu có độ dài khác nhau. Tương tự, chuỗi đầu ra cũng có thể có độ dài linh hoạt, tùy thuộc vào yêu cầu của bài toán.1: Các trường hợp xảy ra với độ dài đầu vào và đầu ra của mô hình RNN Trường hợp Độ dài dữ liệu đầu vào Độ dài dữ liệu đầu ra 1 1 n>1 2 n>1 1 3 n>1 n>1 12 Quá trình biến đổi các vector đầu vào xt và ht−1 sang các vector đầu ra ht và yt tại bước xử lý dữ liệu thứ t là quá trình huấn luyện các bộ trọng số của các ma trận Wxh , Whh và Why được thực hiện bởi perceptron với các phép tính toán được sắp xếp theo các thứ tự sau Hình 2.4: Cơ chế hoạt động của perceptron trong mô hình Recurrent Neural Network 1.

Tính tích của xt và ma trận trọng số Wxh. Tính tích của ht−1 và ma trận trọng số Whh. Thực hiện phép tổng của hai tích trên với giá trị của bias, sau đó đưa kết quả qua hàm tanh sẽ thu được giá trị của hidden state ht ; ht = tanh(Wxh xt +Whh ht−1 + b) (2. Dữ liệu đầu vào là kết quả của hàm so f tmax có giá trị tham số là tích 13 của ma trận trọng số Why và hidden state ht.

yt = so f tmax(Why ht ) (2.2) Trong mạng RNN, quá trình biến đổi các vector đầu vào xt và ht−1 sang các vector đầu ra ht và yt được thực hiện bằng cách sử dụng các ma trận trọng số và hàm kích hoạt. Đầu tiên, vector đầu vào xt và vector trạng thái trước đó ht−1 được kết hợp để tạo ra vector zt : zt = Wxh xt +Whh ht−1 + bh (2.3) Trong đó: − Wh là ma trận trọng số cho phép ánh xạ từ vector đầu vào zt sang vector kết hợp zt. − Whh là ma trận trọng số cho phép ánh xạ từ vector trạng thái trước đó ht−1 sang vector kết hợp zt. − bh là vector điều chỉnh nếu có.

Sau đó, zt được truyền qua hàm kích hoạt phi tuyến tính để tạo ra vec- tor trạng thái hiện tại ht và tính toán vector đầu ra ytt. Thông thường, hàm kích hoạt được sử dụng trong RNN là hàm tanh hoặc hàm sig- moid. Cuối cùng, vector trạng thái hiện tại ht kết hợp ma trận trọng số Wy cho ra kết quả là ngõ ra yt 14 yt = so f tmax(Why ht + by ) (2.5) Trong đó: − Why là ma trận trọng số cho phép ánh xạ từ vector trạng thái hiện tại ht sang vector đầu ra yt. − by vector điều chỉnh nếu có.

Quá trình này được lặp lại cho để tạo ra các vector trạng thái và vector đầu ra tương ứng. Sau đó, quá trình lan truyền ngược (back propaga- tion) được sử dụng để điều chỉnh các ma trận trọng số và cập nhật mô hình RNN trong quá trình huấn luyện. Mô hình Long Short-Term Memory Mô hình Long Short-Term Memory (LSTM) là một loại mạng nơ-ron hồi quy (RNN) được thiết kế để giải quyết vấn đề "đạo hàm biến mất" (gra- dient vanishing) trong mạng RNN truyền thống. RNN được thiết kế để xử lý dữ liệu tuần tự, nhưng khi chuỗi đầu vào tương đối dài, RNN có thể sẽ không đáp ứng được yêu cầu dự đoán ngày càng cao của con người.

Đặc điểm của dữ liệu tuần tự là thông tin phía sau nó phụ thuộc vào thông tin phía trước nên cần một mô hình có thể nhớ các từ trước đó lâu hơn và dài hơn. Thêm vào đó, cần có sự chọn lọc thông tin cần lưu lại tại mỗi bước xử lý thay vì ghi nhớ tất cả thông tin trước đó, vì có thể thông tin phía sau chỉ liên quan đến một số thông tin phía trước. Để giải quyết vấn đề này, mô hình LSTM ra đời dựa trên kiến trúc của mô hình RNN.