Luận văn thạc sĩ HCMUTE: Nghiên cứu và ứng dụng mạng nơ ron hồi quy trong xử lý ngôn ngữ tự nhiên

Chuyên đề mạng nơ ron hồi quy trong xử lý ngôn ngữ tự nhiên tại HCMUTE, tiếp cận liên ngành, kết quả nghiên cứu có giá trị ứng dụng cao trong chuyên

• Tác giả: Đoàn Huỳnh Công Sơn
• Người hướng dẫn: TS. Trương Ngọc Sơn
• Trường học: Trường Đại Học Sư Phạm Kỹ Thuật Thành Phố Hồ Chí Minh
• Chuyên ngành: Kỹ Thuật Điều Khiển Và Tự Động Hóa
• Đề tài: Nghiên Cứu Và Ứng Dụng Mạng Nơ-Ron Hồi Quy Trong Xử Lý Ngôn Ngữ Tự Nhiên
• Loại tài liệu: luận văn thạc sĩ
• Năm xuất bản: 2020
• Địa điểm: Tp. Hồ Chí Minh

Mục lục chi tiết

• LỜI CAM ĐOAN
• LỜI CẢM ƠN
• TÓM TẮT
• 1. CHƯƠNG 1: GIỚI THIỆU CHUNG
• 1.1. Đặt vấn đề
• 1.2. Mục tiêu của đề tài
• 2. CHƯƠNG 2: TỔNG QUAN
• 2.1. Định nghĩa về xử lý ngôn ngữ tự nhiên
• 2.2. Một vài ứng dụng của xử lý ngôn ngữ tự nhiên trong Tiếng việt
• 2.2.1. Ứng dụng giám sát mạng xã hội
• 2.2.2. Chatbot
• 3. CHƯƠNG 3: MẠNG NƠ-RON HỒI QUY ỨNG DỤNG TRONG XỬ LÝ NGÔN NGỮ TỰ NHIÊN
• 3.1. Lý thuyết mạng nơ-ron
• 3.1.1. Mạng nơ-ron nhân tạo ANN
• 3.1.2. Mạng nơ-ron hồi quy RNN
• 3.1.3. Mạng Long Short-Term Memory LSTM
• 3.2. Phương pháp học chuỗi Seq2seq
• 3.3. Ngôn ngữ lập trình Python
• 3.3.1. Ngôn ngữ lập trình Python
• 3.3.2. Thư viện Tensorflow
• 3.3.3. Thư viện Keras
• 4. CHƯƠNG 4: TRIỂN KHAI ỨNG DỤNG MẠNG NƠ-RON HỒI QUY TRÊN PHẦN CỨNG HỆ THỐNG NHÚNG
• 4.1. Sơ đồ khối, lưu đồ giải thuật
• 4.1.1. Chuyển hóa giọng nói thành văn bản
• 4.1.2. Tiền xử lý văn bản
• 4.2. Quá trình huấn luyện
• 4.3. Chuyển văn bản thành giọng nói
• 4.4. Sơ đồ khối các dạng mô hình
• 4.4.1. Board Raspberry Pi
• 4.4.2. Màn hình HMI
• 4.5. Thiết kế và thi công
• 4.5.1. Mô hình, sơ đồ kết nối
• 4.5.2. Cài đặt USB Sound Card
• 5. CHƯƠNG 5: KẾT QUẢ THỰC HIỆN
• 6. CHƯƠNG 6: KẾT LUẬN
• TÀI LIỆU THAM KHẢO

Tóm tắt

I. Giới thiệu chung

Nghiên cứu về mạng nơ ron hồi quy trong xử lý ngôn ngữ tự nhiên tại HCMUTE đã chỉ ra rằng công nghệ này có khả năng cải thiện đáng kể hiệu suất trong việc xử lý và hiểu ngôn ngữ. Mạng nơ ron hồi quy (RNN) là một trong những mô hình học sâu quan trọng, cho phép xử lý dữ liệu theo chuỗi, rất phù hợp với các tác vụ như dịch máy và nhận diện giọng nói. Mô hình Long Short-Term Memory (LSTM), một biến thể của RNN, đã được áp dụng để giải quyết vấn đề vanishing gradient, giúp cải thiện khả năng học từ các chuỗi dài. Việc ứng dụng mạng nơ ron hồi quy trong xử lý ngôn ngữ tự nhiên không chỉ mang lại kết quả tốt hơn mà còn mở ra nhiều cơ hội cho các ứng dụng thực tiễn trong giáo dục và công nghiệp.

1.1 Mục tiêu nghiên cứu

Mục tiêu chính của nghiên cứu này là phát triển và ứng dụng mạng nơ ron hồi quy trong việc xử lý ngôn ngữ tự nhiên, đặc biệt là trong ngữ cảnh tiếng Việt. Nghiên cứu sẽ tập trung vào việc thiết kế mô hình LSTM để thực hiện các tác vụ như phân loại văn bản và nhận diện ngữ nghĩa. Hệ thống sẽ được triển khai trên nền tảng Raspberry Pi, cho phép tạo ra một robot trợ lý có khả năng giao tiếp và trả lời câu hỏi. Việc tích hợp công nghệ này vào giáo dục sẽ giúp nâng cao trải nghiệm học tập và tạo ra các công cụ hỗ trợ học sinh, sinh viên trong việc tiếp cận kiến thức.

II. Tổng quan về xử lý ngôn ngữ tự nhiên

Xử lý ngôn ngữ tự nhiên (NLP) là một lĩnh vực con của trí tuệ nhân tạo, tập trung vào việc tương tác giữa máy tính và ngôn ngữ con người. Các ứng dụng của NLP rất đa dạng, từ chatbot đến phân tích cảm xúc. Trong bối cảnh Việt Nam, việc phát triển các ứng dụng NLP cho tiếng Việt còn nhiều hạn chế. Nghiên cứu này nhằm mục đích khắc phục những hạn chế đó bằng cách áp dụng mạng nơ ron hồi quy để cải thiện khả năng hiểu và xử lý ngôn ngữ tiếng Việt. Các ứng dụng như giám sát mạng xã hội và chatbot sẽ được xem xét để minh họa cho khả năng của mô hình trong việc phân tích và phản hồi thông tin.

2.1 Ứng dụng của xử lý ngôn ngữ tự nhiên

Một trong những ứng dụng nổi bật của xử lý ngôn ngữ tự nhiên là giám sát mạng xã hội, nơi mà các công cụ phân tích có thể thu thập và phân tích ý kiến của người dùng về sản phẩm hoặc dịch vụ. Việc này không chỉ giúp các doanh nghiệp hiểu rõ hơn về nhu cầu của khách hàng mà còn tạo ra cơ hội để cải tiến sản phẩm. Bên cạnh đó, chatbot cũng là một ứng dụng quan trọng, cho phép người dùng tương tác với hệ thống thông qua ngôn ngữ tự nhiên. Các công nghệ như mạng nơ ron hồi quy có thể giúp cải thiện khả năng hiểu và phản hồi của chatbot, từ đó nâng cao trải nghiệm người dùng.

III. Mạng nơ ron hồi quy trong xử lý ngôn ngữ tự nhiên

Mạng nơ ron hồi quy (RNN) là một trong những mô hình học sâu quan trọng trong xử lý ngôn ngữ tự nhiên. RNN có khả năng xử lý dữ liệu theo chuỗi, cho phép nó ghi nhớ thông tin từ các bước trước đó. Tuy nhiên, RNN truyền thống gặp khó khăn trong việc học từ các chuỗi dài do vấn đề vanishing gradient. Để khắc phục điều này, Long Short-Term Memory (LSTM) đã được phát triển, cho phép mô hình ghi nhớ thông tin lâu hơn và cải thiện khả năng học từ các chuỗi dài. Việc áp dụng LSTM trong xử lý ngôn ngữ tự nhiên đã cho thấy hiệu quả vượt trội trong nhiều tác vụ như dịch máy và nhận diện giọng nói.

3.1 Lý thuyết về mạng nơ ron hồi quy

Mạng nơ ron hồi quy (RNN) được thiết kế để xử lý dữ liệu theo chuỗi, cho phép nó ghi nhớ thông tin từ các bước trước đó. Mô hình này rất hữu ích trong các tác vụ như dịch máy và nhận diện giọng nói. Tuy nhiên, RNN truyền thống gặp khó khăn trong việc học từ các chuỗi dài do vấn đề vanishing gradient. Để khắc phục điều này, Long Short-Term Memory (LSTM) đã được phát triển, cho phép mô hình ghi nhớ thông tin lâu hơn và cải thiện khả năng học từ các chuỗi dài. Việc áp dụng LSTM trong xử lý ngôn ngữ tự nhiên đã cho thấy hiệu quả vượt trội trong nhiều tác vụ như dịch máy và nhận diện giọng nói.

IV. Triển khai ứng dụng mạng nơ ron hồi quy

Việc triển khai ứng dụng mạng nơ ron hồi quy trên nền tảng Raspberry Pi đã mở ra nhiều cơ hội cho việc phát triển các robot trợ lý thông minh. Hệ thống được thiết kế để nhận diện giọng nói và chuyển đổi thành văn bản, sau đó sử dụng mô hình LSTM để phân tích và trả lời câu hỏi. Kết quả cho thấy mô hình có khả năng hoạt động ổn định và đạt độ chính xác cao trong việc nhận diện và phản hồi thông tin. Việc tích hợp công nghệ này vào giáo dục sẽ giúp nâng cao trải nghiệm học tập và tạo ra các công cụ hỗ trợ học sinh, sinh viên trong việc tiếp cận kiến thức.

4.1 Thiết kế hệ thống

Hệ thống được thiết kế với các khối chức năng rõ ràng, bao gồm khối nhận diện giọng nói, khối xử lý ngôn ngữ tự nhiên và khối phản hồi. Khối nhận diện giọng nói sẽ chuyển đổi âm thanh thành văn bản, sau đó văn bản sẽ được đưa vào mô hình LSTM để phân tích. Kết quả từ mô hình sẽ được sử dụng để tạo ra phản hồi cho người dùng. Việc triển khai trên Raspberry Pi cho phép hệ thống hoạt động độc lập và có thể được tích hợp vào các ứng dụng thực tiễn khác như điều khiển thiết bị thông minh.

V. Kết quả thực hiện

Kết quả thực hiện mô hình cho thấy mạng nơ ron hồi quy có khả năng xử lý ngôn ngữ tự nhiên hiệu quả. Mô hình đạt độ chính xác 87,2% trong việc nhận diện và phản hồi câu hỏi. Điều này chứng tỏ rằng việc áp dụng LSTM trong xử lý ngôn ngữ tự nhiên không chỉ mang lại kết quả tốt mà còn mở ra nhiều cơ hội cho các ứng dụng thực tiễn trong giáo dục và công nghiệp. Hệ thống đã hoạt động ổn định trên phần cứng Raspberry Pi, cho thấy tính khả thi của việc triển khai công nghệ này trong các ứng dụng thực tế.

5.1 Đánh giá mô hình

Mô hình được đánh giá dựa trên các tiêu chí như độ chính xác, tốc độ phản hồi và khả năng xử lý ngôn ngữ tự nhiên. Kết quả cho thấy mô hình có khả năng hoạt động ổn định và đạt độ chính xác cao trong việc nhận diện và phản hồi thông tin. Việc áp dụng mạng nơ ron hồi quy trong xử lý ngôn ngữ tự nhiên đã chứng minh được giá trị và tính ứng dụng thực tiễn của nó trong các lĩnh vực như giáo dục và công nghiệp.

Nội dung chính

Tổng quan nghiên cứu

Trong bối cảnh cuộc cách mạng công nghiệp 4.0, trí tuệ nhân tạo (AI) và các công nghệ liên quan như học sâu (deep learning) đang trở thành xu hướng phát triển trọng điểm trên toàn cầu. Theo ước tính, các hệ thống thông minh ứng dụng mạng nơ-ron sâu đã đạt được những kết quả vượt trội trong lĩnh vực thị giác máy tính và xử lý ngôn ngữ tự nhiên (NLP). Tuy nhiên, các phần mềm hiện nay chủ yếu hỗ trợ ngôn ngữ tiếng Anh, còn tiếng Việt vẫn còn nhiều hạn chế do đặc thù ngôn ngữ và thiếu các công cụ phù hợp.

Luận văn tập trung nghiên cứu và ứng dụng mạng nơ-ron hồi quy, đặc biệt là mạng Long Short-Term Memory (LSTM), trong xử lý ngôn ngữ tự nhiên tiếng Việt. Mục tiêu chính là thiết kế mô hình chuỗi sang chuỗi (seq2seq) để xây dựng trợ lý ảo có khả năng nhận dạng và trả lời câu hỏi bằng tiếng Việt, triển khai trên nền tảng hệ thống nhúng Raspberry Pi. Thời gian nghiên cứu từ tháng 8/2019 đến tháng 2/2020 tại Trường Đại học Sư phạm Kỹ thuật TP. Hồ Chí Minh.

Nghiên cứu có ý nghĩa quan trọng trong việc phát triển các ứng dụng AI hỗ trợ giao tiếp tiếng Việt, góp phần nâng cao hiệu quả tương tác người-máy, đồng thời mở rộng khả năng ứng dụng robot trợ lý trong giáo dục và điều khiển thiết bị thông minh. Mô hình đạt độ chính xác 87,2% trong việc trả lời các câu hỏi liên quan đến nội dung huấn luyện, cho thấy tiềm năng ứng dụng thực tiễn cao.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Luận văn dựa trên hai lý thuyết chính: mạng nơ-ron nhân tạo (Artificial Neural Network - ANN) và mạng nơ-ron hồi quy (Recurrent Neural Network - RNN), trong đó mạng LSTM là một biến thể đặc biệt của RNN nhằm giải quyết vấn đề vanishing gradient và ghi nhớ thông tin dài hạn.

• Mạng nơ-ron nhân tạo (ANN): Mô phỏng hoạt động của hệ thần kinh sinh vật, gồm các lớp input, hidden và output. Trọng số kết nối giữa các nơ-ron được điều chỉnh qua quá trình học để tối ưu hóa kết quả dự đoán. Hàm kích hoạt sigmoid được sử dụng để chuẩn hóa đầu ra.

• Mạng nơ-ron hồi quy (RNN): Thiết kế để xử lý dữ liệu dạng chuỗi, với khả năng ghi nhớ trạng thái ẩn từ các bước thời gian trước đó. Tuy nhiên, RNN truyền thống gặp khó khăn khi xử lý chuỗi dài do vấn đề vanishing gradient.

• Mạng Long Short-Term Memory (LSTM): Cải tiến của RNN với cấu trúc gồm các cổng (gate) như forget gate, input gate và output gate, giúp kiểm soát thông tin được lưu giữ hoặc loại bỏ trong cell state. Điều này cho phép LSTM ghi nhớ thông tin dài hạn hiệu quả hơn.

• Mô hình học chuỗi seq2seq: Bao gồm bộ mã hóa (encoder) và bộ giải mã (decoder), cho phép chuyển đổi một chuỗi đầu vào thành một chuỗi đầu ra tương ứng. Mô hình này phù hợp cho các ứng dụng như dịch máy, chatbot và trợ lý ảo.

• Các khái niệm chính: Xử lý ngôn ngữ tự nhiên (NLP), nhận dạng tiếng nói, chuyển văn bản thành giọng nói, word embedding, padding, bucketing.

Phương pháp nghiên cứu

Nguồn dữ liệu được thu thập từ các bộ câu hỏi và câu trả lời liên quan đến một môn học cụ thể, được mã hóa dưới dạng chuỗi văn bản tiếng Việt. Dữ liệu được xử lý và chuẩn hóa bằng các kỹ thuật tiền xử lý văn bản như chuyển đổi giọng nói thành văn bản, loại bỏ nhiễu và chuẩn hóa độ dài chuỗi bằng padding và bucketing.

Mô hình LSTM được xây dựng và huấn luyện trên ngôn ngữ lập trình Python, sử dụng các thư viện TensorFlow và Keras. Quá trình huấn luyện được thực hiện với cỡ mẫu khoảng vài nghìn câu hỏi-đáp, sử dụng thuật toán tối ưu Adam và hàm mất mát cross-entropy. Các tham số mạng được điều chỉnh qua nhiều epoch (lên đến 3000 epochs) để đạt độ chính xác tối ưu.

Ứng dụng được triển khai trên hệ thống nhúng Raspberry Pi 3 B+, tích hợp các module chuyển đổi giọng nói thành văn bản và ngược lại, cùng với giao diện người-máy (HMI) để robot trợ lý có thể giao tiếp trực tiếp với người dùng. Thời gian nghiên cứu kéo dài từ tháng 8/2019 đến tháng 2/2020.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

1. Hiệu quả mô hình LSTM trong xử lý ngôn ngữ tiếng Việt: Mô hình đạt độ chính xác 87,2% trong việc trả lời các câu hỏi liên quan đến nội dung huấn luyện, thể hiện qua đồ thị accuracy và loss trong quá trình huấn luyện với 3000 epochs.

2. Khả năng xử lý chuỗi dài và ngữ cảnh: Mạng LSTM với cấu trúc cổng giúp ghi nhớ thông tin dài hạn, vượt trội hơn so với RNN truyền thống, phù hợp với đặc thù ngôn ngữ tiếng Việt có nhiều từ ghép và ngữ cảnh phức tạp.

3. Triển khai thành công trên hệ thống nhúng Raspberry Pi: Mô hình chạy ổn định trên phần cứng Raspberry Pi 3 B+, tích hợp thành công các module chuyển đổi giọng nói và giao tiếp, cho phép robot trợ lý trả lời câu hỏi bằng tiếng Việt một cách mượt mà.

4. Ứng dụng thực tế trong robot trợ lý giảng dạy: Robot có khả năng nhận dạng câu hỏi và trả lời chính xác các câu hỏi về một môn học cụ thể, hỗ trợ hiệu quả trong môi trường giáo dục và điều khiển thiết bị thông minh.

Thảo luận kết quả

Kết quả nghiên cứu cho thấy mạng LSTM là giải pháp hiệu quả để xử lý ngôn ngữ tự nhiên tiếng Việt, khắc phục được các hạn chế của RNN truyền thống về ghi nhớ thông tin dài hạn. Độ chính xác 87,2% là mức khả quan, phù hợp với các ứng dụng trợ lý ảo và chatbot trong thực tế.

So sánh với các nghiên cứu trong và ngoài nước, việc triển khai trên nền tảng hệ thống nhúng Raspberry Pi là điểm mới, giúp giảm chi phí và tăng tính linh hoạt cho các ứng dụng robot trợ lý. Kết quả cũng phù hợp với xu hướng ứng dụng AI trong công nghiệp 4.0, đặc biệt trong lĩnh vực giáo dục và nhà thông minh.

Dữ liệu có thể được trình bày qua các biểu đồ accuracy và loss theo epoch, bảng so sánh hiệu suất giữa RNN và LSTM, cũng như sơ đồ khối hệ thống robot trợ lý. Những biểu đồ này minh họa rõ ràng quá trình huấn luyện và hiệu quả mô hình.

Đề xuất và khuyến nghị

1. Mở rộng bộ dữ liệu huấn luyện: Thu thập thêm dữ liệu đa dạng về các lĩnh vực khác nhau để nâng cao độ chính xác và khả năng tổng quát của mô hình, hướng tới độ chính xác trên 90% trong vòng 12 tháng tới.

2. Tối ưu hóa mô hình và thuật toán: Nghiên cứu áp dụng các kỹ thuật tăng cường như attention mechanism hoặc transformer để cải thiện khả năng hiểu ngữ cảnh và sinh ngôn ngữ tự nhiên, thực hiện trong 6-9 tháng.

3. Phát triển giao diện người dùng thân thiện: Thiết kế giao diện tương tác trực quan cho robot trợ lý, tích hợp đa dạng các kênh giao tiếp như giọng nói, văn bản và cử chỉ, nhằm nâng cao trải nghiệm người dùng, hoàn thành trong 6 tháng.

4. Mở rộng ứng dụng trong điều khiển thiết bị thông minh: Tích hợp thêm các module điều khiển smart home, giúp robot trợ lý có thể điều khiển các thiết bị điện tử trong gia đình hoặc văn phòng, triển khai thử nghiệm trong 1 năm.

5. Đào tạo và chuyển giao công nghệ: Tổ chức các khóa đào tạo cho cán bộ kỹ thuật và sinh viên về phát triển và ứng dụng mạng nơ-ron hồi quy trong NLP, nhằm thúc đẩy nghiên cứu và ứng dụng rộng rãi hơn.

Đối tượng nên tham khảo luận văn

1. Nhà nghiên cứu và sinh viên ngành Kỹ thuật điều khiển và Tự động hóa: Có thể áp dụng kiến thức về mạng nơ-ron hồi quy và LSTM trong các đề tài nghiên cứu liên quan đến AI và xử lý ngôn ngữ tự nhiên.

2. Chuyên gia phát triển phần mềm AI và NLP: Tham khảo phương pháp xây dựng mô hình seq2seq và triển khai trên hệ thống nhúng, phục vụ phát triển các ứng dụng chatbot, trợ lý ảo tiếng Việt.

3. Doanh nghiệp công nghệ và startup AI: Áp dụng giải pháp robot trợ lý giảng dạy và điều khiển thiết bị thông minh để nâng cao hiệu quả sản phẩm, giảm chi phí phát triển.

4. Giáo viên và nhà quản lý giáo dục: Sử dụng robot trợ lý trong giảng dạy và hỗ trợ học tập, giúp tăng cường tương tác và cá nhân hóa quá trình học tập cho học sinh, sinh viên.

Câu hỏi thường gặp

1. Mạng LSTM khác gì so với RNN truyền thống?
   LSTM có cấu trúc cổng giúp kiểm soát thông tin lưu giữ hoặc loại bỏ trong cell state, khắc phục vấn đề vanishing gradient của RNN, do đó có khả năng ghi nhớ thông tin dài hạn hiệu quả hơn.

2. Tại sao chọn Raspberry Pi làm nền tảng triển khai?
   Raspberry Pi có chi phí thấp, kích thước nhỏ gọn, khả năng xử lý đủ mạnh và dễ dàng tích hợp các module ngoại vi, phù hợp cho các ứng dụng robot trợ lý và hệ thống nhúng.

3. Mô hình seq2seq hoạt động như thế nào trong xử lý ngôn ngữ?
   Seq2seq sử dụng bộ mã hóa để chuyển chuỗi đầu vào thành vector ngữ cảnh, sau đó bộ giải mã sinh ra chuỗi đầu ra dựa trên vector này, giúp mô hình hiểu và tạo ra câu trả lời phù hợp.

4. Độ chính xác 87,2% có đủ cho ứng dụng thực tế?
   Mức độ này là khả quan cho các ứng dụng trợ lý ảo và chatbot, tuy nhiên cần tiếp tục cải tiến và mở rộng dữ liệu để nâng cao độ chính xác và khả năng xử lý đa dạng tình huống.

5. Có thể áp dụng mô hình này cho các ngôn ngữ khác không?
   Có thể, nhưng cần điều chỉnh và huấn luyện lại với dữ liệu đặc thù của từng ngôn ngữ do đặc điểm ngữ pháp và từ vựng khác nhau.

Kết luận

• Mạng nơ-ron hồi quy LSTM được chứng minh hiệu quả trong xử lý ngôn ngữ tự nhiên tiếng Việt với độ chính xác 87,2%.
• Mô hình seq2seq giúp cải thiện khả năng hiểu và sinh ngôn ngữ tự nhiên, phù hợp cho các trợ lý ảo và chatbot.
• Ứng dụng thành công trên hệ thống nhúng Raspberry Pi mở ra nhiều cơ hội phát triển robot trợ lý và điều khiển thiết bị thông minh.
• Nghiên cứu góp phần thúc đẩy phát triển công nghệ AI tiếng Việt, hỗ trợ giao tiếp người-máy hiệu quả hơn trong giáo dục và công nghiệp.
• Đề xuất mở rộng dữ liệu, tối ưu mô hình và phát triển ứng dụng đa dạng trong thời gian tới để nâng cao hiệu quả và phạm vi ứng dụng.

Để tiếp tục phát triển, các nhà nghiên cứu và doanh nghiệp nên hợp tác mở rộng dữ liệu và ứng dụng thực tế, đồng thời đào tạo nguồn nhân lực chuyên sâu về AI và NLP. Hãy bắt đầu áp dụng các giải pháp mạng nơ-ron hồi quy trong dự án của bạn để nâng cao hiệu quả giao tiếp và tự động hóa thông minh!

Trích đoạn nội dung tài liệu

Đặt vấn đề Đầu tiên chúng ta cần phải nhắc đến các cuộc cách mạng công nghiệp trên thế giới, nó đã trãi qua 3 cuộc cách mạng lớn: động cơ hơi nước, động cơ đốt trong, kỹ thuật số. Và cuộc cách mạng công nghiệp lần 4 được đánh dấu bởi những công nghệ mới mang tính đột phá: robotics, trí thông minh nhân tạo, công nghệ nano, công nghệ sinh học, in 3D… Trong đó lĩnh vực trí tuệ nhân tạo đã và đang được các ông chủ lớn như: Google, Facebook… nghiên cứu và phát triển hết sức mạnh mẽ. Việc sử dụng ngôn ngữ giọng nói để tìm kiếm thông tin hoặc sử dụng ngôn ngữ nói để hỏi và đáp cho thiết bị điều khiển, robot đã không còn là vấn đề xa lạ đối với các hãng nước ngoài lớn hiện nay, nhưng nhược điểm của các phần mềm hiện tại là ít hỗ trợ cho ngôn ngữ tiếng việt, chính vì vậy mà nó đã làm cho ngôn ngữ Tiếng Việt của chúng ta bị hạn chế và ít phát triển hơn so với các ngôn ngữ khác, đa phần các phần mềm phát triển hiện nay chỉ dành cho ngôn ngữ nước ngoài chủ yếu là ngôn ngữ Tiếng Anh. Nội dung luận văn tập trung vào nghiên cứu mạng nơ-ron hồi quy, có khả năng xử lý ngôn ngữ tiếng việt.

Mô hình được thiết kế theo dạng chuỗi – sang – chuỗi và được ứng dụng cho robot trợ lý.2 Mục tiêu của đề tài - Nghiên cứu mạng nơ-ron hồi quy, nghiên cứu mô hình LSTM - Thiết kế ứng dụng mạng nơ-ron hồi quy trong xử lý ngôn ngữ tự nhiên, thực hiện mô hình chuỗi – chuỗi ứng dụng trong các trợ lý ảo. - Thực thi ứng dụng trên nền tảng hệ thống nhúng Raspberry Pi. 21 Luan van - Thiết kế mô hình robot trợ lý để minh hoạ cho ứng dụng mạng nơ-ron hồi quy trong xử lý ngôn ngữ tự nhiên. - Sử dụng mạng nơ-ron hồi quy, chính xác là mạng Long Short-Tearm Memory (LSTM) để tự tạo ra ngôn ngữ tự động.

- Tạo ra thiết bị robot hỏi đáp, tìm kiếm thông tin bằng giọng nói, hỗ trợ trên nền tảng ngôn ngữ Tiếng Việt. - Tích hợp điều khiển thiết bị Smart Home giúp cho việc điều khiển thiết bị một cách thông minh hơn, và đây cũng là một trong những lĩnh vực đang phát triển mạnh mẽ hiện nay. 22 Luan van CHƯƠNG 2: TỔNG QUAN 2.1 Định nghĩa về xử lý ngôn ngữ tự nhiên Xử lý ngôn ngữ tự nhiên (natural language processing - NLP) là một nhánh của trí tuệ nhân tạo tập trung vào các ứng dụng trên ngôn ngữ của con người. Trong trí tuệ nhân tạo thì xử lý ngôn ngữ tự nhiên là một trong những phần khó nhất vì nó liên quan đến việc phải hiểu ý nghĩa ngôn ngữ-công cụ hoàn hảo nhất của tư duy và giao tiếp.

Các hệ thống chatbot giao tiếp với con người bằng giọng nói (như Siri) hoặc bằng văn bản (như các chatbot phát triển trên nền Facebook Messenger). Dù giao tiếp bằng hình thức nào, chatbot cũng cần phải hiểu văn bản để có thể đưa ra những câu trả lời phù hợp cho khách hàng. Thành phần đảm nhiệm công việc này trong hệ thống chatbot được gọi là NLU (Natural Language Understanding), trong đó có rất nhiều các kĩ thuật xử lý ngôn ngữ tự nhiên (Natural Language Processing, viết tắt là NLP) được áp dụng.2 Một vài ứng dụng của xử lý ngôn ngữ tự nhiên trong Tiếng việt 2.1 Ứng dụng giám sát mạng xã hội Các ứngng dụng giám sát mạng xã hội có nhiệm vụ tìm hiểu và phân tích ý kiến của người dùng về một sản phẩm hay dịch vụ trên mạng như các trang tin tức, diễn đàn, blogs và các mạng xã hội phổ biến như Twitter, Facebook … Mục đích cuối cùng của nó là tìm hiểu xem người dùng có hài lòng với sản phẩm hay dịch vụ nào đó hay không, họ hài lòng và không hài lòng về cái gì. Những thông tin như vậy sẽ giúp các nhà lãnh đạo hiểu được nhu cầu, phản hồi của người dùng, từ đó có những cải tiến, chiến lược phù hợp.

Giám sát mạng xã hội có thể được chia thành hai bước: thu thập và phân tích dữ liệu. Thu thập dữ liệu liên quan đến việc tìm và lấy tất cả các bài báo, bình luận từ các trang web, diễn đàn, blogs, các bài đăng, bình luận của người dùng trên mạng xã hội, lưu trữ và phân loại chúng vào các danh mục phù hợp. Một chương trình thu thập thông tin tốt là chương trình có thể thu thập thông tin từ nhiều nguồn khác nhau, chắt lọc, tổng hợp và phân loại chúng theo một cách rõ ràng và 23 Luan van thuận tiện nhất cho việc phân tích. Bộ phân tích có nhiệm vụ xác định và phân loại ý kiến người dùng dựa trên tập dữ liệu đã được tổng hợp từ bước trước.

Cụ thể hơn, với mỗi bài đăng hay bình luận, xác định xem nó là phản hồi tích cực, tiêu cực hay trung lập. Nhưng trong một số trường hợp khác, người ta có thể muốn biết chi tiết hơn ý kiến của người dùng về một khía cạnh cụ thể của sản phẩm. Khi đó, một bộ phân tích cảm xúc với từng khía cạnh của sản phẩm/dịch vụ (ABSA) sẽ được triển khai. ABSA bao gồm ba tác vụ chính: phân loại khía cạnh, trích xuất từ khóa và phân loại cảm xúc.2 Chatbot Chatbot là một chương trình máy tính được xây dựng để có thể trò chuyện với con người.

Một chat-bot đơn giản có thể dùng để thay con người trả lời các câu hỏi lặp đi lặp lại của người dùng như: “Sự kiện X diễn ra khi nào?”, “Vinaphone MAX70 là gì?”, “iPhone X giá bao nhiêu?”. Chatbot cũng có thể đóng vai trò là một trợ lý ảo, trợ giúp trong các công việc phức tạp hơn như hỗ trợ đặt hàng, đăng ký một sự kiện, hoành thành các biểu mẫu … hầu hết các công việc/hoặc tác vụ có thể được thực hiện theo các bước. Một chat-bot thường bao gồm phần giao diện và phần hiểu ngôn ngữ tự nhiên (NLU) bên dưới. Hai thành phần liên quan đến xử lý ngôn ngữ tự nhiên không thể thiếu của một NLU module là bộ phân loại ý định và nhận diện thực thể (NER).

Phân loại ý định giúp chat-bot hiểu ý định của người dùng. Về mặt bản chất phân loại ý định chính là một bài toán phân loại câu với tập nhãn là các ý định có thể có của người dùng (đã được định nghĩa từ trước). NER giúp chat-bot trích xuất các thông tin trong yêu cầu/câu trả lời của người dùng. Các thông tin đó có thể là tên sản phẩm, địa chỉ, số điện thoại, số tài khoản của người dùng, NER là một bài toán gán nhãn chuỗi cơ bản: cho vào một câu đầu vào, trích xuất tất cả các thực thể định danh trong câu và phân loại chúng vào một trong các nhãn đã được định nghĩa từ trước.

Một thành phần xử lý ngôn ngữ tự nhiên khác có thể được thêm vào chat-bot là bộ quản lý hội thoại, bộ sinh ngôn ngữ (NLG), và bộ phân tích cảm xúc. Một bộ quản lý hội thoại sẽ lưu trữ, phân tích và tận dụng ngữ cảnh cuộc hội thoại và giúp chat-bot suy luận hành động tiếp theo trong khi NLG giúp sinh câu trả lời đầy đủ, tự nhiên 24 Luan van nhất bằng ngôn ngữ tự nhiên cho chat-bot. Một bộ phân tích cảm xúc có thể cần bởi vì cùng một câu có thể mang nhiều nghĩa khác nhau trong các văn cảnh khác nhau, do đó có thể cần được trả lời theo các cách khác nhau phụ thuộc vào cảm xúc của người dùng.3 Tổng đài tự động (ACC) Mục đích của tổng đài tự động (ACC) là bắt chước con người trong việc trả lời điện thoại. Ba thành phần cơ bản của ACC bao gồm: một module nhận diện tiếng nói, một module xử lý ngôn ngữ tự nhiên và một module chuyển văn bản thành tiếng nói.

Mục đích cuối cùng của module nhận dạng tiếng nói là giúp máy tính hiểu được tiếng nói của con người (hay là các tín hiệu âm thanh). Module xử lý ngôn ngữ tự nhiên chịu trách nhiệm xử lý yêu cầu của người dùng (giống hệt như một chat-bot nhưng với đầu vào hệ thống là đầu ra của module nhận dạng tiếng nói). Module chuyển văn bản thành tiếng nói chịu trách nhiệm sinh ngôn ngữ nói từ câu trả lời của chat-bot đến người dùng dưới dạng văn bản. Những người dùng khác nhau có giọng, kiểu nhấn, và cách nói khác nhau.

Do đó, một bộ nhận dạng tiếng nói tốt cho tất cả mọi người là một bài toán khó. Nó đòi hỏi một bộ dữ liệu huấn luyện khổng lồ, đa dạng về giọng, độ tuổi, vùng miền, cách nói …Cũng tương tự như vậy, một bộ sinh tiếng nói tốt là bộ có thể sinh tiếng nói một cách tự nhiên nhất, giống với người nói nhất. Một trong những khó khăn lớn nhất của bài toán sinh ngôn ngữ từ văn bản là một câu có thể được nói theo nhiều giọng với nhiều cách nhấn, lên giọng khác nhau tùy thuộc vào từng hoàn cảnh.4 Một vài hướng nghiên cứu hiện tại A. Retrieval-based model Retrieval-based model có một kho định nghĩa trước các câu trả lời chúng có thể sử dụng, không giống như generative models cái mà có thể generate câu trả lời chúng không bao giờ nhìn thấy trước đây.

Rõ hơn, từ một câu đầu vào tới retrieval- based model là một context c sẽ chọn ra một câu trả lời response r có khả năng nhất. Ouputs của model là câu trả lời tốt nhất. Để tìm ra câu trả lời tốt nhất bạn cần phải tính toán điểm cho tất cả các câu trả lời và chọn ra một với số điểm cao nhất. Generative models Không định nghĩa trước câu trả lời.

Chúng tự tạo ra câu trả lời (from scratch). Generative models tạo ra dựa trên kĩ thuật machine translation, nhưng thay vì chuyển từ ngôn ngữ này sang ngôn ngữ kia, chúng chuyển từ câu thoại này sang câu thoại kia. Tất cả các phương pháp đều có ưu nhược điểm. Dùng kho dữ liệu được tạo bằng tay như retrieval-based không tạo ra các lỗi cú pháp.

Tuy nhiên chúng không thể trả lời các trường hợp chưa nhìn thấy bao giờ cái mà không thích hợp với các câu trả lời đã định nghĩa trước. Vì nhiều lý do, những models này không biết thông tin đối tượng giống như tên được nhắc tới trong hội thoại. Generative models thông minh hơn. Chúng có thể truy xuất thông tin đối từ từ input và phản hồi ấn tượng như bạn đang nói chuyện với con người.

Tuy nhiên, những models này thì khó để train, và hay mắc lỗi cú pháp (đặc biệt là câu hội thoại dài), và cần rất nhiều dữ liệu để train.