Khóa Luận Tốt Nghiệp Về Ứng Dụng Học Sâu Trong Xây Dựng Chatbot

Khóa luận tốt nghiệp khám phá ứng dụng học sâu trong xây dựng chatbot, cung cấp giải pháp tối ưu cho giao tiếp tự động và hiệu quả.

• Tác giả: Nguyễn Đức Trí
• Người hướng dẫn: TS. Trần Nhật Quang
• Trường học: Trường Đại Học Sư Phạm Kỹ Thuật Thành Phố Hồ Chí Minh
• Chuyên ngành: Công nghệ Thông tin
• Đề tài: Ứng Dụng Học Sâu Trong Xây Dựng Chatbot
• Loại tài liệu: khóa luận tốt nghiệp
• Năm xuất bản: 2023
• Địa điểm: Hồ Chí Minh

Mục lục chi tiết

• LỜI CẢM ƠN
• MỞ ĐẦU
• 0.1. Tính cấp thiết của đề tài
• 0.2. Đối tượng nghiên cứu
• 0.3. Phạm vi nghiên cứu
• 0.4. Mục tiêu đề tài
• 0.5. Ý nghĩa khoa học và nghiên cứu
• 1. CHƯƠNG 1: CƠ SỞ LÝ THUYẾT
• 1.1. Mạng Neutron Hồi Quy (Recurrent Neutron Network)
• 1.2. Mô hình sinh dữ liệu và mô hình sinh dữ liệu theo luồng (Generative Model and Flow – Based Generative Model)
• 1.3. Mô hình mã hóa – giải mã (Encoder – Decoder Model)
• 1.4. Cơ chế tập trung (Attention Mechanism) và Mô hình Transformer
• 1.5. Mô hình Generative Pre – Trained Transformer (GPT)
• 1.6. Mô hình Whisper
• 1.7. Mô hình Tacotron2
• 1.8. Mô hình WaveGlow
• 1.9. Tiền xử lý dữ liệu văn bản
• 1.10. Tiền xử lý dữ liệu âm thanh
• 2. CHƯƠNG 2: THIẾT KẾ MÔ HÌNH
• 2.1. Mô hình GPT
• 2.2. Mô hình Whisper
• 2.3. Mô hình Tacotron2
• 2.4. Mô hình WaveGlow
• 3. CHƯƠNG 3: HUẤN LUYỆN MÔ HÌNH
• 3.1. Huấn luyện mô hình GPT
• 3.2. Huấn luyện mô hình Whisper
• 3.3. Huấn luyện mô hình Tacotron2
• 3.4. Huấn luyện mô hình WaveGlow
• 4. CHƯƠNG 4: ỨNG DỤNG
• 4.1. Giới thiệu ứng dụng
• 4.2. Ứng dụng chatbot sử dụng mô hình GPT
• 4.3. Ứng dụng chuyển giọng nói thành văn bản sử dụng mô hình Whisper
• 4.4. Ứng dụng chuyển văn bản thành âm thanh sử dụng mô hình Tacotron2 và WaveGlow
• 4.5. Ứng dụng voicebot sử dụng mô hình GPT, Whisper, Tacotron2 và WaveGlow
• 4.6. Kết quả đạt được
• 4.7. Nhược điểm
• 4.8. Hướng phát triển
• TÀI LIỆU THAM KHẢO

Tóm tắt

I. Tổng quan về ứng dụng học sâu trong chatbot

Khóa luận này tập trung vào việc ứng dụng học sâu trong việc xây dựng chatbot. Chatbot đã trở thành một phần quan trọng trong giao tiếp giữa con người và máy tính. Sự phát triển của trí tuệ nhân tạo đã mở ra nhiều cơ hội cho việc cải thiện khả năng tương tác của chatbot. Việc áp dụng các mô hình học sâu như GPT và Whisper giúp nâng cao khả năng hiểu ngôn ngữ tự nhiên và phản hồi chính xác hơn.

1.1. Khái niệm về chatbot và học sâu

Chatbot là một ứng dụng phần mềm sử dụng trí tuệ nhân tạo để mô phỏng cuộc trò chuyện với người dùng. Học sâu là một nhánh của học máy tập trung vào việc sử dụng mạng nơ-ron để học từ dữ liệu lớn. Sự kết hợp giữa hai lĩnh vực này tạo ra những chatbot thông minh hơn.

1.2. Lợi ích của việc ứng dụng học sâu trong chatbot

Việc ứng dụng học sâu trong chatbot mang lại nhiều lợi ích như khả năng hiểu ngữ nghĩa tốt hơn, phản hồi tự nhiên hơn và khả năng học hỏi từ các tương tác trước đó. Điều này giúp cải thiện trải nghiệm người dùng và tăng cường hiệu quả giao tiếp.

II. Thách thức trong việc xây dựng chatbot thông minh

Mặc dù có nhiều tiến bộ trong công nghệ, việc xây dựng chatbot thông minh vẫn gặp phải nhiều thách thức. Các vấn đề như hiểu ngữ nghĩa, xử lý ngôn ngữ tự nhiên và khả năng tương tác tự nhiên vẫn là những thách thức lớn. Đặc biệt, việc xử lý các ngữ cảnh phức tạp và các câu hỏi không rõ ràng là một trong những khó khăn chính.

2.1. Vấn đề hiểu ngữ nghĩa trong chatbot

Một trong những thách thức lớn nhất là khả năng hiểu ngữ nghĩa của người dùng. Nhiều chatbot hiện tại vẫn gặp khó khăn trong việc phân tích và hiểu đúng ý nghĩa của câu hỏi, dẫn đến phản hồi không chính xác.

2.2. Khó khăn trong xử lý ngôn ngữ tự nhiên

Xử lý ngôn ngữ tự nhiên là một lĩnh vực phức tạp. Các chatbot cần phải xử lý nhiều biến thể ngôn ngữ, từ ngữ điệu đến ngữ cảnh, để có thể giao tiếp hiệu quả. Điều này đòi hỏi các mô hình học sâu phải được huấn luyện trên dữ liệu phong phú và đa dạng.

III. Phương pháp xây dựng chatbot sử dụng học sâu

Để xây dựng một chatbot hiệu quả, cần áp dụng các phương pháp học sâu hiện đại. Các mô hình như GPT, Whisper, Tacotron2 và WaveGlow đã được chứng minh là có khả năng tạo ra các phản hồi tự nhiên và chính xác. Việc sử dụng các mô hình này giúp cải thiện khả năng tương tác của chatbot.

3.1. Mô hình GPT trong xây dựng chatbot

Mô hình GPT (Generative Pre-trained Transformer) là một trong những mô hình mạnh mẽ nhất hiện nay. Nó có khả năng sinh ra văn bản tự nhiên và hiểu ngữ nghĩa, giúp chatbot phản hồi một cách tự nhiên và chính xác.

3.2. Mô hình Whisper cho xử lý giọng nói

Mô hình Whisper được sử dụng để chuyển đổi giọng nói thành văn bản. Điều này giúp chatbot có thể hiểu và phản hồi các câu hỏi từ người dùng một cách hiệu quả hơn, đặc biệt trong các tình huống giao tiếp bằng giọng nói.

IV. Ứng dụng thực tiễn của chatbot trong đời sống

Các chatbot hiện nay đã được ứng dụng rộng rãi trong nhiều lĩnh vực như dịch vụ khách hàng, giáo dục và y tế. Việc sử dụng AI trong chatbot giúp cải thiện trải nghiệm người dùng và tăng cường hiệu quả công việc. Các ứng dụng này không chỉ giúp tiết kiệm thời gian mà còn nâng cao chất lượng dịch vụ.

4.1. Chatbot trong dịch vụ khách hàng

Nhiều công ty đã triển khai chatbot để hỗ trợ khách hàng 24/7. Điều này giúp giảm tải cho nhân viên và cải thiện tốc độ phản hồi, từ đó nâng cao sự hài lòng của khách hàng.

4.2. Chatbot trong giáo dục

Trong lĩnh vực giáo dục, chatbot có thể hỗ trợ học sinh trong việc tìm kiếm thông tin và giải đáp thắc mắc. Điều này giúp tạo ra một môi trường học tập tương tác và hiệu quả hơn.

V. Kết luận và tương lai của chatbot

Tương lai của chatbot hứa hẹn sẽ còn phát triển mạnh mẽ hơn nữa với sự tiến bộ của công nghệ học sâu. Các mô hình mới sẽ tiếp tục được phát triển, giúp chatbot trở nên thông minh và tự nhiên hơn trong giao tiếp. Việc ứng dụng AI trong chatbot sẽ mở ra nhiều cơ hội mới cho các doanh nghiệp và người dùng.

5.1. Xu hướng phát triển của chatbot

Xu hướng phát triển của chatbot sẽ tập trung vào việc cải thiện khả năng hiểu ngôn ngữ tự nhiên và tương tác tự động. Các công nghệ mới như machine learning và deep learning sẽ tiếp tục được áp dụng để nâng cao hiệu quả của chatbot.

5.2. Tác động của AI đến tương lai của chatbot

Sự phát triển của AI sẽ tạo ra những chatbot thông minh hơn, có khả năng học hỏi và thích nghi với nhu cầu của người dùng. Điều này sẽ giúp chatbot trở thành một phần không thể thiếu trong cuộc sống hàng ngày.

Trích đoạn nội dung tài liệu

CHƯƠNG 1: CƠ SỞ LÝ THUYẾT Hình 5: Luồng xử lý RNN và các biến thể [6] Luồng dữ liệu chung của các kiến trúc liên quan đến RNN đều được xử lý tuần tự qua các nút, tuy nhiên mỗi kiến trúc đều có sự khác nhau với sự nổi bật và điểm yếu riêng, đối với kiến trúc cell của RNN. • Recurrent Neutron Network (RNN) Hình 6: Kiến trúc RNN [7] RNN là một mạng có tính chất xử lý tuần tự từng nút một trong lớp mạng (layer), ở đây, nút đầu tiên sẽ được xử lý, rồi trả về kết quả sau đó nút kế tiếp sẽ nhận kết quả đó và xử lý, quá trình này tiếp diễn liên tục cho đến khi đến nút mạng cuối cùng. Kiến trúc của một nút trong RNN có hai đầu vào và hai đầu ra. Hai đầu vào ℎ −1 là giá trị của các nút mạng trước đó tính từ đầu đến nút t-1 và là giá trị đầu vào của nút mạng hiện tại.

Hai giá trị đầu ra là giá trị đầu ra của nút mạng hiện tại và giá trị của lớp ẩn ℎ. Luồng xử lý của mỗi nút là hai giá trị đầu vào sẽ được xử lý qua hàm kích hoạt (activation function) - ở đây sử dụng hàm tanh, và cho ra hai giá trị đầu ra. RNN lúc mới ra mắt đã trở thành một giải pháp hàng đầu cho việc xử lý các kiểu dữ liệu dạng chuỗi, tuy nhiên RNN vẫn còn hiện hữu một số hạn chế như: - Phải thực hiện tuần tự từng nút mạng một vì thế mạng này không thể tận dụng được việc tính toán song song của các GPU, TPU. 9 CHƯƠNG 1: CƠ SỞ LÝ THUYẾT - Gây ra hiện tượng đạo hàm triệt tiêu (vanishing gradient) hay bùng nổ đạo hàm (explode gradient).

- Vì hàm kích hoạt thường được dùng trong RNN là tanh hoặc sigmoid vậy kết quả của đầu ra nằm trong khoảng [-1; 1] (với sigmoid là [0; 1]) nên đạo hàm sẽ bị đóng băng trong khoảng [0; 1] (với sigmoid là [0; 0. Trong học sâu, việc tính đạo hàm để tối ưu sử dụng phương pháp chain rule, tuy nhiên có một vấn đề là hàm tanh và sigmoid đều có đạo hàm bằng 0 tại hai đầu giới hạn. Đạo hàm bằng 0 thì nút mạng tương ứng tại đó sẽ bị đóng băng, lúc đó các nút tiếp theo sẽ bị bão hòa theo. Với các giá trị nhỏ trong ma trận, khi thực hiện phép nhân ma trận sẽ đạo hàm tương ứng sẽ xảy ra hiện tượng vanishing gradient chỉ sau vài bước.

- RNN không thể học được các phụ thuộc xa do hiện tượng triệt tiêu đạo hàm và không có cơ chế lọc các thông tin không cần thiết, vì thế các thông tin càng xa so với nút đang xét đến thì thông tin sẽ càng mờ mặc dù thực tế là mối quan hệ của chúng có chặt chẽ hơn các từ lân cận hay không. • Long – Short Term Memory (LSTM) RNN có một hạn chế đó là không có cơ chế lọc được những thông tin không cần thiết, vì thế những thông tin dư thừa nhưng nếu gần nút đang xét thì mối quan hệ sẽ được xem là lớn hơn so với dữ liệu có mối quan hệ lớn hơn nhưng lại phụ thuộc xa. Vì thế, LSTM đã được thêm một vài cơ chế mới để có thể lọc được các thông tin không cần thiết. Hình 7: Kiến trúc LSTM [7] Về ý tưởng thì LSTM sẽ giống với RNN, tuy nhiên thiết kế của mỗi nút trong LSTM sẽ thêm một vài cổng và một vài tác vụ để phục vụ cho việc lọc các thông tin cần thiết, xử lý thông tin cần thiết.

Như kiến trúc trên thì LSTM sẽ có ba đầu vào và ba (đôi khi là hai) đầu ra. 10 CHƯƠNG 1: CƠ SỞ LÝ THUYẾT Ba đầu vào sẽ có hai đầu vào giống RNN là ℎ −1 là giá trị trạng thái của các nút trước đó tính từ ban đầu đến t-1, là đầu vào của nút đang xét và thêm một đầu vào −1 có thể được xem là bộ nhớ trong của mỗi nút LSTM sẽ giúp mang thông tin đi xa hơn và sẽ được dùng khi cần. Đầu ra có hai giá trị là ℎ là giá trị trạng thái của các nút từ đầu đến t của mạng, và là giá trị vector của bộ nhớ trong trong nút t, hai giá trị này được đưa ra ba đầu ra, trong đó hai đầu ra cho ℎ và một cho. Kiến trúc bên trong được thiết kế với bốn cổng (thay vì một cổng trong RNN), lần lượt là cổng quên (forget gate) , cổng - Cổng quên : Cổng này sẽ quyết định sẽ bỏ đi bao nhiêu lượng thông tin đến từ trạng thái trước đó.

- Cổng đầu vào : Cổng này quyết định bao nhiêu lượng thông tin đầu vào sẽ ảnh hưởng đến trạng thái mới. Thông qua hàm kích hoạt sigmoid khi giá trị đầu ra nằm trong khoảng [0;1], vì thế khi một vector đi qua cổng đầu vào, nếu nhân với 0 vector sẽ bị triệt tiêu, nếu nhân với 1 thì thông tin sẽ được bảo toàn. - Cổng ẩn : Đây cũng chỉ là một trạng thái ẩn được tính dựa trên đầu vào và trạng thái trước đó là ℎ −1. Tính toán hoàn toàn giống với cổng đầu vào nhưng thay vào đó là sử dụng hàm tanh.

- Cổng đầu ra : Cổng này điều chỉnh lượng thông tin có thể ra ngoài làm giá trị đầu ra và lượng thông tin truyền đến nút tiếp theo. LSTM đã giải quyết được vấn đề phụ thuộc xa so với RNN, tuy nhiên LSTM vẫn mang một số hạn chế như: - Vẫn phải xử lý tuần tự như RNN. - LSTM có tốc độ huấn luyện và dự đoán chậm hơn với RNN do có số lượng xử lý thông tin lớn hơn. Mô hình sinh dữ liệu và mô hình sinh dữ liệu theo luồng (Generative Model and Flow – Based Generative Model) 1.

Mô hình sinh dữ liệu (Generative Model) Generative Model là một mô hình được sử dụng trong học máy, thống kê và xác suất với mục tiêu là tạo ra những cách biểu diễn dữ liệu hoặc trừu tượng hóa một tổng thể dữ liệu từ một số mẫu thu thập hoặc quan sát được. 11 CHƯƠNG 1: CƠ SỞ LÝ THUYẾT Đến hiện tại, mô hình gồm các loại sau: - Generative Adversarial Network (GAN): Mô hình này gồm hai thành phần là Generator có nhiệm vụ sinh ra dữ liệu và Discriminator có nhiệm vụ kiểm tra dữ liệu được sinh ra có trùng khớp với mẫu quan sát được không. - Variational AutoEncoder (VAE): Mô hình này tối ưu hàm mất mát giữa dữ liệu được sinh ra với dữ liệu quan sát bằng cách ánh xạ trên một miền không gian ẩn rồi từ đó khôi phục lại dữ liệu. - Flow – Based Model: Đây là mô hình sử dụng phương pháp Normalizing Flow để sinh ra dữ liệu, bằng cách học hàm mật độ phân phối xác suất của mẫu các dữ liệu quan sát được.

Flow – Based Generative Model • Biến đổi phân phối xác suất Ý tưởng của mô hình này là cách mô hình có thể học được hàm mật độ phân phối xác suất của mẫu quan sát được từ một mẫu có phân phối xác suất đơn giản hơn bằng cách đi qua một hàm biến đổi: Giả sử ta có: - Mẫu quan sát x với không biết hàm mật độ phân phối xác suất. - Mẫu dữ liệu z với hàm mật độ phân phối xác xuất đơn giản hơn (thường là phân phối Gaussian) Có một phép biến đổi khả nghịch sao cho: = ( )  = −1( ) Ta gọi ( ) và ( ) lần lượt là hàm mật độ phân phối xác suất của biến ngẫu nhiên liên tục X và Z. - ∫−+∞∞ ( ) = ∫−+∞∞ ( ) = 1  ( ) = ( ) |det ( )|   ()= −1 ( ) ( ) |det ( )| (1) Vậy hàm mật độ phân phối xác suất của mẫu quan x có thể biến đổi từ mẫu z với phân phối xác suất đã biết. • Hàm biến đổi và luồng khả nghịch Để xác định được hàm mật độ phân phối xác suất của biến X (1), ta cần cần các thông tin: - Hàm mật độ xác suất của biến Z: Phân phối Gaussian.

12 CHƯƠNG 1: CƠ SỞ LÝ THUYẾT - Phép biến đổi : Cần phải xây dựng trong quá trình huấn luyện. Ta có: - Một hàm số khả nghịch sẽ luôn có thể tham số hóa, vậy những tham số này có thể tối ưu trong quá trình học hay huấn luyện bằng cách ứng dụng các thuật toán machine learning. Một hàm khả nghịch có thể được biểu diễn bằng nhiều hàm khả nghịch khác lồng nhau. Do tính chất của hàm hợp, vậy nếu ta có = ( ) = 1( 2( 3( ))) ( 1 ∘ 2 ∘ 3)( ) suy ra = ( 3−1 ∘ 2−1 ∘ 1−1)( ) - = Vậy, thay vì tìm một hàm khả nghịch phức tạp, mô hình có thể xây dựng nhiều hàm biến đổi xác định được lồng lại với nhau hay nói cách khác là có thể cho Z đi qua nhiều phép biến đổi để biển diễn sự chuyển đổi từ một phân phối đơn giản thành một phân phối phức tạp của mẫu quan sát được.

Hình 8: Luồng thực thi mô hình flow – based model [8] • Normalizing Flow Normalizing Flow là luồng thực hiện việc tối ưu hóa các tham số sao cho các phép biến đổi có thể học được phân phối xác xuất của mẫu quan sát được và chuyển đổi từ phân phối Gaussian thành phân phối đó. Ta có hàm mật độ phân phối xác suất của biến quan sát X: −1 ( ) ()= ( ) |det ( )| Áp dụng Maximum Logarithm – Likelihood Estimation, ta tối ưu tham số như sau: = ( ( ( ) |det ( )|) ( ) −1 ( ))= 13 CHƯƠNG 1: CƠ SỞ LÝ THUYẾT = (log ( ( ) |det ( )|)) ( ) −1 ( ( ( )) + (|det ( = )|)) ( ) −1 =(− ( )) − (|det ( )|)) ( ) −1 ( • Ma trận Jacobian Ma trận Jacobian là ma trận của các đạo hàm riêng. Jacobian là yếu tố quyết định của ma trận jacobian. Ma trận sẽ chứa tất cả các đạo hàm riêng của một hàm vectơ.

Việc sử dụng chính của Jacobian được tìm thấy trong việc chuyển đổi các tọa độ. Nó đề cập đến khái niệm phân biệt với phép biến đổi tọa độ.