Luận Văn Thạc Sĩ: Phát Triển Chatbot Tìm Kiếm Thông Tin Về Trường Đại Học Công Nghệ Đông Á

Luận văn thạc sĩ nghiên cứu phát triển chatbot trên nền tảng transformers ứng dụng trong tìm kiếm tra cứu thông tin về trường, đánh giá hiện trạng, phân tích vấn đề, đề xuất biện

• Tác giả: Trần Hùng Cường
• Người hướng dẫn: TS. Trần Hùng Cường
• Trường học: Đại học Công nghệ Đông Á
• Chuyên ngành: Thông tin
• Đề tài: Phát triển Chatbot Tìm Kiếm Thông Tin Đại Học Công Nghệ Đông Á Dựa Trên Transformers
• Loại tài liệu: đề án tốt nghiệp
• Năm xuất bản: 2024
• Địa điểm: Hà Nội

Mục lục chi tiết

• LỜI CAM ĐOAN
• LỜI CẢM ƠN
• MỤC LỤC
• DANH MỤC CÁC KÝ HIỆU, CÁC TỪ VIẾT TẮT
• DANH MỤC CÁC BẢNG
• DANH MỤC HÌNH ẢNH
• 1. CHƯƠNG 1: TỔNG QUAN
• 1.1. Nhu cầu tra cứu thông tin thông và trường Đại học Công nghệ Đông Á
• 1.2. Thực trạng, các giải pháp đang được áp dụng trong tra cứu thông tin và trường Đại học Đông Á
• 1.2.1. Trang thông tin điện tử
• 1.2.2. Các sự kiện truyền thông
• 1.2.3. Mạng xã hội
• 1.2.4. Tư vấn học tập, tư vấn tuyển sinh
• 1.3. Đánh giá hiệu quả của các giải pháp đang được áp dụng
• 1.4. Chatbot và dạng của Chatbot
• 1.4.1. Khái niệm Chatbot
• 1.4.2. Các loại Chatbot
• 1.4.3. Ứng dụng của Chatbot
• 1.4.4. Lợi ích của Chatbot
• 1.4.5. Thách thức trong việc triển khai Chatbot
• 2. CHƯƠNG 2: CƠ SỞ LÝ THUYẾT
• 2.1. Khái niệm và mạng nơ-ron kết nối đầy đủ
• 2.2. Hiện tượng overfitting, underfitting và cách khắc phục
• 2.3. Mạng hồi quy và bài toán S2S
• 2.4. Kiến trúc mạng hồi quy cho bài toán S2S
• 2.5. Ưu điểm và hạn chế của mạng hồi quy đối với bài toán S2S
• 2.6. Kiến trúc Transformers
• 2.7. Mã hóa và trí của từ
• 2.8. Self-Attention và Cross-Attention
• 2.9. Một số LLM nổi tiếng sử dụng kiến trúc Transformers
• 2.10. Quá trình huấn luyện và đặc trưng của LLMs
• 3. CHƯƠNG 3: XÂY DỰNG HỆ THỐNG CHATBOT SỬ DỤNG LLMs
• 3.1. Sự cần thiết Local ChatGPT đối với doanh nghiệp
• 3.2. Phương pháp huấn luyện LLMs
• 3.2.1. Một số thách thức trong việc huấn luyện LLMs
• 3.2.2. Nâng cao hiệu suất LLMs
• 3.2.2.1. Tái sử dụng bản nháp LLM bằng kỹ thuật lượng tử
• 3.2.2.2. Giảm độ phức tạp tính toán bằng kỹ thuật LoRA
• 3.2.2.3. Kỹ thuật RAG
• 3.2.2.3.1. Quá trình hoạt động của RAG
• 3.2.2.3.2. Ưu điểm của RAG
• 3.3. Hệ thống Đông Á Chatbot
• 3.3.1. Thu thập và tiền xử lý dữ liệu
• 3.3.2. Kiến trúc hệ thống ChatBot
• 3.3.3. Kết quả thử nghiệm
• 3.3.4. Đánh giá độ chính xác của chatbot

Tóm tắt

I. Giới thiệu

Trong bối cảnh công nghệ thông tin phát triển nhanh chóng, việc phát triển Chatbot để tìm kiếm thông tin trong lĩnh vực giáo dục, đặc biệt là tại Đại học Công nghệ Đông Á, trở nên cần thiết. Chatbot không chỉ giúp cung cấp thông tin một cách nhanh chóng mà còn cải thiện trải nghiệm người dùng. Việc áp dụng công nghệ Transformers vào Chatbot sẽ nâng cao khả năng hiểu và phản hồi của hệ thống, từ đó đáp ứng tốt hơn nhu cầu của người dùng.

1.1. Tầm quan trọng của Chatbot

Chatbot đóng vai trò quan trọng trong việc cung cấp thông tin tự động và nhanh chóng. Với sự phát triển của trí tuệ nhân tạo và xử lý ngôn ngữ tự nhiên, Chatbot có thể trả lời các câu hỏi từ người dùng một cách tự nhiên và chính xác. Điều này không chỉ giúp giảm tải cho nhân viên mà còn nâng cao chất lượng dịch vụ thông tin tại Đại học Công nghệ Đông Á.

II. Công nghệ Transformers

Công nghệ Transformers đã cách mạng hóa lĩnh vực học máy và xử lý ngôn ngữ tự nhiên. Mô hình này cho phép Chatbot xử lý và hiểu ngữ cảnh trong các cuộc trò chuyện một cách hiệu quả hơn. Sự kết hợp giữa Deep Learning và Transformers giúp Chatbot có khả năng học hỏi từ dữ liệu lớn và cải thiện độ chính xác trong phản hồi. Điều này tạo ra một hệ thống có thể phục vụ người dùng 24/7 mà không cần sự can thiệp của con người.

2.1. Cấu trúc của mô hình Transformers

Mô hình Transformers sử dụng cơ chế self-attention để xác định mối quan hệ giữa các từ trong một câu. Điều này giúp mô hình hiểu rõ hơn về ngữ cảnh và ý nghĩa của các từ trong các câu hỏi của người dùng. Bằng cách này, Chatbot có thể cung cấp thông tin chính xác và liên quan đến nhu cầu của người dùng tại Đại học Công nghệ Đông Á.

III. Phát triển Chatbot tại Đại học Công nghệ Đông Á

Việc phát triển Chatbot tại Đại học Công nghệ Đông Á tập trung vào việc thu thập và xử lý dữ liệu liên quan đến các thông tin như quy chế, khóa học, và học phí. Chatbot sẽ được tích hợp vào trang web của trường để phục vụ sinh viên và phụ huynh. Hệ thống này không chỉ giúp giải đáp thắc mắc mà còn hỗ trợ trong việc tư vấn tuyển sinh, tạo điều kiện thuận lợi cho người dùng trong việc tiếp cận thông tin.

3.1. Tích hợp và triển khai

Quá trình tích hợp Chatbot vào hệ thống thông tin của Đại học Công nghệ Đông Á sẽ bao gồm việc xây dựng giao diện người dùng thân thiện. Giao diện này sẽ cho phép người dùng tương tác dễ dàng với Chatbot. Hệ thống cần đảm bảo tính bảo mật và bảo vệ thông tin cá nhân của người dùng, đồng thời cung cấp thông tin một cách chính xác và nhanh chóng.

IV. Đánh giá hiệu quả

Đánh giá hiệu quả của Chatbot sẽ dựa trên các chỉ số như độ chính xác trong việc trả lời câu hỏi, thời gian phản hồi, và mức độ hài lòng của người dùng. Việc thu thập phản hồi từ người dùng sẽ giúp cải thiện chất lượng dịch vụ của Chatbot trong tương lai. Kết quả thu được sẽ là cơ sở để điều chỉnh và nâng cao khả năng phục vụ của hệ thống, từ đó đáp ứng tốt hơn nhu cầu thông tin của cộng đồng tại Đại học Công nghệ Đông Á.

4.1. Phản hồi từ người dùng

Phản hồi từ người dùng sẽ được thu thập thông qua các khảo sát và đánh giá trực tuyến. Điều này giúp xác định những điểm mạnh và điểm yếu của Chatbot, từ đó có những điều chỉnh phù hợp. Việc lắng nghe ý kiến của người dùng không chỉ giúp cải thiện chất lượng dịch vụ mà còn tăng cường sự hài lòng và tin tưởng của người dùng vào hệ thống thông tin của trường.

Trích đoạn nội dung tài liệu

Bà CÔNG TH¯¡NG TR¯âNG Đ¾I HàC CÔNG NGHIÞP HÀ NÞI LÊ THà LUYÊN LÊ THÞ LUYÊN Hà THàNG THÔNG TIN PHÁT TRIÂN CHATBOT TRÊN NÀN TÀNG TRANSFORMERS ĄNG DĀNG TRONG TÌM KI¾M, TRA CĄU THÔNG TIN VÀ TR¯âNG Đ¾I HàC CÔNG NGHÞ ĐÔNG Á ĐÀ ÁN TàT NGHIàP TH¾C S) Hà THàNG THÔNG TIN 2024 Hà Nái – 2024 Bà CÔNG TH¯¡NG TR¯âNG Đ¾I HàC CÔNG NGHIÞP HÀ NÞI LÊ THÞ LUYÊN PHÁT TRIÂN CHATBOT TRÊN NÀN TÀNG TRANSFORMERS ĄNG DĀNG TRONG TÌM KI¾M, TRA CĄU THÔNG TIN VÀ TR¯âNG Đ¾I HàC CÔNG NGHÞ ĐÔNG Á ĐÀ ÁN TàT NGHIàP TH¾C S) Hà THàNG THÔNG TIN Hà Nái – 2024 Bà CÔNG TH¯¡NG TR¯âNG Đ¾I HàC CÔNG NGHIÞP HÀ NÞI LÊ THÞ LUYÊN PHÁT TRIÂN CHATBOT TRÊN NÀN TÀNG TRANSFORMERS ĄNG DĀNG TRONG TÌM KI¾M, TRA CĄU THÔNG TIN VÀ TR¯âNG Đ¾I HàC CÔNG NGHÞ ĐÔNG Á Ngành: Há tháng thông tin Mã sá: 8480104 ĐÀ ÁN TàT NGHIàP TH¾C S) Hà THàNG THÔNG TIN NG¯äI H¯âNG DÀN: 1. Trần Hùng C°ång 2. Đß Văn Tuấn Hà Nái – 2024 i LâI CAM ĐOAN Tôi xin cam đoan đÁ án này là công trình nghiên cāu cÿa riêng tôi và những nái dung đ°ợc trình bày trong đÁ án này là hoàn toàn trung thực. Những nái dung trình bày trong đÁ án này do tôi tìm hiểu, nghiên cāu và trình bày d°ãi sự h°ãng dÁn cÿa TS.

Trần Hùng C°ång và TS. Những sá liáu, bảng biểu phục vụ cho viác phân tích và dÁn dắt đ°ợc thu thập từ các nguồn tài liáu khác nhau đ°ợc ghi chú trong mục tài liáu tham khảo hoặc chú thích ngay bên d°ãi các bảng biểu. Ngoài ra, đái vãi các tài liáu dißn giải để làm rõ thêm các luận điểm đã phân tích và trích dÁn trong phần phụ lục cũng đ°ợc chú thích nguồn gác dữ liáu. Hà Nội, ngày tháng năm 2024 Học viên thực hián ii LâI CÀM ¡N Em xin chân thành cảm ¢n TS.

Trần Hùng C°ång và TS. Đß Văn Tuấn đã tin t°ởng và cho phép em chọn đÁ tài <Phát triển ChatBot trên nÁn tảng Transformers Āng dụng trong tìm ki¿m, tra cāu thông tin vÁ Tr°ång Đ¿i học Công nghá Đông Á=. ĐÁ tài này đã mang l¿i cho em nhiÁu trải nghiám quý báu cũng nh° ki¿n thāc vô cùng bổ ích trong l*nh vực trí tuá nhân t¿o. Trong quá trình thực hián đÁ án, em đã đ°ợc hß trợ nhiát tình từ các thầy.

Những ki¿n thāc, kinh nghiám cùng những låi khuyên cÿa các thầy đã giúp em hoàn thành đÁ tài mát cách hiáu quả nhất. Em cũng xin bày tß lòng bi¿t ¢n sâu sắc đ¿n tập thể giáo viên và những học viên đã giúp đỡ, đáng viên và cổ vũ em trong suát quá trình nghiên cāu, thực hián đÁ án. ĐÁ án này không chß giúp em nâng cao hiểu bi¿t và kỹ năng nghiên cāu mà còn giúp em có c¢ hái thực hành và áp dụng các ki¿n thāc đã học vào thực t¿. Em tin rằng những k¿t quả và kinh nghiám thu đ°ợc từ đÁ án sẽ có giá trá thực tißn cao và có thể áp dụng đ°ợc trong công viác cÿa em trong t°¢ng lai.

Mát lần nữa, em xin chân thành cảm ¢n các thầy đã giúp đỡ em trong quá trình nghiên cāu và thực hián đÁ án này. Trân trọng! Học viên thực hián iii MĀC LĀC LâI CAM ĐOAN. iii DANH MĀC CÁC KÝ HIÞU, CÁC TĆ VI¾T TÀT. vi DANH MĀC CÁC BÀNG.

vii DANH MĀC HÌNH ÀNH. 1 LÝ DO CHàN ĐÀ TÀI .1 PH¾M VI ĐÀ TÀI .2 CH¯¡NG 1 - TâNG QUAN. NHU CÄU TRA CĄU THÔNG TIN THÔNG VÀ TR¯âNG Đ¾I HàC CÔNG NGHÞ ĐÔNG Á. Học sinh, phụ huynh tìm hiểu thông tin vÁ tr°ång.

Tuyển dụng nhân lực. Thông tin tuyển dụng, c¢ hái nghiên cāu. K¿t nái cáng đồng sinh viên, cựu sinh viên. THĀC TR¾NG, CÁC GIÀI PHÁP ĐANG Đ¯þC ÁP DĀNG TRONG TRA CĄU THÔNG TIN VÀ TR¯âNG Đ¾I HàC CÔNG NGHÞ ĐÔNG Á 5 1.

Trang thông tin đián tử. Các sự kián truyÁn thông. T° vấn học tập, t° vấn tuyển sinh. ĐÁNH GIÁ HIÞU QUÀ CĂA CÁC GIÀI PHÁP ĐANG Đ¯þC ÁP DĀNG.

CHATBOT VÀ ĄNG DĀNG CĂA CHATBOT [9]. Khái niám Chatbot. 8 CH¯¡NG 2 - C¡ Sä LÝ THUY¾T. Khái niám vÁ m¿ng n¢-ron k¿t nái đầy đÿ.

Hián t°ợng overfitting, underfitting và cách khắc phục. M¾NG HàI QUY VÀ BÀI TOÁN S2S. Ki¿n trúc m¿ng hồi quy cho bài toán S2S. ¯u điểm và h¿n ch¿ cÿa m¿ng hồi qui đái vãi bài toán S2S.

Ki¿n trúc Transformers. Mã hóa vá trí cÿa từ. Self-Attention và Cross -Attention. Mát sá LLM nổi ti¿ng sử dụng ki¿n trúc Transformers.

Quá trình huấn luyán và đặc tr°ng cÿa LLMs. 27 CH¯¡NG 3 - XÂY DĀNG HÞ THÞNG CHATBOT SĈ DĀNG LLMs 29 3. SĀ CÄN THI¾T LOCAL CHATGPT ĐÞI VàI DOANH NGHIÞP. PH¯¡NG PHÁP HUÂN LUYÞN LLMS.

Mát sá thách thāc trong viác huấn luyán LLMs. NÂNG CAO HIÞU SUÂT LLMS. Tái °u hóa bá nhã LLM bằng kỹ thuật l°ợng tử. Giảm đá phāc t¿p tính toán bằng kỹ thuật LoRA.

Kỹ thuật RAG. Quá trình hoạt động của RAG. ¯u điểm của RAG. HÞ THÞNG ĐÔNG Á CHATBOT.

Thu thập và tiÁn xử lý dữ liáu. Ki¿n trúc há tháng ChatBot. K¿t quả thử nghiám. Đánh giá đá chính xác cÿa chatbot.

58 vi DANH MĀC CÁC KÝ HIÞU, CÁC TĆ VI¾T TÀT Vi¿t tÁt Ti¿ng Anh Ti¿ng Vißt EAUT East Asia University Of Đ¿i học Công nghá Đông Á Technology AI Artificial Intelligence Trí tuá nhân t¿o SGD Stochastic gradient descent Giảm đá dác ngÁu nhiên RNN Recurrent Neural Networks M¿ng n¢-ron hồi quy CBOW Continuous Bag-of-Words Túi từ liên tục DL Deep Learning Học sâu CPU Central Processing Unit Bá xử lý trung tâm GPU Graphics Processing Unit Bá xử lý đồ họa LLM, Large Language Model Mô hình ngôn ngữ lãn LLMs LSTM Long Short-Term Memory M¿ng bá nhã ngắn h¿n dài h¿n NLP Natural Language Processing Xử lý ngôn ngữ tự nhiên CNN Convolutional Neural Networks M¿ng n¢-ron tích chập UI User Interface Giao dián ng°åi dùng RAG Retrieval-Augmented Generation T¿o tăng c°ång truy xuất vii DANH MĀC CÁC BÀNG Bảng 2. C¢ sở dữ liáu Pre-trained LLMs. Các tác vụ thực hián trong quá trình fine-tuning. 28 viii DANH MĀC HÌNH ÀNH Hình 2.

Mô hình m¿ng n¢-ron. M¿ng n¢-ron k¿t nái đầy đÿ. Hàm mục tiêu và overfitting. Ví dụ m¿ng n¢-ron hồi quy LSTM.

Các thành phần trong m¿ng n¢-ron hồi quy LSTM. S¢ đồ mô hình Transformers. Mã hóa vá trí từ nhúng. C¢ ch¿ Self-Attention.

Mô hình BERT. Mô hình GPT. Mô hình LlaMA. Quá trình huấn luyán mô hình ngôn ngữ.

Yêu cầu bá nhã cho tải và huấn luyán mô hình. Phân rã giá trá sá ít cÿa ma trận m x n. So sánh kỹ thuật huấn luyán LLMs. Kỹ thuật Zero-shot.

Kỹ thuật Few-shot. Quá trình t¿o VectorDB. S¢ đồ quá trình sử dụng VectorDB. Ki¿n trúc há tháng Đông Á Chatbot.

K¿t quả câu hßi vÁ tổ chāc lãp sinh viên. K¿t quả câu hßi vÁ ngành công nghá thông tin cÿa tr°ång. 55 1 Mä ĐÄU LÝ DO CHàN ĐÀ TÀI Trong thåi đ¿i sá hóa hián nay, sự phát triển nhanh chóng cÿa trí tuá nhân t¿o và công nghá xử lý ngôn ngữ tự nhiên đã t¿o ra c¢ hái āng dụng các há tháng Chatbot thông minh trong nhiÁu l*nh vực. Chatbot là mát công cụ m¿nh mẽ có khả năng t°¢ng tác vãi con ng°åi thông qua giao dián ngôn ngữ tự nhiên.

Trong l*nh vực giáo dục, viác phát triển mát Chatbot để cung cấp thông tin và giải đáp câu hßi đang trở thành mát āng dụng quan trọng. Đ¿i học Công nghá Đông Á (EAUT) vãi nhiÁu nguồn thông tin cần đ°ợc truy xuất. Mát Chatbot có khả năng tra cāu thông tin liên quan đ¿n EAUT sẽ là trợ thÿ đắc lực trong công tác truyÁn thông, cung cấp và giải đáp thông tin vÁ Nhà tr°ång mát cách nhanh chóng, chính xác và liên tục. Vấn đÁ đặt ra là làm th¿ nào để phát triển mát Chatbot thông minh, có khả năng hiểu và phản hồi tự nhiên trong giao ti¿p và cung cấp thông tin chính xác vÁ EAUT.

Tr°ãc những vấn đÁ thực t¿ đó, trong bài luận này, tôi ti¿n hành nghiên cāu và phát triển mát Chatbot dựa trên nÁn tảng Transformers vãi mục tiêu cung cấp khả năng hßi đáp và tra cāu thông tin vÁ Tr°ång Đ¿i học Công Nghá Đông Á. Bằng cách k¿t hợp sāc m¿nh cÿa Transformers – mát mô hình học máy tiên ti¿n và vãi ki¿n thāc vÁ EAUT, tôi hy vọng t¿o ra mát công cụ hữu ích và thông minh giúp nâng cao trải nghiám cÿa cáng đồng EAUT trong viác tra cāu thông tin và t°¢ng tác vãi Nhà tr°ång. MĀC TIÊU NGHIÊN CĄU Tìm hiểu và trình bày các khái niám c¢ bản vÁ Chatbot; các kỹ thuật vÁ Deep learning, mô hình Transformers. Khảo sát, đánh giá hián tr¿ng, nhu cầu truy cập, tìm hiểu và hßi đáp thông tin vÁ Tr°ång Đ¿i học Công nghá Đông Á vãi các giải pháp đang đ°ợc sử dụng.

2 ĐÁ tài tập trung vào giải pháp xây dựng há tháng Chatbot áp dụng Deep learning và mô hình Transformers. Chatbot giúp tra cāu, hßi đáp thông tin vÁ Tr°ång Đ¿i học Công nghá Đông Á nhanh h¢n, dß dàng h¢n, liên tục và không cần tham gia cÿa con ng°åi. PH¾M VI ĐÀ TÀI ĐÁ tài này sẽ tập trung vào viác phát triển mát chatbot dựa trên nÁn tảng Transformers vãi mục tiêu phục vụ hßi đáp và tra cāu thông tin liên quan đ¿n Tr°ång Đ¿i học Công Nghá Đông Á. Ph¿m vi nghiên cāu bao gồm: Xây dựng mô hình Chatbot: Phát triển mát mô hình chatbot dựa trên nÁn tảng Transformers, sử dụng mát tập dữ liáu dành riêng cho Tr°ång Đ¿i học Công nghá Đông Á.

Tra cāu thông tin: Chatbot sẽ có khả năng tra cāu thông tin liên quan đ¿n Tr°ång Đ¿i học Công nghá Đông Á, bao gồm quy ch¿, quy đánh, khóa học, ch°¢ng trình đào t¿o, học phí và nhiÁu thông tin khác. Hß trợ hßi đáp: Chatbot sẽ có khả năng hiểu và phản hồi tự nhiên đái vãi các câu hßi liên quan đ¿n Tr°ång Đ¿i học Công nghá Đông Á, bất kể là câu hßi cụ thể vÁ tr°ång học, thÿ tục nhập học,. Tích hợp và triển khai: Chatbot có thể đ°ợc tích hợp vào trang web cÿa Tr°ång Đ¿i học Công nghá Đông Á hoặc các nÁn tảng khác để phục vụ cáng đồng cÿa tr°ång. 3 CH¯¡NG 1 - TâNG QUAN Ch°¢ng này sẽ khảo sát, phân tích nhu cầu tra cāu thông tin vÁ Tr°ång Đ¿i học Công nghá Đông Á, từ viác tìm hiểu thông tin c¢ bản đ¿n các thông tin tuyển sinh, ngành học, ch°¢ng trình học, tuyển dụng, nghiên cāu, và k¿t nái cáng đồng sinh viên và cựu sinh viên, đồng thåi đánh giá hiáu quả cÿa các giải pháp đang đ°ợc áp dụng hián nay.