Xây dựng hệ thống hỏi đáp tự động hỗ trợ công tác tư vấn dịch vụ hành chính công tại sở thông tin và truyền thông tỉnh bình dương

Tài liệu nghiên cứu Xây dựng hệ thống hỏi đáp tự động hỗ trợ công tác tư vấn dịch vụ hành chính công tại sở thông tin, tổng hợp lý thuyết và thực hành, cung cấp kiến thức chuyên

Chuyên ngành

Hệ thống thông tin

Người đăng

Ẩn danh

Thể loại

Luận văn thạc sĩ

2019

66
2
0

Phí lưu trữ

30 Point

Tóm tắt

I. Tổng quan hệ thống hỏi đáp tự động cho hành chính công

Trong bối cảnh cuộc Cách mạng công nghiệp 4.0, việc ứng dụng trí tuệ nhân tạo (AI)học máy (machine learning) vào cải cách hành chính là một xu hướng tất yếu. Hệ thống hỏi đáp tự động, hay còn gọi là chatbot, nổi lên như một giải pháp đột phá nhằm nâng cao hiệu quả công tác tư vấn dịch vụ hành chính công. Nghiên cứu của Nguyễn Trung Tín tại Sở Thông tin và Truyền thông tỉnh Bình Dương đã đề xuất và xây dựng một mô hình chatbot chuyên biệt cho lĩnh vực này. Hệ thống này được thiết kế để giải quyết các yêu cầu lặp đi lặp lại của người dân và doanh nghiệp, giảm tải cho nhân viên tư vấn, đồng thời cung cấp thông tin một cách nhanh chóng, chính xác và minh bạch 24/7. Mục tiêu cốt lõi của đề tài là "tiết kiệm được nhân lực và thời gian trong quá trình tiếp nhận, và giải quyết các yêu cầu của người dân, doanh nghiệp trên địa bàn tỉnh". Thay vì phải chờ đợi hoặc tìm kiếm thông tin thủ công, người dùng có thể tương tác trực tiếp với chatbot thông qua giao diện web đơn giản để nhận được câu trả lời cho các thắc mắc về thủ tục, quy trình và các văn bản liên quan. Việc này không chỉ cải thiện trải nghiệm của người dân mà còn góp phần xây dựng một nền hành chính công hiện đại, hiệu quả và thân thiện hơn.

1.1. Vai trò của trí tuệ nhân tạo trong cải cách hành chính

Trí tuệ nhân tạo (AI) đang trở thành trụ cột chính trong quá trình chuyển đổi số của các cơ quan nhà nước. Trong lĩnh vực hành chính công, AI không chỉ là công cụ tự động hóa các tác vụ thông thường mà còn là động lực thúc đẩy sự minh bạch và hiệu quả. Các ứng dụng như chatbot giúp giải quyết bài toán quá tải tại các bộ phận một cửa, nơi các câu hỏi của người dân thường mang tính lặp lại cao. Bằng cách tự động hóa khâu tư vấn ban đầu, nhân viên có thể tập trung vào các trường hợp phức tạp hơn, đòi hỏi sự can thiệp của con người. Hơn nữa, hệ thống AI có khả năng hoạt động liên tục, không bị giới hạn bởi thời gian làm việc, đảm bảo người dân có thể tiếp cận thông tin mọi lúc, mọi nơi. Đây là một bước tiến quan trọng trong việc nâng cao chất lượng dịch vụ hành chính công và đáp ứng kỳ vọng ngày càng cao của xã hội.

1.2. Giới thiệu mô hình chatbot tại Sở TT TT Bình Dương

Mô hình chatbot được triển khai thí điểm tại Sở Thông tin và Truyền thông tỉnh Bình Dương là một ứng dụng web, được xây dựng dựa trên các nguyên tắc của xử lý ngôn ngữ tự nhiên (NLP)học sâu (deep learning). Luận văn của Nguyễn Trung Tín mô tả hệ thống này như một "chương trình máy tính tương tác với người dùng bằng ngôn ngữ tự nhiên dưới một giao diện đơn giản". Hệ thống có khả năng hiểu các câu hỏi đa dạng của người dùng về các lĩnh vực do Sở phụ trách, từ thủ tục cấp phép đến các chương trình đào tạo công nghệ. Điểm đặc biệt của mô hình là hướng tiếp cận dựa trên phân loại câu hỏi, cho phép hệ thống nhanh chóng xác định ý định của người dùng và trích xuất câu trả lời phù hợp từ cơ sở dữ liệu đã được huấn luyện. Cách tiếp cận này tỏ ra hiệu quả, đặc biệt với "bài toán dữ liệu nhỏ" thường gặp trong các ứng dụng chuyên ngành.

II. Thách thức trong tư vấn dịch vụ hành chính công hiện nay

Công tác tư vấn dịch vụ hành chính công theo phương thức truyền thống đang đối mặt với nhiều thách thức lớn. Khối lượng câu hỏi và yêu cầu từ người dân, doanh nghiệp ngày càng tăng, gây áp lực nặng nề lên đội ngũ nhân sự. Tài liệu nghiên cứu gốc chỉ rõ thực trạng: "Các hoạt động tiếp nhận câu hỏi và trả lời câu hỏi hiện nay đều là hoạt động mang tính thủ công mà chưa có công cụ nào trợ giúp". Điều này dẫn đến tình trạng quá tải, xử lý chậm trễ, thiếu chính xác và thiếu minh bạch. Người dân thường gặp khó khăn trong việc xác định đúng đối tượng cần hỏi, dẫn đến "các câu hỏi và yêu cầu thường không được trả lời thỏa đáng". Sự phụ thuộc hoàn toàn vào con người cũng tạo ra những rào cản về thời gian. Người dân chỉ có thể nhận được tư vấn trong giờ hành chính, gây bất tiện cho những người có lịch trình bận rộn. Hơn nữa, chất lượng tư vấn có thể không đồng đều, phụ thuộc vào kinh nghiệm và kiến thức của từng cán bộ. Những hạn chế này làm giảm sự hài lòng của người dân và cản trở nỗ lực xây dựng một chính quyền điện tử hiệu quả, thân thiện.

2.1. Hạn chế của các phương thức tư vấn truyền thống

Phương thức tư vấn truyền thống, dù qua điện thoại, email hay trực tiếp tại quầy, đều bộc lộ nhiều điểm yếu cố hữu. Thứ nhất là tính khả dụng bị giới hạn. Dịch vụ chỉ hoạt động trong giờ hành chính, không thể đáp ứng nhu cầu 24/7 của người dân. Thứ hai là hiệu suất thấp. Một nhân viên chỉ có thể xử lý một yêu cầu tại một thời điểm, dẫn đến tình trạng chờ đợi kéo dài khi có lượng truy cập lớn. Thứ ba là nguy cơ thông tin thiếu nhất quán. Các câu trả lời có thể khác nhau tùy thuộc vào người tư vấn. Cuối cùng, việc lưu trữ và phân tích các yêu cầu để cải thiện dịch vụ rất khó khăn vì dữ liệu không được số hóa một cách có hệ thống. Những hạn chế này cho thấy sự cần thiết phải có một giải pháp công nghệ để tối ưu hóa quy trình tư vấn dịch vụ hành chính công.

2.2. Nhu cầu cấp thiết về một công cụ hỗ trợ tự động hóa

Để giải quyết các thách thức nêu trên, nhu cầu về một công cụ hỗ trợ tự động là vô cùng cấp thiết. Một hệ thống hỏi đáp tự động có thể hoạt động như một nhân viên tư vấn ảo, sẵn sàng phục vụ người dân bất kể ngày đêm. Hệ thống này đảm bảo tính nhất quán trong thông tin cung cấp, vì mọi câu trả lời đều được lấy từ một cơ sở dữ liệu duy nhất và đã được kiểm duyệt. Hơn nữa, chatbot có thể xử lý đồng thời hàng nghìn yêu cầu mà không bị quá tải, giúp giải phóng nguồn nhân lực con người để tập trung vào các nhiệm vụ chuyên sâu hơn. Việc triển khai một công cụ như vậy không chỉ là giải pháp tình thế mà còn là một bước đi chiến lược, phù hợp với chủ trương xây dựng chính quyền số và nâng cao năng lực phục vụ của Sở Thông tin và Truyền thông tỉnh Bình Dương.

III. Phương pháp xây dựng hệ thống hỏi đáp bằng học sâu BiLSTM

Giải pháp cốt lõi của nghiên cứu là xây dựng một hệ thống hỏi đáp tự động dựa trên phương pháp phân loại câu hỏi sử dụng mô hình học sâu. Cụ thể, luận văn đề xuất áp dụng mạng n-ron bộ nhớ dài-ngắn song song, hay BiLSTM (Bidirectional Long Short-Term Memory). Lý do lựa chọn phương pháp này được giải thích rõ: "Chúng tôi áp dụng phương pháp học sâu BiLSTM vì phương pháp này đạt kết quả tốt". Mô hình BiLSTM là một dạng cải tiến của mạng n-ron hồi quy (RNN), có khả năng xử lý thông tin tuần tự như ngôn ngữ một cách hiệu quả. Không giống như LSTM chỉ xử lý chuỗi theo một chiều (từ trước ra sau), BiLSTM xử lý dữ liệu theo cả hai chiều xuôi và ngược. Điều này cho phép mô hình nắm bắt được ngữ cảnh của một từ dựa trên cả những từ đứng trước và đứng sau nó, giúp việc hiểu ý định câu hỏi trở nên chính xác hơn. Toàn bộ quy trình bắt đầu bằng việc biểu diễn các từ dưới dạng vector số học thông qua kỹ thuật Word Embedding, sau đó đưa các vector này vào mô hình BiLSTM để huấn luyện. Kết quả là một mô hình có khả năng phân loại câu hỏi mới của người dùng vào các danh mục đã định sẵn và đưa ra câu trả lời tương ứng.

3.1. Nguyên lý xử lý ngôn ngữ tự nhiên NLP ứng dụng

Xử lý ngôn ngữ tự nhiên (NLP) là nền tảng của hệ thống. Trước khi mô hình học sâu có thể hoạt động, dữ liệu văn bản thô (câu hỏi của người dùng) phải trải qua các bước tiền xử lý. Quá trình này bao gồm việc tách từ (tokenize), loại bỏ các từ dừng (stop words) như "là", "của", "và", và chuẩn hóa dữ liệu để loại bỏ các ký tự không cần thiết. Sau khi làm sạch, mỗi từ trong câu hỏi được chuyển đổi thành một vector số học thông qua kỹ thuật nhúng từ (Word Embedding). Việc này giúp máy tính "hiểu" được mối quan hệ ngữ nghĩa giữa các từ, ví dụ như từ "thủ tục" và "quy trình" sẽ có các vector gần nhau trong không gian. Đây là bước quan trọng để cung cấp đầu vào chất lượng cho mô hình BiLSTM.

3.2. Sức mạnh của mô hình BiLSTM trong phân loại câu hỏi

Mô hình BiLSTM được chọn làm trọng tâm vì khả năng ghi nhớ các phụ thuộc dài trong câu. Trong lĩnh vực hành chính công, một câu hỏi có thể chứa nhiều chi tiết và ngữ cảnh phức tạp. BiLSTM xử lý chuỗi đầu vào theo hai hướng: một LSTM chạy từ đầu đến cuối câu và một LSTM chạy ngược lại. Kết quả từ cả hai mạng được kết hợp tại mỗi bước thời gian. Điều này mang lại cho mô hình một cái nhìn toàn diện về ngữ cảnh xung quanh mỗi từ, giúp nó phân biệt được các sắc thái tinh tế giữa các câu hỏi. Ví dụ, nó có thể phân biệt giữa "thủ tục đăng ký kinh doanh" và "thủ tục thay đổi đăng ký kinh doanh" một cách chính xác. Nghiên cứu khẳng định rằng việc áp dụng BiLSTM mang lại kết quả khả quan, đặc biệt trong bài toán phân loại câu hỏi.

IV. Quy trình huấn luyện và đánh giá mô hình hỏi đáp tự động

Để xây dựng một hệ thống hỏi đáp tự động hiệu quả, quy trình huấn luyện và đánh giá mô hình phải được thực hiện một cách khoa học và chặt chẽ. Quá trình này bao gồm nhiều bước, từ thu thập dữ liệu đến kiểm định hiệu năng của mô hình. Đầu tiên, một bộ dữ liệu lớn gồm các cặp câu hỏi và câu trả lời liên quan đến các dịch vụ hành chính công của Sở Thông tin và Truyền thông tỉnh Bình Dương được thu thập. Bộ dữ liệu này sau đó được phân chia theo tỷ lệ, một phần để huấn luyện (training set) và một phần để kiểm tra (test set). Mô hình BiLSTM được huấn luyện trên tập training để học cách liên kết giữa các mẫu câu hỏi và các loại ý định tương ứng. Trong quá trình huấn luyện, các tham số của mô hình như trọng số mạng n-ron được điều chỉnh liên tục để giảm thiểu sai số. Sau khi huấn luyện, hiệu quả của mô hình được đánh giá trên tập test, là những dữ liệu mà mô hình chưa từng thấy trước đây. Các chỉ số như độ chính xác (Accuracy) được sử dụng để đo lường hiệu năng. Theo luận văn, mục tiêu là đạt "tham số accuracy đạt trên 95%" để đảm bảo mô hình có thể dự đoán chính xác và đáng tin cậy trong thực tế.

4.1. Các bước thu thập và chuẩn hóa dữ liệu hành chính

Bước đầu tiên và quan trọng nhất là thu thập dữ liệu. Dữ liệu bao gồm các câu hỏi thường gặp của người dân về thủ tục hành chính, thông tin lãnh đạo, các phòng ban và chương trình đào tạo do Sở phụ trách. Dữ liệu này được thu thập và gán nhãn thủ công theo từng chủ đề. Sau đó, quá trình chuẩn hóa được thực hiện. Các câu hỏi được làm sạch bằng cách loại bỏ dấu câu, chuyển thành chữ thường, và xử lý các từ viết tắt. Bước này đảm bảo dữ liệu đầu vào cho mô hình là đồng nhất và chất lượng cao, từ đó nâng cao hiệu quả huấn luyện. Bộ dữ liệu sau khi chuẩn hóa sẽ được phân tách thành hai bộ: một bộ câu hỏi và một bộ câu trả lời tương ứng, sẵn sàng cho giai đoạn tiếp theo.

4.2. Huấn luyện và tinh chỉnh mô hình để đạt độ chính xác

Quá trình huấn luyện sử dụng bộ dữ liệu đã được chuẩn hóa. Mô hình học sâu BiLSTM sẽ học các mẫu từ dữ liệu này. Quá trình này được lặp đi lặp lại qua nhiều vòng (epochs). Ở mỗi vòng, mô hình sẽ cố gắng dự đoán loại câu hỏi và so sánh kết quả với nhãn thực tế, sau đó tự điều chỉnh các tham số nội bộ để giảm sai số. Các tham số quan trọng như tốc độ học (learning rate), kích thước lô (batch size) và hàm kích hoạt (activation) được tinh chỉnh để tìm ra cấu hình tối ưu nhất. Việc đánh giá liên tục trên một tập dữ liệu xác thực (validation set) giúp ngăn ngừa hiện tượng học vẹt (overfitting). Mục tiêu cuối cùng là tạo ra một mô hình dự đoán có độ chính xác cao, sẵn sàng triển khai vào ứng dụng thực tế.

V. Ứng dụng thực tiễn chatbot tại Sở TT TT tỉnh Bình Dương

Nghiên cứu không chỉ dừng lại ở lý thuyết mà còn được hiện thực hóa thành một ứng dụng cụ thể. Một ứng dụng chatbot trên nền tảng web đã được xây dựng và triển khai thí điểm để hỗ trợ công tác tư vấn tại Sở Thông tin và Truyền thông tỉnh Bình Dương. Ứng dụng này, được gọi là ICTBot, cho phép người dùng nhập câu hỏi bằng ngôn ngữ tự nhiên và nhận lại câu trả lời ngay lập tức. Giao diện được thiết kế thân thiện, giúp người dân dễ dàng tiếp cận và sử dụng mà không cần kiến thức kỹ thuật phức tạp. Khi người dùng gửi một câu hỏi, yêu cầu sẽ được chuyển đến mô hình BiLSTM đã được huấn luyện. Mô hình này nhanh chóng phân loại câu hỏi và truy xuất câu trả lời chính xác nhất từ cơ sở dữ liệu. Kết quả thực nghiệm cho thấy "mô hình đề xuất đã cho kết quả rất tích cực, hỗ trợ giải quyết các vấn đề cần tư vấn một cách nhanh chóng, hiệu quả". Việc triển khai thành công ứng dụng này đã chứng minh tính thực tiễn và ý nghĩa khoa học của đề tài, mở ra một hướng đi mới trong việc hiện đại hóa dịch vụ hành chính công.

5.1. Triển khai ứng dụng ICTBot trên nền tảng website

Ứng dụng ICTBot được xây dựng dưới dạng một giao diện web trực quan. Người dùng có thể truy cập thông qua trình duyệt trên máy tính hoặc thiết bị di động. Hệ thống cho phép người dùng lựa chọn các mục chủ đề để hỏi hoặc gõ trực tiếp câu hỏi vào ô chat. Câu hỏi sau khi nhập sẽ được gửi đến máy chủ để xử lý. Tại đây, mô hình phân loại câu hỏi sẽ dự đoán ý định của người dùng và hệ thống sẽ trả về câu trả lời tương ứng. Toàn bộ quá trình diễn ra gần như tức thì. Luận văn cũng mô tả các giao diện phân tích dữ liệu và đánh giá mô hình, cho thấy hệ thống không chỉ trả lời mà còn có khả năng thu thập phản hồi để tự cải thiện trong tương lai.

5.2. Phân tích kết quả thực nghiệm và phản hồi từ người dùng

Kết quả thực nghiệm là yếu tố then chốt để đánh giá sự thành công của dự án. Luận văn đã tiến hành khảo sát người dùng và phân tích kết quả đánh giá ứng dụng ICTBot. Các chỉ số về độ chính xác của mô hình BiLSTM trong việc phân loại câu hỏi được ghi nhận là rất cao. Phản hồi từ người dùng thử nghiệm cũng rất tích cực. Họ đánh giá cao tốc độ phản hồi nhanh chóng và sự tiện lợi của chatbot so với việc phải liên hệ trực tiếp. Các kết quả này khẳng định rằng hệ thống hỏi đáp tự động không chỉ khả thi về mặt kỹ thuật mà còn đáp ứng được nhu cầu thực tế của người dân, góp phần nâng cao sự hài lòng đối với các dịch vụ hành chính công.

VI. Tương lai của hệ thống hỏi đáp tự động trong hành chính

Sự thành công của mô hình hỏi đáp tự động tại Sở Thông tin và Truyền thông tỉnh Bình Dương đã mở ra một tương lai đầy hứa hẹn cho việc ứng dụng công nghệ này trong lĩnh vực hành chính công. Đây không chỉ là một công cụ hỗ trợ mà còn là một phần quan trọng trong hệ sinh thái chính quyền điện tử. Trong tương lai, hệ thống này có thể được phát triển và mở rộng theo nhiều hướng. Việc tích hợp thêm các công nghệ nhận dạng giọng nói sẽ cho phép người dân tương tác với chatbot một cách tự nhiên hơn. Cơ sở dữ liệu có thể được mở rộng để bao quát nhiều lĩnh vực và dịch vụ của các sở, ban, ngành khác nhau trong tỉnh, tạo thành một trợ lý ảo toàn diện cho người dân. Hơn nữa, với khả năng thu thập và phân tích dữ liệu lớn từ các cuộc hội thoại, hệ thống có thể cung cấp những thông tin chi tiết về nhu cầu và các vấn đề mà người dân quan tâm. Dữ liệu này là nguồn tài nguyên quý giá giúp các nhà hoạch định chính sách đưa ra những quyết định cải cách phù hợp, hướng tới một nền hành chính phục vụ ngày càng tốt hơn.

6.1. Hướng phát triển và mở rộng quy mô hệ thống chatbot

Hướng phát triển trong tương lai tập trung vào việc làm cho chatbot trở nên thông minh và đa năng hơn. Thay vì chỉ trả lời các câu hỏi có sẵn, hệ thống có thể được tích hợp sâu hơn vào các hệ thống nghiệp vụ để thực hiện các tác vụ như tra cứu tình trạng hồ sơ, điền biểu mẫu tự động, hoặc đặt lịch hẹn. Việc mở rộng quy mô từ cấp Sở lên cấp Tỉnh là một mục tiêu khả thi, đòi hỏi sự đồng bộ hóa về cơ sở dữ liệu và quy trình giữa các cơ quan. Ngoài ra, việc áp dụng các mô hình học sâu tiên tiến hơn có thể giúp chatbot hiểu được các cuộc hội thoại phức tạp, kéo dài và quản lý ngữ cảnh tốt hơn, mang lại trải nghiệm gần gũi như trò chuyện với người thật.

6.2. Tiềm năng tích hợp công nghệ AI vào chính quyền số

Tiềm năng của trí tuệ nhân tạo (AI) trong việc xây dựng chính quyền số là rất lớn. Hệ thống hỏi đáp tự động chỉ là một trong nhiều ứng dụng. Trong tương lai, AI có thể được sử dụng để phân tích dữ liệu lớn nhằm dự báo các xu hướng xã hội, tối ưu hóa quy trình xử lý hồ sơ, phát hiện gian lận trong các thủ tục hành chính, và cá nhân hóa các dịch vụ công cho từng người dân. Việc tích hợp AI một cách chiến lược sẽ giúp các cơ quan nhà nước hoạt động hiệu quả, minh bạch và linh hoạt hơn, đóng góp trực tiếp vào mục tiêu xây dựng một quốc gia số phát triển bền vững. Dự án tại Sở Thông tin và Truyền thông tỉnh Bình Dương là một minh chứng rõ ràng cho tiềm năng này.

04/10/2025

Trích đoạn nội dung tài liệu

Chương 1 – Tổng quan về lĩnh vực nghiên cứu Sơ lược tổng quan về vấn đề nghiên cứu trên phương diện tổng quan nhất, nêu ra mục tiêu, phương pháp nghiên cứu và bố cục luận văn. ✓ Chương 2 – Cơ sở lý thuyết và các nghiên cứu liên quan Giới thiệu tổng quan về xử lí ngôn ngữ tự nhiên, về Word2Vector; giới thiệu về mạng nơ ron nhân tạo, các mô hình mạng nơ ron cải tiến là cơ sở của mạng học sâu. Nghiên cứu các mô hình phát sinh văn bản trong hệ thống đối thoại, giới thiệu về mô hình phân loại câu hỏi và các vấn đề chung có thể gặp phải khi xây dựng mô hình đối thoại; Trình bày cơ bản về hệ thống trả lời tự động, cùng với tình hình nghiên cứu trong nước và ngoài nước. ✓ Chương 3 – Mô hình đề xuất: Chương 3 trình bày tổng quan về mô hình đề xuất và đi sâu phân tích các đặc trưng của mô hình đề xuất.

3 ✓ Chương 4 – Thực nghiệm trình bày chi tiết cụ thể các kết quả đạt được và phân tích, đánh giá, so sánh kết quả đạt được với các mô hình trước. ✓ Chương 5 – Kết luận và hướng phát triển. 4 CHƯƠNG 2 CƠ SỞ LÝ THUYẾT VÀ CÁC NGHIÊN CỨU LIÊN QUAN 2. Xử lý ngôn ngữ tự nhiên Xử lý ngôn ngữ tự nhiên (gọi tắt NLP - Natural Language Processing) là các kĩ thuật, phương pháp nhằm hỗ trợ cho các hệ thống máy tính hiểu và xử lý, nhận dạng ngôn ngữ tự nhiên như tiếng Việt, tiếng Anh.

Dịch máy, rút trích thông tin, truy hồi thông tin, hỏi đáp tự động,… là các hướng nghiên cứu chính của xử lý ngôn ngữ tự nhiên. Tổng quan các nghiên cứu về xử lý ngôn ngữ tự nhiên được trình bày trong hình 2.1: Tổng quan các nghiên cứu về xử lý ngôn ngữ tự nhiên 2. Bài toán xác định ý định người dùng (intent detection) Thông thường, người dùng thường truy cập hệ thống trả lời tự động (chatbot) với mong muốn hệ thống sẽ đưa ra những hành động trợ giúp mình về một vấn đề nào đó. Ví dụ, người dùng của hệ thống chatbot hỗ trợ đặt vé máy bay có thể đưa ra yêu cầu đặt vé của mình khi bắt đầu cuộc hội thoại.

Để đưa ra hỗ trợ được chính xác, chatbot cần xác định được ý định (intent) đó của người dùng. Việc xác định ý định của người dùng sẽ quyết định hội thoại tiếp theo giữa người và chatbot sẽ diễn ra như thế nào. Vì thế, nếu xác định sai ý định người dùng, chatbot sẽ đưa ra những phản hồi không đúng, không hợp ngữ cảnh. Khi đó, người dùng có thể thấy chán ghét và không quay lại sử dụng hệ thống.

Bài toán xác định ý định người dùng vì thế đóng vai trò rất quan trọng trong hệ thống chatbot. 5 Đối với miền ứng dụng đóng, chúng ta có thể giới hạn rằng số lượng ý định của người dùng nằm trong một tập hữu hạn những intent đã được định nghĩa sẵn, có liên quan đến những nghiệp vụ doanh nghiệp mà chatbot có thể hỗ trợ. Với giới hạn này, bài toán xác định ý định người dùng có thể quy về bài toán phân lớp văn bản. Với đầu vào là một câu giao tiếp của người dùng, hệ thống phân lớp sẽ xác định intent tương ứng với câu đó trong tập các intent đã được định nghĩa.

Để xây dựng một mô hình phân lớp intent, chúng ta cần một tập dữ liệu huấn luyện bao gồm các cách diễn đạt khác nhau cho mỗi intent. Ví dụ, cùng một mục đích hỏi về thời tiết ở Hà Nội trong ngày hôm nay, người dùng có thể dùng những cách diễn đạt sau: • Thời tiết hôm nay ở Hà Nội thế nào ad? • Hà Nội hôm nay có mưa không vậy? • Hà Nội hôm nay bao nhiêu độ vậy? • Cho mình hỏi, ra ngoài đường hôm nay có phải mang áo mưa không? Có thể nói, bước tạo dữ liệu huấn luyện cho bài toán phân lớp intent là một trong những công việc quan trọng nhất khi phát triển hệ thống chatbot và ảnh hưởng lớn tới chất lượng sản phẩm của hệ thống chatbot về sau. Công việc này cũng đòi hỏi thời gian, công sức khá lớn khi phát triển chatbot. Khi đã có dữ liệu huấn luyện cho bài toán phân lớp intent, chúng ta sẽ mô hình bài toán thành bài toán phân lớp văn bản.

Bài toán phân lớp văn bản (text categorization) là một bài toán kinh điển trong ngành NLP và khai phá văn bản (Text Mining). Kiến trúc của hệ thống phân lớp intent được minh hoạ trong Hình 2.2: Những thành phần trong hệ phân lớp intent Hệ thống phân lớp intent có một số thành phần cơ bản: 6 • Tiền xử lý dữ liệu • Trích xuất đặc trưng • Huấn luyện mô hình • Phân lớp Trong bước tiền xử lý dữ liệu, chúng ta sẽ thực hiện các thao tác “làm sạch” dữ liệu như: loại bỏ các thông tin dư thừa, chuẩn hoá dữ liệu như chuyển các từ viết sai chính tả thành đúng chính tả, chuẩn hoá các từ viết tắt,… Việc tiền xử lý dữ liệu có vai trò quan trọng trong hệ thống chatbot do đặc thù của ngôn ngữ chat, nói: viết tắt, sai chính tả, hay dùng “teencode”. Sau khi tiền xử lý dữ liệu và thu được dữ liệu đã được làm sạch, chúng ta sẽ trích xuất những đặc trưng từ dữ liệu này. Trong học máy, bước này được gọi là trích xuất đặc trưng (feature extraction hay feature engineering).

Trong mô hình học máy truyền thống (trước khi mô hình học sâu được áp dụng rộng rãi), bước trích xuất đặc trưng ảnh hưởng lớn đến độ chính xác của mô hình phân lớp. Để trích xuất được những đặc trưng tốt, chúng ta cần phân tích dữ liệu khá tỉ mỉ và cần cả những tri thức chuyên gia trong từng miền ứng dụng cụ thể. Bước huấn luyện mô hình nhận đầu vào là các đặc trưng đã được trích xuất và áp dụng các thuật toán học máy để học ra một mô hình phân lớp. Các mô hình phân lớp có thể là các luật phân lớp (nếu sử dụng decision tree) hoặc là các vector trọng số tương ứng với các đặc trưng được trích xuất (như trong các mô hình logistic regression, SVM, hay mạng Neural).

Sau khi có một mô hình phân lớp intent, chúng ta có thể sử dụng nó để phân lớp một câu hội thoại mới. Câu hội thoại này cũng đi qua các bước tiền xử lý và trích xuất đặc trưng, sau đó mô hình phân lớp sẽ xác định “điểm số” cho từng intent trong tập các intent và đưa ra intent có điểm cao nhất. Bài toán trích xuất thông tin (IE - Information extraction) Bài toán trích xuất thông tin là một trong những bài toán chính của xử lý ngôn ngữ tự nhiên. Với ví dụ là các câu hội thoại của người dùng, chúng ta cần trích xuất các thông tin cần thiết trong đó.

Các thông tin cần trích xuất trong một câu hội thoại thường là các thực thể thuộc về một loại nào đó. Ví dụ, khi một khách hàng muốn đặt vé máy bay, hệ thống cần biết địa điểm xuất phát và địa điểm khách muốn 7 đến, ngày giờ khách hàng muốn bay,…Thành phần của hệ thống trích xuất thông tin của các hệ thống trả lời tự động thường hỗ trợ các loại thực thể như: • Vị trí (Location) • Thời gian (Datetime) • Số (Number) • Địa chỉ liên lạc (Contact) • Khoảng cách (Distance) • Khoảng thời gian (Duration) Hình 2.3: Gán nhãn từ theo mô hình B-I-O trong trích xuất thông tin Đầu vào của một module trích xuất thông tin là một câu hội thoại. Module trích xuất thông tin cần xác định vị trí của các thực thể trong câu (vị trí bắt đầu và vị trí kết thúc của thực thể). Ví dụ sau minh hoạ một câu hội thoại và các thực thể được trích xuất từ đó.

• Câu hội thoại: Tôi muốn đặt vé máy bay đi Phú Quốc từ sân bay Nội Bài lúc 8 giờ tối ngày mai. • Câu có các thực thể được xác định: Tôi muốn đặt vé máy bay đi [Phú Quốc]LOCATION từ sân bay [Nội Bài]LOCATION lúc [8 giờ tối ngày mai]TIME Trong câu trên có 3 thực thể (nằm trong các dấu [ ]) với các loại thực thể tương ứng (được viết với font chữ nhỏ hơn ở dưới). Cách tiếp cận phổ biến cho bài toán trích xuất thông tin là mô hình hoá bài toán thành bài toán gán nhãn chuỗi (sequence labeling). Đầu vào của bài toán gán nhãn chuỗi là một dãy các từ, và đầu ra là một dãy các nhãn tương ứng các các từ trong đầu vào.

Chúng ta sẽ sử dụng các mô hình học máy để học một mô hình gán nhãn từ một tập dữ liệu đầu vào bao gồm các cặp (x1…xn, y1…yn), trong đó x1…xn là dãy các từ, y1…yn là dãy các nhãn. Độ dài của các dãy từ trong tập dữ liệu có thể khác nhau. Trong bài toán trích xuất thông tin, tập nhãn cho các từ trong câu đầu vào thường được tạo ra theo mô hình BIO, với B là viết tắt của “Beginning”, I là viết tắt của “Inside”, và O là viết tắt của “Outside”. Khi biết vị trí từ bắt đầu của một thực thể và các từ nằm trong thực thể đó, chúng ta có thể xác định vị trí của thực thể 8 trong câu.

Trong ví dụ ở trên, dãy các nhãn tương ứng với dãy của các từ trong câu hội thoại đầu vào được minh hoạ ở Hình 2. Quản lý hội thoại Trong các phiên trao đổi dài (long conversation) giữa người và chatbot, chatbot sẽ cần ghi nhớ những thông tin về ngữ cảnh (context) hay quản lý các trạng thái hội thoại (dialog state). Vấn đề quản lý hội thoại (dialoge management) khi đó là quan trọng để đảm bảo việc trao đổi giữa người và máy là thông suốt. Chức năng của thành phần quản lý hội thoại là nhận đầu vào từ thành phần NLU, quản lý các trạng thái hội thoại (dialogue state), ngữ cảnh hội thoại (dialogue context), và truyền đầu ra cho thành phần sinh ngôn ngữ (Natural Language Generation, viết tắt là NLG).

Ví dụ module quản lý dialogue trong một chatbot phục vụ đặt vé máy bay cần biết khi nào người dùng đã cung cấp đủ thông tin cho việc đặt vé để tạo một ticket tới hệ thống hoặc khi nào cần phải xác nhận lại thông tin do người dùng đưa vào. Hiện nay, các sản phẩm chatbot thường dùng mô hình máy trạng thái hữu hạn (Finite State Automata – FSA), mô hình Frame-based (Slot Filling), hoặc kết hợp hai mô hình này.4: Minh hoạ quản lý hội thoại theo mô hình máy trạng thái hữu hạn FSA 9 FSA là mô hình quản lý hội thoại đơn giản nhất.

Nội dung được bảo vệ bản quyền — Tải xuống đầy đủ