Hệ Thống Tìm Kiếm Tri Thức Thông Minh Trên Miền WikiHow

Nhu cầu tìm kiếm thông tin để giải quyết vấn đề (How-to query) chiếm tỉ trọng đáng kể trên Internet. Ví dụ: "cách nấu món sườn xào chua ngọt", "cách cài đặt windows 10", "cách gỡ bỏ một ứng dụng trên điện thoại". Google là giải pháp phổ biến, nhưng hiệu quả hạn chế với tiếng Việt. Các vấn đề bao gồm: kết quả không chính xác, thiếu đa dạng về phương pháp, bố cục trình bày không thân thiện. WikiHow là một nguồn tài nguyên tiềm năng cho các câu hỏi How-to.

Google hoạt động tốt với các ngôn ngữ phổ biến như tiếng Anh, nhưng mức độ hiệu quả với How-to query còn hạn chế với tiếng Việt. Kết quả tìm kiếm trên Google chỉ đề xuất duy nhất một phương pháp thay vì liệt kê các giải pháp khác nhau. Bố cục trình bày kết quả không thân thiện với người dùng, gây khó khăn trong việc tiếp cận thông tin. Điều này thúc đẩy sự cần thiết của một hệ thống tìm kiếm chuyên biệt cho How-to query tiếng Việt.

Dữ liệu trên wikiHow chủ yếu là văn bản tiếng Việt, đòi hỏi các kỹ thuật NLP để phân tích và xử lý. Các kỹ thuật cần thiết bao gồm: phân tách từ (word segmentation), gán nhãn từ loại (Part-of-speech tagging - POSTag), và phân tích cú pháp. Việc xử lý ngôn ngữ tiếng Việt phức tạp hơn so với tiếng Anh do đặc điểm của ngôn ngữ (ví dụ: từ ghép, dấu thanh). Chính vì thế, cần sử dụng các công cụ và mô hình NLP được tối ưu hóa cho tiếng Việt.

Xác định độ tương đồng giữa truy vấn của người dùng và nội dung bài viết trên wikiHow là yếu tố then chốt để hệ thống hoạt động hiệu quả. Cần sử dụng các phương pháp tìm kiếm ngữ nghĩa (Semantic search) để hiểu ý nghĩa của truy vấn và nội dung, thay vì chỉ dựa trên từ khóa. Các phương pháp phổ biến bao gồm: TF-IDF, Word2Vec, và BERT. Việc lựa chọn phương pháp phù hợp phụ thuộc vào đặc điểm của dữ liệu và yêu cầu của bài toán.

Biểu diễn kết quả tìm kiếm một cách trực quan và thân thiện với người dùng là rất quan trọng. Kết quả cần được hiển thị rõ ràng, dễ đọc, và dễ tìm kiếm thông tin cần thiết. Cần hiển thị các bước thực hiện, hình ảnh minh họa (nếu có), và các thông tin liên quan khác. Thiết kế giao diện người dùng cần được tối ưu hóa để mang lại trải nghiệm tốt nhất cho người dùng. Việc xây dựng website tìm kiếm tri thức là cần thiết.

Việc thu thập dữ liệu từ wikiHow sử dụng các công cụ như Scrapy để tự động thu thập dữ liệu từ các trang web. Dữ liệu thu thập được bao gồm: tiêu đề bài viết, nội dung các bước thực hiện, hình ảnh minh họa. Elasticsearch được sử dụng để xây dựng chỉ mục cho dữ liệu, giúp tăng tốc độ tìm kiếm. Quá trình index dữ liệu vào Elasticsearch bao gồm: phân tích văn bản, tạo chỉ mục, và lưu trữ dữ liệu.

Tìm kiếm bài viết phù hợp với truy vấn sử dụng các kỹ thuật NLP và các mô hình học máy. Truy vấn của người dùng được xử lý để trích xuất các từ khóa và xác định ý nghĩa. Sau đó, hệ thống sẽ tìm kiếm các bài viết trên wikiHow có nội dung liên quan đến truy vấn. Độ tương đồng giữa truy vấn và nội dung được tính toán bằng các phương pháp như TF-IDF hoặc Word2Vec.

Website tìm kiếm tri thức được xây dựng bằng AngularJs để tạo giao diện người dùng thân thiện. Website cho phép người dùng nhập truy vấn và hiển thị kết quả tìm kiếm. Kết quả tìm kiếm được hiển thị rõ ràng, dễ đọc, và dễ tìm kiếm thông tin cần thiết. Website cũng cung cấp các tính năng như lọc kết quả, sắp xếp kết quả, và xem chi tiết bài viết.

Tập dữ liệu thực nghiệm được thu thập từ wikiHow, bao gồm một số lượng lớn các bài viết hướng dẫn. Dữ liệu được chia thành hai phần: tập huấn luyện và tập kiểm tra. Tập huấn luyện được sử dụng để huấn luyện các mô hình học máy. Tập kiểm tra được sử dụng để đánh giá hiệu quả của hệ thống. Kích thước của tập dữ liệu là một yếu tố quan trọng ảnh hưởng đến hiệu quả của hệ thống.

Thời gian tìm kiếm là một chỉ số quan trọng để đánh giá hiệu suất của hệ thống. Thời gian tìm kiếm được đo bằng thời gian hệ thống cần để trả về kết quả cho một truy vấn. Độ chính xác là một chỉ số quan trọng để đánh giá chất lượng của kết quả. Độ chính xác được đo bằng tỉ lệ các kết quả trả về là chính xác.

Mức độ hài lòng của người dùng là một chỉ số quan trọng để đánh giá tính hữu ích của hệ thống. Mức độ hài lòng được đo bằng cách khảo sát người dùng sau khi họ sử dụng hệ thống. Khảo sát bao gồm các câu hỏi về tính tiện lợi, tính thân thiện, và tính chính xác của kết quả. Kết quả khảo sát được sử dụng để cải thiện hệ thống.

Luận văn đã xây dựng thành công hệ thống tìm kiếm tri thức trên miền wikiHow, đạt được các kết quả tích cực về thời gian tìm kiếm, độ chính xác, và mức độ hài lòng của người dùng. Hệ thống đã chứng minh được khả năng giải quyết các hạn chế của các công cụ tìm kiếm hiện tại cho How-to query tiếng Việt. Các kết quả nghiên cứu có thể được áp dụng cho các bài toán khác trong lĩnh vực xử lý ngôn ngữ tự nhiên.

Khả năng xử lý ngôn ngữ tự nhiên có thể được cải thiện bằng cách sử dụng các mô hình học máy tiên tiến hơn, ví dụ như BERT hoặc các mô hình Transformer khác. Việc huấn luyện các mô hình này trên tập dữ liệu lớn hơn sẽ giúp tăng độ chính xác và khả năng hiểu ngôn ngữ của hệ thống. Ngoài ra, cần nghiên cứu và phát triển các kỹ thuật xử lý ngôn ngữ đặc thù cho tiếng Việt.

Hệ thống có thể được mở rộng bằng cách tích hợp thêm các nguồn dữ liệu khác, ví dụ như các trang web hướng dẫn khác, các diễn đàn, hoặc các mạng xã hội. Việc tích hợp thêm các nguồn dữ liệu sẽ giúp tăng độ bao phủ và đa dạng của hệ thống. Ngoài ra, cần phát triển các tính năng cá nhân hóa để hệ thống có thể gợi ý các kết quả phù hợp với sở thích và nhu cầu của từng người dùng.