HỌC VIỆN CÔNG NGHỆ BƯU CHÍNH VIỄN THÔNG TRẦN THỊ TUYẾT HOA XÂY DỰNG HỆ THỐNG TRUY HỒI HỌC LIỆU CHO SINH VIÊN NGÀNH ĐIỆN - ĐIỆN TỬ LUẬN VĂN THẠC SĨ KỸ THUẬT

Truy hồi thông tin (Information Retrieval - IR) là việc tìm kiếm tài liệu phi cấu trúc (thường là văn bản) đáp ứng nhu cầu thông tin từ các tập tin lớn trên máy tính, máy chủ cục bộ hoặc trên Internet. IR là lĩnh vực khoa học máy tính chuyên về lý thuyết và thực hành tìm kiếm thông tin. Văn bản là phương tiện phổ biến nhất để diễn đạt và phân phối thông tin, hầu hết các nghiên cứu về IR tập trung vào tìm kiếm thông qua bộ sưu tập văn bản. Hệ thống truy hồi có thể xem xét lịch sử người dùng, vị trí thực tế, các thay đổi theo thời gian trong thông tin khi xếp hạng kết quả. Quan trọng, hệ thống IR nên học các mẫu trong văn bản truy vấn và tài liệu cho biết mức độ liên quan, ngay cả khi truy vấn và tài liệu sử dụng các từ vựng khác nhau.

Quá trình truy hồi thông tin bao gồm hai giai đoạn chính: tiền xử lý và thu thập. Giai đoạn tiền xử lý chuyển đổi văn bản thô thành tài liệu được tách từ và lập chỉ mục. Giai đoạn thứ hai, người dùng thực hiện truy vấn. Hệ thống truy hồi tìm kiếm các tài liệu liên quan đến truy vấn, dựa trên việc biểu diễn của truy vấn và các phần tử thông tin. Các tài liệu và thông tin tìm thấy được hiển thị trong một danh sách sắp xếp theo thứ tự phù hợp. Hệ thống có thể cũng cung cấp cơ chế phản hồi để cải thiện kết quả truy vấn. Nhiều hệ thống thông tin bao gồm các cơ chế cho phép người dùng cung cấp phản hồi về chất lượng của kết quả trả về. Bằng cách sử dụng phản hồi, hệ thống sẽ cố gắng thích ứng và cố gắng tìm ra những kết quả tốt nhất cho truy vấn.

Trong bối cảnh thế giới hiện tại, tình hình dịch Covid đang là vấn đề đáng quan tâm và lo ngại nên môi trường học tập của sinh viên – học sinh dần chuyển sang hình thức học trực tuyến đã được phổ biến rộng khắp các trường học ở Việt Nam. Với hình thức học trực tuyến – online thì nhu cầu tìm kiếm thông tin, tài liệu chính xác về môn học cũng được nâng cao theo. Theo đó, cần phải đảm bảo rằng các hệ thống truy hồi học liệu điện tử phải đáp ứng các tiêu chí nhanh chóng, chính xác và đáng tin cậy.

Khi một học sinh tìm lại liệu trên Web mạng thì sẽ có hàng loạt các nội dung liên quan có khi đúng, gần đúng, khi không chính xác hoặc có nhiều địa chỉ truy cập xấu hiện ra. Lý do là vì phải đối mặt với nhiều nguồn tài liệu. Hệ thống truy hồi thông tin dựa vào từ khóa sẽ không mang đến kết quả chính xác chuẩn như mong muốn. Trước vấn đề đó, cần có giải pháp để học sinh có thể tìm kiếm học liệu một cách hiệu quả và chính xác nhất.

Lucene là thư viện mã nguồn mở chuyên hỗ trợ xây dựng hệ thống tìm kiếm thông tin. Ví dụ: CNET dùng Lucene để tìm kiếm danh sách nhiều thể loại sản phẩm, Wikipedia thì dùng Lucene để tìm kiếm nội dung toàn văn bản. Elasticsearch và Solr là hai công cụ tìm kiếm khá phổ biến đã được xây dựng và phát triển dựa trên nền tảng của Lucene. Do đó, tôi cũng đã sử dụng Lucene cho hệ thống.

Giai đoạn tiền xử lý, trong đó tài liệu thô của dữ liệu được xử lý thành các tài liệu được tách từ, phân đoạn (tokenized documents) và sau đó lập chỉ mục thành danh sách các vị trí của dữ liệu từ (postings per term). Ta tiến hành các bước sau: Phân tích từ vựng, Loại bỏ từ dừng (stopword), Lấy gốc từ là thu gọn một từ về dạng ngữ pháp gốc của nó. Đánh chỉ mục cho phép tích hợp ngữ nghĩa thu được từ kho dữ liệu riêng. Cấu trúc chỉ mục gồm tập hợp các thuật ngữ đã xử lý, cùng với danh sách tài liệuchứa chúng và trọng số của chúng.

Trong giai đoạn thu thập và tìm kiếm, thuật ngữ thu được từ quá trình xử lý văn bản sẽ được sử dụng để xác định, thông qua chỉ mục và danh sách tài liệu thuật ngữ đó xuất hiện. Tùy thuộc vào từng loại truy vấn và tần suất xuất hiện của các từ đó trong tìm kiếm, một tập tài liệu sẽ được thu thập gồm tất cả các từ hoặc một số từ. Các tài liệu thu thập được sẽ được xếp hạng tùy theo mức độ phù hợp với nội dung truy vấn.

Mục tiêu cụ thể của hệ thống gồm có các chức năng: truy hồi thông tin theo từ khóa, truy hồi thông tin theo từ khóa và loại văn bản, chức năng học và phân loại văn bản theo thể loại học liệu, chức năng học và phân loại theo chủ đề thuộc lĩnh vực điện - điện tử.

Quá trình truy hồi có thể lặp đi lặp lại, khi hệ thống nhận được phản hồi từ người dùng chẳng hạn như đánh giá mức độ phù hợp củatài liệu được xếp hạng cao. Từ đó, nó sẽ cải thiện tính đại diện của nhu cầu thông tin và đưa ra kết quả tốt hơn cho việc xếp hạng tài liệu. Quan trọng, đánh giá hiệu quả hệ thống dựa trên độ chính xác (Precision) và độ bao phủ (Recall).

Tiếp tục nghiên cứu về phân loại ngữ nghĩa văn bản tự động dựa trên kỹ thuật máy học (machine learning techniques). Tận dụng các thuật toán máy học mới nhất để tăng cường độ chính xác và hiệu quả của việc phân loại học liệu.

Mở rộng phạm vi học liệu bằng cách tích hợp thêm các nguồn tài liệu trực tuyến như kho tài nguyên giáo dục mở (OER) và các thư viện số. Điều này giúp sinh viên có thêm nhiều lựa chọn và tiếp cận được nguồn thông tin đa dạng.