Tổng quan luận án

Luận án tiến sĩ kỹ thuật của tác giả Lâm Tùng Giang, với đề tài "Một số phương pháp phục vụ xếp hạng trang Web trong tìm kiếm xuyên ngữ", được thực hiện tại Trường Đại học Bách khoa, Đại học Đà Nẵng dưới sự hướng dẫn khoa học của PGS. Võ Trung Hùng và PGS. Huỳnh Công Pháp. Nghiên cứu thuộc chuyên ngành Khoa học máy tính / Kỹ thuật máy tính, tập trung vào lĩnh vực truy vấn thông tin xuyên ngữ (Cross-Language Information Retrieval - CLIR) áp dụng cho tài liệu siêu văn bản trên World Wide Web.

Tính cấp thiết và khoảng trống nghiên cứu

Sự gia tăng nhanh chóng của tài nguyên số hóa trên World Wide Web dẫn đến sự đa dạng ngôn ngữ, trong đó tiếng Anh chiếm khoảng 54% tổng số website, tiếng Nga chiếm 6,1%, tiếng Đức chiếm 5,7%, trong khi tiếng Việt chỉ chiếm khoảng 0,6% (số liệu thống kê cuối năm 2015). Nhu cầu truy cập thông tin không còn giới hạn ở tiếng mẹ đẻ, đặt ra bài toán tìm kiếm web xuyên ngữ nhằm giúp người dùng sử dụng câu truy vấn bằng ngôn ngữ nguồn để tìm kiếm các trang web phù hợp được viết bằng ngôn ngữ đích.

Trong truy vấn thông tin xuyên ngữ sử dụng từ điển máy song ngữ (MRD), hiệu quả xếp hạng bị hạn chế bởi sự nhập nhằng ngữ nghĩa và độ bao phủ của từ điển. Theo các nghiên cứu được trích dẫn trong văn bản (Ballesteros và Croft), chất lượng của hệ thống truy vấn xuyên ngữ dựa trên từ điển thường chỉ đạt dưới 60% so với hệ thống đơn ngữ tương ứng (tính theo độ đo MAP). Riêng với tiếng Việt, nghiên cứu của Hồ Bảo Quốc và cộng sự cho thấy hệ thống truy vấn xuyên ngữ Việt - Anh chỉ đạt 47,58% hiệu quả so với hệ thống đơn ngữ.

Bên cạnh đó, phần lớn các nghiên cứu CLIR truyền thống chỉ xử lý văn bản thuần túy, chưa khai thác các đặc thù cấu trúc của tài liệu HTML (tiêu đề, tóm tắt, liên kết, siêu dữ liệu). Các nghiên cứu về dịch thuật và xếp hạng thường được thực hiện độc lập, giai đoạn xếp hạng chưa tận dụng thông tin kết xuất từ giai đoạn dịch thuật. Việc thiếu vắng các giải pháp tìm kiếm web xuyên ngữ cho cặp ngôn ngữ Việt - Anh là khoảng trống khoa học và thực tiễn mà luận án hướng tới giải quyết.

Mục tiêu nghiên cứu

Mục tiêu tổng quát của luận án là đề xuất một mô hình tìm kiếm web xuyên ngữ và các giải pháp kỹ thuật áp dụng tại các thành phần của mô hình nhằm nâng cao hiệu quả xếp hạng danh sách kết quả tìm kiếm.

Các mục tiêu cụ thể được xác định trong văn bản gồm:

  1. Đề xuất các phương pháp phục vụ dịch thuật, bao gồm các kỹ thuật tiền xử lý câu truy vấn ở ngôn ngữ nguồn, dịch câu truy vấn và xử lý câu truy vấn ở ngôn ngữ đích.
  2. Đề xuất các phương pháp xếp hạng lại danh sách kết quả tìm kiếm trong truy vấn xuyên ngữ, chú trọng việc xếp hạng các trang Web.
  3. Kết hợp áp dụng các giải pháp đề xuất trong một mô hình tìm kiếm web xuyên ngữ nhằm nâng cao hiệu quả xếp hạng các tài liệu web trong danh sách kết quả tìm kiếm, cụ thể là nâng cao độ chính xác, áp dụng cho cặp ngôn ngữ Việt - Anh.

Đối tượng và phạm vi nghiên cứu

  • Đối tượng nghiên cứu:
    1. Các kỹ thuật dịch áp dụng trong truy vấn thông tin xuyên ngữ;
    2. Các kỹ thuật xử lý câu truy vấn trong truy vấn xuyên ngữ;
    3. Các kỹ thuật xếp hạng lại kết quả truy vấn thông tin.
  • Phạm vi nghiên cứu:
    • Tập trung giải quyết hai bài toán: dịch câu truy vấn và xếp hạng kết quả tìm kiếm web xuyên ngữ.
    • Cặp ngôn ngữ nghiên cứu: Câu truy vấn bằng tiếng Việt và tập tài liệu web tìm kiếm được viết bằng tiếng Anh.
    • Thước đo đánh giá chính: Độ chính xác trung bình bình quân (Mean Average Precision - MAP).
    • Kỹ thuật hỗ trợ tập trung: Phân đoạn câu truy vấn, sử dụng phản hồi ẩn (Pseudo-Relevance Feedback - PRF) và mở rộng câu truy vấn.
    • Kỹ thuật học máy: Học xếp hạng dựa trên lập trình di truyền (Genetic Programming - GP).
    • Công cụ tìm kiếm: Sử dụng các máy tìm kiếm đơn ngữ có sẵn, không can thiệp sâu vào cấu trúc bên trong của các công cụ tìm kiếm nền tảng.

Tổng quan tài liệu và vị trí của luận án

Các hướng nghiên cứu trước được điểm lại

Luận án đã hệ thống hóa các hướng nghiên cứu nền tảng và chuyên sâu trong lĩnh vực truy vấn thông tin và tìm kiếm web xuyên ngữ:

  1. Các mô hình truy vấn thông tin truyền thống:

    • Mô hình Boolean: Dựa trên đại số Bool, so sánh chính xác thuật ngữ (Baeza-Yates và Ribeiro-Neto). Các mở rộng gồm mô hình vùng (Hearst) và mô hình lô-gic mờ (Kraft).
    • Mô hình Không gian véc-tơ (Vector Space Model - VSM): Tính toán mức độ tương tự bằng hàm Cosine và trọng số tf-idf (Gerard Salton).
    • Mô hình Xác suất: Mô hình truy vấn nhị phân độc lập (BIR) của Robertson và Spärck Jones; mô hình OKAPI BM25 (Robertson, Walker, Jones).
    • Mô hình Ngôn ngữ (Language Models in IR - LMIR): Dựa trên xác suất thống kê ngôn ngữ (Ponte và Croft).
    • Mô hình Chỉ mục ngữ nghĩa ngầm (Latent Semantic Indexing - LSI): Khai thác cấu trúc ma trận thuật ngữ - tài liệu bằng phép phân tích giá trị đơn SVD (Scott Deerwester).
    • Mô hình Lân cận (Proximity Models): Đánh chỉ mục ngữ (Fagan, Croft Bruce); tính điểm lân cận dựa trên đoạn (span) chứa từ khóa (Clarke, Tao) hoặc dựa trên khoảng cách giữa các cặp từ (Büttcher, Rasolofo, Zhao).

  2. Dịch tự động trong truy vấn thông tin xuyên ngữ:

    • Dịch trực tiếp (máy dịch, ngữ liệu song song/so sánh, từ điển máy song ngữ MRD) và dịch gián tiếp qua ngôn ngữ trung gian (Universal Network Language - UNL, không gian ngữ nghĩa) theo tổng kết của Kishida.
    • Các công trình về CLIR dựa trên từ điển của Ballesteros và Croft, Hull và Grefenstette.
    • Các nghiên cứu xử lý tiếng Việt trong CLIR của Hồ Bảo Quốc và cộng sự, Đinh Điền, Nguyễn Tri Tuấn.
    • Tích hợp máy dịch thống kê vào mô hình xếp hạng xuyên ngữ (Berger, Gao, Xu).

  3. Kỹ thuật xếp hạng lại và Học xếp hạng (Learning to Rank - LETOR):

    • Kết hợp điểm số và thứ hạng: Phương pháp Raw-score, CombSUM (Fox và Shaw), NormalizedScore (Lee), Weighted CombSUM (Gullí), hàm tuyến tính kết hợp (Hsu, Wu), Round Robin (Voorhees), Borda count (Hsu).
    • Học xếp hạng: Phân loại thành 3 nhóm theo Tie-Yan Liu:
      • Point-wise: PRank (Crammer và Singer) dựa trên phân tích hồi quy.
      • Pair-wise: RankSVM (Herbrich, Joachims), RankBoost (Freund), FRank (Tsai).
      • List-wise: ListNet (Zhe Cao) sử dụng mạng nơ-ron và Gradient Descent để tối ưu hàm tổn thất trên danh sách.

  4. Xếp hạng trang Web:

    • Khai thác cấu trúc HTML: Đánh đa chỉ mục cho các thẻ tiêu đề, tóm tắt, siêu liên kết, meta tag (Cutler, Jin, Qin, Xue).
    • Khai thác cấu trúc liên kết đồ thị: Thuật toán PageRank (Larry Page và Sergey Brin), thuật toán HITS (Jon Kleinberg), thuật toán SimRank (Jeh và Widom) và các biến thể xử lý hạn chế "tương tự zero" (Fogaras, Lizorkin, Yu).
    • Đặc điểm hành vi truy vấn web: Nghiên cứu của Jansen về xu hướng người dùng chỉ quan sát trang đầu (top 10 kết quả); nghiên cứu của Fabio Crestani về xu hướng câu truy vấn dài do hành vi sao chép - dán (trung bình 7,5 đến 9,5 từ).

Khoảng trống luận án lựa chọn giải quyết

Từ việc tổng thuật tài liệu, luận án chỉ ra 3 khoảng trống chính:

  • Sự phân mảnh giữa khâu dịch thuật câu truy vấn và khâu xếp hạng tài liệu.
  • Thiếu các mô hình lân cận áp dụng cho môi trường xuyên ngữ khi một từ khóa nguồn có nhiều phương án dịch đích khác nhau.
  • Thiếu các mô hình tìm kiếm web xuyên ngữ tích hợp đặc thù cho tài liệu HTML đối với cặp ngôn ngữ Việt - Anh.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết và khái niệm sử dụng

Luận án vận dụng các cơ sở lý thuyết toán học và mô hình kỹ thuật sau:

  • Lý thuyết thông tin và đồng xuất hiện từ: Khái niệm Thông tin tương hỗ (Mutual Information - MI) được phát triển thành hàm Tổng thông tin tương hỗ (Summary Mutual Information - SMI) phục vụ việc đo lường mức độ liên quan ngữ nghĩa và khử nhập nhằng giữa các từ dịch ứng viên.
  • Mô hình không gian véc-tơ và xác suất: Các công thức tính trọng số cục bộ và toàn cục $tf$, $idf$, $\text{OKAPI BM25}$.
  • Lý thuyết đồ thị và liên kết web: Khái niệm Authority, Hub, cấu trúc thẻ HTML.
  • Học máy tiến hóa: Lập trình di truyền (Genetic Programming) với cấu trúc cây biểu thức đại số, áp dụng giải thuật di truyền để học trọng số và cấu trúc hàm xếp hạng.

Phương pháp nghiên cứu thực tế

Nghiên cứu sử dụng phương pháp định lượng thực nghiệm kỹ thuật, mô hình hóa toán học và kiểm thử trên các tập ngữ liệu tiêu chuẩn:

  • Phương pháp tiền xử lý và dịch thuật:
    • Đề xuất thuật toán phân đoạn câu truy vấn dựa trên độ dài từ WLQS (Word-Length-based Query Segmentation) kết hợp công cụ gán nhãn từ loại vnTagger của Lê Hồng Phương.
    • Xây dựng thuật toán chọn bản dịch tuần tự SQ (SeQuential Translation) và áp dụng công thức SMI để khử nhập nhằng từ vựng.
  • Phương pháp mở rộng và hiệu chỉnh truy vấn:
    • Áp dụng kỹ thuật phản hồi ẩn (Pseudo-Relevance Feedback - PRF) hai bước để xác định tập tài liệu liên quan giả định, tính toán lại trọng số từ khóa và mở rộng câu truy vấn có cấu trúc bằng cách kết hợp $tf\text{-}idf$ cục bộ với $idf$ toàn cục.
  • Phương pháp xếp hạng lại:
    • Xây dựng các mô hình khoảng cách lân cận xuyên ngữ bằng cách coi các bản dịch ứng viên của một từ khóa nguồn như một "từ ảo" (virtual word).
    • Sử dụng lập trình di truyền (GP) cho cả hai hướng tiếp cận: học có giám sát (supervised) và học không giám sát (unsupervised) nhằm tối ưu hóa hàm xếp hạng tổng hợp dạng tổ hợp tuyến tính.

Nguồn tư liệu và dữ liệu thực nghiệm

  • Từ điển: Xây dựng cơ sở dữ liệu từ điển máy song ngữ Việt - Anh phục vụ tra cứu và sinh danh sách bản dịch ứng viên.
  • Tập dữ liệu thực nghiệm chuẩn: Bộ sưu tập dữ liệu đánh giá OHSUMED (tập chuẩn thuộc bộ dữ liệu TREC/LETOR), bộ sưu tập các trang web HTML và tập câu truy vấn thực nghiệm tiếng Việt.
  • Độ đo đánh giá chất lượng:
    • Độ chính xác tại mức $k$ ($P@k$).
    • Độ chính xác trung bình (Average Precision - AP) và Độ chính xác trung bình bình quân (Mean Average Precision - MAP).
    • Độ lợi tích lũy giảm dần chuẩn hóa ($NDCG@k$).
    • Biểu đồ độ chính xác - độ bao phủ trung bình 11 điểm.

Tổng hợp đặc trưng các mô hình xếp hạng cơ sở điểm lại trong luận án

Bảng dưới đây tổng hợp các mô hình xếp hạng cơ sở theo hệ thống phân loại tại Chương 1 của luận án:

Mô hình Thông tin sử dụng Đặc điểm chính
Boolean Sự tồn tại của từ khóa trong tài liệu Đơn giản; giả định từ khóa độc lập; không hỗ trợ tính điểm xếp hạng kết quả.
VSM Tần suất từ khóa trong tài liệu và câu truy vấn Tính được giá trị tương tự liên tục; giả định từ khóa độc lập; khối lượng tính toán lớn.
TF-IDF Tần suất từ ($tf$), nghịch đảo tần suất tài liệu ($idf$), độ dài tài liệu Đơn giản, phổ biến trong các máy tìm kiếm; giả định từ khóa độc lập.
BM25 Tần suất từ, tần suất tài liệu, độ dài tài liệu, tham số điều chỉnh ($k_1, k, b, k_3$) Mô hình xác suất hiệu quả cao; cần xác định các tham số thực nghiệm khi khởi tạo.
LSI Ma trận thuật ngữ - tài liệu thu gọn qua phân tích SVD Trích xuất ngữ nghĩa ngầm, giải quyết đa nghĩa/đồng nghĩa; chi phí tính toán cao, chỉ hợp với tập nhỏ.
Lân cận Khoảng cách vị trí giữa các từ khóa, độ dài tài liệu Xem xét mối liên hệ không gian giữa các thuật ngữ; thường dùng làm thước đo bổ trợ.

Nội dung chính theo từng chương

Chương 1: Tổng quan và đề xuất nghiên cứu

Chương 1 trình bày cơ sở lý thuyết về hệ thống truy vấn thông tin, định nghĩa hình thức hệ thống thông qua bộ bốn $f(D, Q, F, R(q,d))$, sơ đồ quy trình xử lý hai giai đoạn (Giai đoạn I: Thu thập, xử lý, đánh chỉ mục; Giai đoạn II: Xử lý truy vấn, xếp hạng, phản hồi). Tác giả phân tích chi tiết các mô hình truy vấn truyền thống (Boolean, VSM, Mô hình xác suất BM25, Mô hình ngôn ngữ LMIR), các kỹ thuật khai thác quan hệ thuật ngữ (LSI, Mô hình lân cận), các tiêu chuẩn và phương pháp đánh giá hệ thống (phương pháp pooling, Cranfield, TREC, CLEF, các độ đo P, R, P@k, AP, MAP, DCG, NDCG).

Tiếp đó, chương phân tích các vấn đề đặc thù của tìm kiếm web xuyên ngữ, các giải pháp xếp hạng trang web (cấu trúc HTML, thuật toán PageRank, HITS, SimRank), các phương pháp kết hợp điểm xếp hạng (CombSUM, Weighted CombSUM, Round Robin, Borda) và kỹ thuật học xếp hạng (Point-wise, Pair-wise, List-wise). Trên cơ sở chỉ ra các hạn chế của nghiên cứu hiện tại đối với tiếng Việt và tài liệu HTML, tác giả đề xuất mô hình kiến trúc tổng thể cho hệ thống tìm kiếm web xuyên ngữ Việt - Anh gồm 5 bước truy vấn: Tiền xử lý câu truy vấn $\rightarrow$ Dịch câu truy vấn $\rightarrow$ Xử lý câu truy vấn ở ngôn ngữ đích $\rightarrow$ Thực hiện tìm kiếm trên bộ chỉ mục $\rightarrow$ Xếp hạng lại danh sách kết quả.

Chương 2: Dịch tự động phục vụ truy vấn xuyên ngữ

Chương 2 tập trung giải quyết bài toán dịch câu truy vấn từ ngôn ngữ nguồn (tiếng Việt) sang ngôn ngữ đích (tiếng Anh) bằng phương pháp sử dụng từ điển máy song ngữ (MRD). Tác giả phân tích các phương pháp dịch tự động (máy dịch, kho ngữ liệu, từ điển, ngôn ngữ trung gian, không gian ngữ nghĩa) và làm rõ vấn đề cốt lõi là khử nhập nhằng ngữ nghĩa khi một từ nguồn có nhiều bản dịch đích.

Tác giả đề xuất phương pháp khử nhập nhằng dựa trên độ đo Thông tin tương hỗ (Mutual Information - MI) và phát triển hàm Tổng thông tin tương hỗ (Summary Mutual Information - SMI). Công thức SMI cho phép đo lường mức độ gắn kết ngữ nghĩa giữa các từ dịch ứng viên dựa trên tần suất đồng xuất hiện của chúng trong kho ngữ liệu đích. Luận án xây dựng thuật toán chọn bản dịch tuần tự SQ (SeQuential Translation) nhằm xác định danh sách các bản dịch tốt nhất được sắp thứ tự cho từng từ khóa, làm cơ sở để xây dựng câu truy vấn có cấu trúc (structured query). Các kết quả thực nghiệm trong chương chứng minh phương pháp SMI và SQ cho chất lượng dịch câu truy vấn vượt trội so với thuật toán tham lam (greedy) truyền thống.

Chương 3: Hỗ trợ dịch câu truy vấn

Chương 3 giải quyết hai bài toán bổ trợ quan trọng ở hai đầu của mô-đun dịch thuật: tiền xử lý ở ngôn ngữ nguồn và tối ưu hóa câu truy vấn ở ngôn ngữ đích.

Ở ngôn ngữ nguồn, do tiếng Việt không có dấu phân cách từ tự nhiên như tiếng Anh, tác giả đề xuất thuật toán phân đoạn câu truy vấn WLQS (Word-Length-based Query Segmentation) dựa trên độ dài từ khóa kết hợp với công cụ gán nhãn vnTagger. Thuật toán này phân tích câu truy vấn tiếng Việt thành các cụm từ có nghĩa đi kèm danh sách bản dịch ứng viên tương ứng.

Ở ngôn ngữ đích, tác giả đề xuất mô hình hai bước áp dụng kỹ thuật phản hồi ẩn (PRF) để điều chỉnh câu truy vấn có cấu trúc. Hệ thống lấy danh sách tài liệu trả về từ lần tìm kiếm đầu tiên, trích xuất các thuật ngữ có trọng số cao và tính toán lại trọng số của các từ khóa truy vấn ban đầu. Thông qua thực nghiệm so sánh các cấu hình gán trọng số, tác giả xác định công thức kết hợp giữa trọng số $tf\text{-}idf$ cục bộ và $idf$ toàn cục mang lại hiệu quả cao nhất, giúp tăng điểm MAP của hệ thống lên đến 12%.

Chương 4: Xếp hạng lại

Chương 4 nghiên cứu các kỹ thuật nâng cao độ chính xác ở phần đầu danh sách kết quả tìm kiếm web thông qua việc đề xuất các mô hình lân cận xuyên ngữ và áp dụng kỹ thuật học máy.

Tác giả mở rộng các mô hình lân cận đơn ngữ (Büttcher, Rasolofo) sang môi trường xuyên ngữ bằng cách đưa ra khái niệm "từ ảo" đại diện cho tập hợp các bản dịch ứng viên của một từ khóa nguồn. Ba mô hình lân cận xuyên ngữ được xây dựng gồm:

  • CL-Büttcher: Tính điểm lân cận dựa trên khoảng cách giữa các bản dịch ứng viên xuất hiện trong tài liệu theo hàm suy giảm khoảng cách.
  • CL-Rasolofo: Tính điểm lân cận từng cặp từ dịch dựa trên độ dài đoạn ngắn nhất chứa cặp từ.
  • CL-HighDensity: Xác định các vùng có mật độ xuất hiện dày đặc nhất của các từ dịch trong tài liệu.

Để kết hợp các mô hình xếp hạng cơ sở ($TF\text{-}IDF$, $BM25$) và các mô hình lân cận xuyên ngữ, tác giả đề xuất phương pháp học xếp hạng dựa trên Lập trình di truyền (Genetic Programming - GP). GP tự động tìm kiếm cấu trúc hàm và tối ưu hóa các hệ số tổ hợp tuyến tính dưới cả hai cơ chế học có giám sát và không giám sát, chứng minh tính hiệu quả vượt trội qua các chỉ số MAP, $NDCG@k$ và $P@k$ trên tập dữ liệu chuẩn OHSUMED.

Chương 5: Hệ thống tìm kiếm web xuyên ngữ Việt - Anh

Chương 5 hiện thực hóa các giải pháp kỹ thuật đã đề xuất thành một hệ thống tìm kiếm web xuyên ngữ Việt - Anh hoàn chỉnh. Hệ thống bao gồm các mô-đun: xử lý và đánh đa chỉ mục tài liệu HTML, tiền xử lý câu truy vấn tiếng Việt, dịch và khử nhập nhằng câu truy vấn, điều chỉnh câu truy vấn bằng PRF, máy tìm kiếm cốt lõi và mô-đun xếp hạng lại bằng hàm học được từ GP kết hợp mô hình lân cận xuyên ngữ.

Tác giả tiến hành các chuỗi thực nghiệm độc lập và thực nghiệm tích hợp toàn diện:

  • Thực nghiệm đánh giá các cấu hình dịch câu truy vấn (sử dụng 1 bản dịch đơn lẻ so với 3 bản dịch có gán trọng số).
  • Thực nghiệm đánh giá hiệu quả của kỹ thuật điều chỉnh câu truy vấn bằng phản hồi ẩn.
  • Thực nghiệm đánh giá các phương pháp học xếp hạng lại.
  • Thực nghiệm tổng thể đánh giá mức độ đóng góp của từng kỹ thuật khi kết hợp trong hệ thống hoàn chỉnh.

Kết quả đánh giá tổng thể (Bảng 5.7 trong luận án) khẳng định việc kết hợp đồng thời tất cả các kỹ thuật đề xuất (phân đoạn WLQS + vnTagger, khử nhập nhằng SMI/SQ, điều chỉnh truy vấn bằng PRF, xếp hạng lại bằng mô hình lân cận xuyên ngữ và GP) đem lại giá trị MAP cao nhất cho hệ thống tìm kiếm web xuyên ngữ Việt - Anh.

Kết quả và những đóng góp mới

Theo tuyên bố của tác giả trong phần Đóng góp của luận án và phần Kết luận, các kết quả nghiên cứu mới đạt được gồm:

  1. Về phương pháp khử nhập nhằng ngữ nghĩa: Đề xuất phương pháp khử nhập nhằng mới dựa trên hàm Tổng thông tin tương hỗ (Summary Mutual Information - SMI) để chọn một bản dịch tốt nhất, đạt hiệu quả cao hơn thuật toán greedy truyền thống; đề xuất thuật toán chọn bản dịch tuần tự (SQ) để tạo lập danh sách bản dịch có thứ tự phục vụ xây dựng câu truy vấn có cấu trúc.
  2. Về tiền xử lý câu truy vấn ngôn ngữ nguồn: Đề xuất thuật toán phân đoạn câu truy vấn WLQS (Word-Length-based Query Segmentation) dựa trên độ dài từ, kết hợp với công cụ vnTagger để nhận dạng chính xác các cụm từ tiếng Việt và gán danh sách bản dịch ứng viên.
  3. Về xử lý và cải tiến câu truy vấn ngôn ngữ đích: Đề xuất mô hình hai bước dựa trên kỹ thuật phản hồi ẩn (PRF) trên câu truy vấn có cấu trúc; xác định công thức kết hợp trọng số $tf\text{-}idf$ cục bộ và $idf$ toàn cục giúp tăng điểm MAP của hệ thống lên đến 12%.
  4. Về mô hình lân cận xuyên ngữ: Lần đầu tiên đề xuất và xây dựng các mô hình lân cận xuyên ngữ (CL-Büttcher, CL-Rasolofo, CL-HighDensity) dựa trên ý tưởng coi các bản dịch ứng viên như một từ ảo, cho phép định nghĩa các hàm xếp hạng mới khai thác khoảng cách không gian giữa các từ dịch trong tài liệu đích.
  5. Về kỹ thuật học xếp hạng: Đề xuất phương pháp học xếp hạng dựa trên Lập trình di truyền (GP) cho cả hai trường hợp có giám sát và không giám sát, tự động thiết lập hàm xếp hạng tổng hợp dạng tổ hợp tuyến tính từ các mô hình cơ sở ($TF\text{-}IDF$, $BM25$) và mô hình lân cận xuyên ngữ.
  6. Về xây dựng hệ thống thực nghiệm: Thiết kế và thử nghiệm thành công mô hình hệ thống tìm kiếm web xuyên ngữ Việt - Anh tích hợp đồng bộ các kỹ thuật đề xuất, chứng minh hiệu quả tổng thể qua các thước đo chuẩn MAP, $P@k$, $NDCG@k$.

Hạn chế và hướng nghiên cứu tiếp

Hạn chế được xác định từ phạm vi nghiên cứu

  • Tài nguyên ngôn ngữ: Dữ liệu từ điển máy song ngữ Việt - Anh và kho ngữ liệu đánh giá chuẩn cho tiếng Việt trong CLIR còn hạn chế về quy mô và độ bao phủ so với các ngôn ngữ phổ biến khác.
  • Phạm vi kỹ thuật máy tìm kiếm: Luận án sử dụng các máy tìm kiếm đơn ngữ có sẵn làm nền tảng tìm kiếm ban đầu, chưa can thiệp sâu vào cấu trúc lõi bên trong của máy tìm kiếm để tối ưu hóa quá trình lập chỉ mục đặc thù.
  • Khai thác dữ liệu người dùng: Nghiên cứu chưa tích hợp việc phân tích log máy chủ (dữ liệu nhấp chuột click-through, lịch sử tìm kiếm) hoặc thông tin cá nhân hóa người dùng do các dữ liệu này đòi hỏi quá trình vận hành hệ sinh thái trực tuyến thực tế dài hạn.

Hướng phát triển tiếp theo

  • Mở rộng phạm vi và kích thước của bộ từ điển máy song ngữ cũng như xây dựng các bộ ngữ liệu kiểm thử quy mô lớn hơn cho tiếng Việt trong các hội nghị đánh giá quốc tế (như CLEF, FIRE).
  • Tích hợp thêm các kỹ thuật dịch máy thống kê hoặc dịch máy nơ-ron vào giai đoạn sinh bản dịch ứng viên để xử lý các thuật ngữ mới không có trong từ điển (OOV - Out Of Vocabulary).
  • Nghiên cứu áp dụng các cấu trúc học sâu (Deep Learning) trong mô-đun học xếp hạng lại và mở rộng mô hình sang các cặp ngôn ngữ khác.

Giá trị tham khảo

Luận án là tài liệu tham khảo có giá trị chuyên môn cao cho các nhóm đối tượng:

  • Nghiên cứu sinh và học viên cao học: Tham khảo phương pháp luận nghiên cứu định lượng thực nghiệm trong Khoa học máy tính, kỹ thuật xử lý ngôn ngữ tự nhiên tiếng Việt, và phương pháp ứng dụng Lập trình di truyền trong bài toán Học xếp hạng (LETOR).
  • Giảng viên và nhà nghiên cứu: Sử dụng các nội dung tổng quan lý thuyết toàn diện ở Chương 1 và Chương 4 về các mô hình IR truyền thống, mô hình lân cận và các thuật toán xếp hạng liên kết web (PageRank, HITS, SimRank).
  • Kỹ sư phát triển hệ thống tìm kiếm: Tham khảo trực tiếp kiến trúc thiết kế hệ thống ở Chương 5, thuật toán phân đoạn WLQS (Chương 3), hàm khử nhập nhằng SMI/SQ (Chương 2) và các công thức lân cận xuyên ngữ (Chương 4) để tích hợp vào các cổng thông tin, thư viện điện tử hoặc hệ thống quản trị tri thức đa ngữ của các tổ chức, doanh nghiệp.

Câu hỏi thường gặp

1. Vì sao luận án chọn độ đo MAP làm thước đo đánh giá chính cho hệ thống?

Luận án chọn Mean Average Precision (MAP) vì hai lý do: thứ nhất, đây là độ đo chuẩn được sử dụng rộng rãi và phổ biến nhất tại các hội thảo khoa học quốc tế về truy vấn thông tin (như TREC, CLEF, FIRE); thứ hai, MAP phản ánh trực tiếp chất lượng sắp xếp của các tài liệu phù hợp ở phần đầu danh sách kết quả tìm kiếm.

2. Hiệu quả của hệ thống truy vấn xuyên ngữ Việt - Anh trước thời điểm nghiên cứu đạt mức nào so với hệ thống đơn ngữ?

Theo nghiên cứu của tác giả Hồ Bảo Quốc và cộng sự được trích dẫn trong luận án, do ảnh hưởng của việc phân đoạn từ và chất lượng dịch thuật, hiệu quả của hệ thống truy vấn xuyên ngữ Việt - Anh chỉ đạt 47,58% so với hệ thống truy vấn đơn ngữ (trong khi chiều Anh - Việt đạt 72,27%).

3. Thuật toán WLQS giải quyết vấn đề gì trong giai đoạn tiền xử lý câu truy vấn?

Thuật toán WLQS (Word-Length-based Query Segmentation) giải quyết bài toán phân đoạn câu truy vấn tiếng Việt thành các cụm từ có nghĩa dựa trên độ dài từ khóa. Khi kết hợp với công cụ vnTagger, WLQS giúp tạo ra các phân đoạn từ chính xác kèm danh sách bản dịch ứng viên, làm đầu vào chuẩn xác cho mô-đun khử nhập nhằng ngữ nghĩa.

4. Khái niệm "từ ảo" trong các mô hình lân cận xuyên ngữ của luận án được hiểu như thế nào?

Trong mô hình lân cận xuyên ngữ, mỗi từ khóa nguồn có thể có nhiều phương án dịch đích khác nhau. Tác giả đưa ra ý tưởng xem xét toàn bộ các bản dịch ứng viên của cùng một từ khóa như một "từ ảo". Điểm lân cận của tài liệu được tính toán dựa trên khoảng cách không gian giữa các "từ ảo" này trong văn bản đích.

5. Lập trình di truyền (Genetic Programming) đóng vai trò gì trong mô-đun xếp hạng lại?

Lập trình di truyền được sử dụng trong bài toán học xếp hạng để tự động tìm kiếm cấu trúc hàm và tối ưu hóa trọng số của tổ hợp tuyến tính kết hợp giữa các mô hình xếp hạng cơ sở ($TF\text{-}IDF$, $BM25$) với các mô hình lân cận xuyên ngữ, theo cả hai phương thức có giám sát và không giám sát.

Kết luận

Luận án tiến sĩ của tác giả Lâm Tùng Giang đã giải quyết bài toán xếp hạng trang web trong tìm kiếm xuyên ngữ Việt - Anh bằng việc xây dựng một mô hình kiến trúc hoàn chỉnh từ tiền xử lý, dịch thuật, điều chỉnh truy vấn đến xếp hạng lại. Các đề xuất cốt lõi bao gồm thuật toán phân đoạn WLQS kết hợp vnTagger, hàm khử nhập nhằng SMI/SQ, mô hình điều chỉnh truy vấn hai bước bằng PRF, các mô hình lân cận xuyên ngữ và phương pháp học xếp hạng bằng Lập trình di truyền. Kết quả thực nghiệm khẳng định việc tích hợp đồng bộ các giải pháp kỹ thuật đã cải thiện độ chính xác MAP của hệ thống tìm kiếm web xuyên ngữ, đóng góp giá trị lý thuyết và khả năng ứng dụng thực tế trong lĩnh vực truy vấn thông tin đa ngữ.