Tổng quan luận án

Trong kỷ nguyên dữ liệu lớn (Big Data), các công cụ tìm kiếm (Search Engine - SE) đóng vai trò trung tâm nhằm đáp ứng nhu cầu khai thác thông tin trên không gian mạng. Tuy nhiên, cơ chế tìm kiếm dựa vào từ khóa truyền thống bộc lộ hạn chế căn bản: ít có khả năng suy diễn thông tin chưa biết từ các câu truy vấn. Trên thực tế, các truy vấn do người dùng nhập vào thường ngắn, mơ hồ và đa nghĩa [1 – 6]. Thống kê thực tế cho thấy xấp xỉ 71% câu tìm kiếm trên web có chứa tên thực thể [7], [8]. Khi người dùng nhập các truy vấn chỉ gồm các tên thực thể như: "Việt Nam", "Hà Nội", "Pháp", trực quan con người có thể lập luận tương tự để suy ra quan hệ thủ đô - quốc gia và đưa ra ngay câu trả lời "Paris" cho vị trí còn thiếu. Ngược lại, máy tìm kiếm theo từ khóa thông thường chỉ trả về danh sách các tài liệu cùng chứa các từ khóa trên mà không suy diễn được thực thể đích. Khoảng trống này cũng xuất hiện ở các câu hỏi so sánh tương tự như: "nếu Fansipan cao nhất Việt Nam, thì đâu là đỉnh của Tây Tạng?" hay "biết Elizabeth là nữ hoàng Anh thì quốc vương Nhật Bản là ai?". Việc mô phỏng khả năng suy diễn tương tự từ một miền ngữ nghĩa quen thuộc sang một miền ngữ nghĩa chưa biết cấu thành bài toán nghiên cứu thứ nhất của luận án.

Ở bài toán thứ hai về gợi ý truy vấn (query suggestion), thực tế các phiên tìm kiếm cho thấy lượng kết quả trả về lớn nhưng phần nhiều không phù hợp với ý định tìm kiếm của người dùng. Các kỹ thuật truyền thống tiếp cận bài toán này thông qua gom cụm hoặc đo độ tương đồng truy vấn [9], [10] tồn tại ba nhược điểm:

  1. Chỉ đưa ra các câu gợi ý tương tự hoặc có liên quan với truy vấn vừa nhập, chất lượng gợi ý chưa chắc đã tốt hơn truy vấn ban đầu.
  2. Không chỉ ra được xu hướng mà tri thức số đông trong cộng đồng thường tìm kiếm sau câu truy vấn hiện hành.
  3. Không xem xét chuỗi truy vấn liên tiếp từ người dùng như một ngữ cảnh liền mạch để nắm bắt ý định tìm kiếm (ví dụ hai truy vấn liên tiếp $q_1$: "Joe Biden là ai" và $q_2$: "Ông ấy bao nhiêu tuổi" vốn liên kết ngữ nghĩa chặt chẽ nhưng máy tìm kiếm từ khóa lại trả về hai tập kết quả rời rạc).

Mục tiêu tổng quát của luận án là tập trung nghiên cứu, xác định và thực nghiệm các phương pháp, nguyên lý nhằm giải quyết hai bài toán nêu trên; cài đặt thực nghiệm các phương pháp, áp dụng các đề xuất cải thiện kỹ thuật; phân tích, đánh giá kết quả sau thực nghiệm và so sánh với các kỹ thuật liên quan.

Đối tượng nghiên cứu của luận án thuộc lớp bài toán khai phá dữ liệu, khai phá ngữ nghĩa và xử lý ngôn ngữ tự nhiên, bao gồm:

  • Phương pháp tìm kiếm thực thể dựa trên quan hệ ngữ nghĩa ẩn.
  • Phương pháp gợi ý truy vấn hướng ngữ cảnh.

Phạm vi nghiên cứu được xác định cụ thể:

  • Về ngữ liệu thử nghiệm cho bài toán tìm kiếm thực thể dựa trên quan hệ ngữ nghĩa ẩn: Sử dụng các tập dữ liệu trích rút từ Viwiki (7.877 tập tin), Vn-news (35.440 tập tin) và dữ liệu ngành hàng không (Vietnam Airlines). Miền ngôn ngữ nghiên cứu là tiếng Việt.
  • Về phương pháp gợi ý truy vấn: Đặt trọng tâm vào phương pháp hướng ngữ cảnh (Context-aware); các kỹ thuật chỉnh sửa, viết lại truy vấn không nằm trong phạm vi giải quyết của luận án.

Tổng quan tài liệu và vị trí của luận án

Về bài toán tìm kiếm thực thể dựa trên quan hệ ngữ nghĩa ẩn (Implicit Relational Search - IRS), motive của truy vấn có dạng $q = {(A, B), (C, ?)}$, trong đó $(A, B)$ là cặp thực thể nguồn, $(C, ?)$ là cặp thực thể đích và quan hệ ngữ nghĩa không được nêu tường minh. Luận án đã tổng quan các hướng tiếp cận chính về độ tương đồng quan hệ:

  1. Lý thuyết ánh xạ cấu trúc (Structure Mapping Theory - SMT) [11], [12]: SMT coi độ tương đồng là sự ánh xạ tri thức từ miền nguồn sang miền đích theo luật loại bỏ các thuộc tính của đối tượng nhưng duy trì ánh xạ quan hệ. Điểm hạn chế là SMT không khả thi đối với các cấu trúc bậc thấp thiếu quan hệ tường minh, do đó không áp dụng được trực tiếp cho bài toán IRS.
  2. Mô hình không gian vector (Vector Space Model - VSM) của Turney [13]: Sử dụng khái niệm vector mẫu - tần suất, trong đó vector được tạo bởi mẫu chứa cặp thực thể và tần suất xuất hiện thông qua máy tìm kiếm, đo độ tương đồng bằng Cosine.
  3. Phân tích quan hệ tiềm ẩn (Latent Relational Analysis - LRA) của Turney [14], [15], [16]: Mở rộng VSM bằng cách xác định các $n$-grams kết hợp từ điển đồng nghĩa để xây dựng ma trận mẫu - cặp thực thể, áp dụng phép phân tích suy biến SVD (Singular Value Decomposition) để giảm chiều và dùng Cosine tính độ tương đồng. Hạn chế lớn nhất của LRA là chi phí thời gian tính toán quá cao (nghiên cứu của Bollegala et al. [17] chỉ ra LRA mất 8 ngày để xử lý 374 câu hỏi loại suy trong kỳ thi SAT), không đáp ứng được yêu cầu thời gian thực của máy tìm kiếm.
  4. Ánh xạ quan hệ tiềm ẩn (Latent Relation Mapping Engine - LRME) của Turney [11]: Kết hợp SMT và LRA để tìm ánh xạ giữa hai danh sách thuật ngữ từ miền nguồn và miền đích. LRME phải duyệt qua $m!$ hoán vị, trong khi đầu vào của IRS chỉ gồm 3 thực thể chứ không phải danh sách các thuật ngữ đầy đủ.
  5. Quan hệ ngữ nghĩa tiềm ẩn (Latent Semantic Relation - LSR) của Bollegala, Duc et al. [17], [18] và Kato [19]: Áp dụng Giả thuyết phân phối (Distributional hypothesis) ở mức ngữ cảnh (context): hai ngữ cảnh thường đồng hiện với cùng các cặp thực thể thì tương đồng ngữ nghĩa. Hạn chế của hướng tiếp cận này là giải thuật gom cụm chỉ thực hiện ở mức câu/ngữ cảnh đồng hiện chứ không gom cụm ở mức thuật ngữ (terms) trong câu, đồng thời chưa tính đến các dạng ánh xạ quan hệ (1-1, 1-nhiều, nhiều-nhiều) và yếu tố biến đổi theo thời gian.
  6. Độ tương đồng quan hệ dựa trên WordNet của Cao [20] và Agirre [21]: Sử dụng hệ thống phân loại trong WordNet. Nhược điểm là WordNet không chứa các thực thể có tên (Named Entity), không phù hợp cho tìm kiếm thực thể.
  7. Mô hình học biểu diễn vector từ Word2Vec của Mikolov et al. [22 – 25]: Áp dụng các kiến trúc CBOW và Skip-gram kết hợp Negative Sampling để tối ưu hóa việc học mối quan hệ giữa từ mục tiêu và ngữ cảnh. Phép toán vector dạng $\text{vector}(\text{"king"}) - \text{vector}(\text{"man"}) \approx \text{vector}(\text{"queen"}) - \text{vector}(\text{"woman"})$ cho thấy sự tương đồng với bài toán loại suy. Tuy nhiên, Word2Vec nhận đầu vào là một từ và dự đoán ngữ cảnh, còn IRS nhận đầu vào là 3 thực thể để tìm kiếm thực thể còn lại.

Về bài toán gợi ý truy vấn, các tiếp cận truyền thống xoay quanh nhật ký truy vấn (Query Logs - QLogs) gồm:

  • Các kỹ thuật hiểu truy vấn trong thu nhận thông tin (IR): Phản hồi rõ (explicit feedback [30 – 32]), phản hồi ẩn (implicit feedback [33 – 36]), hồ sơ người dùng (user profile [37 – 39]), từ điển đồng nghĩa (thesaurus [40 – 42]), trích đoạn snippets và anchor texts [43].
  • Kỹ thuật dựa trên phiên (Session-based): Khai phá các truy vấn đồng hiện hoặc liền kề [45 – 48]; mô hình đồ thị luồng truy vấn (Query Flow Graph - QFG) của Boldi et al. [50], [51] và các biến thể mở rộng dựa trên URL được nhấp chuột [52], [53]. Nhược điểm của QFG là kích thước đồ thị hàng triệu truy vấn gây chi phí tính toán lớn, các gợi ý dễ bị dư thừa thông tin và gặp trở ngại trước dữ liệu thưa.
  • Kỹ thuật dựa trên phân cụm (Cluster-based) [54]: Phân cụm phân hoạch K-means [55 – 60] (nhược điểm khó xác định trước tham số $k$), phân cụm phân cấp AHC [61], [62] (độ phức tạp tính toán $O(n^2)$), phân cụm mật độ DB-SCAN [63], [64] (phụ thuộc vào việc thiết lập bán kính $\varepsilon$ và số điểm lân cận tối thiểu MinPts).

Khoảng trống nghiên cứu được luận án lựa chọn giải quyết là: Xây dựng mô hình IRS cho tiếng Việt, kết hợp độ đo tương đồng theo thuật ngữ và giả thuyết phân phối để khắc phục nhược điểm phân cụm ngữ cảnh, tối ưu thời gian tính toán nhằm đáp ứng thời gian thực; đồng thời phát triển phương pháp gợi ý truy vấn hướng ngữ cảnh (Context-aware) theo hướng tiếp cận của Huanhuan Cao et al. [9], [10], kết hợp truy vấn đứng trước làm ngữ cảnh và truy vấn đứng sau làm danh sách gợi ý, ứng dụng vào cơ sở dữ liệu chuyên ngành hàng không.

Cơ sở lý thuyết và phương pháp nghiên cứu

Luận án dựa trên các lý thuyết, khái niệm và khung phân tích sau:

  • Khung mô hình tìm kiếm thực thể dựa trên quan hệ ngữ nghĩa ẩn (IRS): Truy vấn có dạng $q = {(A, B), (C, ?)}$. Mục tiêu là tìm tập thực thể $D$ có quan hệ ngữ nghĩa với $C$ sao cho cặp $(C, D)$ tương đồng quan hệ với cặp nguồn $(A, B)$.
  • Giả thuyết phân phối (Distributional hypothesis): Các từ/ngữ cảnh xuất hiện trong cùng môi trường phân phối thì có xu hướng tương đồng ngữ nghĩa.
  • Độ đo tương hỗ thông tin (Pointwise Mutual Information - PMI): Dùng để xác định độ tương quan ngữ nghĩa giữa hai thuật ngữ, khắc phục nhược điểm thiên lệch tần suất của các từ xuất hiện quá nhiều: $$\text{PMI}(t_1, t_2) = \log_2\left(\frac{P(t_1, t_2)}{P(t_1)P(t_2)}\right)$$ Cùng công thức cải tiến của Patel et al. nhằm xử lý các từ tần suất thấp và tránh giá trị âm vô cùng khi xác suất đồng hiện bằng 0.
  • Các phép đo độ tương đồng văn bản: Hàm khoảng cách Jaro (Winkler), mô hình tương phản (Contrast model của Tversky), hệ số Jaccard, khoảng cách Euclide, khoảng cách Manhattan và độ tương đồng Cosine.

Phương pháp nghiên cứu thực tế được tổ chức theo kiến trúc hai pha (two phases):

  1. Pha ngoại tuyến (Off-line phase):
    • Rút trích quan hệ ngữ nghĩa: Thu thập ngữ liệu, phân đoạn câu. Áp dụng phương pháp so khớp từ dài nhất (Longest-matching) với từ điển 72.721 thuật ngữ để tách từ tiếng Việt; sử dụng từ điển Stopword gồm 2.462 thuật ngữ để loại bỏ từ dừng.
    • Nhận dạng thực thể có tên (NER): Nhận dạng theo 9 nhãn tổng quát (B-LOC, B-MISC, B-ORG, B-PER, I-LOC, I-MISC, I-ORG, I-PER, O) tương ứng với các kiểu: PER (người), ORG (tổ chức), LOC (địa danh), TIME (thời gian), NUM (số), CUR (tiền tệ), PCT (phần trăm), MISC (khác) và O (không phải thực thể).
    • Thiết lập điều kiện lọc: Ngữ cảnh trích xuất phải chứa ít nhất 2 thực thể, đồng thời chứa ít nhất 2 thuật ngữ có tần suất xuất hiện $\ge 10$ trong toàn bộ ngữ liệu. Tính toán trọng số TF.IDF để loại bỏ nhiễu và từ quá phổ biến.
    • Sinh chuỗi con (sub-string): Chia ngữ cảnh thành các chuỗi con $n$-grams ($n = 3$ tokens) bảo toàn thứ tự từ để phục vụ so khớp ngữ cảnh.
    • Phân cụm quan hệ ngữ nghĩa: Đề xuất hàm đo độ tương đồng kết hợp giữa độ đo theo thuật ngữ ($\text{Sim}{\text{term}}$) và độ đo theo giả thuyết phân phối ($\text{Sim}{\text{DH}}$ qua PMI). Thuật toán phân cụm sử dụng ngưỡng phân cụm $\theta_1$ và ngưỡng heuristic $\theta_2$ để thực hiện gom cụm song song trên các nút, đạt độ phức tạp tính toán $O(N \cdot C)$ (với $N$ là số ngữ cảnh, $C$ là số cụm).
  2. Pha trực tuyến (On-line phase):
    • Thuật toán lọc ứng viên (Filter-Entities): Khi nhận truy vấn $q = {(A, B), (C, ?)}$, hệ thống tra cứu bảng chỉ mục đảo để tìm tập ứng viên $S$ chứa các cặp $(C, D_i)$ có ngữ cảnh thuộc cùng cụm với ngữ cảnh của $(A, B)$. Phép tra cứu có độ phức tạp $O(1)$, số lượng ngữ cảnh đồng hiện bị chặn bởi hằng số, bảo đảm thời gian đáp ứng thực.
    • Thuật toán xếp hạng thực thể (Rank-Entities): Tính toán độ đo tương đồng quan hệ $\text{RelSim}((A, B), (C, D_i))$ dựa trên tích vô hướng của các vector tần suất đồng hiện hoặc vector PMI. Áp dụng ngưỡng cắt $\alpha$ để lọc bỏ các ứng viên có độ tương đồng thấp trước khi trả về danh sách kết quả được xếp hạng.

Nguồn dữ liệu và tư liệu thực nghiệm:

  • Tập ngữ liệu tiếng Việt tổng hợp gồm 7.877 tập tin từ Viwiki và 35.440 tập tin từ Vn-news, sau bước phân đoạn thu được 1.572.616 câu. Áp dụng các điều kiện lọc, cơ sở dữ liệu lưu trữ 404.507 câu ngữ cảnh. Quá trình phân cụm tạo ra 124.805 cụm ngữ nghĩa.
  • Dữ liệu chuyên ngành hàng không từ Vietnam Airlines phục vụ kiểm thử máy tìm kiếm hướng ngữ cảnh.
Nguồn ngữ liệu Số lượng tập tin Số câu trích xuất ban đầu Số câu ngữ cảnh lưu trữ Số cụm ngữ nghĩa tạo thành
Viwiki 7.877 1.572.616 (tổng hợp) 404.507 124.805
Vn-news 35.440 - - -

Nội dung chính theo từng chương

Chương 1: Tổng quan

Chương 1 hệ thống hóa cơ sở lý luận về bài toán tìm kiếm thực thể dựa trên quan hệ ngữ nghĩa ẩn và bài toán gợi ý truy vấn hướng ngữ cảnh. Tác giả phân tích cấu trúc của các câu truy vấn thực tế trên web, chỉ ra rằng việc tìm kiếm theo từ khóa thuần túy không đáp ứng được các câu hỏi suy diễn tương tự dạng motive $q = {(A, B), (C, ?)}$. Chương này đi sâu phân tích ưu và nhược điểm của các nghiên cứu nền tảng:

  • Lý thuyết SMT, VSM, LRA, LRME và mô hình không gian vector trong việc đo lường độ tương đồng quan hệ.
  • Các phương pháp học biểu diễn từ Word2Vec (CBOW, Skip-gram) và sự khác biệt về cấu trúc dữ liệu đầu vào - đầu ra so với mô hình IRS.
  • Các kỹ thuật khai thác nhật ký truy vấn truyền thống theo phiên (Session-based, Query Flow Graph) và theo cụm (K-means, AHC, DB-SCAN).

Phân tích trong chương làm rõ nguyên nhân dẫn đến sự suy giảm độ chính xác của các hệ thống gợi ý truyền thống (dữ liệu thưa, thiếu ngữ cảnh, dư thừa thông tin) và thiết lập cơ sở lý thuyết cho việc tiếp cận theo hướng ngữ cảnh liền mạch (Context-aware).

Chương 2: Tìm kiếm thực thể dựa trên quan hệ ngữ nghĩa ẩn

Chương 2 trình bày chi tiết kiến trúc, giải thuật và kết quả thực nghiệm của mô hình IRS trên ngữ liệu tiếng Việt. Mô hình gồm 3 thành phần chính: rút trích quan hệ ngữ nghĩa, gom cụm quan hệ ngữ nghĩa và tính toán tương đồng quan hệ giữa hai cặp thực thể.

Để giải quyết bài toán gom cụm ngữ cảnh, luận án đề xuất hàm đo kết hợp giữa độ đo theo thuật ngữ và độ đo theo giả thuyết phân phối sử dụng PMI: $$\text{Sim}_{\text{DH}}(p, q) = \frac{\sum_i (\text{PMI}(w_i, p) \cdot \text{PMI}(w_i, q))}{|\text{PMI}(w_i, p)| |\text{PMI}(w_i, q)|}$$

Giải thuật phân cụm kết hợp ngưỡng $\theta_1$ và heuristic $\theta_2$ giúp gom 404.507 ngữ cảnh thành 124.805 cụm. Để phục vụ pha trực tuyến, giải thuật Filter-Entities sử dụng chỉ mục đảo lọc ra tập ứng viên với chi phí $O(1)$, tiếp nối bởi giải thuật Rank-Entities tính toán giá trị $\text{RelSim}$ theo ngưỡng $\alpha$.

Bộ dữ liệu đánh giá thực nghiệm được xây dựng dựa trên 4 phân lớp thực thể có tên: PER (người), ORG (tổ chức), LOC (địa danh) và TIME (thời gian), mỗi phân lớp gồm 50 truy vấn (tổng cộng 200 truy vấn chuẩn):

STT Phân lớp NER Ngữ cảnh mẫu (Context) Cặp thực thể mẫu (Entity-pair) Câu ví dụ trong ngữ liệu
1 LOC bích họa Phật giáo Đôn Hoàng:Trung Quốc; Nara:Nhật Bản Bích họa Phật giáo Đôn Hoàng ở Trung Quốc.
2 ORG đặt trụ sở tại WHO:Geneva; Unesco:Paris WHO đặt trụ sở tại Geneva.
3 PER tác phẩm kinh điển Don Quixote:Cervantes; Oliver Twist:Charles Dickens Don Quixote là tác phẩm kinh điển của Cervantes.
4 TIME Ngày Quốc khánh Hong Kong:1/7; Macedonia:8/9 Ngày Quốc khánh Hong Kong là 1/7.

Thực nghiệm điều chỉnh tham số trên các độ đo Precision, Recall và F-Score cho thấy điểm F-Score đạt giá trị tối ưu tại ngưỡng $\alpha = 0,4$. Đánh giá so sánh chất lượng phân hạng bằng độ đo Mean Reciprocal Rank (MRR) giữa phương pháp sử dụng tần suất đồng hiện ($f$) và phương pháp sử dụng PMI cho thấy sự cải thiện rõ rệt:

$$\text{MRR}(Q) = \frac{1}{|Q|} \sum_{q \in Q} \frac{1}{r_q}$$

Kết quả thực nghiệm trên 4 phân lớp thực thể:

  • Phương pháp dựa trên tần suất đồng hiện ($f$): $\text{MRR}(f) \approx 0,69$.
  • Phương pháp dựa trên độ tương hỗ thông tin (PMI): $\text{MRR}(\text{PMI}) \approx 0,86$.

Thực nghiệm mở rộng trên 500 truy vấn ngẫu nhiên đạt tỷ lệ chính xác xấp xỉ 92%. Một số kết quả thực nghiệm trích xuất thực thể $D$ từ bộ ba đầu vào $(A, B, C)$:

Thực thể A Thực thể B Thực thể C Thực thể D trích xuất thành công
Angela Merkel Đức Benjamin Netanyahu Israel
Harry Kane Tottenham Messi Barca
Chí Anh Khánh Thi Khắc Việt Tuấn Hưng
Hà Nội Hoàn Kiếm Kim Quy Thần Kim Quy
Hoàng Công Lương Hòa Bình Thiên Sơn RO

Đối với các trường hợp ngoại lệ (truy vấn không theo mẫu, không có quan hệ ngữ nghĩa trong kho ngữ liệu), hệ thống tự động chuyển đổi sang cơ chế tìm kiếm theo từ khóa kết hợp hướng ngữ cảnh. Đối với các cặp thực thể đa nghĩa (ví dụ: "Notre Dame:Paris" chứa nhiều khía cạnh như vụ cháy, biểu tượng, tác phẩm văn học), hệ thống dựa vào thực thể ràng buộc $C$ để tối đa hóa độ tương đồng ngữ nghĩa, đồng thời trả về đoạn trích (snippet) ngữ cảnh đính kèm thực thể $D$ để bảo đảm tính tường minh.

Chương 3: Gợi ý truy vấn hướng ngữ cảnh trong bài toán tìm kiếm

Chương 3 trình bày giải pháp kỹ thuật cho bài toán thứ hai: Gợi ý truy vấn hướng ngữ cảnh (Context-aware Query Suggestion). Tác giả phân tích phương pháp của Huanhuan Cao cùng cộng sự [9], [10] và chỉ ra nguyên lý: Sử dụng chuỗi truy vấn đứng ngay trước truy vấn hiện hành làm ngữ cảnh nhằm nhận diện chính xác ý định tìm kiếm của người dùng (ví dụ: từ khóa "tiger" nếu đi sau "Woods" hoặc "golf" sẽ xác định ý định tìm kiếm vận động viên Tiger Woods, thay vì con hổ hay hãng hàng không). Đồng thời, hệ thống khai phá các truy vấn đứng ngay sau truy vấn hiện hành từ nhật ký tìm kiếm của cộng đồng để tạo danh sách gợi ý phản ánh xu hướng tìm kiếm tiếp theo của số đông.

Nội dung chương tập trung vào:

  • Phân tích ưu và nhược điểm của kỹ thuật hướng ngữ cảnh, đề xuất công thức tổ hợp mới để đo độ tương đồng trong bài toán gợi ý truy vấn.
  • Cài đặt thực nghiệm mô hình trên máy tìm kiếm tiếng Việt chuyên ngành hàng không (sử dụng cơ sở dữ liệu Vietnam Airlines).
  • Tích hợp cấu trúc Dàn khái niệm (Concept Lattice) trong tiến trình hậu xử lý nhằm phân lớp kết quả tìm kiếm.
  • Tích hợp module nhận dạng và tổng hợp tiếng nói tiếng Việt như một tùy chọn giao tiếp trong hệ thống tìm kiếm chuyên ngành.

Chương 4: Kết luận

Chương 4 tổng hợp các kết quả lý thuyết và thực nghiệm đã đạt được trong toàn bộ luận án; chỉ rõ các ưu điểm và hạn chế kỹ thuật của hai mô hình IRS và gợi ý truy vấn hướng ngữ cảnh; đồng thời đề xuất lộ trình mở rộng nghiên cứu trong tương lai.

Kết quả và những đóng góp mới

Luận án tự xác định các đóng góp chính về mặt khoa học và kỹ thuật bao gồm:

  1. Xây dựng kỹ thuật tìm kiếm thực thể dựa trên quan hệ ngữ nghĩa ẩn sử dụng phương pháp phân cụm nhằm nâng cao hiệu quả tìm kiếm. Trong đó, tác giả đề xuất hàm đo độ tương đồng kết hợp giữa thuật ngữ (terms) và giả thuyết phân phối sử dụng độ đo tương hỗ thông tin PMI; tích hợp heuristic xử lý song song vào thuật toán phân cụm ngữ cảnh để xử lý tập ngữ liệu lớn.
  2. Đề xuất độ đo tương đồng tổ hợp trong bài toán gợi ý truy vấn theo ngữ cảnh nhằm nâng cao chất lượng gợi ý, khắc phục các hạn chế về dữ liệu thưa và trùng lặp thông tin của các phương pháp truyền thống.
  3. Ứng dụng kỹ thuật hướng ngữ cảnh, xây dựng máy tìm kiếm chuyên sâu áp dụng hướng ngữ cảnh trong miền cơ sở tri thức riêng biệt (dữ liệu ngành hàng không Vietnam Airlines); tích hợp kỹ thuật phân lớp kết quả bằng Dàn khái niệm (Concept Lattice) và chức năng nhận dạng tiếng nói tiếng Việt.

Về mặt giải pháp và kiến nghị:

  • Luận án đề xuất quy trình xử lý ngữ liệu tiếng Việt quy mô lớn phục vụ trích xuất tri thức, bao gồm việc chuẩn hóa từ điển tách từ, từ điển từ dừng và hệ thống gán nhãn thực thể 9 lớp.
  • Kiến nghị áp dụng kiến trúc tách biệt hai pha: pha ngoại tuyến xử lý phân cụm ngữ cảnh và pha trực tuyến tra cứu bảng chỉ mục đảo $O(1)$ kết hợp lọc ngưỡng $\alpha$ để triển khai các hệ thống tìm kiếm ngữ nghĩa thời gian thực.

Hạn chế và hướng nghiên cứu tiếp

Các hạn chế được văn bản luận án thừa nhận bao gồm:

  • Luận án chưa xét đến các loại ánh xạ quan hệ phức tạp giữa cặp thực thể nguồn và cặp thực thể đích theo các dạng: ánh xạ 1-1 (ví dụ: Mặt trăng - Trái đất), ánh xạ 1-nhiều (Mặt trời - Vệ tinh), và ánh xạ nhiều-nhiều (Nhà sản xuất - Công ty).
  • Chưa tích hợp yếu tố biến đổi theo thời gian vào độ đo tương đồng quan hệ (quan hệ giữa các thực thể có thể biến đổi theo nhiệm kỳ hoặc các mốc thời gian khác nhau, ví dụ: Apple:iPod vào thập niên 2010 và Sony:Walkman vào thập niên 1980 dẫn đến sự khác biệt về ngữ cảnh chia sẻ).
  • Chưa có điều kiện thực hiện so sánh, đối sánh trực tiếp mô hình IRS với các nghiên cứu khác trên cùng miền dữ liệu tiếng Việt, do tại thời điểm nghiên cứu chưa có mô hình tìm kiếm thực thể ngữ nghĩa ẩn tương đương cho tiếng Việt.
  • Cơ chế xử lý khi người dùng nhập câu truy vấn tự do không theo cấu trúc mẫu $q = {(A, B), (C, ?)}$ vẫn phải chuyển về cơ chế tìm kiếm từ khóa kết hợp ngữ cảnh.

Hướng phát triển tiếp theo của đề tài:

  • Bổ sung yếu tố thời gian và tích hợp 3 loại ánh xạ quan hệ (1-1, 1-nhiều, nhiều-nhiều) vào giải thuật đo lường độ tương đồng quan hệ để nâng cao độ chính xác và tính cập nhật của kết quả.
  • Mở rộng mô hình IRS để xử lý các câu truy vấn ngôn ngữ tự nhiên chỉ chứa một thực thể đầu vào (ví dụ truy vấn: "Sông nào dài nhất Trung Quốc?" có thể tự động liên kết với mẫu "Trường Giang là sông lớn nhất Trung Quốc" trong ngữ liệu để trả về đáp án "Trường Giang").

Giá trị tham khảo

Luận án cung cấp giá trị tham khảo cụ thể cho các đối tượng:

  • Nghiên cứu sinh, học viên cao học và giảng viên chuyên ngành Khoa học máy tính, Hệ thống thông tin, Xử lý ngôn ngữ tự nhiên: Có thể tham khảo phương pháp luận kết hợp giữa độ đo từ vựng và Giả thuyết phân phối qua PMI trong việc gom cụm văn bản tiếng Việt; quy trình xây dựng bộ dữ liệu đánh giá 4 phân lớp thực thể (PER, ORG, LOC, TIME) và kỹ thuật phân hạng thực thể RelSim.
  • Các kỹ sư công nghệ thông tin và nhóm phát triển công cụ tìm kiếm: Có thể ứng dụng kiến trúc hai pha (online/offline) và cấu trúc chỉ mục đảo để triển khai hệ thống tìm kiếm ngữ nghĩa có khả năng phản hồi tức thời.
  • Chuyên gia xây dựng hệ thống thông tin chuyên ngành: Tham khảo mô hình ứng dụng Dàn khái niệm (Concept Lattice) và kỹ thuật gợi ý truy vấn hướng ngữ cảnh trên cơ sở dữ liệu chuyên ngành hàng không tại Chương 3.

Câu hỏi thường gặp

Mô hình tìm kiếm thực thể dựa trên quan hệ ngữ nghĩa ẩn (IRS) xử lý câu truy vấn đầu vào có dạng như thế nào?

Mô hình IRS nhận câu truy vấn đầu vào có cấu trúc mẫu dạng $q = {(A, B), (C, ?)}$, trong đó $(A, B)$ là cặp thực thể nguồn đã biết quan hệ ngữ nghĩa tiềm ẩn, $C$ là thực thể đích đã biết và dấu "?" đại diện cho thực thể đích $D$ chưa biết cần tìm kiếm. Hệ thống không yêu cầu người dùng nêu tường minh tên của quan hệ ngữ nghĩa trong câu truy vấn.

Tại sao luận án đề xuất kết hợp độ đo theo thuật ngữ và Giả thuyết phân phối sử dụng PMI trong giải thuật phân cụm ngữ cảnh?

Nếu chỉ sử dụng độ đo theo thuật ngữ, hệ thống không nhận dạng được các ngữ cảnh tương đồng ngữ nghĩa nhưng không chia sẻ từ ngữ chung (ví dụ: "thầy thuốc người Trung Hoa" và "bác sĩ Việt Nam"). Ngược lại, nếu chỉ dựa vào Giả thuyết phân phối thì bắt buộc các cặp thực thể phải luôn đồng hiện trong cùng ngữ cảnh, gây khó khăn cho việc phân cụm ở mức từ. Việc kết hợp độ đo Cosine theo thuật ngữ và độ tương hỗ thông tin PMI giúp nhận dạng được ngữ cảnh tương đồng mà không làm lệch trọng số đối với các từ xuất hiện thường xuyên.

Giá trị tham số và kết quả định lượng tối ưu trong thực nghiệm của Chương 2 được xác định như thế nào?

Thực nghiệm xác định giá trị ngưỡng phân hạng tối ưu là $\alpha = 0,4$, tại đó điểm F-Score đạt mức cao nhất. Khi đánh giá bằng độ đo Mean Reciprocal Rank (MRR) trên 4 phân lớp thực thể, phương pháp tính toán độ tương đồng sử dụng PMI đạt $\text{MRR}(\text{PMI}) \approx 0,86$, cao hơn phương pháp dựa trên tần suất đồng hiện $\text{MRR}(f) \approx 0,69$. Độ chính xác tổng thể trên 500 truy vấn kiểm thử đạt khoảng 92%.

Kỹ thuật gợi ý truy vấn hướng ngữ cảnh (Context-aware) có điểm gì khác biệt so với các phương pháp gợi ý truyền thống?

Các kỹ thuật truyền thống chỉ đưa ra các gợi ý tương tự với câu truy vấn vừa nhập mà không nắm bắt được ngữ cảnh liên tục. Phương pháp hướng ngữ cảnh sử dụng chuỗi truy vấn đứng ngay trước làm ngữ cảnh để xác định chính xác ý định tìm kiếm của người dùng, đồng thời khai phá các truy vấn đứng ngay sau từ nhật ký tìm kiếm của cộng đồng để đưa ra gợi ý theo xu hướng tiếp theo của số đông.

Hệ thống xử lý ra sao trong trường hợp người dùng nhập truy vấn không đúng cấu trúc mẫu của mô hình IRS?

Khi câu truy vấn đầu vào không tuân theo cấu trúc motive $q = {(A, B), (C, ?)}$ hoặc trong kho ngữ liệu không tồn tại mối quan hệ ngữ nghĩa giữa hai thực thể $(A, B)$, hệ thống IRS sẽ tự động chuyển đổi phương thức hoạt động về cơ chế tìm kiếm theo từ khóa truyền thống và kết hợp cơ chế hướng ngữ cảnh để xử lý.

Kết luận

Luận án đã giải quyết hai bài toán trong lĩnh vực truy xuất thông tin ngữ nghĩa tiếng Việt: tìm kiếm thực thể dựa trên quan hệ ngữ nghĩa ẩn mô phỏng suy luận loại suy và gợi ý truy vấn hướng ngữ cảnh dựa trên chuỗi tìm kiếm liền mạch. Tác giả đã đề xuất giải thuật phân cụm ngữ cảnh kết hợp độ đo thuật ngữ với độ tương hỗ PMI, xây dựng giải thuật phân hạng RelSim với độ phức tạp thời gian thực, đồng thời triển khai thử nghiệm trên cơ sở dữ liệu tiếng Việt quy mô lớn và miền dữ liệu chuyên ngành hàng không. Các kết quả định lượng với độ chính xác đạt xấp xỉ 92% và chỉ số $\text{MRR}$ đạt 0,86 khẳng định tính hiệu quả của các giải pháp kỹ thuật được đề xuất trong luận án.