Bối cảnh và vấn đề nghiên cứu

Trong bối cảnh công nghệ thông tin và mạng truyền thông phát triển với tốc độ nhanh chóng, khối lượng thông tin được đưa lên Internet từ nhiều nguồn khác nhau liên tục gia tăng và được cập nhật theo từng giờ. Phần lớn lượng tài nguyên này tồn tại dưới dạng dữ liệu phi cấu trúc và rất đa dạng. Khác với dữ liệu có cấu trúc trong các hệ thống quản trị cơ sở dữ liệu vốn được lập chỉ mục rõ ràng và hỗ trợ truy xuất nhanh chóng, dữ liệu phi cấu trúc trên môi trường mạng đòi hỏi phải được tổ chức, sắp xếp lại mới có thể khai thác và biến thành tri thức hữu ích. Đây là một rào cản lớn đối với người dùng trong việc tìm kiếm thông tin kịp thời và chính xác. Mặc dù nhiều công cụ tìm kiếm phổ biến trên thế giới đã ra đời như Google, Bing, Yahoo hay Baidu, sự cách biệt trong việc giao tiếp bằng ngôn ngữ tự nhiên giữa con người và máy tính vẫn là một thách thức kỹ thuật cần được tiếp tục nghiên cứu và hoàn thiện.

Trước thực tế đó, tác giả Lã Ngô Mỹ Linh (khoá 2017–2021, ngành Hệ thống thông tin, Trường Đại học Công nghệ Thông tin – Đại học Quốc gia TP. Hồ Chí Minh) đã thực hiện khóa luận tốt nghiệp kỹ sư với đề tài "Hệ thống hỏi đáp dựa trên bộ dữ liệu câu hỏi tự nhiên" (Question Answering System Based on Natural Questions Dataset), dưới sự hướng dẫn của ThS. Nguyễn Thị Kim Phụng.

Đề tài xác định hai nhiệm vụ và mục tiêu nghiên cứu cụ thể như sau:

  1. Nghiên cứu các phương pháp trả lời câu hỏi nhằm dự đoán câu trả lời phù hợp nhất với các câu hỏi bằng ngôn ngữ tự nhiên của người dùng, qua đó nâng cao độ chính xác dự đoán.
  2. Cho điểm và xếp hạng các kết quả truy xuất để đưa ra gợi ý tối ưu cho người dùng.

Đối tượng và phạm vi nghiên cứu của khóa luận được xác định cụ thể trong văn bản:

  • Đối tượng nghiên cứu: Bộ dữ liệu câu hỏi tự nhiên (Natural Questions dataset) với quy mô hơn 90.000 dòng dữ liệu, bao gồm các câu hỏi thực tế do người dùng truy vấn trên công cụ tìm kiếm Google và các câu trả lời tương ứng được đối sánh, trích xuất từ bách khoa toàn thư mở trực tuyến Wikipedia.
  • Phạm vi nghiên cứu: Do giới hạn về thời gian thực hiện và điều kiện tiếp cận công nghệ, hệ thống chỉ tập trung khai thác một số thành phần cơ bản trong hệ sinh thái mã nguồn mở, bao gồm:
    • Ngôn ngữ lập trình: Python, kết hợp HTML và CSS cho tầng hiển thị.
    • Nền tảng triển khai: Ứng dụng web.
    • Thư viện chuyên dụng: sentence-transformers.
    • Giới hạn tác vụ: Tập trung vào bài toán trích xuất biểu diễn ngữ nghĩa và đo độ tương đồng văn bản giữa câu hỏi của người dùng với kho ngữ liệu câu hỏi định sẵn, từ đó liên kết tới câu trả lời từ Wikipedia.

Cơ sở lý thuyết và phương pháp

Khóa luận thiết lập nền tảng lý thuyết trên cơ sở lý thuyết xác suất, đại số tuyến tính trong học máy và các kiến trúc học sâu xử lý ngôn ngữ tự nhiên (NLP).

Cơ sở lý thuyết và các hàm tính toán cơ sở

  • Hàm Softmax: Dạng tổng quát hóa của hàm Logistic, có vai trò chuyển đổi một vector số thực $C$ chiều bất kỳ thành vector phân phối xác suất $C$ chiều có các phần tử nằm trong khoảng $[0, 1]$ và tổng các phần tử bằng 1: $$a_i = \frac{e^{z_i}}{\sum_{j=1}^{C} e^{z_j}}$$ Hàm này được sử dụng chủ đạo tại các tầng phân lớp và chuẩn hóa trọng số chú ý.
  • Hàm mất mát Cross Entropy: Đo lường độ sai khác giữa hai phân phối xác suất (phân phối thực tế $p$ và phân phối dự đoán $q$): $$H(p, q) = -\sum_{i=1}^{C} p_i \log(q_i)$$ Văn bản phân tích so sánh giữa Cross Entropy và hàm khoảng cách bình phương sai số $(q - p)^2$, chứng minh giá trị hàm Cross Entropy tăng rất cao khi phân phối $q$ cách xa phân phối mục tiêu $p$, từ đó giúp tối ưu hóa trọng số hiệu quả qua thuật toán lan truyền ngược.

Các mô hình nhúng từ và nhúng câu

  • Word2Vec: Kỹ thuật nhúng từ do Tomas Mikolov và cộng sự (Google, 2013) phát triển dựa trên giả thuyết phân phối (distributional hypothesis). Văn bản khảo sát hai cấu trúc mạng nơ-ron nông:
    • Continuous Bag-of-words (CBOW): Dự đoán từ mục tiêu dựa vào các từ ngữ cảnh xung quanh.
    • Skip-gram: Ngược lại với CBOW, nhận một từ mục tiêu làm đầu vào để dự đoán các từ ngữ cảnh lân cận. Mô hình được huấn luyện trên kho ngữ liệu Google News gồm khoảng 6 tỷ token, rút gọn còn khoảng 1 triệu từ phổ biến.
  • GloVe (Global Vectors for Word Representation): Kỹ thuật do Pennington và cộng sự (Stanford, 2014) phát triển, kết hợp phương pháp phân tích ma trận với việc học ngữ cảnh cục bộ. Mô hình vận hành trên ma trận đồng xuất hiện từ - ngữ cảnh toàn cục (Co-occurrence Matrix) với hàm trọng số $f(X_{ij}) = (x / x_{\max})^\alpha$ (với $\alpha = 3/4$ nếu $x < x_{\max}$; bằng 1 trong các trường hợp còn lại). Khóa luận sử dụng phiên bản GloVe 300 chiều được huấn luyện trước trên tập ngữ liệu Gigaword và Wikipedia.
  • Universal Sentence Encoder (USE): Bộ công cụ nhúng cấp độ câu của Google, ánh xạ văn bản thành vector cố định 512 chiều. Khóa luận khảo sát hai biến thể kiến trúc:
    • Transformer Encoder: Ứng dụng cơ chế tự chú ý (Self-Attention) có tính đến thứ tự từ và ngữ cảnh xung quanh; cho độ chính xác cao nhưng độ phức tạp tính toán đạt mức $O(n^2)$.
    • Mạng trung bình sâu (Deep Averaging Network - DAN): Tính trung bình các vector nhúng từ và bi-gram rồi đưa qua mạng truyền thẳng 4 lớp; có độ phức tạp tính toán tuyến tính $O(n)$, tối ưu về tốc độ suy luận.
    • Cả hai biến thể đều được huấn luyện đa nhiệm có giám sát và không giám sát trên tập dữ liệu Stanford Natural Language Inference (SNLI) gồm 570.000 cặp câu được phân loại: kéo theo (entailment), trung lập (neutral) và mâu thuẫn (contradiction).
  • Sentence BERT (SBERT): Cải tiến kiến trúc BERT huấn luyện trước bằng cách gắn thêm một tầng gộp (pooling layer) với ba chiến lược (CLS, MEAN, MAX; mặc định dùng MEAN) nhằm tạo ra biểu diễn vector có kích thước cố định cho các câu có độ dài thay đổi. SBERT được tối ưu hóa qua ba hàm mục tiêu: phân loại (Classification Objective), hồi quy (Regression Objective) và bộ ba (Triplet Objective).

Phương pháp nghiên cứu và phương pháp đánh giá

  • Độ tương đồng Cosine (Cosine Similarity): Phương pháp hình học dùng để tính toán mức độ tương tự giữa hai vector $\vec{v}_1, \vec{v}_2$ trong không gian đa chiều thông qua cosin của góc $\theta$ hợp bởi hai vector: $$\text{Similarity}(\vec{v}_1, \vec{v}_2) = \cos(\theta) = \frac{\vec{v}_1 \cdot \vec{v}_2}{|\vec{v}_1| |\vec{v}_2|}$$
  • Bộ dữ liệu điểm chuẩn STS Benchmark (Semantic Textual Similarity): Tập dữ liệu gồm khoảng 2.000 cặp câu được con người đánh giá và gán nhãn thủ công về độ tương đồng ngữ nghĩa trên thang điểm từ 0.00 đến 5.00. Phương pháp đánh giá được thực hiện bằng cách tính hệ số tương quan giữa điểm số do con người gán nhãn và điểm số tương đồng cosine do mô hình tính toán.

Thiết kế và triển khai hệ thống

Do đồ án thuộc loại hình xây dựng hệ thống phần mềm ứng dụng xử lý ngôn ngữ tự nhiên, tác giả đã thiết kế và triển khai một quy trình gồm các khối thành phần kỹ thuật cụ thể:

1. Kiến trúc luồng xử lý dữ liệu và mô hình

Hệ thống vận hành theo quy trình bốn bước:

  • Tầng tiền xử lý: Văn bản truy vấn được chuẩn hóa bằng cách hạ chữ thường (lowercase), loại bỏ dấu câu và các ký tự non-ASCII, giữ lại các ký tự số, sau đó thực hiện tách từ (tokenization), lọc từ dừng (stopwords) và đưa từ về dạng nguyên mẫu (lemmatization).
  • Tầng mã hóa (Encoding): Sử dụng các mô hình SBERT đã tinh chỉnh (như bert-base-nli-stsb-mean-tokens, stsb-roberta-base-v2, stsb-mpnet-base-v2) để ánh xạ câu hỏi truy vấn của người dùng thành vector biểu diễn ngữ nghĩa trong không gian nhiều chiều.
  • Tầng tính toán tương đồng và xếp hạng: Áp dụng công thức Cosine Similarity để so sánh vector truy vấn với tập vector của hơn 90.000 câu hỏi trong bộ dữ liệu câu hỏi tự nhiên đã được tiền xử lý và trích xuất vector sẵn trong hệ thống.
  • Tầng trích xuất câu trả lời: Căn cứ trên độ tương đồng cao nhất, hệ thống truy xuất các câu hỏi tương ứng trong cơ sở dữ liệu và hiển thị câu trả lời trích dẫn từ nguồn Wikipedia đi kèm điểm số đánh giá mức độ liên quan.

2. Công nghệ triển khai

  • Ngôn ngữ và môi trường lập trình: Python, tích hợp thư viện sentence-transformers để tải và vận hành mô hình học sâu.
  • Giao diện người dùng: Xây dựng dưới dạng ứng dụng web, định dạng qua HTML và CSS.
  • Giao diện thực tế:
    • Giao diện trang chủ: Cung cấp khung nhập liệu văn bản tự nhiên cho người dùng gửi truy vấn.
    • Giao diện kết quả: Hiển thị danh sách các kết quả câu hỏi tương đồng nhất kèm nội dung câu trả lời từ Wikipedia và điểm tương quan đã được xếp hạng.

Nội dung chính theo từng chương

Chương 1: Tổng quan

Chương 1 trình bày bối cảnh bùng nổ thông tin trên Internet, phân tích sự khác biệt về mặt cấu trúc giữa dữ liệu trong cơ sở dữ liệu truyền thống và dữ liệu phi cấu trúc trên web. Tác giả khảo sát các công cụ tìm kiếm hiện nay (Google, Bing, Yahoo, Baidu) và xác định tính cấp thiết của việc xây dựng hệ thống hỏi đáp bằng ngôn ngữ tự nhiên.

Chương này công bố chi tiết:

  • Hai mục tiêu nghiên cứu (dự đoán câu trả lời phù hợp và xếp hạng kết quả gợi ý).
  • Đối tượng dữ liệu (hơn 90.000 dòng dữ liệu câu hỏi tự nhiên từ Google kết hợp Wikipedia).
  • Phạm vi công nghệ (Python, HTML, CSS, sentence-transformers).
  • Kế hoạch thực hiện gồm 5 công đoạn: khảo sát và thu thập dữ liệu; làm sạch và tiền xử lý; chuyển đổi văn bản thành vector bằng các mô hình nhúng; đánh giá và đề xuất mô hình tối ưu; xây dựng hệ thống hỏi đáp hoàn chỉnh.

Chương 2: Lý thuyết chung

Chương 2 trình bày chi tiết các nền tảng toán học và kỹ thuật biểu diễn từ trong NLP. Nội dung bao gồm công thức và nguyên lý vận hành của hàm Softmax, hàm mất mát Cross Entropy (có đồ thị minh họa sự vượt trội so với sai số bình phương khi tính khoảng cách giữa hai phân phối xác suất).

Chương đi sâu phân tích cơ chế hoạt động của:

  • Word2Vec với hai mô hình mạng nơ-ron CBOW và Skip-gram.
  • GloVe với cấu trúc ma trận đồng xuất hiện và hàm trọng số giảm thiểu ảnh hưởng của các cặp từ tần suất cao.
  • Universal Sentence Encoder với hai nhánh kiến trúc Transformer Encoder và Deep Averaging Network (DAN), cùng các tác vụ huấn luyện đa nhiệm trên tập SNLI (dự đoán câu trước/sau, dự đoán phản hồi hội thoại, suy luận ngôn ngữ tự nhiên).
  • Giới thiệu tổng quan Sentence BERT (SBERT) và lớp gộp pooling (CLS, MEAN, MAX).
  • Phương pháp đánh giá thực nghiệm bằng độ tương đồng Cosine trên tập dữ liệu chuẩn STS Benchmark.

Chương 3: Phương pháp nghiên cứu

Chương 3 tập trung làm rõ quy trình xử lý dữ liệu và phân tích chi tiết cơ chế hoạt động bên trong của mô hình Transformer và BERT/SBERT:

  • Tiền xử lý dữ liệu: Trình bày các bước làm sạch văn bản (chuyển chữ thường, bỏ non-ASCII, giữ số); tách từ (tokenization); loại bỏ từ dừng (stopwords); phân tích sự khác nhau giữa kỹ thuật cắt tỉa từ (Stemming) và kỹ thuật chuyển về từ gốc bằng từ điển/ontology (Lemmatization), trong đó Lemmatization được lựa chọn vì tính chính xác cao.
  • Biểu diễn đầu vào trong BERT: Phân tích ba thành phần nhúng có kích thước đặc trưng $H = 768$:
    • Token Embeddings: Mã hóa các từ vựng với kích thước từ điển $V = 30.522$, bổ sung hai token đặc biệt [CLS] (đầu câu) và [SEP] (cuối câu/ngăn cách câu).
    • Segment Embeddings: Gán nhãn nhị phân (0 cho chuỗi thứ nhất, 1 cho chuỗi thứ hai) để phân biệt cặp câu đầu vào.
    • Position Embeddings: Mã hóa vị trí của token trong chuỗi tối đa 512 phần tử bằng công thức Sinusoidal Position Encoding: $$PE_{(pos, 2i)} = \sin\left(\frac{pos}{10000^{2i / d_{\text{model}}}}\right)$$ $$PE_{(pos, 2i+1)} = \cos\left(\frac{pos}{10000^{2i / d_{\text{model}}}}\right)$$ Ba biểu diễn này được cộng theo từng phần tử để tạo ra tensor đầu vào kích thước $(1, n, 768)$.
  • Kiến trúc Transformer Encoder:
    • Cơ chế tự chú ý (Self-Attention): Khởi tạo ba ma trận trọng số $W^Q, W^K, W^V$ để tạo vector Query, Key, Value. Trọng số chú ý được tính bằng cách nhân tích vô hướng giữa Query và Key, chia cho căn bậc hai của kích thước vector ($\sqrt{d_k}$) rồi chuẩn hóa qua Softmax trước khi nhân với Value: $$\text{Attention}(Q, K, V) = \text{Softmax}\left(\frac{QK^T}{\sqrt{d_k}}\right)V$$
    • Cơ chế chú ý nhiều đầu (Multi-Head Attention): Kết hợp nhiều không gian con biểu diễn (12 đầu chú ý ở $\text{BERT}{\text{base}}$, 16 đầu ở $\text{BERT}{\text{large}}$). Đầu ra của các đầu được nối lại và nhân với ma trận trọng số bổ sung để đưa vào mạng nơ-ron truyền thẳng (Feed-Forward).
    • Lớp thêm và chuẩn hóa (Add & Normalize): Kết nối tắt (residual connection) cộng đầu vào với đầu ra của mạng con, áp dụng xác suất bỏ học 10% (Dropout = 0.1), sau đó thực hiện chuẩn hóa lớp (Layer Normalization): $\text{LayerNorm}(x + \text{Dropout}(\text{Sublayer}(x)))$.
  • Kiến trúc Sentence BERT (SBERT): Phân tích chi tiết ba hàm mục tiêu huấn luyện:
    • Classification Objective Function: Nối các vector câu $u, v$ và $|u - v|$, nhân với ma trận trọng số có thể huấn luyện và dùng hàm Softmax.
    • Regression Objective Function: Tính trực tiếp độ tương đồng Cosine giữa $u$ và $v$, tối ưu hóa bằng sai số bình phương trung bình (MSE Loss).
    • Triplet Objective Function: Tối ưu khoảng cách giữa câu mỏ neo (anchor), câu tích cực (positive) và câu tiêu cực (negative).

Chương 4: Triển khai thực nghiệm

Chương 4 mô tả toàn bộ công việc thực nghiệm khoa học:

  • Minh họa các trường hợp dữ liệu thực tế trước và sau các bước làm sạch (xóa ký tự đặc biệt, xử lý chuỗi non-ASCII, nối token).
  • Quá trình cấu hình huấn luyện và kiểm thử mô hình nhúng câu.
  • Đánh giá thực nghiệm mô hình trên tập kiểm chuẩn và lựa chọn các trọng số tối ưu.
  • Lắp ráp mô hình vào hệ thống hỏi đáp, kết nối kho dữ liệu Wikipedia và thiết kế hai giao diện web tương tác (giao diện trang chủ để tiếp nhận câu hỏi và giao diện truy vấn hiển thị kết quả xếp hạng).

Chương 5: Kết luận

Chương 5 đúc kết các kết quả đạt được đối chiếu với mục tiêu đặt ra, khẳng định tính hiệu quả của phương pháp nhúng câu SBERT trong bài toán truy vấn tương đồng ngữ nghĩa. Đồng thời, tác giả tổng kết các giới hạn kỹ thuật của đồ án và phác thảo các hướng nghiên cứu nối tiếp trong tương lai.

Kết quả và đóng góp

1. Kết quả thực nghiệm đối sánh

Khóa luận đã tiến hành đánh giá thực nghiệm và so sánh định lượng giữa các phương pháp nhúng từ/câu trên cùng một tập dữ liệu chuẩn STS Benchmark. Kết quả hệ số tương quan được tác giả tổng hợp tại Bảng 2.3 trong văn bản như sau:

STT Mô hình nhúng Hệ số tương quan STS Benchmark
1 Word2Vec 0.592
2 Universal Sentence Encoder (USE) 0.804
3 SBERT (bert-base-nli-mean-tokens) 0.819
4 SBERT (bert-base-nli-stsb-mean-tokens) 0.871
5 SBERT (stsb-roberta-base-v2) 0.894
6 SBERT (stsb-mpnet-base-v2) 0.897

Kết quả đo lường cho thấy nhóm mô hình dựa trên SBERT đạt kết quả cao hơn rõ rệt so với các phương pháp nhúng từ độc lập (Word2Vec đạt 0.592) và mô hình Universal Sentence Encoder (đạt 0.804). Trong đó, biến thể stsb-mpnet-base-v2 đạt hệ số tương quan cao nhất là 0.897, tiếp theo là stsb-roberta-base-v2 với 0.894.

2. Đóng góp của đề tài

  • Về mặt học thuật và khảo sát: Cung cấp nghiên cứu tổng hợp và kiểm chứng định lượng có hệ thống về năng lực biểu diễn ngữ nghĩa của các thế hệ nhúng từ, từ các mạng nơ-ron nông (Word2Vec CBOW, Skip-gram), mô hình ma trận đồng xuất hiện (GloVe), đến các kiến trúc mã hóa câu hiện đại (Universal Sentence Encoder, SBERT).
  • Về mặt kỹ thuật và ứng dụng: Đề xuất và ứng dụng thành công kỹ thuật nhúng câu của SBERT kết hợp độ đo khoảng cách Cosine để giải quyết bài toán hỏi đáp trên bộ dữ liệu Natural Questions quy mô hơn 90.000 dòng.
  • Xây dựng sản phẩm thực nghiệm: Triển khai hoàn chỉnh ứng dụng web bằng Python, HTML và CSS, cho phép người dùng nhập câu hỏi bằng ngôn ngữ tự nhiên và nhận về câu trả lời tương ứng từ Wikipedia kèm thứ bậc liên quan.

Hạn chế và hướng nghiên cứu tiếp

Khóa luận chỉ ra một số điểm hạn chế và các định hướng nghiên cứu mở rộng:

  • Hạn chế:
    • Thời gian thực hiện đề tài có hạn nên hệ thống chỉ mới khai thác các tính năng cơ bản của thư viện sentence-transformers và các công nghệ lập trình web cơ bản (Python, HTML, CSS).
    • Kiến thức chuyên sâu về việc tùy biến toàn diện kiến trúc mô hình học sâu của tác giả còn có những mặt chưa hoàn thiện.
    • Phạm vi dữ liệu thử nghiệm dừng lại ở hơn 90.000 dòng từ bộ dữ liệu Natural Questions và nguồn trích xuất câu trả lời cố định từ Wikipedia tiếng Anh.
  • Hướng nghiên cứu tiếp:
    • Khảo sát và tinh chỉnh sâu hơn các siêu tham số trên các biến thể mô hình ngôn ngữ mới.
    • Tối ưu hóa thời gian xử lý và tốc độ suy luận của mô hình nhúng khi áp dụng cho kho ngữ liệu câu hỏi có quy mô lớn hơn.
    • Mở rộng phạm vi dữ liệu trả lời vượt ra ngoài Wikipedia, tích hợp các nguồn tri thức mở đa dạng.
    • Nâng cấp giao diện người dùng và hoàn thiện các chức năng nâng cao cho ứng dụng web.

Giá trị tham khảo

Báo cáo khóa luận mang lại giá trị tham khảo rõ ràng cho các nhóm đối tượng sau:

  • Sinh viên và học viên ngành Hệ thống thông tin, Công nghệ thông tin và Khoa học dữ liệu: Tài liệu là nguồn tham khảo hệ thống về cơ sở lý thuyết toán học của NLP, đặc biệt là các công thức chi tiết về hàm kích hoạt Softmax, hàm mất mát Cross Entropy, kiến trúc biến đổi Sinusoidal Position Encoding, và cơ chế tính toán ma trận Query, Key, Value trong Self-Attention.
  • Người làm nghiên cứu và phát triển hệ thống hỏi đáp (QA Systems), tìm kiếm ngữ nghĩa (Semantic Search):
    • Tham khảo chi tiết Chương 2 và Chương 3 để nắm vững quy trình xử lý văn bản tiếng Anh (tách từ, loại bỏ stopwords, so sánh Stemming với Lemmatization).
    • Tham khảo phương pháp thiết lập đánh giá thực nghiệm mô hình trên tập chuẩn STS Benchmark thông qua hệ số tương quan và độ tương đồng Cosine.
    • Tham khảo giải pháp tích hợp thư viện sentence-transformers để xây dựng ứng dụng web hỏi đáp tra cứu thông tin thực tế.

Câu hỏi thường gặp

1. Bộ dữ liệu câu hỏi tự nhiên mà khóa luận sử dụng có kích thước bao nhiêu và có nguồn gốc từ đâu?

Bộ dữ liệu gồm hơn 90.000 dòng dữ liệu, chứa các câu hỏi thực tế do người dùng truy vấn trên công cụ tìm kiếm Google và các câu trả lời tương ứng được tìm thấy và trích xuất từ bách khoa toàn thư mở Wikipedia.

2. Vì sao tác giả lựa chọn kỹ thuật Lemmatization thay vì Stemming trong giai đoạn tiền xử lý?

Văn bản nêu rõ Stemming là kỹ thuật loại bỏ máy móc một số ký tự cuối từ (như các hậu tố -ed, -ing, -s) nên tốc độ nhanh nhưng không xử lý được các động từ bất quy tắc (ví dụ: không thể chuyển "went" về "go"). Ngược lại, Lemmatization sử dụng bộ từ điển hoặc bản thể học để tra cứu, đưa từ về đúng dạng gốc chính xác về mặt ngữ pháp, giúp đảm bảo độ chính xác cao cho mô hình huấn luyện.

3. Trong bảng đánh giá trên tập dữ liệu chuẩn STS Benchmark, mô hình nào đạt kết quả cao nhất và thấp nhất?

Theo Bảng 2.3 trong khóa luận, mô hình SBERT phiên bản stsb-mpnet-base-v2 đạt kết quả cao nhất với hệ số tương quan là 0.897. Mô hình Word2Vec đạt kết quả thấp nhất với hệ số tương quan là 0.592.

4. Kiến trúc BERT cơ sở ($\text{BERT}{\text{base}}$) và BERT lớn ($\text{BERT}{\text{large}}$) sử dụng bao nhiêu đầu chú ý (heads) trong cơ chế Multi-Head Attention?

Theo mục 3.4.2 của khóa luận, mô hình $\text{BERT}{\text{base}}$ sử dụng 12 đầu chú ý ($A = 12$), trong khi mô hình $\text{BERT}{\text{large}}$ sử dụng 16 đầu chú ý ($A = 16$).

5. Hệ thống hỏi đáp trong khóa luận được xây dựng và triển khai bằng những công nghệ cụ thể nào?

Hệ thống được phát triển trên nền tảng ứng dụng web sử dụng ngôn ngữ lập trình Python, kết hợp thư viện sentence-transformers để xử lý mô hình học sâu, và sử dụng HTML, CSS để thiết kế giao diện trang chủ cùng giao diện truy vấn kết quả.

Kết luận

Khóa luận tốt nghiệp của tác giả Lã Ngô Mỹ Linh đã hoàn thành việc khảo sát, phân tích toán học và đánh giá định lượng các kỹ thuật nhúng từ và nhúng câu phổ biến trong xử lý ngôn ngữ tự nhiên. Kết quả thực nghiệm trên tập chuẩn STS Benchmark chứng minh các mô hình thuộc họ Sentence BERT vượt trội hơn so với Word2Vec và Universal Sentence Encoder về khả năng nắm bắt ngữ nghĩa câu. Dựa trên mô hình SBERT đề xuất cùng độ đo tương đồng Cosine, đề tài đã xây dựng thành công ứng dụng web hỏi đáp thực nghiệm trên tập dữ liệu hơn 90.000 câu hỏi tự nhiên liên kết nguồn tri thức Wikipedia. Công trình cung cấp một tài liệu tham khảo chi tiết về mặt lý thuyết Transformer cũng như quy trình triển khai bài toán tìm kiếm ngữ nghĩa cho sinh viên và kỹ sư ngành Hệ thống thông tin.