Nghiên Cứu Phương Pháp SWET Trong Học Biểu Diễn Ngữ Nghĩa Của Từ

Khám phá cách biểu diễn ngữ nghĩa của từ trong ngôn ngữ, giúp hiểu rõ hơn về ý nghĩa và cách sử dụng từ trong giao tiếp hàng ngày.

• Tác giả: Vũ Hoàng Diệu
• Người hướng dẫn: PGS. Thân Quang Khoát
• Trường học: Trường Đại Học Bách Khoa Hà Nội
• Chuyên ngành: Khoa học dữ liệu
• Đề tài: Nghiên Cứu Phương Pháp SWET Trong Học Biểu Diễn Ngữ Nghĩa Của Từ
• Loại tài liệu: luận văn thạc sĩ
• Năm xuất bản: 2020
• Địa điểm: Hà Nội

Mục lục chi tiết

• LỜI CAM ĐOAN
• LỜI CẢM ƠN
• 1. GIỚI THIỆU ĐỀ TÀI
• 2. CƠ SỞ LÝ THUYẾT
• 2.1. Mô hình chủ đề
• 2.1.1. Học chủ đề ẩn của dữ liệu văn bản chữ
• 2.1.2. Mô hình LDA
• 2.1.3. Bài toán suy diễn cho mô hình LDA
• 2.2. Mô hình phi tham số
• 2.3. Mô hình chủ đề có giám sát
• 2.4. Biểu diễn ngữ nghĩa của từ
• 2.4.1. Tra cứu từ điển
• 2.4.2. Mã hóa từ one-hot
• 2.4.3. Bộ nhúng từ
• 3. BỘ NHÚNG TỪ CÓ GIÁM SÁT VỚI MÔ HÌNH CHỦ ĐỀ (SWET)
• 3.1. Phương pháp
• 3.1.1. Cách tiếp cận có giám sát
• 3.1.2. Cách tiếp cận dựa trên SDR
• 3.1.3. Cách tiếp cận phi tham số
• 3.2. Tính khả thi của SWET
• 3.3. Một số tính chất của SWET
• 3.3.1. Tính diễn giải
• 3.3.2. Tính tách biệt
• 3.3.3. Tính chất phi tham số
• 4. THỬ NGHIỆM VÀ ĐÁNH GIÁ
• 4.1. Phân tích tính tách biệt và tính diễn giải
• 4.1.1. Tính diễn giải
• 4.1.2. Tính tách biệt
• 4.2. Ứng dụng phân loại văn bản
• 4.2.1. Phương pháp đối sánh
• 4.2.2. Thiết lập thử nghiệm
• 4.2.3. Phương pháp đánh giá
• 4.2.4. Kết quả và phân tích
• 4.2.5. Phân tích sự ảnh hưởng của các siêu tham số
• 4.3. Bộ nhúng từ có giám sát phi tham số
• 5. KẾT LUẬN
• TÀI LIỆU THAM KHẢO

Tóm tắt

I. Tổng Quan Về Phương Pháp SWET Học Biểu Diễn Ngữ Nghĩa

Sự phát triển mạnh mẽ của Internet tạo ra lượng dữ liệu khổng lồ, đa dạng về số lượng, cấu trúc và kiểu dữ liệu. Dữ liệu văn bản chiếm tỉ lệ lớn và rất khó để khai phá tri thức. Các nghiên cứu về biểu diễn ngữ nghĩa của từ ngày càng được quan tâm, thường được biểu diễn dưới dạng vector (Word Embedding). Các vector này bảo tồn ý nghĩa của từ và được sử dụng rộng rãi trong các ứng dụng của ngành xử lý ngôn ngữ tự nhiên như phân loại văn bản, mô hình ngôn ngữ, nhận diện thực thể. Word2Vec và GloVe là hai phương pháp phổ biến, học ra bộ nhúng từ trên bộ dữ liệu văn bản lớn.

1.1. Tại sao Học Biểu Diễn Ngữ Nghĩa Của Từ Lại Quan Trọng

Học biểu diễn ngữ nghĩa hiệu quả cho phép máy tính hiểu được ý nghĩa của từ, từ đó xử lý ngôn ngữ tự nhiên tốt hơn. Điều này rất quan trọng trong các ứng dụng như dịch máy, chatbot, phân tích tình cảm và truy vấn thông tin. Việc biểu diễn từ bằng vector số học giúp các mô hình học máy dễ dàng xử lý và so sánh ý nghĩa giữa các từ. Các phương pháp như Word Embedding đã chứng minh được tính hiệu quả trong việc nắm bắt ngữ cảnh và quan hệ giữa các từ.

1.2. Giới Thiệu Về Phương Pháp SWET Trong Học Biểu Diễn Từ

Phương pháp SWET (Supervised Word Embeddings using Topic models) là một cách tiếp cận mới trong việc học biểu diễn ngữ nghĩa. SWET tận dụng thông tin nhãn lớp của văn bản để huấn luyện các mô hình chủ đề, từ đó tạo ra các Word Embedding có tính diễn giải và tính tách biệt cao. SWET có khả năng khai thác lượng lớn các mô hình chủ đề, bao gồm cả mô hình không giám sát, có giám sát và phi tham số, để học ra biểu diễn có giám sát của từ.

II. Vấn Đề Của Biểu Diễn Ngữ Nghĩa Truyền Thống Giải Pháp SWET

Hầu hết các cách tiếp cận hiện nay, con người không hiểu ý nghĩa giá trị của từng chiều trong vector biểu diễn của từ, khiến bộ nhúng từ trở thành một chiếc hộp đen mà con người không thể hiểu và tác động. Do đó, tính diễn giải của bộ nhúng từ là một tính chất quan trọng. Các bộ nhúng từ không giám sát thường không có tính chất tách biệt. Để giải quyết vấn đề này, một số nghiên cứu đề xuất việc kết hợp những điểm mạnh của mô hình chủ đề và mạng nơ-ron.

2.1. Hạn Chế Về Tính Diễn Giải Của Các Phương Pháp Phổ Biến

Các phương pháp học Word Embedding phổ biến như Word2Vec và GloVe thường tạo ra các vector biểu diễn từ có số chiều cao nhưng lại thiếu tính diễn giải. Mỗi chiều của vector thường không tương ứng với một thuộc tính hoặc khái niệm cụ thể, khiến cho việc hiểu ý nghĩa của biểu diễn trở nên khó khăn. Điều này hạn chế khả năng sử dụng Word Embedding trong các ứng dụng đòi hỏi khả năng giải thích và kiểm soát.

2.2. Thiếu Tính Tách Biệt Trong Các Mô Hình Học Không Giám Sát

Các mô hình học không giám sát thường không tận dụng được thông tin nhãn lớp của văn bản, dẫn đến việc các Word Embedding tạo ra không có tính tách biệt tốt giữa các lớp. Điều này làm giảm hiệu suất của các ứng dụng phân loại văn bản và các bài toán liên quan. SWET khắc phục hạn chế này bằng cách tích hợp thông tin nhãn lớp vào quá trình học, tạo ra các biểu diễn từ có tính phân biệt cao.

2.3. Giải Pháp SWET Kết Hợp Ưu Điểm Mô Hình Chủ Đề Giám Sát

SWET kết hợp ưu điểm của mô hình chủ đề và học có giám sát để tạo ra Word Embedding có tính diễn giải và tính tách biệt. Mô hình chủ đề cung cấp cấu trúc ngữ nghĩa rõ ràng, trong khi thông tin nhãn lớp giúp tăng cường tính phân biệt giữa các lớp. SWET cho phép khai thác một lượng lớn các mô hình chủ đề đã có, bao gồm cả mô hình không giám sát, có giám sát và phi tham số.

III. Hướng Dẫn Chi Tiết Phương Pháp SWET Để Học Biểu Diễn Từ

SWET là phương pháp học Bộ nhúng từ có giám sát (Supervised Word Embeddings - SWE) bằng cách sử dụng các mô hình chủ đề với tập dữ liệu được gán nhãn. SWET kế thừa một cách tự nhiên tính diễn giải của mô hình chủ đề và tính tách biệt bởi việc suy diễn có giám sát từ thông tin nhãn. Hơn nữa, SWET có khả năng khai thác một lượng lớn các mô hình chủ đề bao gồm cả không giám sát, có giám sát và phi tham số để học bộ nhúng từ có giám sát. Tính chất này thực sự có ý nghĩa lớn trong thực tế.

3.1. Tiếp Cận Có Giám Sát Trong Phương Pháp SWET

Tiếp cận có giám sát trong SWET sử dụng thông tin nhãn lớp của văn bản để hướng dẫn quá trình học Word Embedding. Mô hình chủ đề được huấn luyện sao cho các từ thuộc các lớp khác nhau được biểu diễn bằng các vector khác nhau. Điều này giúp tăng cường tính tách biệt giữa các lớp và cải thiện hiệu suất của các ứng dụng phân loại.

3.2. Tiếp Cận Dựa Trên SDR Supervised Dimensionality Reduction

Phương pháp SWET có thể kết hợp với SDR (Giảm chiều có giám sát) để giảm số chiều của không gian biểu diễn từ. SDR giúp loại bỏ các chiều không quan trọng và tập trung vào các chiều mang thông tin phân biệt nhất giữa các lớp. SWET-SDR là một biến thể của SWET kết hợp với SDR.

3.3. Cách Tiếp Cận Phi Tham Số Trong SWET

SWET có thể sử dụng các mô hình chủ đề phi tham số, cho phép mô hình tự động học số lượng chủ đề phù hợp với dữ liệu. Điều này giúp tránh việc phải lựa chọn thủ công số lượng chủ đề, một công việc thường tốn thời gian và công sức. Các mô hình phi tham số như Hierarchical Dirichlet Processes (HDP) có thể được tích hợp vào SWET.

IV. Khả Thi Tính Chất Của Phương Pháp Học Biểu Diễn SWET

SWET có khả năng học đồng thời cả bộ nhúng từ có giám sát và số chiều của nó một cách dễ dàng bằng cách sử dụng các mô hình phi tham số có giám sát hoặc kết hợp các mô hình phi tham số không giám sát với một bước hiệu chỉnh đơn giản. Hầu hết các phương pháp khác yêu cầu lựa chọn một cách thủ công để tìm ra số chiều tốt cho bộ nhúng từ. SWET cung cấp lý thuyết về tính khả thi của SWET.

4.1. Lý Thuyết Về Tính Khả Thi Của SWET

Tính khả thi của SWET dựa trên khả năng của mô hình chủ đề trong việc nắm bắt cấu trúc ngữ nghĩa của văn bản và khả năng của học có giám sát trong việc tạo ra các biểu diễn phân biệt. Bằng cách kết hợp hai yếu tố này, SWET có thể tạo ra các Word Embedding chất lượng cao và phù hợp với các ứng dụng có giám sát.

4.2. Tính Diễn Giải Tách Biệt Của SWET

SWET kế thừa tính diễn giải từ mô hình chủ đề, cho phép người dùng hiểu được ý nghĩa của từng chiều trong vector biểu diễn từ. Đồng thời, thông tin nhãn lớp giúp tăng cường tính tách biệt giữa các lớp, làm cho SWET phù hợp với các ứng dụng phân loại và các bài toán liên quan.

4.3. Tính Chất Phi Tham Số Của SWET

SWET có thể sử dụng các mô hình phi tham số để tự động học số lượng chủ đề và số chiều của Word Embedding. Điều này giúp giảm bớt gánh nặng cho người dùng và tạo ra các biểu diễn phù hợp với dữ liệu.

V. Thực Nghiệm Đánh Giá Hiệu Quả Của Phương Pháp SWET

Các thực nghiệm đã được tiến hành để đánh giá chất lượng của SWET và so sánh với các phương pháp tốt nhất hiện tại. Kết quả cho thấy SWET chiếm ưu thế hơn so với các phương pháp không giám sát và có thể cạnh tranh với các phương pháp có giám sát tốt nhất hiện nay.

5.1. Phân Tích Tính Tách Biệt Diễn Giải Của SWET

Phân tích định lượng và định tính đã được thực hiện để đánh giá tính tách biệt và diễn giải của SWET. Các kết quả cho thấy SWET tạo ra các Word Embedding có tính diễn giải cao và có khả năng phân biệt tốt giữa các lớp.

5.2. Ứng Dụng Phân Loại Văn Bản Với SWET

SWET đã được ứng dụng trong bài toán phân loại văn bản và cho thấy hiệu suất vượt trội so với các phương pháp khác. Điều này chứng minh tính hiệu quả của SWET trong việc tạo ra các Word Embedding phù hợp với các ứng dụng thực tế.

5.3. Ảnh Hưởng Của Siêu Tham Số Đến Kết Quả Của SWET

Các thực nghiệm đã được tiến hành để phân tích ảnh hưởng của các siêu tham số đến kết quả của SWET. Các kết quả này cung cấp thông tin hữu ích cho việc điều chỉnh các siêu tham số để đạt được hiệu suất tốt nhất.

VI. Kết Luận Hướng Phát Triển Tương Lai Của SWET

Luận văn đã đề xuất phương pháp SWET, có thể học Bộ nhúng từ có giám sát bằng cách sử dụng các mô hình chủ đề với tập dữ liệu được gán nhãn. SWET kế thừa một cách tự nhiên tính diễn giải của mô hình chủ đề và tính tách biệt. Hơn nữa, SWET có khả năng khai thác một lượng lớn các mô hình chủ đề. Chúng ta phát hiện rằng SWET có khả năng học đồng thời cả bộ nhúng từ có giám sát và số chiều của nó. Các kết quả thử nghiệm cho thấy SWET chiếm ưu thế hơn so với các phương pháp không giám sát và có thể cạnh tranh với các phương pháp có giám sát tốt nhất hiện nay.

6.1. Tóm Tắt Những Ưu Điểm Nổi Bật Của Phương Pháp SWET

SWET kết hợp ưu điểm của mô hình chủ đề và học có giám sát để tạo ra các Word Embedding có tính diễn giải và tính tách biệt. SWET có khả năng khai thác một lượng lớn các mô hình chủ đề và có thể tự động học số chiều của Word Embedding.

6.2. Hướng Nghiên Cứu Phát Triển SWET Trong Tương Lai

Hướng nghiên cứu trong tương lai có thể tập trung vào việc mở rộng SWET để xử lý các ngôn ngữ khác nhau và các loại dữ liệu văn bản khác nhau. Ngoài ra, có thể nghiên cứu các phương pháp tích hợp SWET với các mô hình học sâu để tận dụng sức mạnh của cả hai phương pháp.

6.3. Ứng Dụng Tiềm Năng Của SWET Trong Thực Tế

SWET có tiềm năng ứng dụng rộng rãi trong nhiều lĩnh vực, bao gồm phân tích cảm xúc, dịch máy, chatbot, và truy vấn thông tin. Với khả năng tạo ra các Word Embedding có tính diễn giải và tính tách biệt, SWET có thể giúp cải thiện hiệu suất của các ứng dụng này.

Nội dung chính

Tổng quan nghiên cứu

Trong bối cảnh bùng nổ dữ liệu văn bản trên Internet, theo ước tính, mỗi ngày có khoảng 500 triệu đoạn văn bản trên Twitter, 294 tỷ thư điện tử, 4 Petabyte dữ liệu trên Facebook, 65 tỷ tin nhắn WhatsApp và 5 tỷ lượt tìm kiếm được tạo ra. Dự báo đến năm 2025, lượng dữ liệu toàn cầu có thể đạt khoảng 463 exabyte mỗi ngày, tương đương hơn 200 triệu đĩa DVD. Dữ liệu văn bản chiếm tỷ lệ lớn trong tổng lượng dữ liệu này, tuy nhiên đặc tính phi cấu trúc và đa dạng của nó gây khó khăn trong việc khai phá tri thức. Một trong những thách thức lớn là biểu diễn ngữ nghĩa của từ sao cho vừa giữ được ý nghĩa, vừa có tính diễn giải và tách biệt cao để phục vụ các ứng dụng như phân loại văn bản, nhận diện thực thể, và mô hình ngôn ngữ.

Mục tiêu nghiên cứu của luận văn là đề xuất một phương pháp học bộ nhúng từ có giám sát, gọi là SWET, dựa trên các mô hình chủ đề có giám sát và phi tham số, nhằm tạo ra biểu diễn từ vừa có tính diễn giải, vừa có tính tách biệt, đồng thời tự động xác định số chiều biểu diễn. Phạm vi nghiên cứu tập trung trên các bộ dữ liệu văn bản tiếng Anh phổ biến trong lĩnh vực xử lý ngôn ngữ tự nhiên, với các bộ dữ liệu như 20NG, R8, R52, Ohsumed, MR, AGNews và DBpedia, được thu thập và phân loại trong khoảng thời gian gần đây. Ý nghĩa của nghiên cứu được thể hiện qua việc nâng cao hiệu quả và khả năng giải thích của các mô hình biểu diễn từ, góp phần cải thiện chất lượng các ứng dụng học máy trong xử lý ngôn ngữ tự nhiên.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Luận văn dựa trên ba nhóm lý thuyết chính:

1. Mô hình chủ đề (Topic Models):

   • Latent Dirichlet Allocation (LDA) là mô hình sinh xác suất mô tả văn bản như tổ hợp của các chủ đề ẩn, mỗi chủ đề là phân phối xác suất trên từ vựng. LDA sử dụng phân phối Dirichlet làm tri thức tiên nghiệm, giúp tránh overfitting và có khả năng tổng quát hóa cao.
   • Mô hình phi tham số Hierarchical Dirichlet Processes (HDP) cho phép tự động xác định số lượng chủ đề, khắc phục hạn chế của LDA khi phải chọn số chủ đề cố định trước. HDP sử dụng quá trình Dirichlet phân cấp để mô hình hóa phân phối chủ đề toàn cục và phân phối chủ đề riêng cho từng văn bản.

2. Mô hình chủ đề có giám sát (Supervised Topic Models):

   • Supervised LDA (sLDA) mở rộng LDA bằng cách tích hợp nhãn lớp vào mô hình, giúp không gian chủ đề có tính tách biệt theo lớp, phục vụ cho các bài toán phân loại văn bản.
   • Fast Supervised LDA (FSLDA) cải tiến sLDA nhằm tăng tốc độ huấn luyện bằng phương pháp biến phân Mean Field.
   • Các mô hình chủ đề có giám sát phi tham số kết hợp ưu điểm của HDP và thông tin nhãn lớp, cho phép học số lượng chủ đề tự động trong bài toán có giám sát.

3. Biểu diễn ngữ nghĩa của từ (Word Embeddings):

   • Các phương pháp truyền thống như one-hot encoding và tra cứu từ điển không thể hiện được mối quan hệ ngữ nghĩa giữa các từ.
   • Word2Vec là phương pháp học bộ nhúng từ không giám sát phổ biến, dựa trên dự đoán từ trong ngữ cảnh, tạo ra các vec-tơ dày đặc có khả năng phản ánh mối quan hệ ngữ nghĩa. Tuy nhiên, các vec-tơ này thiếu tính diễn giải.
   • Các phương pháp học bộ nhúng từ có giám sát như LEAM, L-SVD khai thác thông tin nhãn lớp để tăng tính tách biệt nhưng thường mất tính diễn giải.

Phương pháp nghiên cứu

Luận văn đề xuất phương pháp SWET (Supervised Word Embeddings with Topic models) gồm hai bước chính:

• Bước 1: Học mô hình chủ đề có giám sát hoặc phi tham số trên tập dữ liệu văn bản được gán nhãn để thu được ma trận chủ đề β* kích thước K×V (K là số chủ đề, V là kích thước từ vựng).
• Bước 2: Tạo vec-tơ biểu diễn từ bằng cách lấy cột tương ứng trong ma trận β* và chuẩn hóa (L1, L2, softmax) để đảm bảo tính diễn giải và tách biệt.

Phương pháp được thử nghiệm trên 7 bộ dữ liệu văn bản phổ biến với tổng số văn bản huấn luyện và kiểm thử lên đến hàng trăm nghìn. Cỡ mẫu mỗi bộ dữ liệu dao động từ vài nghìn đến hơn 500 nghìn văn bản, với số nhãn lớp từ 2 đến 52. Phương pháp phân tích sử dụng các kỹ thuật suy diễn biến phân (Variational Inference), lấy mẫu Markov Chain Monte Carlo (Gibbs Sampling), và thuật toán Frank-Wolfe để ước lượng các tham số mô hình chủ đề. Các tham số siêu tham số được hiệu chỉnh thủ công dựa trên kết quả thực nghiệm. Quá trình huấn luyện và đánh giá được thực hiện trên các tập huấn luyện và kiểm thử riêng biệt, sử dụng độ chính xác làm chỉ số đánh giá chính.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

1. Tính diễn giải của SWET vượt trội:
   Trên bộ dữ liệu DBpedia, SWET-SDR thể hiện rõ tính diễn giải khi mỗi chiều vec-tơ từ tương ứng với một chủ đề có ý nghĩa cụ thể. Ví dụ, từ "advertisement" có ba chủ đề liên quan với các từ đặc trưng như "center", "district", "street" (chủ đề 216), "church", "hospital" (chủ đề 96), và "science", "academy" (chủ đề 294). Giá trị NPMI đo tính diễn giải của các chiều vec-tơ cho thấy SWET có giá trị cao hơn đáng kể so với Word2Vec và LEAM.

2. Tính tách biệt cao trong biểu diễn từ:
   Các từ đặc trưng cho từng lớp được trích xuất từ SWET-SDR có sự phân cụm rõ ràng và gần nhau trên không gian biểu diễn, trong khi Word2Vec và LEAM phân bố hỗn loạn, khó phân biệt lớp. Ví dụ, các từ liên quan đến lớp "Artist" hay "Building" được nhóm chặt chẽ trong SWET-SDR.

3. Hiệu quả trong ứng dụng phân loại văn bản:
   Trên 7 bộ dữ liệu, SWET-SDR đạt độ chính xác phân loại cao nhất trên các bộ 20NG (79.95%), R8 (95.12%), và AGNews (92.34%), vượt trội hơn các phương pháp không giám sát như Word2Vec, SWEM, và các phương pháp có giám sát khác như LEAM, LSVD. SWET-HDP (phi tham số) cũng cho kết quả cạnh tranh, không thua kém nhiều so với SWET-SDR, đồng thời tự động xác định số chiều biểu diễn.

4. Ảnh hưởng của siêu tham số và cách chuẩn hóa:
   Chuẩn hóa L1 cho vec-tơ từ trong SWET mang lại độ chính xác phân loại cao nhất (ví dụ trên MR đạt 81.23%), trong khi không chuẩn hóa làm giảm hiệu quả đáng kể. Cách biểu diễn văn bản bằng cách nối vec-tơ từ giữ được nhiều thông tin hơn so với cộng trung bình, giúp cải thiện kết quả phân loại.

5. Khả năng tự động xác định số chiều biểu diễn:
   Sử dụng mô hình phi tham số HDP kết hợp với SDR, SWET-HDP tự động học số lượng chủ đề phù hợp cho từng bộ dữ liệu (ví dụ 80 chủ đề cho 20NG, 355 cho DBpedia), giúp giảm công sức hiệu chỉnh siêu tham số mà vẫn duy trì hiệu năng cao.

Thảo luận kết quả

Kết quả cho thấy SWET thành công trong việc kết hợp tính diễn giải của mô hình chủ đề với tính tách biệt nhờ thông tin giám sát, đồng thời tận dụng ưu điểm của mô hình phi tham số để tự động xác định số chiều biểu diễn. Việc lấy cột ma trận chủ đề β làm vec-tơ biểu diễn từ vừa đảm bảo ý nghĩa ngữ nghĩa vừa có thể giải thích được từng chiều, điều mà các phương pháp học sâu như Word2Vec hay LEAM không làm được. Các biểu đồ t-SNE minh họa sự phân cụm rõ ràng của các từ đặc trưng theo lớp trong SWET, trong khi các phương pháp khác phân bố rải rác, chứng tỏ tính tách biệt vượt trội.

So với các nghiên cứu trước đây, SWET không chỉ giữ được tính diễn giải mà còn cải thiện tính tách biệt, đồng thời giải quyết bài toán chọn số chiều vec-tơ một cách tự động, điều mà các phương pháp truyền thống chưa làm được. Kết quả phân loại văn bản trên nhiều bộ dữ liệu đa dạng cho thấy SWET có tính ứng dụng thực tiễn cao, đặc biệt trong các bài toán yêu cầu giải thích và phân loại chính xác.

Tuy nhiên, SWET vẫn còn hạn chế khi chưa khai thác được thông tin ngữ cảnh cục bộ và thứ tự từ trong văn bản, điều này có thể ảnh hưởng đến các nhiệm vụ đòi hỏi hiểu sâu sắc hơn về cấu trúc câu. Các biểu đồ so sánh độ chính xác theo số lượng chủ đề cũng cho thấy việc lựa chọn số chủ đề phù hợp vẫn ảnh hưởng đến hiệu năng, mặc dù mô hình phi tham số giúp giảm bớt gánh nặng này.

Đề xuất và khuyến nghị

1. Tích hợp thông tin ngữ cảnh cục bộ và thứ tự từ:
   Phát triển các mô hình kết hợp SWET với mạng nơ-ron sâu hoặc mô hình Transformer để khai thác thông tin ngữ cảnh cục bộ và thứ tự từ, nhằm nâng cao chất lượng biểu diễn từ và ứng dụng trong các bài toán phức tạp hơn.

2. Mở rộng ứng dụng sang các ngôn ngữ khác và dữ liệu đa dạng:
   Áp dụng SWET cho các ngôn ngữ khác ngoài tiếng Anh và các loại dữ liệu phi cấu trúc khác như văn bản y tế, pháp lý để đánh giá tính tổng quát và hiệu quả của phương pháp trong các lĩnh vực chuyên biệt.

3. Phát triển giao diện trực quan giải thích mô hình:
   Xây dựng công cụ trực quan hóa các chủ đề và biểu diễn từ để hỗ trợ người dùng hiểu và kiểm soát mô hình, tăng tính minh bạch và khả năng ứng dụng trong thực tế.

4. Tối ưu hóa thuật toán học và suy diễn:
   Nghiên cứu các thuật toán suy diễn nhanh hơn, hiệu quả hơn cho mô hình chủ đề phi tham số có giám sát, giảm thời gian huấn luyện và tăng khả năng mở rộng cho các tập dữ liệu lớn.

Các giải pháp trên nên được thực hiện trong vòng 1-2 năm tới, với sự phối hợp giữa các nhà nghiên cứu trong lĩnh vực khoa học dữ liệu và xử lý ngôn ngữ tự nhiên, đồng thời hợp tác với các tổ chức có nhu cầu ứng dụng thực tế.

Đối tượng nên tham khảo luận văn

1. Nhà nghiên cứu và sinh viên ngành Khoa học dữ liệu, Trí tuệ nhân tạo:
   Luận văn cung cấp kiến thức sâu sắc về mô hình chủ đề, phương pháp học biểu diễn từ có giám sát và phi tham số, giúp phát triển các nghiên cứu mới trong lĩnh vực xử lý ngôn ngữ tự nhiên.

2. Chuyên gia phát triển ứng dụng xử lý ngôn ngữ tự nhiên (NLP):
   Các kỹ thuật và kết quả trong luận văn hỗ trợ xây dựng các hệ thống phân loại văn bản, nhận diện thực thể, và các ứng dụng NLP khác với yêu cầu cao về tính diễn giải và hiệu quả.

3. Doanh nghiệp và tổ chức sử dụng dữ liệu văn bản lớn:
   Các giải pháp biểu diễn từ có giám sát giúp cải thiện chất lượng phân tích dữ liệu, hỗ trợ ra quyết định dựa trên dữ liệu phi cấu trúc như email, tin tức, phản hồi khách hàng.

4. Nhà phát triển công cụ khai phá tri thức và phân tích dữ liệu:
   Luận văn cung cấp phương pháp học biểu diễn từ mới có thể tích hợp vào các công cụ khai phá tri thức, giúp nâng cao khả năng hiểu và xử lý dữ liệu văn bản phức tạp.

Câu hỏi thường gặp

1. SWET khác gì so với Word2Vec và các phương pháp học bộ nhúng từ khác?
   SWET sử dụng mô hình chủ đề có giám sát và phi tham số để học biểu diễn từ, giúp vec-tơ từ có tính diễn giải và tách biệt cao, trong khi Word2Vec là phương pháp không giám sát, thiếu tính diễn giải. Ví dụ, SWET cho phép hiểu rõ ý nghĩa từng chiều vec-tơ liên quan đến chủ đề cụ thể.

2. Làm thế nào SWET tự động xác định số chiều biểu diễn từ?
   SWET tận dụng mô hình phi tham số HDP, cho phép học số lượng chủ đề phù hợp dựa trên dữ liệu mà không cần chọn thủ công, giúp giảm công sức hiệu chỉnh và tăng tính linh hoạt.

3. SWET có thể áp dụng cho các ngôn ngữ khác ngoài tiếng Anh không?
   Về nguyên tắc, SWET có thể áp dụng cho bất kỳ ngôn ngữ nào có dữ liệu văn bản được gán nhãn, miễn là có bộ từ điển và dữ liệu huấn luyện phù hợp. Tuy nhiên, cần điều chỉnh tham số và kiểm tra hiệu quả trên từng ngôn ngữ cụ thể.

4. SWET có thể sử dụng cho các bài toán ngoài phân loại văn bản không?
   Có, SWET học biểu diễn từ có giám sát nên có thể áp dụng cho các bài toán như hệ gợi ý, nhận diện thực thể, phân tích cảm xúc, miễn là có nhãn lớp hoặc thông tin giám sát phù hợp.

5. SWET có hạn chế gì so với các phương pháp học sâu hiện đại?
   SWET chưa khai thác được thông tin ngữ cảnh cục bộ và thứ tự từ trong câu, điều mà các mô hình học sâu như BERT làm tốt. Do đó, SWET phù hợp với các bài toán cần tính diễn giải cao và dữ liệu có nhãn rõ ràng, nhưng có thể kém hiệu quả hơn trong các nhiệm vụ phức tạp đòi hỏi hiểu sâu ngữ cảnh.

Kết luận

• Đã đề xuất phương pháp SWET học bộ nhúng từ có giám sát dựa trên mô hình chủ đề có giám sát và phi tham số, kết hợp tính diễn giải, tính tách biệt và khả năng tự động xác định số chiều biểu diễn.
• Thực nghiệm trên 7 bộ dữ liệu văn bản lớn cho thấy SWET vượt trội hơn các phương pháp không giám sát và cạnh tranh với các phương pháp có giám sát hiện đại trong phân loại văn bản.
• SWET cho phép giải thích rõ ràng ý nghĩa từng chiều trong vec-tơ từ, hỗ trợ hiểu và kiểm soát mô hình tốt hơn.
• Mô hình phi tham số HDP giúp tự động học số lượng chủ đề, giảm công sức hiệu chỉnh siêu tham số.
• Hướng phát triển tiếp theo là tích hợp thông tin ngữ cảnh cục bộ và thứ tự từ để nâng cao chất lượng biểu diễn từ.

Để tiếp tục nghiên cứu và ứng dụng, độc giả được khuyến khích áp dụng SWET trong các bài toán xử lý ngôn ngữ tự nhiên có yêu cầu cao về tính diễn giải và tách biệt, đồng thời phối hợp phát triển các mô hình kết hợp học sâu để khai thác ngữ cảnh phong phú hơn.

Trích đoạn nội dung tài liệu

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI ————————————— VŨ HOÀNG DIỆU HỌC BIỂU DIỄN NGỮ NGHĨA CỦA TỪ Chuyên ngành: Khoa học dữ liệu LUẬN VĂN THẠC SĨ KHOA HỌC KHOA HỌC MÁY TÍNH NGƯỜI HƯỚNG DẪN KHOA HỌC: PGS. Thân Quang Khoát HÀ NỘI - 2020 17061132159151000000 LỜI CAM ĐOAN Tôi cam kết luận văn này là công trình nghiên cứu của bản thân tôi, dưới sự hướng dẫn của PGS. Thân Quang Khoát. Các kết quả công bố trong báo cáo này là trung thực, không phải là sao chép của bất kỳ một cá nhân, hoặc tổ chức đã được công bố nào khác.

Tất cả các trích dẫn được tham chiếu rõ ràng. Ngày 30 tháng 6 năm 2020 Tác giả luận văn Vũ Hoàng Diệu Xác nhận của người hướng dẫn PGS. Thân Quang Khoát Lời Cảm Ơn Đầu tiên, em xin được gửi lời cảm ơn chân thành đến các thầy giáo, cô giáo thuộc Trường Đại Học Bách Khoa Hà Nội. Trong quá trình học tập tại trường, em đã được các thầy cô trang bị những kiến thức quý báu, đặc biệt các thầy cô của Viện Công nghệ thông tin và Truyền thông.

Và may mắn hơn khi em được tham gia nghiên cứu cùng các thầy cô tại Data Science Lab ngay từ năm học thứ hai để em có định hướng nghiên cứu chuyên sâu từ khá sớm. Em xin cảm ơn sự giúp đỡ chỉ bảo tận tình, tâm huyết của PGS. Thân Quang Khoát, ThS. Nhờ những kiến thức trong quá trình được làm việc với các thầy, em có nhiều kinh nghiệm, kiến thức hơn để có thể hoàn thành luận văn một cách tốt nhất.

Em cũng xin chân thành cảm ơn sự đồng hành của anh Trương Giang Khang và anh Nguyễn Bảo Khánh đã cùng em hoàn thiện công việc này. Em cũng xin gửi lời cảm ơn chân thành tới các thầy cô thuộc Data Science Lab thuộc Viện Công Nghệ Thông Tin và Truyền Thông đã tạo điều kiện cho em thực hành thử nghiệm trên các máy tính của Lab. Em xin gửi lời cảm ơn tới gia đình và bạn bè. Gia đình và bạn bè luôn là chỗ dựa vững chắc để em có thể hoàn thành mọi công việc.

Học viên Vũ Hoàng Diệu Tóm Tắt Luận Văn Học biểu diễn ngữ nghĩa cho từ có vai trò ngày càng quan trọng trong nhiều ứng dụng. Tuy nhiên, hầu hết các phương pháp học hiện nay thường không chú trọng đến tính tách biệt và tính diễn giải trong biểu diễn của mỗi từ. Trong nội dung luận văn này, chúng tôi đề xuất và khảo sát một cách tiếp cận hoàn toàn mới có tên là SWET. Cách tiếp cận này học ra một bộ biểu diễn ngữ nghĩa cho từ mà có sử dụng thông tin nhãn lớp của văn bản bằng cách sử dụng các mô hình chủ đề với các bộ dữ liệu được gán nhãn.

SWET kế thừa tính diễn giải một cách tự nhiên từ các mô hình chủ đề, tính tách biệt từ việc suy diễn có giám sát và cả khả năng phi tham số (không cần lựa chọn trước số chiều của vec-tơ biểu diễn từ). Một điểm quan trọng hơn, SWET cho phép khai khác trực tiếp một lượng lớn các mô hình chủ đề bao gồm cả các mô hình không giám sát, có giám sát và phi tham số để học ra biểu diễn có giám sát của từ. Đặc biệt, SWET có khả năng học đồng thời cả biểu diễn của từ và số chiều của nó bằng việc sử dụng các mô hình chủ đề phi tham số. Điều này đã vượt qua khả năng của các phương pháp hiện nay.

Trong luận văn này, chúng tôi cũng trình bày các thực nghiệm để chứng minh SWET vượt trội hơn nhiều các phương pháp không giám sát và có thể cạnh tranh với các phương pháp có giám sát tốt nhất hiện nay. Kết quả nghiên cứu từ luận văn này đang được gửi đăng tại tạp chí Journal of Information Science and Engineering. Abstract Word embeddings are playing a crucial role in a variety of applica- tions. However, most previous works focus on word embeddings which are either non-discriminative or hardly interpretable.

In this work, we investigate a novel approach, referred to as SWET, which learns su- pervised word embeddings using topic models from labeled corpora. SWET inherits the interpretability of topic models, the discriminative- ness of supervised inference from labels, and the non-parametricity. More importantly, SWET enables us to directly exploit a large class of existing unsupervised, supervised, and non-parametric topic models to learn supervised word embeddings. By employing non-parametric models, SWET is able to simultaneously learn both the embeddings and its dimensionality, thus overcomes a limitation of existing word em- bedding methods.

Extensive experiments show that SWET outperforms unsupervised approaches by a large margin, and are highly competitive with supervised baselines. The result of this work was submitted to Journal of Information Science and Engineering. Mục lục 1 Giới Thiệu Đề Tài 12 2 Cơ sở lý thuyết 15 2.1 Mô hình chủ đề .1 Học chủ đề ẩn của dữ liệu văn bản chữ .2 Mô hình LDA .3 Bài toán suy diễn cho mô hình LDA .2 Mô hình phi tham số .3 Mô hình chủ đề có giám sát .4 Biển diễn ngữ nghĩa của từ .1 Tra cứu từ điển .2 Mã hóa từ one-hot .3 Bộ nhúng từ. 29 3 Bộ nhúng từ có giám sát với mô hình chủ đề (SWET) 32 3.1 Phương pháp .1 Cách tiếp cận có giám sát .2 Cách tiếp cận dựa trên SDR .3 Cách tiếp cận phi tham số .2 Tính khả thi của SWET .3 Một số tính chất của SWET .1 Tính diễn giải .2 Tính tách biệt .3 Tính chất phi tham số.

36 4 Thử nghiệm và đánh giá 37 4.1 Phân tích tính tách biệt và tính diễn giải .1 Tính diễn giải .2 Tính tách biệt: .2 Ứng dụng phân loại văn bản .1 Phương pháp đối sánh .2 Thiết lập thử nghiệm .3 Phương pháp đánh giá .4 Kết quả và phân tích .5 Phân tích sự ảnh hưởng của các siêu tham số .3 Bộ nhúng từ có giám sát phi tham số. 46 5 Kết luận 48 6 Tài liệu tham khảo 49 Danh sách các từ viết tắt và thuật ngữ LDA Latent Dirichlet Allocation pLSI probabilistic Latent Semantic Analysis SDR Giảm chiều có giám sát SWE Bộ nhúng từ có giám sát SWET Bộ nhúng từ có giám sát học bởi mô hình chủ đề Multinominal Phân phối ngẫu nhiên đa thức Dir Phân phối Dirichlet VB Variational Bayesian FW Frank-Wolfe Minibatch Đoạn dữ liệu Train Học - huyến luyện Test Kiểm tra Topic Chủ đề Prior Tri thức tiên nghiệm Variational Inference Suy diễn biến phân Variational distribution Phân phối biến phân Posterior distribution Phân phối hậu nghiệm Prior distribution Phân phối tiền nghiệm Predictive Probability Xác xuất tiên đoán HDP Hierarchical Dirichlet Processes DP Quá trình Dirichlet Origin Nguyên bản Danh sách các kí hiệu dùng trong luận văn ψ Hàm Digamma Γ Hàm Gamma , Kí hiệu cho "được định nghĩa là" K Số chủ đề sử dụng trong mô hình LDA V Kích thước từ vựng của tập văn bản β Ma trận (K,V) mỗi hàng là xác suất của các từ trong mỗi chủ đề θ Vectơ tỷ lệ chủ đề trong mỗi văn bản wn Từ thứ n trong một văn bản zn Chủ đề của từ thứ n trong văn bản dj Số lượng từ thứ j trong văn bản d η Tham số của phân phối tiên nghiệm cho β α Tham số của phân phối tiên nghiệm cho θ γ Tham số của phân phối biến phân ứng với θ φ Tham số của phân phối biến phân ứng với z λ Tham số của phân phối biến phân ứng với β Danh sách hình vẽ 1 Biểu diễn đồ thị xác suất của mô hình LDA. 17 2 (Bên trái) Biểu diễn của mô hình trộn quá trình Dirichlet dưới dạng một mô hình đồ thị. (Bên phải) Mô hình trộn quá trình Dirichlet phân cấp.

Trong mô hình trên, mỗi node trong đồ thị liên kết với một biến ngẫu nhiên, trong đó các nốt màu ghi thể hiện các biến quan sát được. 25 3 Mô hình Supervised LDA [29]. 26 4 Biểu diễn one-hot của các từ. 29 5 Hai mô hình cơ bản của Word2vec [1].

30 6 Minh họa về tính diễn giải cho biểu diễn của từ "advertisement". (a) thể hiện sự liên quan của mỗi chủ đề với từ "advertisement", được học bởi SWET-SDR. (b) thể hiện bộ nhúng của các từ đại diện cho các chủ đề 216 (đỏ), 96 (xanh lá), 294 (xanh dương), có liên quan nhiều nhất với từ "advertisement". (c) and (d) minh họa biểu diễn của các từ được học bởi Word2Vec and LEAM tương ứng.

39 7 So sánh tính tách biệt của SWET-SDR, Word2Vec, và LEAM. Các điểm có cùng màu và cùng kiểu là các từ đặc trưng của cùng một lớp. 41 8 Độ chính xác của SWET-SDR và SWET-FSLDA khi số lượng chủ đề tăng. 45 Danh sách bảng 1 Mô tả các bộ dữ liệu.

38 2 Minh họa các từ đặc trưng của một số chủ để được học bởi SWET- SDR trên bộ dữ liệu DBpeadia. 40 3 Giá trị NPMI của các phương pháp học bộ nhúng từ. Giá trị cao hơn thì tốt hơn. 40 4 Các từ đặc trưng của các lớp được học bởi 3 phương pháp.

Các từ được in nghiêng không liên quan tới các lớp tương ứng. Các đánh giá thực hiện trên bộ dữ liệu DBPedia. 42 5 Độ chính xác trong ứng dụng phân loại văn bản trên tập kiểm thử (%). 43 6 Độ chính xác phân loại (%) khi sử dụng các phương pháp chuẩn hóa khác nhau trong SWET.

c (a) thể hiện các phương pháp biểu diễn văn bản bằng cách nối (hoặc cộng trung bình) của các vec-tơ biểu diễn của từ. 44 7 Số lượng chủ đề được học tự động bởi HDP. 45 8 So sánh giữa SWET-SDR và phương pháp phi tham số SWET- HDP trong ứng dụng phân loại văn bản. K chính là số chiều của bộ nhúng từ.

46 1 Giới Thiệu Đề Tài Sự phát triển mạnh mẽ của Internet mang đến một lượng dữ liệu khổng lồ. Lượng dữ liệu này cũng vô cùng đa dạng về số lượng, cấu trúc và kiểu dữ liệu. Theo thống kê từ Raconteur1 , mỗi ngày trên thế giới có: • 500 triệu đoạn văn bản trên twitter được gửi. • 294 tỉ thư điện tử được gửi.

• 4 Petabyte dữ liệu được tạo ra trên Facebook. • 65 tỉ tin nhắn được gửi trên WhatsApp. • 5 tỉ lượt tìm kiếm. Trước năm 2025, ước tính khoảng 463 exabyte dữ liệu được tạo ra mỗi ngày trên toàn thế giới, nó có thể tương đương với 212,765,957 đĩa DVD một ngày.

Trong các loại dữ liệu trên, dữ liệu dạng văn bản khá phổ biến và chiếm tỉ lệ lớn bởi nó được tạo ra dễ dàng và thường xuyên. Tuy nhiên, dữ liệu dạng văn bản này cũng thường phi cấu trúc và rất khó để khai phá tri thức từ đó.