Các Phương Pháp Xác Định Mối Quan Hệ Đa Nhãn Và Ứng Dụng Trong Phân Lớp Đa Nhãn Tiếng Việt

Luận văn thạc sĩ nghiên cứu các phương pháp xác định mối quan hệ đa nhãn và ứng dụng trong phân lớp đa nhãn tiếng việt 04, khảo sát thực trạng, phân tích nguyên nhân, đề xuất giải

• Tác giả: Đỗ Thị Nương
• Người hướng dẫn: TS. Nguyễn Cẩm Tú
• Trường học: Đại Học Quốc Gia Hà Nội
• Chuyên ngành: Công Nghệ Thông Tin
• Đề tài: Phương Pháp Xác Định Mối Quan Hệ Đa Nhãn Trong Phân Lớp Tiếng Việt
• Loại tài liệu: luận văn thạc sĩ
• Năm xuất bản: 2015
• Địa điểm: Hà Nội

Tóm tắt

I. Tổng Quan Về Phân Lớp Đa Nhãn Tiếng Việt Ứng Dụng NLP

Trong kỷ nguyên số, lượng dữ liệu văn bản tiếng Việt tăng trưởng chóng mặt. Điều này kéo theo nhu cầu cấp thiết về phân lớp văn bản đa nhãn tiếng Việt hiệu quả. Bài toán này không chỉ đơn thuần là gán một nhãn duy nhất, mà còn xác định nhiều chủ đề cùng tồn tại trong một văn bản. Ví dụ, một bài báo có thể vừa thuộc lĩnh vực "Kinh tế" vừa liên quan đến "Chứng khoán". Việc xác định quan hệ đa nhãn này mở ra tiềm năng lớn trong nhiều ứng dụng xử lý ngôn ngữ tự nhiên (NLP) tiếng Việt, từ phân loại tin tức, phân tích cảm xúc khách hàng đến hỗ trợ tìm kiếm thông tin. Tuy nhiên, độ phức tạp của tiếng Việt và sự đa dạng trong cách diễn đạt đặt ra nhiều thách thức cho việc xây dựng các mô hình chính xác và hiệu quả.

1.1. Định Nghĩa Phân Lớp Đa Nhãn Văn Bản Tiếng Việt

Phân lớp đa nhãn văn bản tiếng Việt là quá trình tự động gán nhiều nhãn (hoặc chủ đề) cho một văn bản tiếng Việt, dựa trên nội dung của văn bản đó. Khác với phân loại văn bản truyền thống (đơn nhãn), mỗi văn bản có thể thuộc nhiều danh mục khác nhau. Ví dụ, một bài báo về "giáo dục trực tuyến" có thể được gắn nhãn "Giáo dục", "Công nghệ", và "Internet". Bài toán này đòi hỏi các mô hình có khả năng nhận dạng chủ đề văn bản và xác định quan hệ đa nhãn một cách chính xác. Các tập dữ liệu phân lớp đa nhãn tiếng Việt đóng vai trò quan trọng trong việc huấn luyện và đánh giá hiệu quả của các mô hình.

1.2. Ứng Dụng Thực Tế Của Phân Lớp Đa Nhãn Trong NLP Tiếng Việt

Phân lớp văn bản đa nhãn tiếng Việt có ứng dụng rộng rãi. Trong phân tích tin tức, nó giúp phân loại bài viết theo nhiều chủ đề liên quan, ví dụ "Thể thao" và "Bóng đá". Trong thương mại điện tử, nó hỗ trợ phân loại sản phẩm theo nhiều thuộc tính. Trong dịch vụ khách hàng, nó giúp phân loại phản hồi của khách hàng theo nhiều khía cạnh khác nhau (ví dụ, "chất lượng sản phẩm", "thái độ phục vụ", "thời gian giao hàng"). Các mô hình học sâu cho phân lớp đa nhãn đang ngày càng được ứng dụng để giải quyết các bài toán thực tế này. Xử lý ngôn ngữ tự nhiên (NLP) tiếng Việt hưởng lợi trực tiếp từ sự phát triển của các kỹ thuật này.

II. Thách Thức Trong Xác Định Quan Hệ Đa Nhãn Tiếng Việt

Việc xác định quan hệ đa nhãn trong tiếng Việt không hề đơn giản. Ngôn ngữ tiếng Việt vốn giàu sắc thái, ngữ nghĩa đa dạng và chịu ảnh hưởng lớn bởi văn hóa địa phương. Các văn bản thường chứa nhiều thông tin ngầm, đòi hỏi mô hình phải có khả năng hiểu ngữ cảnh sâu sắc. Hơn nữa, tập dữ liệu phân lớp đa nhãn tiếng Việt còn hạn chế về số lượng và chất lượng, gây khó khăn cho việc huấn luyện các mô hình mạnh mẽ. Một thách thức khác đến từ sự chồng chéo giữa các nhãn, khiến việc phân biệt trở nên phức tạp. Điều này đòi hỏi các phương pháp phân lớp văn bản phải có khả năng xử lý sự mơ hồ và không chắc chắn.

2.1. Hạn Chế Của Dữ Liệu Huấn Luyện Đa Nhãn Tiếng Việt

Một trong những rào cản lớn nhất trong phân lớp văn bản đa nhãn tiếng Việt là sự khan hiếm của các tập dữ liệu phân lớp đa nhãn tiếng Việt đủ lớn và chất lượng cao. Việc thu thập và gán nhãn dữ liệu văn bản đòi hỏi nhiều thời gian và công sức, đặc biệt khi phải đảm bảo tính chính xác và nhất quán giữa các nhãn. Hơn nữa, sự thiếu hụt dữ liệu có thể dẫn đến tình trạng "overfitting", khi mô hình học quá tốt trên dữ liệu huấn luyện nhưng lại hoạt động kém trên dữ liệu mới. Vì vậy, việc tạo ra các tập dữ liệu phân lớp đa nhãn tiếng Việt lớn hơn và đa dạng hơn là rất cần thiết để cải thiện hiệu suất của các mô hình.

2.2. Vấn Đề Xử Lý Ngữ Nghĩa Và Ngữ Cảnh Tiếng Việt

Tiếng Việt có cấu trúc ngữ pháp và ngữ nghĩa phức tạp, với nhiều từ đồng âm khác nghĩa, cách diễn đạt đa dạng và sự phụ thuộc vào ngữ cảnh. Điều này gây khó khăn cho các mô hình phân lớp văn bản đa nhãn tiếng Việt trong việc hiểu đúng ý nghĩa của văn bản và xác định quan hệ đa nhãn một cách chính xác. Ví dụ, một câu có thể mang nhiều ý nghĩa khác nhau tùy thuộc vào ngữ cảnh xung quanh. Do đó, các mô hình cần phải được trang bị khả năng xử lý ngôn ngữ tự nhiên (NLP) tiếng Việt nâng cao, bao gồm phân tích cú pháp, phân tích ngữ nghĩa và hiểu ngữ cảnh.

III. Cách Xác Định Quan Hệ Đa Nhãn Dựa Trên Word2Vec Tiếng Việt

Một trong những phương pháp hiệu quả để xác định quan hệ đa nhãn là sử dụng Word2Vec, một kỹ thuật nhúng từ phổ biến. Word2Vec tạo ra các vector biểu diễn cho từ, sao cho các từ có nghĩa tương đồng sẽ nằm gần nhau trong không gian vector. Trong bài toán phân lớp văn bản đa nhãn tiếng Việt, ta có thể sử dụng Word2Vec để tính độ tương đồng giữa các nhãn và giữa các từ trong văn bản với các nhãn. Từ đó, xây dựng các tính năng (features) dựa trên độ tương đồng này để huấn luyện mô hình học máy cho phân lớp đa nhãn. Phương pháp này giúp mô hình hiểu rõ hơn về mối liên hệ giữa các nhãn và văn bản.

3.1. Ứng Dụng Word2Vec Để Đo Độ Tương Đồng Giữa Các Nhãn

Sử dụng Word2Vec để đo độ tương đồng giữa các nhãn trong bài toán phân lớp văn bản đa nhãn tiếng Việt là một cách tiếp cận hiệu quả. Bằng cách huấn luyện Word2Vec trên một tập dữ liệu phân lớp đa nhãn tiếng Việt lớn, ta có thể tạo ra các vector biểu diễn cho các nhãn. Sau đó, có thể sử dụng các độ đo khoảng cách (ví dụ, cosine similarity) để tính độ tương đồng giữa các vector nhãn. Các nhãn có độ tương đồng cao có thể được coi là có mối quan hệ gần gũi với nhau. Thông tin này có thể được sử dụng để cải thiện hiệu suất của các thuật toán phân lớp đa nhãn tiếng Việt.

3.2. Tích Hợp Độ Tương Đồng Nhãn Vào Mô Hình Phân Lớp Đa Nhãn

Thông tin về độ tương đồng giữa các nhãn, được tính toán bằng Word2Vec, có thể được tích hợp vào các thuật toán phân lớp đa nhãn tiếng Việt theo nhiều cách. Ví dụ, có thể sử dụng độ tương đồng nhãn để tạo ra các tính năng mới cho mô hình. Hoặc, có thể sử dụng độ tương đồng nhãn để điều chỉnh trọng số của các nhãn trong quá trình huấn luyện. Một cách tiếp cận khác là sử dụng độ tương đồng nhãn để xây dựng một đồ thị nhãn, trong đó các nút đại diện cho các nhãn và các cạnh đại diện cho độ tương đồng giữa các nhãn. Đồ thị nhãn này có thể được sử dụng để lan truyền thông tin giữa các nhãn và cải thiện khả năng xác định quan hệ đa nhãn của mô hình.

IV. Các Thuật Toán Phân Lớp Đa Nhãn Tiếng Việt Phổ Biến

Có nhiều thuật toán phân lớp đa nhãn tiếng Việt khác nhau, mỗi thuật toán có ưu và nhược điểm riêng. Một số thuật toán phổ biến bao gồm Binary Relevance (BR), Classifier Chains (CC), và Label Powerset (LP). BR là thuật toán đơn giản nhất, nó huấn luyện một bộ phân loại nhị phân cho mỗi nhãn. CC cải thiện BR bằng cách xích các bộ phân loại nhị phân lại với nhau, sao cho đầu ra của bộ phân loại trước được sử dụng làm đầu vào cho bộ phân loại sau. LP chuyển đổi bài toán đa nhãn thành bài toán đơn nhãn bằng cách coi mỗi tổ hợp nhãn là một lớp riêng biệt. Ngoài ra, các phương pháp học máy cho phân lớp đa nhãn như Multi-label k-Nearest Neighbors (MLkNN) và Support Vector Machines (SVM) cũng được sử dụng rộng rãi.

4.1. Ưu Nhược Điểm Của Thuật Toán Binary Relevance BR

Binary Relevance (BR) là một trong những thuật toán phân lớp đa nhãn tiếng Việt đơn giản và dễ triển khai nhất. Ưu điểm chính của BR là tính đơn giản và khả năng sử dụng bất kỳ bộ phân loại nhị phân nào làm thành phần cơ sở. Tuy nhiên, BR bỏ qua mối quan hệ giữa các nhãn, điều này có thể dẫn đến hiệu suất kém trong nhiều trường hợp. Hơn nữa, BR có thể gặp khó khăn khi xử lý các tập dữ liệu phân lớp đa nhãn tiếng Việt có số lượng nhãn lớn.

4.2. Cải Thiện BR Với Thuật Toán Classifier Chains CC

Classifier Chains (CC) là một cải tiến của BR, nhằm giải quyết vấn đề bỏ qua mối quan hệ giữa các nhãn của BR. Trong CC, các bộ phân loại nhị phân được xích lại với nhau, sao cho đầu ra của bộ phân loại trước được sử dụng làm đầu vào cho bộ phân loại sau. Điều này cho phép CC nắm bắt được mối quan hệ giữa các nhãn và cải thiện hiệu suất so với BR. Tuy nhiên, CC có thể nhạy cảm với thứ tự của các nhãn trong chuỗi, và việc lựa chọn thứ tự tối ưu có thể là một thách thức.

V. Đánh Giá Mô Hình Phân Lớp Đa Nhãn Tiếng Việt Độ Đo Quan Trọng

Việc đánh giá mô hình phân lớp đa nhãn đòi hỏi các độ đo khác với phân loại đơn nhãn. Các độ đo phổ biến bao gồm Hamming Loss, Precision, Recall, F1-score, và Average Precision. Hamming Loss đo tỷ lệ các nhãn bị gán sai (gán thiếu hoặc gán thừa). Precision đo tỷ lệ các nhãn được dự đoán chính xác trong số các nhãn được dự đoán. Recall đo tỷ lệ các nhãn thực tế được dự đoán chính xác. F1-score là trung bình điều hòa của Precision và Recall. Average Precision đo độ chính xác trung bình của mô hình trên tất cả các ngưỡng dự đoán. Việc lựa chọn độ đo phù hợp phụ thuộc vào mục tiêu cụ thể của bài toán.

5.1. Giải Thích Chi Tiết Về Hamming Loss Trong Đánh Giá

Hamming Loss là một độ đo quan trọng trong đánh giá mô hình phân lớp đa nhãn. Nó đo tỷ lệ các nhãn bị gán sai (gán thiếu hoặc gán thừa) trên tổng số nhãn. Hamming Loss có giá trị nằm trong khoảng [0, 1], với giá trị càng nhỏ thì mô hình càng tốt. Hamming Loss là một độ đo đơn giản và dễ hiểu, nhưng nó có thể không phù hợp trong một số trường hợp, ví dụ khi số lượng nhãn lớn và số lượng nhãn tích cực nhỏ.

5.2. Precision Recall F1 score Các Độ Đo Phổ Biến

Precision, Recall, và F1-score là các độ đo phổ biến trong đánh giá mô hình phân lớp đa nhãn. Precision đo tỷ lệ các nhãn được dự đoán chính xác trong số các nhãn được dự đoán. Recall đo tỷ lệ các nhãn thực tế được dự đoán chính xác. F1-score là trung bình điều hòa của Precision và Recall. Các độ đo này cung cấp thông tin chi tiết về hiệu suất của mô hình trong việc dự đoán các nhãn, nhưng cần được xem xét cùng nhau để có cái nhìn toàn diện.

VI. Kết Luận Và Hướng Phát Triển Phân Lớp Đa Nhãn Tiếng Việt

Bài toán phân lớp đa nhãn tiếng Việt vẫn còn nhiều thách thức, nhưng cũng mở ra nhiều cơ hội nghiên cứu và ứng dụng. Việc cải thiện hiệu suất của các mô hình đòi hỏi sự kết hợp giữa các kỹ thuật xử lý ngôn ngữ tự nhiên (NLP) tiếng Việt nâng cao, các thuật toán phân lớp đa nhãn hiệu quả, và các tập dữ liệu phân lớp đa nhãn tiếng Việt lớn và chất lượng cao. Hướng phát triển trong tương lai bao gồm việc nghiên cứu các mô hình học sâu tiên tiến, khám phá các phương pháp tích hợp thông tin ngữ cảnh, và xây dựng các tập dữ liệu phân lớp đa nhãn tiếng Việt chuyên biệt cho từng lĩnh vực.

6.1. Các Hướng Nghiên Cứu Mới Trong Phân Lớp Đa Nhãn Tiếng Việt

Các hướng nghiên cứu mới trong phân lớp đa nhãn tiếng Việt bao gồm việc ứng dụng các mô hình transformer (ví dụ, BERT, RoBERTa) đã được tiền huấn luyện trên một lượng lớn dữ liệu văn bản tiếng Việt, việc kết hợp thông tin tri thức từ các nguồn bên ngoài (ví dụ, Wikipedia, WordNet), và việc phát triển các phương pháp học tăng cường (reinforcement learning) để tối ưu hóa hiệu suất của mô hình.

6.2. Ứng Dụng Của Phân Lớp Đa Nhãn Trong Các Lĩnh Vực Cụ Thể

Phân lớp đa nhãn tiếng Việt có tiềm năng ứng dụng rộng rãi trong nhiều lĩnh vực, bao gồm phân tích cảm xúc khách hàng trên mạng xã hội, phân loại sản phẩm trong thương mại điện tử, phân loại hồ sơ bệnh án trong y tế, và phân loại văn bản pháp luật trong lĩnh vực pháp lý. Việc phát triển các mô hình phân lớp đa nhãn tiếng Việt chuyên biệt cho từng lĩnh vực sẽ giúp cải thiện hiệu suất và độ chính xác của các ứng dụng.

Trích đoạn nội dung tài liệu

chương 1 Trong chương này, luận văn giới thiệu khái quát về một số khái niệm, nội dung của đa nhãn và phân lớp đa nhãn văn bản. Ngoài ra, luận văn cũng nêu ra thách thức của bài toán đa nhãn văn bản và mục tiêu của luận văn để giải quyết thách thức về việc tận dụng mối quan hệ các nhãn trong phân lớp đa nhãn. Chương tiếp theo, luận văn sẽ giới thiệu về phương pháp xác định độ gần nhau giữa các nhãn, một số phương pháp phân lớp đa và đề xuất cho việc tích hợp độ gần nhau giữa các nhãn vào các phương pháp phân lớp đa nhãn đã trình bày.04 9 TIEU LUAN MOI download : skknchat@gmail. CÁC PHƯƠNG PHÁP PHÂN LỚP ĐA NHÃN SỬ DỤNG ĐỘ GẦN NHAU GIỮA CÁC NHÃN 2.1 Mối quan hệ giữ các nhãn (từ) Mối quan hệ giữa các nhãn (từ) được xem xét dựa trên ý tưởng các nhãn (từ) mà thường xuất hiện với nhau trong cùng một tài liệu hay trong cùng một ngữ cảnh nào đó sẽ được xem là có mối quan hệ gần với nhau hơn là so với các nhãn mà ít hoặc không xuất hiện cùng nhau trong cùng một tài liệu hay cùng một ngữ cảnh.

Phần tiếp theo sẽ trình bày về công cụ cho việc xác định mối quan hệ giữa các nhãn sử dụng một công cụ có sẵn và được xem là mang lại hiệu quả cao.2 Xác định độ gần nhau giữa các nhãn sử dụng Word2vec 2.1 Giới thiệu về công cụ word2vec Word2vec [16] là công cụ cung cấp cho việc tính toán vector biểu diễn của các từ. Vector biểu diễn của các từ này có thể được dùng trong rất nhiều ứng dụng xử lý ngôn ngữ tự nhiên cũng như phân loại văn bản. Word2vec lấy đầu vào là tập các văn bản và đưa ra các vector từ. Đầu tiên nó sẽ xây dựng một tập các từ từ tập văn bản huấn luyện đầu vào sau đó nó sẽ học và đưa ra vector biểu diễn của các từ đó.

Word2vec sử dụng 2 kiến trúc mô hình để học vector biểu diễn của các từ (1) continuous bag of words – CBOW và (2) continuous skip – gram. Ứng dụng dựa trên hai mô hình này được đánh giá là có hiệu năng cao với việc huấn luyện trên tập từ vựng lớn so với các ứng dụng sử dụng mô hình ngôn ngữ mạng nơ ron (neural network language) trước đó [11]. Ngoài việc học các vector biểu diễn của các từ, word2vec cũng cung cấp công cụ cho biểu diễn của cụm từ bằng việc tiền xử lý tập dữ liệu huấn luyện để thành lập các cụm từ và sau đó tập các cụm từ này được xem như các từ để học vector biểu diễn cho các từ đó. Bảng sau đây mô tả một số tệp nguồn chính trong word2vec, theo đó mỗi tệp sẽ ứng với một chức năng mà word2vec hỗ trợ: Bảng 2.1: Các tệp nguồn chính trong Word2Vec STT Tên tệp Hỗ trợ 1.c Học mô hình vector biểu diễn của tất cả các từ từ tập dữ liệu đầu vào.c Tiền xử lý dữ liệu huấn luyện để xây dựng tập các cụm từ cho tập dữ liệu đầu vào.c Tính độ gần nhau của từ do người dùng nhập vào (LUAN.04 10 TIEU LUAN MOI download : skknchat@gmail.04 với các từ trong tập huấn luyện.2 Một số kỹ thuật sử dụng trong Word2Vec 2.1 continuous bag of words – CBOW Ý tưởng của mô hình CBOW là mô hình dự đoán từ hiện tại dựa trên các từ xung quanh hay các từ trong cùng ngữ cảnh.

Ngữ cảnh ở đây có thể là một câu hay một tập các từ đứng cạnh nhau. Đầu vào của CBOW sẽ là tập các ngữ cảnh và đầu ra là từ hiện tại cần dự đoán. CBOW sử dụng tầng Chiếu chung cho tất cả các từ, do vậy tất cả các từ sẽ được chiếu vào vị trí giống nhau. Ngoài việc sử dụng các từ đứng trước từ hiện tại, CBOW còn sử dụng các từ đứng sau từ hiện tại để phân loại chính xác từ hiện tại dựa trên việc xây dựng bộ phân loại log-linear cho các từ đứng trước và từ đứng sau.

Trong mô hình này, thứ tự của các từ trong lịch sử không ảnh hưởng đến việc dự đoán. Lưu ý rằng ma trận trọng số giữa đầu vào và tầng dự đoán được chia sẻ cho tất cả các vị trí từ theo cùng một cách như trong mô hình ngôn ngữ mạng nơ-ron truyền tới.1: Mô hình CBOW (LUAN.04 11 TIEU LUAN MOI download : skknchat@gmail.2 continuous skip – gram Kiến trúc của skip-gram là giống với CBOW, tuy nhiên thay vì dự đoán từ hiện tại dựa trên ngữ cảnh, mô hình này tập trung vào việc tối ưu phân loại của một từ dựa trên từ khác trong cùng một câu. Cụ thể, phương pháp này sử dụng đầu vào là từ hiện tại cho bộ phân loại log- linear với tầng Chiếu liên tục và dự đoán các từ theo một dải nào đó phía trước và sau từ hiện tại. Việc tăng kích thước dải sẽ cải thiện chất lượng của vector từ đầu ra, tuy nhiên nó cũng làm tăng độ phức tạp tính toán.

Vì những từ càng xa thì thường ít liên quan đến từ hiện tại hơn là những từ gần nó, do vậy ta có thể đánh trọng số cho những từ ở xa nhỏ đi để khắc phục vấn đề này. Không giống với các kiến trúc mạng nơ-ron được sử dụng trước đó để học vector từ, việc đào tạo mô hình Skip-gram không sử dụng đến các phép nhân ma trận dày đặc. Điều này khiến cho việc đào tạo trở nên cực kỳ hiệu quả: một máy đơn đã được tối ưu có thể đào tạo hơn 100 tỉ từ một ngày. Và các đại diện từ được tính toán ra bằng cách sử dụng mạng nơ-ron, tức các vector đã học được thì mã hóa một cách rõ ràng nhiều quy tắc ngôn ngữ và mô hình.

Một mở rộng đáng ngạc nhiên của phương pháp này đó là việc áp dụng các phép cộng/trừ đại số cho các vector có thể thu được các kết quả bất ngờ về ngữ nghĩa. Ví dụ: phép tính vec(“Russia”) + vec(“river”) ta sẽ thu được kết quả là vec(“Volga River”) hay vec(“king”) - vec(“man”) + vec(“woman”) ta sẽ thu được kết quả là vec(“queen”). Điều này cho thấy một gợi ý mơ hồ về việc hiểu biết ngôn ngữ có thể thu được bằng cách sử dụng các phép toán cơ bản với các đại diện vector từ.2: Mô hình Skip-gram liên tục (LUAN.04 12 TIEU LUAN MOI download : skknchat@gmail.3 Sử dụng word2vec để đo độ gần nhau giữa các từ Một trong các chức năng được hỗ trợ từ word2vec đó là tính toán độ gần nhau giữa các từ được thể hiện bằng giá trị thực của khoảng cách giữa các từ; cụ thể là, từ mô hình biểu diễn của các vector từ ta có thể có được độ gần nhau của hai từ bất kỳ hay giữa các từ trong một tập con từ nào đó. Ví dụ sau đây mô tả về kết quả các từ gần nhất với từ “index” khi sử dụng word2vec cho tập dữ liệu đầu vào là 2694 bài báo trên trang “vnexpress.net” đã qua tiền xử lý [3] sử dụng độ đo cosine: Hình 2.3: Ví dụ về xác định độ gần nhau giữa các từ sử dụng Word2Vec Như vậy, sử dụng mô hình vector biểu diễn từ huấn luyện được từ công cụ, Word2Vec có thể tính được khoảng cách (độ gần nhau) các từ bất kỳ cũng như các nhãn với nhau.

Kết quả này sẽ được luận văn sử dụng để tích hợp vào một số phương pháp phân lớp đa nhãn sẽ được trình bày trong các phần tiếp theo.04 13 TIEU LUAN MOI download : skknchat@gmail.3 Các phương pháp phân lớp đa nhãn sử dụng độ gần nhau giữa các nhãn Phần này sẽ trình bày về một số phương thức đa nhãn điển hình cho các cách tiếp cận về mối quan hệ đa nhãn. Sau đó, trong một số phương pháp luận văn cũng đưa ra đề xuất cho việc tích hợp độ gần nhau của các nhãn vào phương pháp đó để nâng cao hiệu quả của việc học. Binary Relevance được xem là phương pháp cơ sở của nhiều giải thuật học đa nhãn. Ý tưởng của cơ bản của phương pháp này là chuyển bài toán phân lớp đa nhãn thành nhiều bài toán phân lớp đơn nhãn, ở đó mỗi bài toán phân lớp đơn nhãn sẽ ứng với một nhãn trong không gian nhãn.

Phương pháp này đầu tiên sẽ tạo q tập dữ liệu huấn luyện bằng việc xem xét sự phù hợp của mỗi ví dụ trong tập ví dụ ban đầu với mỗi nhãn 𝑦𝑖 trong tập nhãn – q là tổng số nhãn: 𝐷𝑗 = {(𝑥𝑖 , 𝜙(𝑌𝑖 , 𝑦𝑗 ))| 1 ≤ 𝑖 ≤ 𝑚} (1) +1, 𝑛ế𝑢 𝑦𝑗 ∈ 𝑌𝑖 Với 𝜙(𝑌𝑖 , 𝑦𝑗 ) = { −1, 𝑛𝑔ượ𝑐 𝑙ạ𝑖 Ví dụ, với tập dữ liệu ví dụ 𝐷 gồm 4 thể hiện đã được gán nhãn trong tập gồm 4 nhãn: Bảng 2.2: Tập dữ liệu ví dụ Thể hiện Tập nhãn 𝑥1 {𝑦2 , 𝑦3 } 𝑥2 {𝑦1 } 𝑥3 {𝑦1 , 𝑦2 , 𝑦3 } 𝑥4 {𝑦2 , 𝑦4 } Khi đó ta sẽ xây dựng 4 tập dữ liệu huấn luyện cho 4 nhãn như sau: 𝐷1 = {(𝑥1 , −1), (𝑥2 , 1), (𝑥3 , 1), (𝑥4 , −1)} 𝐷2 = {(𝑥1 , 1), (𝑥2 , −1), (𝑥3 , −1), (𝑥4 , −1)} (LUAN.04 14 TIEU LUAN MOI download : skknchat@gmail.04 𝐷3 = {(𝑥1 , 1), (𝑥2 , 1), (𝑥3 , 1), (𝑥4 , −1)} 𝐷4 = {(𝑥1 , −1), (𝑥2 , 1), (𝑥3 , −1), (𝑥4 , 1)} Sau khi xây được q tập huấn luyện từ tập dữ liệu ví dụ ban đầu, Binary Relevance sẽ sử dụng giải thuật học nhị phân ℬ bất kỳ để học bộ phân lớp nhị phân 𝑔𝑗 : 𝒳 → ℝ; 𝑣í 𝑑ụ 𝑔𝑗 ← ℬ (𝐷𝑗 ); tức là sẽ có q bộ phân lớp nhị phân cho mỗi nhãn. Cho thể hiện mới 𝒙, Binary Relevance dự đoán tập nhãn 𝑌 liên quan tới 𝑥 bằng việc sử dụng mỗi bộ phân lớp nhị phân để gán nhãn cho 𝑥, sau đó kết hợp kết quả với những nhãn phù hợp trên các bộ phân lớp đó: 𝑌 = {𝑦𝑗 | 𝑔𝑗 (𝑥) > 0, 1 ≤ 𝑗 ≤ 𝑞} (2) Khi tất cả các bộ phân lớp cho ra kết quả âm thì tập nhãn của 𝑥 sẽ là rỗng. Để tránh việc tạo ra dự đoán tập nhãn rỗng, có thể sử dụng quy tắc T-Criterion sau: 𝑌 = {𝑦𝑗 | 𝑔𝑗 (𝑥) > 0, 1 ≤ 𝑗 ≤ 𝑞 } ∪ {𝑦𝑗 ∗ | 𝑗 ∗ = 𝑎𝑟𝑔𝑚𝑎𝑥1≤𝑗≤𝑞 𝑔𝑗 (𝑥)} (3) 𝑌 = 𝐵𝑖𝑛𝑎𝑟𝑦𝑅𝑒𝑙𝑒𝑣𝑎𝑛𝑐𝑒(𝐷, ℬ, 𝑥) 1. for j = 1 to q do 2.

Khởi tạo tập dữ liệu huấn luyện 𝐃𝐣 theo công thức (1); 3. Trả về 𝐘 theo công thức (3) Hình 2.4: Mã giả của phương pháp Binary Relevance Nhận xét: Binary Relevance là phương pháp thuộc cách tiếp cận bậc nhất tức là không xét đến mối quan hệ giữa các nhãn.