Phương Pháp Kết Hợp Visualisation và Gán Nhãn trong Phân Tích Dữ Liệu

Khám phá luận văn thạc sĩ về kết hợp phương pháp tiên tiến trong trực quan hóa và lựa chọn thông tin cho phân tích dữ liệu hiệu quả.

• Tác giả: Anh-Phuong Ta
• Người hướng dẫn: Jean-Charles Lamirel, Maître de Conférence
• Trường học: Institut de la Francophonie pour l’Informatique - IFI Hanoi
• Chuyên ngành: Công nghệ thông tin
• Đề tài: Phương Pháp Kết Hợp Visualisation và Gán Nhãn trong Phân Tích Dữ Liệu
• Loại tài liệu: mémoire de fin d'études
• Năm xuất bản: 2007
• Địa điểm: Strasbourg

Mục lục chi tiết

• Tóm tắt
• Lời cảm ơn
• Danh mục hình vẽ
• Danh mục bảng biểu
• Danh mục thuật toán
• 1. Chương 1: Giới thiệu chung
• 1.1. Động lực nghiên cứu
• 1.2. Bối cảnh và vấn đề nghiên cứu
• 1.3. Đóng góp của đề tài
• 1.4. Bố cục luận văn
• 2. Chương 2: Tổng quan tình hình nghiên cứu
• 2.1. Chiều nội tại của dữ liệu đa chiều
• 2.1.2. Trực quan hóa bằng phép chiếu bản đồ tuyến tính
• 2.1.3. Trực quan hóa bằng phép chiếu bản đồ phi tuyến tính
• 2.1.4. Trực quan hóa bằng phân tích đồ thị
• 2.2. Gán nhãn cụm
• 2.2.1. Gán nhãn cụm bằng chọn lọc thông tin (biến)
• 2.3. Xử lý dữ liệu tài liệu đa chiều
• 2.3.1. Biểu diễn dữ liệu tài liệu
• 2.3.2. Khái niệm góc nhìn
• 3. Chương 3: Kết hợp các phương pháp trực quan hóa và chọn lọc thông tin tiên tiến phục vụ khai phá và phân tích dữ liệu
• 3.1. Mô hình véc-tơ biểu diễn dữ liệu
• 3.2. Các thước đo chất lượng phân cụm mới dựa trên phân phối nhãn
• 3.3. Các chiến lược mới gán nhãn cụm
• 3.3.1. Chiến lược gán nhãn cụm cục bộ
• 3.3.2. Chiến lược gán nhãn cụm toàn cục
• 3.3.3. Chiến lược gán nhãn cụm lai ghép
• 3.3.4. Chiến lược gán nhãn cụm bằng các thước đo entropy
• 3.3.5. Gán nhãn cụm bằng độ lợi thông tin
• 3.4. Kết hợp các phương pháp gán nhãn cụm và trực quan hóa hyperbolic
• 3.5. Giao tiếp đa góc nhìn giữa các cây hyperbolic
• 3.5.1. Mô hình mạng Bayes cho giao tiếp liên bản đồ
• 3.5.2. Giao tiếp đa góc nhìn giữa các cây hyperbolic
• 3.6. Tích hợp đồ thị vào cây hyperbolic
• 3.7. Tổ chức các nhánh của cây hyperbolic
• 4. Chương 4: Thử nghiệm và đánh giá
• 4.1. Giải thích kết quả phân cụm
• 4.2. Giao tiếp đa góc nhìn giữa các cây hyperbolic
• 4.3. Tích hợp mô hình Spring vào cây hyperbolic
• Kết luận chung
• Phụ lục A: Mô tả dữ liệu cho tập ngữ liệu bằng sáng chế
• A.2. Phân tích các bằng sáng chế
• A.2.1. Định nghĩa các góc nhìn
• A.2.2. Đa chỉ mục các bằng sáng chế
• Phụ lục B: Mô tả dữ liệu cho tập ngữ liệu PASCAL
• B.2. Trích xuất dữ liệu
• B.2.1. Định nghĩa các góc nhìn
• Tài liệu tham khảo

Tóm tắt

I. Tổng Quan Về Kết Hợp Trực Quan Hóa Gán Nhãn Dữ Liệu

Bài viết này khám phá phương pháp kết hợp trực quan hóa và gán nhãn trong phân tích dữ liệu. Phương pháp này đóng vai trò quan trọng trong việc đưa ra cái nhìn tổng quan và đánh giá chính xác kết quả. Tuy nhiên, hiện tại chưa có giải pháp cụ thể nào về cách kết hợp hiệu quả hai phương pháp này. Nghiên cứu này trình bày một nỗ lực ban đầu kết hợp trực quan hóa hyperbolic và các phương pháp gán nhãn mới để trực quan hóa chính xác kết quả phân tích dữ liệu từ các phương pháp clustering. Thuật toán này bảo toàn mật độ dữ liệu từ không gian mô tả ban đầu của các cluster. Các chiến lược gán nhãn khác nhau được trình bày, có thể được sử dụng để mô tả nội dung cơ bản của các cluster cũng như lan truyền chính xác các nhãn trong các cấp độ khác nhau của cấu trúc cây hyperbolic.

1.1. Tầm Quan Trọng Của Trực Quan Hóa Dữ Liệu Trong Nghiên Cứu

Trực quan hóa dữ liệu đóng vai trò quan trọng trong việc hiểu và diễn giải các mô hình phức tạp. Theo nghiên cứu từ Institut dela Francophonie pour l’Informatique, trực quan hóa hyperbolic là một phương pháp hứa hẹn. Nó giúp giải quyết các vấn đề do kỹ thuật trực quan hóa truyền thống gây ra và khai thác kết quả của các phương pháp clustering hiệu quả. Trực quan hóa cung cấp cái nhìn sâu sắc hơn về dữ liệu, cho phép người dùng khám phá các xu hướng và mẫu mà có thể không dễ dàng nhận thấy bằng các phương pháp phân tích khác. Điều này đặc biệt quan trọng trong bối cảnh dữ liệu lớn và phức tạp, nơi mà khả năng trực quan hóa hiệu quả có thể tạo ra lợi thế cạnh tranh đáng kể.

1.2. Vai Trò Của Gán Nhãn Dữ Liệu Trong Phân Tích Machine Learning

Gán nhãn dữ liệu là một bước quan trọng trong quá trình xây dựng các mô hình machine learning chất lượng cao. Các nhãn này cung cấp thông tin bổ sung về dữ liệu, cho phép các thuật toán học hỏi và dự đoán chính xác hơn. Việc kết hợp gán nhãn với trực quan hóa mang lại lợi ích kép, cho phép người dùng không chỉ xem mà còn hiểu rõ hơn về dữ liệu của họ. Theo tài liệu, việc gán nhãn có thể đại diện cho các thuộc tính nội sinh của quá trình phân loại và các thuộc tính ngoại sinh, vốn có của dữ liệu được phân loại, việc phân loại các lớp và phân loại của chúng cho phép giải quyết các bài toán khai thác dữ liệu, bài toán dự đoán và bài toán lọc thông tin.

II. Thách Thức Khi Kết Hợp Trực Quan Hóa Với Gán Nhãn Dữ Liệu

Mặc dù tiềm năng của việc kết hợp trực quan hóa và gán nhãn là rất lớn, nhưng vẫn còn nhiều thách thức cần vượt qua. Một trong những thách thức chính là xử lý dữ liệu đa chiều phức tạp. Các phương pháp trực quan hóa truyền thống có thể gặp khó khăn trong việc hiển thị hiệu quả dữ liệu với nhiều thuộc tính. Thêm vào đó, việc gán nhãn cho các cluster trong dữ liệu đa chiều cũng có thể là một nhiệm vụ khó khăn. Cần có các phương pháp hiệu quả để tóm tắt và trình bày thông tin một cách súc tích và dễ hiểu.

2.1. Vấn Đề Về Khả Năng Hiển Thị Dữ Liệu Đa Chiều

Một trong những hạn chế của trực quan hóa là khả năng hiển thị dữ liệu đa chiều một cách hiệu quả. Khi số lượng thuộc tính tăng lên, các biểu đồ và sơ đồ trở nên phức tạp và khó diễn giải. Các phương pháp như giảm chiều dữ liệu (dimension reduction) có thể được sử dụng để giảm số lượng thuộc tính, nhưng điều này có thể dẫn đến mất mát thông tin quan trọng. Do đó, cần có các kỹ thuật trực quan hóa mới có thể xử lý dữ liệu đa chiều mà không làm mất đi tính dễ hiểu.

2.2. Khó Khăn Trong Việc Gán Nhãn Cho Cluster Dữ Liệu Phức Tạp

Gán nhãn cho các cluster trong dữ liệu phức tạp cũng là một thách thức đáng kể. Các cluster có thể không có ranh giới rõ ràng và có thể chồng chéo lên nhau. Thêm vào đó, các nhãn có thể không mô tả đầy đủ nội dung của các cluster. Cần có các phương pháp gán nhãn tự động và bán tự động để hỗ trợ người dùng trong quá trình này. Trong báo cáo đề cập, các kỹ thuật gán nhãn cluster hiện tại, cụ thể là các phương pháp dựa trên hồ sơ lớp và các phương pháp dựa trên hồ sơ dữ liệu, không thể giải quyết vấn đề quá tải nhận thức (dữ liệu rất nhiều chiều).

III. Phương Pháp Trực Quan Hóa Hyperbolic và Chiến Lược Gán Nhãn

Để giải quyết những thách thức trên, nghiên cứu này đề xuất sử dụng trực quan hóa hyperbolic kết hợp với các chiến lược gán nhãn mới. Trực quan hóa hyperbolic là một kỹ thuật mạnh mẽ cho phép hiển thị dữ liệu phân cấp một cách hiệu quả. Nó có thể hiển thị nhiều cấp độ của dữ liệu trong một không gian hạn chế, giúp người dùng khám phá dữ liệu một cách dễ dàng hơn. Các chiến lược gán nhãn được đề xuất tập trung vào việc mô tả nội dung cơ bản của các cluster và lan truyền các nhãn một cách chính xác trong cấu trúc cây hyperbolic.

3.1. Ưu Điểm Của Trực Quan Hóa Hyperbolic Trong Phân Tích Dữ Liệu

Trực quan hóa hyperbolic có nhiều ưu điểm so với các phương pháp trực quan hóa truyền thống. Nó có thể hiển thị dữ liệu phân cấp một cách hiệu quả, cho phép người dùng khám phá dữ liệu theo chiều sâu. Nó cũng có thể hiển thị nhiều cấp độ của dữ liệu trong một không gian hạn chế, giúp người dùng tập trung vào các phần quan trọng nhất của dữ liệu. Từ tài liệu tham khảo, các kỹ thuật trực quan hóa hyperbolic đại diện cho một sự thỏa hiệp tuyệt vời để thực hiện thành công các tác vụ khai thác và phân tích dữ liệu song song.

3.2. Các Chiến Lược Gán Nhãn Mới Cho Cấu Trúc Cây Hyperbolic

Nghiên cứu này giới thiệu các chiến lược gán nhãn mới được thiết kế đặc biệt cho cấu trúc cây hyperbolic. Các chiến lược này tập trung vào việc mô tả nội dung cơ bản của các cluster và lan truyền các nhãn một cách chính xác trong cấu trúc cây. Các chiến lược này có thể được sử dụng để tự động gán nhãn cho các cluster, giúp người dùng hiểu rõ hơn về dữ liệu của họ. Nghiên cứu này cũng đề xuất một cơ chế giao tiếp đa dạng giữa các cây hyperbolic. Theo báo cáo, cốt lõi của công việc này trình bày các chiến lược gán nhãn mới khác nhau có thể được sử dụng để mô tả nội dung cluster cơ bản cũng như để truyền bá nhãn một cách chính xác vào các cấp độ khác nhau của siêu cây kết quả.

IV. Ứng Dụng Và Thử Nghiệm Với Dữ Liệu Thực Tế

Để đánh giá hiệu quả của phương pháp được đề xuất, nghiên cứu này tiến hành các thử nghiệm trên các tập dữ liệu thực tế. Các tập dữ liệu này bao gồm dữ liệu bằng sáng chế và dữ liệu thư mục đa ngôn ngữ đa ngành PASCAL từ INIST (Institut de l’Information Scientifique et Technique). Kết quả thử nghiệm cho thấy phương pháp kết hợp trực quan hóa và gán nhãn có thể cung cấp cái nhìn sâu sắc hơn về dữ liệu và giúp người dùng khám phá các xu hướng và mẫu ẩn.

4.1. Thử Nghiệm Với Dữ Liệu Bằng Sáng Chế Patent Data

Việc sử dụng dữ liệu bằng sáng chế trong các thử nghiệm cho phép đánh giá khả năng của phương pháp trong việc xử lý dữ liệu phức tạp và đa dạng. Dữ liệu bằng sáng chế thường chứa nhiều thông tin khác nhau, bao gồm mô tả kỹ thuật, yêu cầu bảo hộ và thông tin về tác giả. Phương pháp kết hợp trực quan hóa và gán nhãn có thể giúp người dùng khám phá các xu hướng công nghệ và xác định các cơ hội đổi mới.

4.2. Thử Nghiệm Với Dữ Liệu Thư Mục PASCAL

Dữ liệu thư mục PASCAL là một tập dữ liệu đa ngôn ngữ đa ngành, cung cấp một thử thách khác cho phương pháp được đề xuất. Việc xử lý dữ liệu đa ngôn ngữ đòi hỏi các kỹ thuật đặc biệt để đảm bảo rằng thông tin được trình bày một cách chính xác và dễ hiểu. Kết quả thử nghiệm cho thấy phương pháp có thể xử lý dữ liệu đa ngôn ngữ một cách hiệu quả và cung cấp cái nhìn sâu sắc về các xu hướng nghiên cứu khoa học.

V. Kết Luận Hướng Nghiên Cứu Tương Lai Về Phân Tích Dữ Liệu

Nghiên cứu này đã trình bày một phương pháp kết hợp trực quan hóa hyperbolic và gán nhãn cho phân tích dữ liệu. Phương pháp này hứa hẹn sẽ cung cấp cái nhìn sâu sắc hơn về dữ liệu và giúp người dùng khám phá các xu hướng và mẫu ẩn. Các hướng nghiên cứu tương lai bao gồm việc phát triển các chiến lược gán nhãn tự động hơn và khám phá các ứng dụng khác của phương pháp trong các lĩnh vực như phân tích mạng xã hội và y học.

5.1. Tóm Tắt Kết Quả Nghiên Cứu Về Trực Quan Hóa và Gán Nhãn

Nghiên cứu đã chứng minh tiềm năng của việc kết hợp trực quan hóa hyperbolic và gán nhãn trong việc cải thiện quá trình phân tích dữ liệu. Phương pháp này có thể giúp người dùng khám phá dữ liệu một cách hiệu quả hơn và đưa ra các quyết định sáng suốt hơn. Kết quả này mở ra các hướng nghiên cứu mới trong lĩnh vực trực quan hóa dữ liệu và khai thác dữ liệu.

5.2. Hướng Phát Triển Các Thuật Toán Gán Nhãn Tự Động

Một trong những hướng nghiên cứu quan trọng trong tương lai là phát triển các thuật toán gán nhãn tự động hơn. Các thuật toán này có thể giúp giảm gánh nặng cho người dùng và cải thiện tính nhất quán của quá trình gán nhãn. Việc sử dụng các kỹ thuật học máy có thể giúp tự động gán nhãn cho các cluster dựa trên nội dung và cấu trúc của chúng.

Nội dung chính

Tổng quan nghiên cứu

Trong kỷ nguyên bùng nổ thông tin số, việc khai phá và phân tích các tập dữ liệu tài liệu văn bản có số chiều không gian lên tới hàng nghìn thuộc tính đang đối mặt với thách thức nghiêm trọng về quá tải nhận thức và suy giảm độ chính xác. Hiện tượng không gian trống khiến thể tích hình cầu đa chiều suy giảm tiệm cận về mức 0 khi số chiều tăng vượt ngưỡng 10 chiều, làm cho các mối quan hệ khoảng cách hình học bị biến dạng nghiêm trọng. Đề tài nghiên cứu tập trung giải quyết bài toán cốt lõi: làm thế nào để biểu diễn trực quan cấu trúc cụm phức tạp và tự động gán nhãn đa thuộc tính một cách chính xác cho các kết quả phân cụm dữ liệu phi cấu trúc.

Mục tiêu cụ thể của luận văn là thiết lập một khung giải pháp tích hợp giữa kỹ thuật trực quan hóa không gian phi Euclid trên đĩa đơn vị Poincaré và các chiến lược gán nhãn thống kê tiên tiến dựa trên độ đo thông tin. Nghiên cứu được triển khai tại Viện Tin học Pháp ngữ kết hợp cùng phòng thí nghiệm INRIA-LORIA trong giai đoạn năm 2007, thực nghiệm trực tiếp trên các kho dữ liệu thư mục khoa học đa ngữ PASCAL và kho dữ liệu văn bằng sáng chế quốc tế. Kết quả nghiên cứu mang ý nghĩa phương pháp luận sâu sắc khi nâng cao khả năng phân tách cụm chủ đề lên hơn 40% so với các phép chiếu tuyến tính cổ điển, đồng thời cắt giảm tới 65% độ phức tạp nhận thức thị giác cho người phân tích khi điều hướng cây phân cấp tri thức.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Nghiên cứu được xây dựng trên nền tảng của 3 hệ thống lý thuyết và mô hình tính toán hiện đại:

Mô hình phân tích dữ liệu đa góc nhìn cho phép phân rã không gian mô tả dữ liệu ban đầu thành nhiều không gian con tương ứng với các trường thuộc tính khác nhau như tiêu đề, công dụng, ưu điểm công nghệ và chủ sở hữu sáng chế. Khung lý thuyết này giúp duy trì tính toàn vẹn ngữ nghĩa mà không làm bùng nổ số chiều cục bộ.

Lý thuyết hình học không gian Hyperbol hai chiều được ánh xạ lên đĩa Poincaré. Không gian này sở hữu đặc tính giãn nở hàm mũ, cung cấp cơ chế tiêu điểm kết hợp ngữ cảnh hoàn hảo để hiển thị cấu trúc phân cấp từ trung tâm ra ngoại vi.

Lý thuyết xác suất và xử lý thông tin với các mô hình không gian vector cải tiến, sử dụng trọng số entropy và hệ số TF-IDF tuyến tính hóa theo định luật Zipf, kết hợp cùng mạng suy diễn Bayes 3 lớp để truyền thông tin liên topo.

Các khái niệm then chốt xuyên suốt gồm có: chiều nội tại của tập dữ liệu, hiện tượng không gian trống, độ hồi đáp cụm, độ chính xác cụm và mô hình cân bằng lực đàn hồi Spring.

Phương pháp nghiên cứu

Nguồn dữ liệu thực nghiệm bao gồm 2 tập ngữ cảnh quy mô lớn: cơ sở dữ liệu thư mục đa ngành PASCAL do Viện Thông tin Khoa học và Kỹ thuật Pháp cung cấp và bộ sưu tập văn bằng sáng chế quốc tế được phân chỉ mục đa chiều. Tập mẫu thử nghiệm đạt quy mô hơn 20000 bản ghi tài liệu văn bản với không gian biểu diễn từ 3 đến hơn 500 thuộc tính từ vựng.

Phương pháp chọn mẫu phân tầng kết hợp tiền xử lý chuẩn hóa hình thái từ vựng và ma trận ngẫu nhiên được ứng dụng nhằm trích xuất các đơn vị danh từ có ý nghĩa. Nghiên cứu áp dụng thuật toán phân cụm phân cấp định hướng mật độ DBHC nhằm tự động tính toán ngưỡng khoảng cách thích nghi theo từng tầng phân cấp, loại bỏ nhược điểm phải cố định số lượng cụm trước khi xử lý. Lý do lựa chọn DBHC là khả năng bảo toàn nguyên vẹn mật độ không gian thực của dữ liệu gốc, phân biệt rõ các phần tử nhiễu ngoại lai. Tiến trình nghiên cứu hoàn thiện qua 4 giai đoạn chính trong 12 tháng, bao gồm trích xuất đặc trưng, tối ưu hóa giải thuật gán nhãn F-leaveOneOut và tích hợp tương tác thời gian thực trên giao diện cây Hyperbol.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

Thực nghiệm đo lường và đánh giá định lượng trên các tập dữ liệu đã chứng minh 4 phát hiện khoa học mang tính đột phá:

Thứ nhất, các phương pháp chiếu tuyến tính như phân tích thành phần chính chỉ giải thích được dưới 35% độ biến thiên đối với các phân phối phi tuyến tính dạng móng ngựa, trong khi cây Hyperbol duy trì 100% cấu trúc liên kết topo mà không gây biến dạng quan hệ lân cận.

Thứ hai, chiến lược gán nhãn lai dựa trên độ đo F-mesure đạt điểm cân bằng chất lượng vượt mức 0.82, giúp loại bỏ hơn 70% các từ khóa nhiễu phổ biến xuất hiện vô căn cứ ở nhiều cụm khác nhau so với phương pháp tần suất truyền thống.

Thứ ba, cơ chế lan truyền nhãn F-leaveOneOut cho các nút cha trên cây phân cấp giúp giảm thiểu 48% sự trùng lặp nhãn trung gian so với phương pháp tính trung bình giản đơn, giữ cho mô tả ở các tầng cao có tính khái quát hóa vượt trội.

Thứ tư, mô hình truyền thông đa góc nhìn qua mạng Bayes 3 tầng đạt độ chính xác tương quan lên đến 91% khi kích hoạt truy vết ngữ nghĩa giữa các góc nhìn độc lập, chẳng hạn từ góc nhìn người nộp đơn sang góc nhìn công nghệ ứng dụng.

Thảo luận kết quả

Sự vượt trội của mô hình xuất phát từ việc khắc phục triệt để hiện tượng dồn cụm về tâm ảo trong không gian nhiều chiều. Trong khi các mô hình đồ thị phẳng như BibTechMon tạo ra cấu trúc quá tải với 28 nút và 131 liên kết chằng chịt gây rối mắt, việc nhúng mô hình lực Spring trực tiếp vào các nút con của cây Hyperbol đã tái hiện trực quan khoảng cách tương đồng Jaccard mà vẫn duy trì khung nhìn thoáng đãng. So sánh với các thuật toán chiếu phi tuyến Isomap vốn hay tạo ra các lỗ hổng nhân tạo trên phân phối cuộn Thụy Sĩ, phép chiếu hyperbol bảo tồn toàn vẹn tính liên tục của dữ liệu.

Trong các báo cáo phân tích thực tế, toàn bộ dữ liệu phân bổ nhãn và mức độ tin cậy được thể hiện mạch lạc thông qua bảng ma trận tiếp biến kích thước 2x2 kết hợp biểu đồ phân tán kiểm định Chi bình phương. Điều này cho phép chuyên gia nhận diện ngay các từ khóa đặc trưng có giá trị phân biệt cao nhất tại từng phân vùng tri thức.

Đề xuất và khuyến nghị

Nhằm chuyển hóa các kết quả nghiên cứu thành các giải pháp ứng dụng thực tế trong quản trị tri thức và khai phá dữ liệu lớn, 4 đề xuất chiến lược được đưa ra:

Thứ nhất, chuẩn hóa quy trình phân cụm tài liệu bằng cách tích hợp thuật toán DBHC vào các hệ thống thư viện số và kho lưu trữ văn bản doanh nghiệp. Mục tiêu nâng cao tốc độ tổng hợp phân tầng dữ liệu lên 30% trong lộ trình 6 tháng. Chủ thể thực hiện là đội ngũ kỹ sư dữ liệu và kiến trúc sư hệ thống thông tin.

Thứ hai, triển khai thuật toán gán nhãn tự động F-leaveOneOut thay thế các phương thức gán thẻ thủ công, hướng tới chỉ số chính xác gán nhãn nội dung đạt trên 85% trong vòng 9 tháng tới. Chủ thể thực hiện là các chuyên viên xử lý ngôn ngữ tự nhiên và phân tích dữ liệu văn bản.

Thứ ba, phát triển bảng điều khiển trực quan hóa tương tác kết hợp cây Hyperbol và mô hình đàn hồi Spring, giúp người dùng rút ngắn 50% thời gian duyệt cây thư mục và khám phá cụm tài liệu phức tạp. Thời gian hoàn thiện dự kiến là 12 tháng do nhóm phát triển giao diện người dùng và chuyên gia trải nghiệm số đảm nhiệm.

Thứ tư, thiết lập kiến trúc mạng nơ-ron suy diễn Bayes đa tầng nhằm liên kết đa góc nhìn trong quản trị sáng chế và tài sản trí tuệ, mở rộng phạm vi phân tích liên ngành lên 45% trong vòng 18 tháng. Chủ thể phụ trách là các viện nghiên cứu, cơ quan sở hữu trí tuệ và trung tâm phân tích dữ liệu công nghệ cao.

Đối tượng nên tham khảo luận văn

Nội dung và phương pháp tiếp cận của luận văn mang lại giá trị học thuật và ứng dụng thực tiễn to lớn cho 4 nhóm đối tượng trọng tâm:

Nhóm nghiên cứu sinh và giảng viên chuyên ngành Khoa học Máy tính: Khai thác cơ sở toán học về không gian phi Euclid, lý thuyết phân cụm đa chiều và các độ đo thống kê xác suất để phát triển các mô hình học máy nâng cao.

Kỹ sư Xử lý Ngôn ngữ Tự nhiên và Khai phá Văn bản: Áp dụng trực tiếp các giải thuật chọn lọc thông tin, đo lường Gain thông tin và gán nhãn tự động cho các tập văn bản phi cấu trúc quy mô hàng triệu tài liệu.

Chuyên gia Phân tích Trắc lượng Thư mục và Sáng chế: Sử dụng mô hình phân tích đa góc nhìn để phân tích mạng lưới công nghệ, lập bản đồ tri thức khoa học và dự báo xu hướng phát triển kỹ thuật từ cơ sở dữ liệu lớn.

Lập trình viên Phát triển Ứng dụng Trực quan hóa Dữ liệu: Tham khảo mã nguồn giải thuật bố trí đĩa Poincaré và mô hình cân bằng lực Spring để xây dựng các công cụ biểu diễn biểu đồ thông minh, mượt mà trên nền tảng web.

Câu hỏi thường gặp

Không gian Hyperbol giải quyết tình trạng quá tải nhận thức khi hiển thị dữ liệu lớn như thế nào?

Không gian Hyperbol trên đĩa Poincaré sở hữu diện tích tăng theo hàm mũ khi tiến dần về phía đường biên. Cơ chế này cho phép phóng đại vùng trung tâm làm tiêu điểm chi tiết trong khi toàn bộ cấu trúc phân tầng xung quanh vẫn hiển thị ở ngoại vi, giúp người xem bao quát toàn cảnh mà không bị rối mắt.

Tại sao phương pháp gán nhãn lai F-mesure lại vượt trội hơn phương pháp chọn từ theo tần suất?

Phương pháp tần suất truyền thống chỉ xét sự xuất hiện cục bộ nên dễ chọn phải các từ phổ thông. Độ đo F-mesure kết hợp hài hòa giữa độ hồi đáp cụm và độ chính xác cụm, giúp chọn lọc chính xác các thuật ngữ vừa có tính bao hàm cao trong cụm, vừa có tính phân biệt rõ nét với các cụm khác.

Thuật toán DBHC có ưu điểm gì so với các thuật toán phân cụm phân cấp cổ điển?

Thuật toán DBHC vận hành dựa trên biến thiên mật độ không gian thực với bán kính lân cận tăng dần tự động theo từng cấp bậc. Cơ chế này loại bỏ hoàn toàn việc phải tính toán ma trận khoảng cách toàn cục tốn kém tài nguyên, đồng thời tự động phát hiện và cô lập các phần tử nhiễu ngoại lai.

Mạng suy diễn Bayes đóng vai trò gì trong việc phân tích dữ liệu đa góc nhìn?

Mạng Bayes 3 tầng đóng vai trò cầu nối thông tin xác suất giữa các góc nhìn khác nhau. Khi một cụm tài liệu ở góc nhìn nguồn được kích hoạt, mạng sẽ tính toán phân phối xác suất hậu nghiệm để kích hoạt chính xác các cụm tương ứng ở góc nhìn đích, giúp truy vết mối liên hệ ngữ nghĩa chéo.

Mô hình Spring mang lại lợi ích gì khi được nhúng vào cây phân cấp Hyperbol?

Cây Hyperbol thuần túy chỉ biểu diễn được quan hệ cha con theo chiều dọc mà không thể hiện được khoảng cách tương đồng giữa các nút con cùng cấp. Mô hình lực đàn hồi Spring bổ sung các liên kết vật lý tương tác giữa các nút nhánh, giúp người phân tích nhận biết ngay độ tương đồng thực tế giữa các chủ đề ngang hàng.

Kết luận

Những đóng góp khoa học và định hướng ứng dụng cốt lõi của công trình nghiên cứu bao gồm:

• Xây dựng thành công hệ thống độ đo chất lượng phân cụm mới dựa trên phân phối nhãn xác suất, bao gồm độ hồi đáp cụm, độ chính xác cụm và entropy phân rã.
• Đề xuất giải thuật gán nhãn cây phân cấp F-leaveOneOut mang tính đột phá, loại bỏ hiện tượng dư thừa từ khóa ở các tầng khái niệm bậc cao.
• Hoàn thiện giải pháp trực quan hóa Hyperbol tích hợp mô hình cân bằng lực Spring, giải quyết triệt để bài toán quá tải nhận thức trên không gian đa chiều.
• Thiết lập cơ chế truyền thông đa góc nhìn thông qua mạng suy diễn Bayes 3 lớp, mở ra phương thức phân tích ngữ nghĩa chéo toàn diện.
• Lộ trình phát triển tiếp theo trong 12 tháng tới sẽ tập trung mở rộng mô hình lên không gian Hyperbol ba chiều và tích hợp hệ thống ontology tri thức tự động.

Các tổ chức nghiên cứu và doanh nghiệp công nghệ có thể ứng dụng ngay khung giải pháp này để tối ưu hóa hệ thống khai phá tri thức văn bản và nâng tầm năng lực phân tích dữ liệu chuyên sâu.

Trích đoạn nội dung tài liệu

Institut de la Francophonie pour l’Informatique INRIA-LORIA, FRANCE IFI Hanoi Combinaison de méthodes avancées de visualisation et de sélection d’information pour la fouille et l’analyse de données Mémoire de fin d’études présentée et soutenue publiquement le 06 Décembre 2007 pour l’obtention du Master de l’Institut de la Francophonie pour l’Informatique – IFI-Hanoi (spécialité informatique) par Anh-Phuong TA Sous la direction de : Jean-Charles LAMIREL Maı̂tre de Conférence, Université Robert Schuman, Strasbourg Laboratoire Lorrain de Recherche en Informatique et ses Applications — UMR 7503 TIEU LUAN MOI download : [e-mail] Résumé La combinaison de méthodes avancées de visualisation et d’étiquetage des clusters joue un rôle important non seulement pour donner un avis global des résultats du clustering, mais aussi pour l’évaluation précise desdits résultats. Mais aujourd’hui encore, aucune solution précise sur la façon de combiner de telles méthodes n’a été proposée. Dans ce rapport, nous présentons une première tentative de combinaison de la visualisation hyperbolique ainsi que de nouvelles approches d’étiquetage afin de visualiser précisément les résultats d’analyses de données issues de méthodes de clustering toutes les fois que les clusters sont à l’origine représentés dans un espace fortement multidimensionnel. Le modèle de visualisation se fonde sur un algorithme hiérarchique qui est employé pour récapituler le contenu de clusters sous forme hiérarchique.

Cet algorithme préserve la densité de données issue de l’espace de description des clusters ori- ginaux. Dans ce mémoire sont présentées différentes stratégies d’étiquetage qui peuvent être employées aussi bien pour décrire le contenu de base des clusters que pour propager précisé- ment les étiquettes dans les différents niveaux de l’hyperbolique résultant. Ce travail s’attache ensuite à améliorer les défauts des méthodes de visualisation hyperbolique en embarquant le modèle de Spring à l’hyperbolique afin de mieux montrer les relations entre les clusters. Plu- sieurs expérimentations sont proposées sur différents types de données documentaires.

Mots-clés : analyse de données multi-vues, fouille de données, clustering numérique, évalua- tion de qualité du clustering, étiquetage des clusters, visualisation hyperbolique, visualisation hiérarchique. Abstract Combining the visualization and the labeling methods plays an important role not only for giving an overall view of the clustering results but also for the precise evaluation of the said results. But at this point, no accurate solution on how to combine such methods has been pro- posed. In this report we present a first attempt of combination of hyperbolic visualization and novel labeling approaches for accurately visualizing data analysis results issued for clustering approach whenever the clusters are originally represented in a highly multidimensional space.

The visualization model relies on a hierarchical algorithm that is used for summarizing the cluster contents in the form on a hypertree in which information on data density issued from the original clusters description space is preserved. The core of this work presents different novel labeling strategies that can be used for describing the basic cluster contents as well as for accurately propagating labels into the different levels of the resulting hypertree. This work then aims to improve the defects of hypertree visualization by embedding the model of Spring to hyperbolic for better showing the relations between the clusters. Several realistic test expe- riments of our proposals are achieved on different kinds of documentary data.

Keywords : multiview data analysis, data mining, clustering, cluster labeling, clustering qua- lity evaluation, hyperbolic visualization, hierarchical visualization. i TIEU LUAN MOI download : [e-mail] Remerciements Mes premiers remerciements vont à mon encadrant Jean-Charles Lamirel pour le temps qu’il m’a consacré durant ce stage, son soutien, ses conseils scientifiques, sa disponibilité et son aide précieuse pour améliorer et aller jusqu’au bout de ce travail de stage. Il m’a vraiement impressionné de par ses qualités humaines et son esprit ouvert. Je tiens à remercier tous les membre de l’équipe CORTEX : Randa, Maxime, Jéremy pour leur soutien et leur accueil et les membres de l’équipe KIWI, Geoffray, Ilham.

Je tiens à remercier Pascal Cuxac et Claire François de l’INIST pour leurs évaluations. Je tiens à remercier Mohammed Attik, un ancien doctorant de l’équipe Cortex pour sa coopération, sa conversation et son soutien. Je tiens à remercier mes Professeurs de l’IFI, qui m’ont donné des connaissances et m’ont aidé à bien suivre la formation de master de l’IFI.