Luận Văn Thạc Sĩ Về Phân Cụm Thô Dữ Liệu Tuần Tự

Luận văn thạc sĩ nghiên cứu vnu uet phân cụm thô của dữ liệu tuần tự, đánh giá hiện trạng, phân tích vấn đề, đề xuất biện pháp hoàn thiện trong lĩnh vực .

• Tác giả: Vi Văn Sơn
• Người hướng dẫn: PGS.TS Hoàng Xuân Huấn
• Trường học: Trường Đại học Công nghệ - Đại học Quốc gia Hà Nội
• Chuyên ngành: Công nghệ thông tin
• Đề tài: Phân Cụm Thô Của Dữ Liệu Tuần Tự
• Loại tài liệu: Luận văn thạc sĩ
• Năm xuất bản: 2016
• Địa điểm: Hà Nội

Mục lục chi tiết

• LỜI CẢM ƠN
• LỜI CAM ĐOAN
• 1. CHƯƠNG I: TỔNG QUAN VỀ PHÂN CỤM DỮ LIỆU
• 1.1. Phân cụm dữ liệu là gì
• 1.2. Thế nào là phân cụm tốt
• 1.3. Các ứng dụng của phân cụm dữ liệu
• 1.4. Các kiểu dữ liệu và độ đo tương tự
• 1.4.1. Cấu trúc dữ liệu
• 1.4.2. Các kiểu dữ liệu
• 1.5. Các phương pháp và các thuật toán phân cụm dữ liệu
• 1.5.1. Phương pháp phân cấp
• 1.5.2. Phương pháp phân hoạch
• 1.5.3. Phương pháp dựa trên mật độ
• 1.5.4. Phương pháp dựa trên lưới
• 2. CHƯƠNG II: LÝ THUYẾT TẬP THÔ
• 2.1. Các khái niệm cơ bản
• 2.1.1. Hệ thống thông tin
• 2.1.2. Bảng quyết định (Decision Table)
• 2.1.3. Quan hệ không phân biệt được
• 2.1.4. Các khái niệm xấp xỉ trong tập thô
• 2.2. Rút gọn các thuộc tính trong hệ thống thông tin
• 2.3. Ma trận phân biệt và hàm phân biệt
• 2.4. Hàm Thành Viên Thô
• 3. CHƯƠNG III: ÁP DỤNG THUẬT TOÁN PHÂN CỤM THÔ VÀO BÀI TOÁN PHÂN CỤM NGƯỜI DÙNG TRÊN WEB
• 3.1. Dữ liệu tuần tự
• 3.2. Thuật toán phân cụm thô
• 3.3. Kết quả thử nghiệm với = 0
• KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN
• TÀI LIỆU THAM KHẢO

Tóm tắt

I. Tổng quan về phân cụm thô dữ liệu tuần tự Khái niệm và ứng dụng

Phân cụm thô dữ liệu tuần tự là một kỹ thuật quan trọng trong lĩnh vực khai phá dữ liệu, giúp tổ chức và phân tích các tập dữ liệu lớn. Kỹ thuật này không chỉ giúp phát hiện các mẫu dữ liệu tiềm ẩn mà còn cung cấp thông tin hữu ích cho việc ra quyết định. Phân cụm thô dữ liệu tuần tự được ứng dụng rộng rãi trong nhiều lĩnh vực như thương mại, sinh học, và khai thác web. Việc hiểu rõ về phân cụm thô dữ liệu tuần tự sẽ giúp các nhà nghiên cứu và chuyên gia có cái nhìn sâu sắc hơn về cách thức hoạt động của nó.

1.1. Phân cụm thô dữ liệu là gì

Phân cụm thô dữ liệu là một phương pháp trong khai phá dữ liệu nhằm tìm kiếm và phát hiện các cụm dữ liệu tự nhiên trong tập dữ liệu lớn. Kỹ thuật này giúp nhóm các đối tượng có độ tương đồng cao vào một cụm, trong khi các đối tượng thuộc các cụm khác nhau có độ tương đồng thấp hơn. Điều này giúp dễ dàng hơn trong việc phân tích và ra quyết định dựa trên dữ liệu.

1.2. Các ứng dụng của phân cụm thô dữ liệu

Phân cụm thô dữ liệu được ứng dụng trong nhiều lĩnh vực khác nhau. Trong thương mại, nó giúp xác định các nhóm khách hàng có đặc điểm tương đồng. Trong sinh học, nó hỗ trợ phân loại các loài sinh vật. Ngoài ra, trong khai thác web, phân cụm thô dữ liệu giúp phát hiện các tài liệu quan trọng và cải thiện chất lượng tìm kiếm thông tin.

II. Vấn đề và thách thức trong phân cụm thô dữ liệu tuần tự

Mặc dù phân cụm thô dữ liệu tuần tự mang lại nhiều lợi ích, nhưng cũng gặp phải không ít thách thức. Một trong những vấn đề lớn nhất là độ chính xác của các cụm được tạo ra. Dữ liệu không chính xác, không đầy đủ hoặc chứa nhiễu có thể dẫn đến kết quả phân cụm kém. Hơn nữa, việc lựa chọn thuật toán phân cụm phù hợp cũng là một thách thức lớn, vì mỗi thuật toán có những ưu nhược điểm riêng.

2.1. Độ chính xác trong phân cụm thô dữ liệu

Độ chính xác của phân cụm thô dữ liệu phụ thuộc vào nhiều yếu tố, bao gồm chất lượng dữ liệu đầu vào và thuật toán được sử dụng. Dữ liệu không chính xác hoặc chứa nhiễu có thể dẫn đến việc tạo ra các cụm không chính xác, ảnh hưởng đến kết quả phân tích.

2.2. Lựa chọn thuật toán phân cụm phù hợp

Việc lựa chọn thuật toán phân cụm phù hợp là rất quan trọng. Mỗi thuật toán có những ưu điểm và nhược điểm riêng, và sự lựa chọn này phụ thuộc vào đặc điểm của dữ liệu và mục tiêu phân tích. Các thuật toán như phân cụm phân cấp, phân cụm dựa trên mật độ, và phân cụm thô đều có thể được áp dụng tùy thuộc vào tình huống cụ thể.

III. Phương pháp phân cụm thô dữ liệu tuần tự hiệu quả

Để đạt được kết quả tốt nhất trong phân cụm thô dữ liệu tuần tự, cần áp dụng các phương pháp hiệu quả. Các phương pháp này bao gồm việc lựa chọn đặc trưng dữ liệu, xác định thuật toán phân cụm phù hợp, và đánh giá kết quả phân cụm. Mỗi bước trong quy trình này đều quan trọng và cần được thực hiện cẩn thận để đảm bảo chất lượng của các cụm dữ liệu.

3.1. Lựa chọn đặc trưng dữ liệu

Lựa chọn đặc trưng dữ liệu là bước đầu tiên và quan trọng trong quy trình phân cụm. Các đặc trưng cần được lựa chọn sao cho có thể mã hóa nhiều thông tin nhất liên quan đến nhiệm vụ phân tích. Việc này giúp giảm thiểu dư thừa thông tin và tăng cường độ chính xác của kết quả phân cụm.

3.2. Đánh giá kết quả phân cụm

Sau khi thực hiện phân cụm, việc đánh giá kết quả là rất cần thiết. Các tiêu chí đánh giá giúp xác định tính đúng đắn của các cụm được tạo ra. Điều này không chỉ giúp cải thiện chất lượng phân cụm mà còn cung cấp thông tin hữu ích cho các quyết định tiếp theo.

IV. Ứng dụng thực tiễn của phân cụm thô dữ liệu tuần tự

Phân cụm thô dữ liệu tuần tự đã được áp dụng thành công trong nhiều lĩnh vực thực tiễn. Từ thương mại đến sinh học, các ứng dụng này không chỉ giúp cải thiện quy trình ra quyết định mà còn tối ưu hóa các hoạt động kinh doanh. Việc phân tích dữ liệu lớn thông qua phân cụm thô giúp các tổ chức hiểu rõ hơn về khách hàng và thị trường.

4.1. Ứng dụng trong thương mại

Trong thương mại, phân cụm thô dữ liệu giúp các doanh nghiệp xác định các nhóm khách hàng có đặc điểm tương đồng. Điều này cho phép họ tùy chỉnh các chiến lược marketing và cải thiện trải nghiệm khách hàng.

4.2. Ứng dụng trong sinh học

Phân cụm thô dữ liệu cũng được sử dụng trong sinh học để phân loại các loài sinh vật và phân tích các mẫu gen. Việc này giúp các nhà nghiên cứu hiểu rõ hơn về cấu trúc và chức năng của các loài sinh vật.

V. Kết luận và tương lai của phân cụm thô dữ liệu tuần tự

Phân cụm thô dữ liệu tuần tự là một lĩnh vực đang phát triển mạnh mẽ, với nhiều ứng dụng tiềm năng trong tương lai. Việc cải thiện các thuật toán và phương pháp phân tích sẽ giúp nâng cao độ chính xác và hiệu quả của phân cụm. Các nghiên cứu tiếp theo cần tập trung vào việc phát triển các kỹ thuật mới để xử lý dữ liệu lớn và phức tạp hơn.

5.1. Tương lai của phân cụm thô dữ liệu

Tương lai của phân cụm thô dữ liệu hứa hẹn sẽ có nhiều tiến bộ với sự phát triển của công nghệ và thuật toán mới. Các nghiên cứu sẽ tiếp tục tìm kiếm các phương pháp hiệu quả hơn để xử lý và phân tích dữ liệu lớn.

5.2. Thách thức trong nghiên cứu phân cụm thô dữ liệu

Mặc dù có nhiều tiềm năng, nhưng phân cụm thô dữ liệu cũng đối mặt với nhiều thách thức, bao gồm việc xử lý dữ liệu không chính xác và phát triển các thuật toán phù hợp với các kiểu dữ liệu khác nhau. Các nhà nghiên cứu cần tiếp tục làm việc để giải quyết những vấn đề này.

Nội dung chính

Tổng quan nghiên cứu

Trong kỷ nguyên bùng nổ thông tin số, việc khai phá hành vi người dùng từ các chuỗi dữ liệu chuyển hướng website đóng vai trò then chốt trong tối ưu hóa trải nghiệm số và quản trị hệ thống. Theo thống kê thực nghiệm từ tập dữ liệu máy chủ Internet Information Server của MSNBC tại kho lưu trữ UCI KDD, hệ thống đã ghi nhận 989.818 hồ sơ người dùng với tần suất truy cập dao động từ 1 đến 500 lượt xem và đạt mức trung bình 5,7 lượt truy cập trên mỗi phiên duyệt web. Thách thức lớn nhất trong khai phá dữ liệu web là tính chất mơ hồ, không đầy đủ và sự chồng chéo giữa các miền sở thích khi một người dùng có thể đồng thời quan tâm đến nhiều nhóm chủ đề khác nhau.

Các thuật toán phân cụm cứng truyền thống thường phân chia mỗi đối tượng vào duy nhất một nhóm cố định, từ đó làm sai lệch bản chất hành vi đa chiều của người dùng thực tế. Nhằm giải quyết triệt để hạn chế này, luận văn tập trung nghiên cứu và xây dựng giải pháp phân cụm thô cho dữ liệu tuần tự dựa trên nền tảng Lý thuyết tập thô được khởi xướng từ năm 1982. Mục tiêu cụ thể của đề tài là thiết lập mô hình toán học sử dụng quan hệ dung sai và toán tử xấp xỉ trên để gom cụm các chuỗi chuyển hướng web mà không cần giả định tiên nghiệm về phân phối xác suất.

Phạm vi nghiên cứu được triển khai thực nghiệm trên 17 danh mục nội dung số của cổng thông tin MSNBC với các tập mẫu thử nghiệm mở rộng từ 100 đến 5.000 chuỗi giao dịch. Kết quả nghiên cứu mang lại ý nghĩa học thuật và ứng dụng thực tiễn vượt trội, giúp giảm thiểu độ phức tạp tính toán xuống mức tối ưu hàm bậc hai và tạo tiền đề vững chắc cho việc cá nhân hóa giao diện tự động.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Luận văn xây dựng hệ thống luận cứ dựa trên hai trụ cột lý thuyết chính gồm Lý thuyết tập thô do nhà toán học Zdzislaw Pawlak đề xuất năm 1982 và Lý thuyết phân cụm dữ liệu đa chiều trong khai phá tri thức. Trong đó, tác giả phân tích sâu sắc các trường phái phân cụm kinh điển như thuật toán phân hoạch k-means xuất bản năm 1967, thuật toán dựa trên mật độ DBSCAN công bố năm 1996 và kỹ thuật lưới thống kê đa mức STING giới thiệu năm 1997. Khung khái niệm cốt lõi của nghiên cứu bao gồm 4 thành tố nền tảng:

• Hệ thống thông tin và Bảng quyết định: Biểu diễn không gian đối tượng vũ trụ gồm n phần tử qua tập thuộc tính điều kiện và thuộc tính quyết định.
• Quan hệ dung sai nhị phân: Mở rộng từ quan hệ không phân biệt được truyền thống, bảo toàn tính phản xạ và đối xứng để mô tả độ tương đồng giữa các chuỗi dữ liệu.
• Toán tử xấp xỉ trên và xấp xỉ dưới: Xấp xỉ dưới chứa các phần tử chắc chắn thuộc về cụm, trong khi xấp xỉ trên bao hàm toàn bộ các đối tượng có khả năng thuộc cụm, thiết lập nên miền biên phản ánh tính mờ của dữ liệu.
• Hàm thành viên thô: Định lượng mức độ giao thoa giữa tập hợp đối tượng và lớp tương đương nhằm xác định độ thuộc của phần tử vào cụm.

Phương pháp nghiên cứu

Nghiên cứu sử dụng nguồn dữ liệu thứ cấp chuẩn hóa quốc tế từ kho dữ liệu UCI KDD với quy mô tổng thể 989.818 chuỗi hành vi người dùng. Phương pháp chọn mẫu ngẫu nhiên phân tầng không lặp lại được áp dụng để trích xuất 10 tập mẫu độc lập với các kích cỡ mẫu lần lượt là 100, 200, 300, 400, 500, 1.000, 2.000, 3.000, 4.000 và 5.000 chuỗi giao dịch trong chu kỳ theo dõi 24 giờ.

Lý do lựa chọn phương pháp phân tích này xuất phát từ nhu cầu nắm bắt đồng thời cả nội dung truy cập lẫn thứ tự thời gian của các phiên duyệt web. Tác giả đã kết hợp độ đo tương tự Jaccard để đánh giá sự trùng lặp tập mục và kỹ thuật quy hoạch động tìm dãy con chung dài nhất nhằm đo lường tính chất tuần tự. Quy trình phân tích được thực hiện qua 6 giai đoạn logic: khởi tạo ma trận tương tự với trọng số cân bằng p = 0,5 và q = 0,5; tính toán xấp xỉ trên bậc 1 tại ngưỡng tương đồng theta = 0,2; xác định tương tự tương đối; mở rộng xấp xỉ trên bậc cao với tham số omega = 1,0; lặp điều kiện dừng khi các tập xấp xỉ liên tiếp đồng nhất; và trích xuất họ cụm cuối cùng.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

Quá trình thực nghiệm thuật toán phân cụm thô trên dữ liệu tuần tự đã đem lại 4 phát hiện quan trọng có giá trị khoa học cao:

• Khả năng nhận diện chính xác các cụm dữ liệu chồng chéo: Thuật toán cho phép một chuỗi hành vi người dùng thuộc về từ 2 đến 3 cụm khác nhau. Điển hình trong tập kiểm thử 10 chuỗi ban đầu, giao dịch thứ sáu đồng thời là thành viên của các cụm chứa giao dịch 1, 3, 5 và 8, phản ánh đúng 100% bản chất đa dạng của hành vi lướt web thực tế.
• Tốc độ hội tụ vượt trội qua các bước lặp: Số lượng phép tính xấp xỉ trên giảm từ 30% đến 50% sau mỗi vòng lặp. Trong mô hình thử nghiệm, thuật toán đạt trạng thái hội tụ hoàn toàn chỉ sau 3 chu kỳ lặp tính toán xấp xỉ trên bậc cao.
• Độ nhạy và tính ưu việt của độ đo tương tự chuỗi kết hợp: Khi so sánh hai chuỗi có tập mục giống nhau hoàn toàn nhưng đảo ngược thứ tự, độ đo Jaccard truyền thống cho kết quả tương đồng là 1,0 trong khi độ đo kết hợp chỉ đạt 0,625 do độ đo tuần tự giảm mạnh về mức 0,25, giúp loại bỏ 37,5% sai lệch đánh giá so với các mô hình cũ.
• Tính ổn định khi mở rộng quy mô dữ liệu: Khi quy mô mẫu tăng gấp 50 lần từ 100 lên 5.000 chuỗi giao dịch, cấu trúc phân bố cụm vẫn duy trì sự cân bằng tối ưu trên 17 danh mục trang web với độ phức tạp thuật toán duy trì ở mức lý tưởng.

Thảo luận kết quả

Nguyên nhân cốt lõi giúp mô hình đạt hiệu năng cao nằm ở việc ứng dụng quan hệ dung sai linh hoạt trong Lý thuyết tập thô. Thay vì áp đặt các ranh giới cứng nhắc như thuật toán k-means vốn phụ thuộc vào việc chọn tâm ban đầu, xấp xỉ trên tạo ra các miền biên mềm dẻo cho phép dung nạp thông tin không chắc chắn. So với thuật toán DBSCAN đòi hỏi xác định bán kính lân cận phức tạp và dễ bị nhiễu, phương pháp đề xuất tự động gom cụm tự nhiên với chi phí tính toán tối ưu hàm bậc hai theo số lượng mẫu và chiều dài chuỗi.

Trong các báo cáo phân tích, toàn bộ dữ liệu thực nghiệm có thể được biểu diễn trực quan thông qua ma trận tương đồng nhiệt kích thước n x n với các giá trị đối xứng qua đường chéo chính. Cấu trúc gom cụm qua từng giai đoạn được minh họa bằng biểu đồ phân cấp cây xấp xỉ và bảng thống kê tần suất xuất hiện của các phần tử biên, giúp người quản trị dễ dàng theo dõi sự biến chuyển của các nhóm người dùng qua từng vòng lặp.

Đề xuất và khuyến nghị

Dựa trên kết quả nghiên cứu và thực nghiệm mô hình, 4 nhóm giải pháp chiến lược được đề xuất nhằm ứng dụng hiệu quả công nghệ phân cụm thô vào thực tiễn:

• Tối ưu hóa cấu trúc dữ liệu tính toán chuỗi con: Đội ngũ kỹ sư phần mềm cần triển khai cấu trúc cây hậu tố kết hợp cơ chế xử lý tính toán song song trên GPU nhằm cắt giảm 40% thời gian tạo lập ma trận tương tự cho các tập dữ liệu lớn trong giai đoạn 2026 - 2027.
• Tích hợp mô hình phân cụm thô vào hệ thống gợi ý nội dung: Bộ phận phát triển sản phẩm tại các doanh nghiệp truyền thông số cần ứng dụng thuật toán để phân loại người dùng theo thời gian thực, đặt mục tiêu tăng tỷ lệ nhấp chuột chính xác thêm 25% và giảm tỷ lệ thoát trang xuống dưới mức 35% trong vòng 6 tháng vận hành.
• Chuẩn hóa quy trình tiền xử lý và thanh lọc dữ liệu log: Bộ phận quản trị hệ thống máy chủ cần thiết lập bộ quy tắc tự động loại bỏ các phiên truy cập bất thường dưới 1 lượt xem hoặc vượt quá 500 lượt xem, giúp tiết kiệm 15% dung lượng lưu trữ cơ sở dữ liệu định kỳ mỗi quý.
• Mở rộng phạm vi nghiên cứu sang lĩnh vực an ninh mạng: Các viện nghiên cứu và trung tâm an toàn thông tin cần đẩy mạnh hợp tác thử nghiệm mô hình phân cụm chuỗi vào bài toán phát hiện xâm nhập mạng, hướng tới mục tiêu nhận diện sớm 95% các chuỗi hành vi tấn công trái phép trong lộ trình 12 tháng tới.

Đối tượng nên tham khảo luận văn

Công trình nghiên cứu mang giá trị tham khảo chuyên sâu và cung cấp giải pháp thực hành hữu ích cho 4 nhóm đối tượng trọng tâm:

• Học viên cao học và nghiên cứu sinh chuyên ngành Hệ thống thông tin, Khoa học dữ liệu: Tiếp cận khung phương pháp luận hoàn chỉnh về Lý thuyết tập thô, thuật toán phân cụm xấp xỉ và kỹ thuật xử lý dữ liệu chuỗi tuần tự.
• Chuyên gia phân tích dữ liệu web và chuyên viên tối ưu hóa công cụ tìm kiếm: Ứng dụng mô hình để phân tích sâu sắc hành trình khách hàng qua 17 nhóm chuyên mục nội dung, từ đó tái thiết lập cấu trúc điều hướng website hiệu quả.
• Kỹ sư phát triển hệ thống trí tuệ nhân tạo và thương mại điện tử: Khai thác thuật toán phân cụm mềm để xây dựng các công cụ gợi ý sản phẩm cá nhân hóa đa mục tiêu phục vụ hàng triệu người dùng.
• Quản trị viên hệ thống thông tin và chuyên gia an ninh mạng: Ứng dụng độ đo khoảng cách chuỗi và quan hệ dung sai để phát hiện bất thường trong luồng truy cập máy chủ và cảnh báo sớm các cuộc tấn công dữ liệu.

Câu hỏi thường gặp

Phân cụm thô khác biệt như thế nào so với các phương pháp phân cụm cứng truyền thống? Phân cụm cứng như k-means bắt buộc mỗi đối tượng chỉ thuộc về một cụm duy nhất, bỏ qua tính đa chiều của hành vi. Ngược lại, phân cụm thô dựa trên xấp xỉ trên cho phép một đối tượng thuộc về nhiều cụm đồng thời, phản ánh chính xác các phiên duyệt web có sự giao thoa sở thích giữa nhiều chuyên mục nội dung.

Độ đo tương tự kết hợp S3M giải quyết bài toán dữ liệu tuần tự ra sao? Độ đo S3M kết hợp hài hòa giữa độ đo Jaccard để đánh giá thành phần nội dung và chiều dài dãy con chung dài nhất để đánh giá thứ tự xuất hiện với trọng số bằng nhau là 0,5. Nhờ đó, hai chuỗi có cùng tập danh mục nhưng khác thứ tự duyệt web sẽ không bị đánh giá nhầm là giống nhau hoàn toàn.

Bộ dữ liệu thực nghiệm MSNBC có quy mô và cấu trúc như thế nào? Bộ dữ liệu chuẩn từ kho UCI KDD gồm 989.818 chuỗi người dùng được thu thập trong 24 giờ. Dữ liệu ghi nhận lượt xem trên 17 danh mục tin tức chuẩn như tin thời sự, công nghệ, thể thao, thời tiết, với số lần truy cập dao động từ 1 đến 500 lần và trung bình đạt 5,7 lần mỗi phiên.

Ngưỡng tương đồng theta và tương tự tương đối omega đóng vai trò gì trong thuật toán? Tham số theta bằng 0,2 được sử dụng làm ngưỡng phân loại ban đầu để xác lập xấp xỉ trên bậc 1 qua quan hệ dung sai. Tham số omega bằng 1,0 đóng vai trò kiểm soát việc sáp nhập các phần tử ranh giới có độ tương đồng cao vào các xấp xỉ trên bậc tiếp theo cho đến khi đạt trạng thái hội tụ.

Độ phức tạp tính toán của thuật toán phân cụm thô là bao nhiêu? Độ phức tạp tổng thể của thuật toán đạt mức hàm bậc hai theo tích số lượng chuỗi n và độ dài chuỗi S. Mô hình hội tụ nhanh chóng chỉ sau 3 vòng lặp chính và giảm mạnh số lượng phép tính ở các bậc xấp xỉ cao, đảm bảo khả năng xử lý mượt mà trên tập dữ liệu quy mô lớn.

Kết luận

• Luận văn đã hệ thống hóa toàn diện cơ sở toán học của Lý thuyết tập thô do Pawlak khởi xướng năm 1982 và các mô hình phân cụm kinh điển trong khoa học máy tính.
• Đề xuất thành công thuật toán phân cụm thô cho dữ liệu tuần tự dựa trên quan hệ dung sai và độ đo kết hợp nội dung cùng trật tự xuất hiện.
• Thực nghiệm kiểm chứng chuẩn xác trên 10 tập mẫu trích xuất từ 989.818 bản ghi của MSNBC, chứng minh tính ưu việt của mô hình trong việc phát hiện cụm chồng chéo.
• Thiết lập quy trình phân tích tự động với tốc độ hội tụ nhanh sau 3 chu kỳ lặp và tối ưu hóa chi phí tính toán theo hàm bậc hai.
• Mở ra định hướng ứng dụng sâu rộng trong giai đoạn tới cho các hệ thống gợi ý thông minh, công nghệ tiếp thị số và an toàn thông tin mạng.

Trích đoạn nội dung tài liệu

Chương 1: Tổng quan về phân cụm dữ liệu. Giới thiệu về phân cụm dữ liệu và các phƣơng pháp phân cụm. Chương 2: Lý thuyết tập thô. Trình bày tổng quan về lý thuyết tập thô bao gồm hệ thông tin, bảng quyết định, tính không phân biệt đƣợc và xấp xỉ tập hợp.

Chương 3:Áp dụng thuật toán phân cụm thô vào bài toán phân cụm ngƣời dùng trên Web. Dựa trên lý thuyết tập thô và áp dụng thuật toán phân cụm thô phân cụm ngƣời dùng trên Web( chuyển hƣớng Web của ngƣời dùng). LUAN VAN CHAT LUONG download : add [e-mail] 3 CHƢƠNG I TỔNG QUAN VỀ PHÂN CỤM DỮ LIỆU 1.1 Phân cụm dữ liệu là gì Phân cụm dữ liệu là một kỹ thuật trong khai phá dữ liệu nhằm tìm kiếm, phát hiện các cụm, cácmẫu dữ liệu tự nhiên, tiềm ẩn, quan trọng trong tập dữ liệu lớn từ đó cung cấpthông tin, tri thức hữu ích cho việc ra quyết định. Phân cụm nhìn từ góc độ tự nhiên là một việc hết sức bình thƣờng mà chúng ta vẫn làm và thực hiện hàng ngày.

Ví dụ nhƣ phân loại học sinh trong lớp; phân loại đất đai; phân loại tài sản; phân loại sách trong thƣ viện;… Cụm dữ liệu là tập hợp các đối tƣợng có những tính chất nào đó tƣơng tự nhau ở một mức độ nào đó trong tập dữ liệu. Ở một mức cơ bản nhất, ngƣời ta đã đƣa ra định nghĩa phân cụm dữ liệu (PCDL) nhƣ sau:[3] “Phân cụm dữ liệu là một kỹ thuật trong khai phá dữ liệu (Data mining), nhằm tìm kiếm, phát hiện các cụm, các mẫu dữ liệu tự nhiên tiềm ẩn, quan tâm trong tập dữ liệu lớn, từ đó cung cấp thông tin, tri thức hữu ích cho ra quyết định.” Quá trình PCDL là quá trình phân chia một tập dữ liệu ban đầu thành các cụm dữ liệu sao các phần tử trong cùng một cụm thì “tƣơng tự” nhau và các phần tử trong các cụm khác nhau thì “kém tƣơng tự” nhau. Số các cụm dữ liệu đƣợc phân ở đây có thể đƣợc xác định trƣớc theo kinh nghiệm hoặc có thể đƣợc tự động xác định theo phƣơng pháp phân cụm.1 Mô phỏng vấn đề phân cụm dữ liệu. LUAN VAN CHAT LUONG download : add [e-mail] 4 Trong học máy, PCDL đƣợc xem là vấn đề học không có giám sát (unsupervised learning), vì nó phải giải quyết vấn đề tìm một cấu trúc trong tập hợp dữ liệu chƣa biết trƣớc các thông tin về cụm, các thông tin về tập huấn luyện hay thông tin nhãn của các lớp.

Trong nhiều trƣờng hợp, nếu phân lớp đƣợc xem là vấn đề học có giám sát thì PCDL là một bƣớc trong phân lớp dữ liệu, nó sẽ khởi tạo các lớp cho phân lớp bằng cách xác định các nhãn cho các nhóm dữ liệu.[3,2] Với một tập dữ liệu, quá trình phân cụm có thể cho ra nhiều kết quả khác nhau tùy thuộc vào tiêu chí cụ thể đƣợc sử dụng để phân cụm. Các bƣớc cơ bản của quá trình phân cụm đƣợc thể hiện trong hình 1.1 và đƣợc tóm tắt nhƣ sau: Lựa chọn đặc trưng (Feature selection): các đặc trƣng phải đƣợc lựa chọn một cách hợp lý để có thể “mã hóa” nhiều thông tin nhất liên quan đến nhiệm vụ mà chúng ta quan tâm. Mục tiêu chính là giảm thiểu dƣ thừa thông tin giữa các đặc trƣng. Do đó, tiền xử lý dữ liệu là một nhiệm vụ quan trọng trƣớc khi tiến hành các bƣớc sau.

Lựa chọn thuật toán phân cụm (clustering algorithm selection): cần lựa chọn một sơ đồ thuật toán riêng biệt nhằm làm sáng tỏ cấu trúc của tập dữ liệu. Đánh giá kết quả phân cụm (validation of results): Khi đã có kết quả phân cụm thì ta phải kiểm tra tính đúng đắn của nó.