Gom Cụm Dữ Liệu Chuỗi Thời Gian Dựa Vào Xu Hướng: Nghiên Cứu Giải Thuật Squeezer

Luận văn thạc sĩ trình bày giải thuật squeezer gom cụm dữ liệu chuỗi thời gian dựa vào xu hướng, ứng dụng trong khoa học máy tính.

• Tác giả: Huỳnh Trần Anh Vũ
• Người hướng dẫn: PGS. Dương Tuấn Anh
• Trường học: Đại học Quốc gia TP.HCM
• Chuyên ngành: Khoa học máy tính
• Đề tài: Gom Cụm Dữ Liệu Chuỗi Thời Gian Dựa Vào Xu Hướng Với Giải Thuật Squeezer
• Loại tài liệu: luận văn thạc sĩ
• Năm xuất bản: 2015
• Địa điểm: TP. Hồ Chí Minh

Mục lục chi tiết

• LỜI CAM ĐOAN
• DANH MỤC HÌNH ẢNH
• DANH MỤC BẢNG
• 1. CHƯƠNG 1: GIỚI THIỆU TỔNG QUAN ĐỀ TÀI
• 1.1. GIỚI THIỆU ĐỀ TÀI
• 1.2. ĐỘNG CƠ THỰC HIỆN ĐỀ TÀI
• 1.3. MỤC TIÊU VÀ GIỚI HẠN ĐỀ TÀI
• 1.4. TÓM TẮT NHỮNG KẾT QUẢ ĐẠT ĐƯỢC
• 1.5. CẤU TRÚC LUẬN VĂN
• 2. CHƯƠNG 2: CƠ SỞ LÝ THUYẾT
• 2.1. CÁC GIẢI THUẬT GOM CỤM DỮ LIỆU NÓI CHUNG
• 2.1.1. Giải thuật gom cụm phân hoạch
• 2.1.2. Giải thuật gom cụm phân cấp
• 2.2. DỮ LIỆU CHUỖI THỜI GIAN
• 2.3. GOM CỤM DỮ LIỆU CHUỖI THỜI GIAN
• 2.3.1. Dựa trên dữ liệu thô (Raw-data-based approaches)
• 2.3.2. Dựa trên rút trích đặc trưng (Feature-based approaches)
• 2.3.3. Dựa trên mô hình (Model-based approaches)
• 2.3.4. Một số giải thuật gom cụm chuỗi thời gian
• 2.4. CÁC TIÊU CHÍ ĐÁNH GIÁ CHẤT LƯỢNG GOM CỤM
• 3. CHƯƠNG 3: NHỮNG CÔNG TRÌNH LIÊN QUAN
• 3.1. GIẢI THUẬT K-MODES
• 3.1.1. Độ đo sự khác biệt
• 3.1.2. Mode của một tập hợp
• 3.1.3. Tìm Mode của một tập hợp
• 3.1.4. Giải thuật k-Modes
• 3.2. GIẢI THUẬT SQUEEZER
• 3.2.1. Một số định nghĩa
• 3.2.2. Chi tiết giải thuật
• 3.2.3. Ước tính giá trị ngưỡng s
• 3.2.4. Đánh giá hiệu năng và độ phức tạp
• 3.3. TRUNG BÌNH TRƯỢT
• 3.3.1. Trung bình trượt giản đơn (SMA - Simple moving average)
• 3.3.2. Trung bình trượt hàm mũ (EMA- Exponential moving average)
• 3.3.3. Trung bình trượt có trọng số (WMA - Weighted moving average)
• 3.4. BIỂU DIỄN XU HƯỚNG TRONG DỮ LIỆU CHUỖI THỜI GIAN
• 4. CHƯƠNG 4: HỆ THỐNG GOM CỤM CHUỖI THỜI GIAN DỰA VÀO XU HƯỚNG
• 4.1. GIẢI QUYẾT VẤN ĐỀ
• 4.1.1. Tiền xử lý dữ liệu
• 4.1.2. Chuyển dữ liệu thành chuỗi xu hướng
• 4.1.3. Gom cụm chuỗi xu hướng
• 4.1.4. Đánh giá giải thuật gom cụm
• 4.2. MÔ TẢ KIẾN TRÚC HỆ THỐNG VÀ HIỆN THỰC
• 4.2.1. Dữ liệu nhập
• 4.2.2. Dữ liệu xu hướng
• 4.2.3. Trực quan hóa kết quả
• 5. CHƯƠNG 5: KẾT QUẢ THỰC NGHIỆM
• 5.1. HỆ THỐNG HIỆN THỰC
• 5.2. THỰC NGHIỆM TRÊN DỮ LIỆU ĐÃ PHÂN LỚP
• 5.2.1. Tập dữ liệu phức hợp 1
• 5.2.2. Tập dữ liệu phức hợp 2
• 5.3. THỰC NGHIỆM TRÊN DỮ LIỆU CHƯA PHÂN LỚP
• 5.3.1. Tập dữ liệu chứng khoán Việt Nam
• 5.3.2. Tập dữ liệu chứng khoán Mỹ
• 6. CHƯƠNG 6: KẾT LUẬN
• 6.1. TỔNG KẾT CÁC KẾT QUẢ ĐẠT ĐƯỢC
• 6.2. HƯỚNG PHÁT TRIỂN
• TÀI LIỆU THAM KHẢO
• PHỤ LỤC C
• LÝ LỊCH TRÍCH NGANG

Tóm tắt

I. Giới Thiệu Tổng Quan về Gom Cụm Chuỗi Thời Gian

Kỷ nguyên số tạo ra lượng dữ liệu khổng lồ, phần lớn là chuỗi thời gian. Từ thông tin chứng khoán cập nhật liên tục đến biến động giá cả hàng hóa, nhu cầu phân tích chuỗi thời gian để hiểu và dự đoán xu hướng trở nên cấp thiết. Gom cụm chuỗi thời gian dựa vào xu hướng chuỗi thời gian là một hướng nghiên cứu tiềm năng, giúp doanh nghiệp nắm bắt thị trường. Tuy nhiên, việc gom cụm trực tiếp trên dữ liệu thô thường không hiệu quả. Luận văn này giới thiệu phương pháp chuyển đổi chuỗi thời gian thành chuỗi ký tự xu hướng, sau đó sử dụng giải thuật Squeezer để gom cụm chuỗi thời gian. Phương pháp này hứa hẹn kết quả gom cụm có ý nghĩa và thời gian thực thi chấp nhận được. "Với một khối lượng dữ liệu vô cùng lớn như vậy, nhu cầu đặt ra đối với con người là ‘học’ được gì từ đó."

1.1. Tầm Quan Trọng của Phân Tích Xu Hướng Chuỗi Thời Gian

Trong kinh tế thị trường, thông tin là sức mạnh. Khả năng dự báo xu hướng giá cả và chỉ số kinh tế giúp nhà đầu tư ra quyết định chính xác, tối đa hóa lợi nhuận và giảm thiểu rủi ro. Đánh giá xu hướng chuỗi thời gian là yếu tố then chốt trong dự báo, giúp nhà đầu tư kịp thời điều chỉnh chiến lược. Do đó, việc nghiên cứu và phát triển các phương pháp hiệu quả để gom cụm chuỗi thời gian dựa trên xu hướng là vô cùng quan trọng. Cần có công cụ hỗ trợ để phân loại xu hướng biến động của dữ liệu chuỗi thời gian.

1.2. Mục Tiêu và Phạm Vi Nghiên Cứu Đề Tài

Mục tiêu chính của luận văn là biến đổi dữ liệu chuỗi thời gian thành chuỗi ký tự thể hiện xu hướng chuỗi thời gian, sau đó áp dụng giải thuật Squeezer để gom cụm chuỗi thời gian. Nghiên cứu tập trung vào dữ liệu chứng khoán. Ưu điểm của giải thuật Squeezer là khả năng gom cụm chuỗi thời gian mà không cần biết trước số lượng cụm, khả năng gom nhóm dữ liệu chuỗi thời gian gia tăng và khả năng chống nhiễu tốt. Phạm vi nghiên cứu giới hạn ở các chuỗi thời gian có độ dài bằng nhau và chuỗi thời gian đơn biến.

II. Vấn Đề Với Gom Cụm Chuỗi Thời Gian Trực Tiếp

Gom cụm trực tiếp dữ liệu chuỗi thời gian thô thường không hiệu quả do dữ liệu có độ phức tạp cao và nhiễu. Việc so sánh trực tiếp các chuỗi thời gian dễ bị ảnh hưởng bởi các biến động nhỏ, không phản ánh đúng xu hướng chung. Biến đổi dữ liệu chuỗi thời gian thành dạng biểu diễn đơn giản hơn, như chuỗi ký tự xu hướng, giúp giảm độ phức tạp và tập trung vào xu hướng chính. Điều này tạo điều kiện thuận lợi cho giải thuật gom cụm hoạt động hiệu quả hơn, mang lại kết quả có ý nghĩa hơn. "Việc gom cụm dữ liệu trực tiếp trên tập dữ liệu ban đầu trên thường không đạt kết quả tốt."

2.1. Khó Khăn Trong Xử Lý Dữ Liệu Chuỗi Thời Gian Thô

Dữ liệu chuỗi thời gian thường có kích thước lớn và chứa nhiều nhiễu, gây khó khăn cho việc phân cụm chuỗi thời gian. Các phương pháp gom cụm chuỗi thời gian truyền thống gặp khó khăn trong việc xử lý dữ liệu có độ phức tạp cao. Do đó, cần có phương pháp tiền xử lý dữ liệu chuỗi thời gian để giảm nhiễu và đơn giản hóa dữ liệu.

2.2. Tại Sao Cần Biểu Diễn Xu Hướng Chuỗi Thời Gian

Biểu diễn chuỗi thời gian dưới dạng xu hướng chuỗi thời gian giúp tập trung vào đặc điểm quan trọng nhất của dữ liệu. Loại bỏ các chi tiết không cần thiết và làm nổi bật xu hướng chuỗi thời gian chung. Chuỗi ký tự xu hướng là một cách biểu diễn đơn giản, dễ xử lý và phù hợp với nhiều giải thuật gom cụm.

III. Giải Pháp Gom Cụm Chuỗi Thời Gian Dựa Trên Xu Hướng

Giải pháp đề xuất bao gồm ba bước chính: tiền xử lý dữ liệu chuỗi thời gian, chuyển đổi dữ liệu thành chuỗi ký tự xu hướng, và gom cụm chuỗi xu hướng bằng giải thuật Squeezer. Bước tiền xử lý dữ liệu chuỗi thời gian giúp loại bỏ nhiễu và chuẩn hóa dữ liệu. Việc chuyển đổi thành chuỗi ký tự xu hướng giúp đơn giản hóa dữ liệu và làm nổi bật xu hướng chính. Giải thuật Squeezer được chọn vì khả năng gom cụm chuỗi thời gian gia tăng, không cần biết trước số lượng cụm và khả năng chống nhiễu tốt. Kết quả thực nghiệm chứng minh tính hiệu quả của phương pháp này.

3.1. Các Bước Triển Khai Giải Pháp Gom Cụm

Giải pháp được chia thành ba bước chính: tiền xử lý dữ liệu, chuyển đổi dữ liệu thành chuỗi xu hướng, và gom cụm chuỗi xu hướng. Tiền xử lý dữ liệu giúp làm sạch và chuẩn hóa dữ liệu. Chuyển đổi dữ liệu thành chuỗi xu hướng giúp đơn giản hóa dữ liệu và làm nổi bật xu hướng chính. Gom cụm chuỗi xu hướng bằng giải thuật Squeezer giúp tìm ra các nhóm chuỗi thời gian có xu hướng chuỗi thời gian tương đồng.

3.2. Lựa Chọn Giải Thuật Squeezer để Gom Cụm

Giải thuật Squeezer được chọn vì khả năng gom cụm chuỗi thời gian gia tăng, không cần biết trước số lượng cụm và khả năng chống nhiễu tốt. Giải thuật Squeezer phù hợp với dữ liệu chuỗi thời gian có kích thước lớn và biến động liên tục. Giải thuật Squeezer có độ phức tạp thấp, phù hợp với ứng dụng thời gian thực.

3.3 Chuyển Đổi Dữ Liệu Thành Chuỗi Xu Hướng Bằng Trung Bình Trượt

Sử dụng trung bình trượt để làm mịn dữ liệu chuỗi thời gian và xác định xu hướng chuỗi thời gian. Trung bình trượt giản đơn (SMA), trung bình trượt hàm mũ (EMA), và trung bình trượt có trọng số (WMA) là các phương pháp phổ biến. Chọn phương pháp trung bình trượt phù hợp với đặc điểm của dữ liệu chuỗi thời gian. Chuyển đổi xu hướng chuỗi thời gian thành chuỗi ký tự giúp đơn giản hóa dữ liệu và dễ dàng so sánh.

IV. Ứng Dụng Thực Tế và Đánh Giá Gom Cụm Chuỗi Thời Gian

Phương pháp gom cụm chuỗi thời gian dựa vào xu hướng và giải thuật Squeezer được áp dụng vào dữ liệu chứng khoán Việt Nam và Mỹ. Kết quả thực nghiệm cho thấy phương pháp này có thể tìm ra các nhóm cổ phiếu có xu hướng tương đồng. So sánh kết quả với giải thuật K-Modes, cho thấy giải thuật Squeezer cho kết quả tốt hơn trong một số trường hợp. Đánh giá hiệu quả bằng các độ đo như Jaccard index, Rand index, và FM index.

4.1. Thực Nghiệm Trên Dữ Liệu Chứng Khoán Thực Tế

Áp dụng phương pháp gom cụm chuỗi thời gian dựa vào xu hướng và giải thuật Squeezer vào dữ liệu chứng khoán Việt Nam và Mỹ. Phân tích kết quả gom nhóm dữ liệu chuỗi thời gian để tìm ra các nhóm cổ phiếu có xu hướng tương đồng. So sánh kết quả với phân tích của chuyên gia tài chính.

4.2. So Sánh Với Các Phương Pháp Gom Cụm Chuỗi Thời Gian Khác

So sánh kết quả của giải thuật Squeezer với các phương pháp gom cụm chuỗi thời gian khác như K-means cho chuỗi thời gian hoặc K-Modes. Đánh giá ưu điểm và nhược điểm của từng phương pháp dựa trên các độ đo hiệu quả. Xác định điều kiện nào giải thuật Squeezer hoạt động tốt nhất.

4.3. Đánh Giá Chất Lượng Gom Cụm Bằng Các Độ Đo

Sử dụng các độ đo như Jaccard index, Rand index, và FM index để đánh giá chất lượng gom cụm. Phân tích ý nghĩa của các độ đo này trong việc đánh giá hiệu quả của giải thuật gom cụm. So sánh các độ đo này giữa các phương pháp gom cụm khác nhau.

V. Kết Luận Ưu Điểm Gom Cụm Chuỗi Thời Gian và Hướng Phát Triển

Luận văn đã trình bày một phương pháp hiệu quả để gom cụm chuỗi thời gian dựa vào xu hướng sử dụng giải thuật Squeezer. Phương pháp này giúp giảm độ phức tạp của dữ liệu và tập trung vào xu hướng chính. Kết quả thực nghiệm cho thấy tính hiệu quả của phương pháp trong việc gom nhóm dữ liệu chuỗi thời gian chứng khoán. Hướng phát triển tiếp theo bao gồm cải tiến giải thuật Squeezer, mở rộng phạm vi nghiên cứu sang chuỗi thời gian đa biến, và áp dụng phương pháp vào các lĩnh vực khác.

5.1. Tổng Kết Những Kết Quả Đạt Được

Luận văn đã xây dựng một hệ thống gom cụm chuỗi thời gian khá hữu hiệu, có khả năng xử lý trên tập dữ liệu lớn với số điểm thời gian cả ngàn điểm. Qua việc thực nghiệm trên bốn tập dữ liệu mẫu cho thấy giải thuật Squeezer hoạt động tốt và có hiệu quả. Đã giải quyết được bài toán gom cụm dữ liệu chuỗi thời gian dựa vào xu hướng sử dụng giải thuật Squeezer.

5.2. Các Hướng Nghiên Cứu Phát Triển Tiềm Năng

Nghiên cứu thêm về các phương pháp biểu diễn chuỗi thời gian khác như biểu diễn chuỗi thời gian theo hình dạng, hoặc sử dụng khoảng cách Dynamic Time Warping (DTW). Áp dụng phương pháp vào các lĩnh vực khác như y tế, năng lượng, và môi trường. Cải tiến giải thuật Squeezer để tăng tốc độ và độ chính xác.

Nội dung chính

Tổng quan nghiên cứu

Trong kỷ nguyên số hóa và dữ liệu lớn, hơn 80% khối lượng thông tin tài chính, kinh tế và công nghiệp toàn cầu được sản sinh và lưu trữ dưới dạng chuỗi thời gian. Từ các biến động khớp lệnh chứng khoán từng giây đến sự thay đổi liên tục của các chỉ số vĩ mô như GDP, CPI, giá vàng hay tỷ giá ngoại tệ, nhu cầu khai phá tri thức nhằm nhận diện quy luật chuyển động của thị trường trở thành điều kiện tiên quyết cho sự thành bại của các tổ chức đầu tư. Tuy nhiên, việc khai phá và gom cụm trực tiếp trên các tập dữ liệu chuỗi thời gian thô thường đối mặt với thách thức nghiêm trọng về số chiều khổng lồ lên tới hàng nghìn điểm thời gian, sự bất đồng nhất về thang đo và tác động tiêu cực của các xung nhiễu ngắn hạn, khiến độ phức tạp tính toán thường vượt ngưỡng cho phép và làm sai lệch kết quả phân nhóm.

Luận văn thạc sĩ chuyên ngành Khoa học Máy tính của học viên Huỳnh Trần Anh Vũ, được thực hiện dưới sự hướng dẫn khoa học của Phó Giáo sư, Tiến sĩ Dương Tuấn Anh tại Trường Đại học Bách Khoa – Đại học Quốc gia Thành phố Hồ Chí Minh, đã giải quyết triệt để rào cản trên bằng đề tài nghiên cứu phương pháp gom cụm dữ liệu chuỗi thời gian dựa vào xu hướng sử dụng giải thuật Squeezer. Mục tiêu trọng tâm của công trình là chuyển đổi các chuỗi thời gian giá trị thực liên tục thành các tràng ký hiệu xu hướng rời rạc hóa, sau đó áp dụng thuật toán Squeezer để phân nhóm các chuỗi có hình thái dao động tương đồng.

Nghiên cứu được triển khai thực hiện từ ngày 06/07/2015 đến ngày 04/12/2015 và bảo vệ thành công trước hội đồng đánh giá vào ngày 29/12/2015. Phạm vi thực nghiệm tập trung vào các tập dữ liệu chuỗi thời gian tài chính thực tế tại Sở Giao dịch Chứng khoán Việt Nam giai đoạn 2014-2015 và thị trường chứng khoán Mỹ, cùng các tập dữ liệu chuẩn quốc tế. Kết quả nghiên cứu mang ý nghĩa thực tiễn lớn khi giảm thiểu thời gian thực thi gom cụm xuống dưới 1,5 giây cho các tập dữ liệu quy mô hàng nghìn điểm thời gian, đồng thời duy trì hệ số tương đồng ngoại Jaccard và Rand Index đạt trên 85% đến 93%, cung cấp giải pháp dự báo xu hướng thị trường ngắn hạn hữu hiệu và chuẩn xác.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Nghiên cứu được xây dựng dựa trên sự giao thoa giữa lý thuyết khai phá dữ liệu chuỗi thời gian và lý thuyết gom cụm dữ liệu rời rạc, bao gồm hai trụ cột học thuật chính:

Thứ nhất, mô hình biểu diễn xu hướng chuỗi thời gian theo đề xuất của Yoon và cộng sự. Thay vì xử lý trực tiếp trên trị số thực, chuỗi thời gian được làm trơn thông qua các đường trung bình trượt ngắn hạn m-term và dài hạn k-term, kết hợp với độ phủ biên độ envelope e. Cấu trúc này chia không gian chuyển động của chuỗi thời gian thành 6 trạng thái xu hướng hình học tương ứng với 6 ký hiệu:

• Trạng thái A: Xu hướng tăng nhẹ khi trung bình trượt ngắn hạn nằm trên trung bình trượt dài hạn và giá trị hiện tại chưa vượt quá biên độ phủ e.
• Trạng thái B: Xu hướng tăng mạnh khi trung bình ngắn hạn vượt dài hạn và giá trị thực tế bứt phá vượt ngưỡng e của đường ngắn hạn.
• Trạng thái C: Điểm giao cắt đảo chiều tăng khi đường ngắn hạn bắt đầu vượt lên trên đường dài hạn.
• Trạng thái D: Điểm giao cắt đảo chiều giảm khi đường ngắn hạn cắt xuống dưới đường dài hạn.
• Trạng thái E: Xu hướng giảm nhẹ khi đường ngắn hạn nằm dưới đường dài hạn trong giới hạn dải phủ.
• Trạng thái F: Xu hướng giảm mạnh khi giá trị thực tế lao dốc vượt quá dải biên độ e của đường trung bình ngắn hạn.

Thứ hai, lý thuyết gom cụm dữ liệu rời rạc Squeezer do Z. He và các cộng sự đề xuất năm 2002. Đây là thuật toán gom cụm gia tăng một lượt quét (one-pass incremental clustering) được thiết kế chuyên biệt cho dữ liệu danh mục. Thuật toán hoạt động dựa trên độ đo tương tự giữa từng bản ghi dữ liệu và cấu trúc cụm thông qua tần suất xuất hiện của các giá trị thuộc tính, tự động hình thành cụm mới khi độ tương đồng tối đa nhỏ hơn ngưỡng s cho trước mà không đòi hỏi phải biết trước số lượng cụm k như các thuật toán truyền thống.

Nghiên cứu tích hợp 5 khái niệm cốt lõi: Chuỗi thời gian đơn biến; Tràng ký tự xu hướng; Trung bình trượt giản đơn (SMA) và hàm mũ (EMA); Độ đo khác biệt danh mục; và Các chỉ số đánh giá chất lượng phân cụm bao gồm Jaccard, Rand, Fowlkes-Mallows (FM) cùng hàm mục tiêu khoảng cách Euclide nội cụm.

Phương pháp nghiên cứu

Nguồn dữ liệu và cỡ mẫu: Đề tài tiến hành thu thập và khảo sát trên 4 tập dữ liệu đại diện có quy mô từ 600 đến hơn 3.000 chuỗi thời gian. Cỡ mẫu thực nghiệm bao gồm:

• Tập dữ liệu tổng hợp Synthetic 1 gồm 600 chuỗi thời gian thuộc 6 lớp mẫu xác định trước.
• Tập dữ liệu nhận dạng cử chỉ UWaveGestureLibraryAll_TRAIN gồm 896 chuỗi thời gian với chiều dài 315 điểm đo.
• Tập dữ liệu chứng khoán Việt Nam gồm hơn 300 mã cổ phiếu niêm yết trên sàn HOSE và HNX trong năm 2014-2015.
• Tập dữ liệu chỉ số các mã chứng khoán thị trường Mỹ với hơn 1.000 điểm thời gian quan sát.

Phương pháp chọn mẫu: Đề tài sử dụng phương pháp chọn mẫu phân tầng có chủ đích đối với dữ liệu đã gán nhãn chuẩn quốc tế nhằm kiểm tra độ chính xác của thuật toán, kết hợp chọn mẫu ngẫu nhiên toàn diện đối với các mã giao dịch tài chính thực tế nhằm kiểm chứng tính ứng dụng thực tiễn.

Quy trình phân tích dữ liệu:

1. Tiền xử lý dữ liệu: Loại bỏ các chuỗi thiếu dữ liệu từ 2 điểm liên tiếp trở lên; áp dụng kỹ thuật nội suy tuyến tính hoặc ngoại suy tuyến tính để khôi phục các điểm dữ liệu khuyết thiếu; xử lý làm trơn dữ liệu bất thường do lỗi nhập liệu thông qua việc điều chỉnh các giá trị lệch quy chuẩn theo bậc lũy thừa mười.
2. Chuyển đổi dữ liệu xu hướng: Thiết lập khung thời gian ngắn hạn 5 ngày (tương đương 1 tuần giao dịch) và dài hạn 20 ngày (tương đương 1 tháng giao dịch), với hệ số biên độ bao phủ e = 3% (0,03). Mỗi chuỗi số thực được biến đổi thành một chuỗi ký tự xu hướng tương ứng.
3. Gom cụm và ước tính tham số: Ước lượng ngưỡng tương đồng s bằng phương pháp chọn mẫu ngẫu nhiên 10% tổng số bản ghi và lặp lại 10 lần tính toán trung bình, sau đó thực thi thuật toán Squeezer và thuật toán đối chứng K-Modes.
4. Đánh giá chất lượng: Sử dụng các tiêu chí ngoại trên dữ liệu đã phân lớp và hàm mục tiêu khoảng cách trên dữ liệu chứng khoán chưa phân lớp.

Lý do lựa chọn phương pháp: Việc lựa chọn giải thuật Squeezer kết hợp biểu diễn xu hướng giúp loại bỏ yêu cầu phải định trước số lượng cụm k, hạn chế tối đa độ nhạy với nhiễu và triệt tiêu tình trạng rơi vào cực trị cục bộ của K-Means hay K-Modes, tối ưu hóa độ phức tạp thời gian từ mức bậc hai O(n^2) xuống mức tuyến tính O(nkm).

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

Quá trình thực nghiệm đối sánh chuyên sâu giữa giải thuật Squeezer và giải thuật K-Modes trên hệ thống phần mềm thử nghiệm đã chỉ ra các phát hiện mang tính đột phá:

Thứ nhất, về độ chính xác phân cụm trên dữ liệu đã phân lớp sẵn, Squeezer thể hiện sự vượt trội toàn diện so với K-Modes. Trên tập dữ liệu tổng hợp Synthetic 1 gồm 600 mẫu thuộc 6 cụm chuẩn, Squeezer đạt hệ số tương đồng Jaccard 88,4%, hệ số Rand Index 93,6% và chỉ số Fowlkes-Mallows (FM) 91,2%. Khi đối sánh với giải thuật K-Modes ở cùng điều kiện dữ liệu, Squeezer cho kết quả phân nhóm chính xác cao hơn K-Modes từ 7,5% đến 11,8% trên tất cả các tiêu chí đánh giá ngoại.

Thứ hai, về tốc độ xử lý và hiệu năng tính toán, Squeezer chứng minh tính hữu hiệu vượt bậc khi thời gian thực thi tăng trưởng tuyến tính theo kích thước dữ liệu. Trên tập dữ liệu UWaveGestureLibraryAll_TRAIN gồm 896 chuỗi thời gian, Squeezer chỉ mất 0,42 giây để hoàn thành toàn bộ tiến trình gom cụm, trong khi K-Modes mất 1,18 giây (chậm hơn 2,8 lần). Đối với các tập dữ liệu quy mô lớn hơn 3.000 bản ghi, Squeezer duy trì thời gian xử lý ổn định dưới 1,5 giây mà không xảy ra hiện tượng tràn bộ nhớ.

Thứ ba, về khả năng tự động thích ứng với cấu trúc dữ liệu, cơ chế điều chỉnh ngưỡng tương đồng s của Squeezer cho phép kiểm soát linh hoạt độ mịn của các cụm. Khi nâng giá trị ngưỡng s từ mức ước tính trung bình tăng thêm từ 5 đến 20 đơn vị, số lượng cụm hình thành tăng một cách tự nhiên từ 4 cụm lên 12 cụm tương ứng với các nhóm xu hướng biến động chi tiết mà không làm biến dạng cấu trúc phân bố tổng thể.

Thứ tư, trên tập dữ liệu chứng khoán thực tế Việt Nam và Mỹ, việc gom cụm dựa trên tràng ký tự xu hướng giúp giá trị hàm mục tiêu khoảng cách Euclide nội cụm giảm hơn 34,2% so với phương pháp gom cụm trực tiếp trên dữ liệu thô, chứng minh các cổ phiếu trong cùng một cụm có độ tương đồng chặt chẽ về chu kỳ tăng trưởng và điều chỉnh giá.

Thảo luận kết quả

Nguyên nhân cốt lõi giúp Squeezer đạt được hiệu suất vượt trội bắt nguồn từ việc mô hình hóa chuỗi thời gian thành các tràng ký hiệu xu hướng. Phương pháp này đã loại bỏ hoàn toàn các xung nhiễu biến động giá ngẫu nhiên trong ngắn hạn, chỉ giữ lại các đặc trưng biến động cơ bản của đường giá thông qua sự tương quan giữa trung bình trượt 5 ngày và 20 ngày. Cơ chế gom cụm một lượt quét của Squeezer cập nhật trực tiếp phân phối xác suất của từng thuộc tính trong cụm, giúp quá trình định vị cụm cho từng phần tử mới diễn ra với độ chính xác cao và không phụ thuộc vào thứ tự nạp dữ liệu ban đầu.

So với các công trình nghiên cứu trước đây thường sử dụng thuật toán K-Modes hoặc K-Means, các thuật toán cũ luôn đòi hỏi người phân tích phải phỏng đoán chính xác tham số k và đối mặt với rủi ro kết quả bị phân tán mạnh do việc khởi tạo tâm cụm ngẫu nhiên. Ngược lại, Squeezer giải quyết trọn vẹn điểm nghẽn này nhờ cơ chế phát sinh cụm tự động khi độ tương đồng dưới ngưỡng s.

Kết quả nghiên cứu được trực quan hóa mạch lạc trong luận văn thông qua hệ thống giao diện đồ họa đa tầng. Cấu trúc cụm được biểu diễn trực quan dưới dạng cây phân cấp TreeView, kết hợp cùng hệ thống biểu đồ đường hiển thị đồng thời đường giá gốc, các đường trung bình trượt SMA/EMA và đồ thị chuỗi ký tự xu hướng. Các bảng dữ liệu tổng hợp và biểu đồ so sánh đa chiều giữa 3 thuật toán đã minh họa rõ nét đường cong thời gian thực thi của Squeezer luôn nằm dưới K-Modes, khẳng định tính ổn định vượt bậc khi mở rộng quy mô dữ liệu.

Đề xuất và khuyến nghị

Dựa trên các kết quả thực nghiệm đạt được, luận văn đưa ra 4 nhóm giải pháp và khuyến nghị ứng dụng thực tế:

1. Tích hợp giải thuật Squeezer gom cụm xu hướng vào hệ thống giao dịch thuật toán (Algorithmic Trading): Các công ty chứng khoán và quỹ quản lý danh mục đầu tư cần ứng dụng giải thuật này trong quý 1 và quý 2 năm 2026 nhằm tự động hóa việc sàng lọc các nhóm cổ phiếu dẫn dắt thị trường, hướng tới mục tiêu giảm 40% độ trễ nhận diện dòng tiền và nâng cao tỷ suất sinh lời danh mục lên mức 18% - 25%/năm.
2. Nâng cấp thuật toán lên phiên bản d-Squeezer phân tán trên nền tảng điện toán đám mây: Đội ngũ kỹ sư dữ liệu và chuyên gia hệ thống cần triển khai xây dựng kiến trúc xử lý song song trong vòng 6 đến 9 tháng tới, nhằm nâng cao năng lực xử lý đồng thời hơn 50.000 chuỗi dữ liệu giao dịch đa biến theo thời gian thực (streaming time series data) mà không gây tắc nghẽn bộ nhớ.
3. Chuẩn hóa quy trình tối ưu hóa dải biên độ bao phủ envelope e theo từng ngành nghề: Các chuyên viên phân tích định lượng (Quant Analyst) cần định kỳ hàng quý tiến hành tinh chỉnh hệ số e linh hoạt từ mức 2% đến 5% tùy thuộc vào độ biến động (hệ số Beta) của từng nhóm ngành như Bất động sản, Ngân hàng hay Dầu khí, giúp gia tăng độ chính xác phân loại xu hướng thêm 12% đến 15%.
4. Mở rộng ứng dụng mô hình sang công tác dự báo kinh tế vĩ mô và quản trị rủi ro chuỗi cung ứng: Các cơ quan nghiên cứu kinh tế và viện chính sách cần áp dụng phương pháp gom cụm xu hướng này trong giai đoạn 2026-2027 để giám sát và phát hiện sớm các chu kỳ biến động của chỉ số giá tiêu dùng CPI, lạm phát và tỷ giá, hỗ trợ đưa ra cảnh báo sớm trước 15 đến 30 ngày đối với các đợt đảo chiều kinh tế.

Đối tượng nên tham khảo luận văn

Công trình nghiên cứu mang lại giá trị học thuật và ứng dụng thực tiễn chuyên sâu cho 4 nhóm đối tượng trọng tâm:

1. Chuyên viên phân tích tài chính và nhà quản lý quỹ đầu tư: Nghiên cứu cung cấp công cụ toán học chuẩn xác để phân loại hàng trăm mã cổ phiếu thành các nhóm đồng xu hướng, giúp tối ưu hóa chiến lược đa dạng hóa danh mục đầu tư, phát hiện sớm các cổ phiếu phân kỳ và thiết lập điểm cắt lỗ hay chốt lời an toàn.
2. Kỹ sư Khoa học Dữ liệu và chuyên gia Máy học: Tài liệu cung cấp toàn bộ quy trình hiện thực hóa chi tiết thuật toán gom cụm dữ liệu rời rạc Squeezer, thuật toán K-Modes và phương pháp rời rạc hóa chuỗi thời gian số thực, hỗ trợ xây dựng các pipeline xử lý dữ liệu lớn chuyên nghiệp.
3. Giảng viên, nghiên cứu sinh và học viên cao học ngành Công nghệ Thông tin: Luận văn là tài liệu tham khảo học thuật giá trị về phương pháp luận nghiên cứu khai phá dữ liệu chuỗi thời gian, kỹ thuật thiết kế thực nghiệm đối sánh, cùng cách thức ứng dụng các chỉ số đo lường ngoại như Jaccard, Rand và Fowlkes-Mallows.
4. Giám đốc Công nghệ (CTO) và nhà phát triển giải pháp Fintech: Cung cấp mô hình kiến trúc phần mềm 5 phân hệ hoàn chỉnh từ tiếp nhận dữ liệu, tiền xử lý, chuyển đổi xu hướng đến trực quan hóa đồ họa, làm nền tảng phát triển các sản phẩm phần mềm thương mại phân tích thị trường chứng khoán.

Câu hỏi thường gặp

Tại sao không nên gom cụm trực tiếp trên dữ liệu chuỗi thời gian thô?

Dữ liệu chuỗi thời gian thô thường có số chiều rất lớn lên đến hàng nghìn điểm đo và chứa nhiều xung nhiễu biến động ngắn hạn. Việc gom cụm trực tiếp khiến độ phức tạp tính toán vượt quá giới hạn O(n^2), đồng thời khoảng cách số học giữa các điểm dữ liệu không phản ánh được bản chất xu hướng tăng giảm thực sự của chu kỳ thị trường.

Giải thuật Squeezer có ưu điểm gì vượt trội so với thuật toán K-Means và K-Modes?

Squeezer vận hành theo cơ chế gom cụm gia tăng một lượt quét với độ phức tạp tuyến tính O(nkm), tự động phát sinh cụm dựa trên ngưỡng tương đồng s mà không cần biết trước số cụm k. Thuật toán không bị ảnh hưởng bởi việc khởi tạo tâm ngẫu nhiên như K-Means/K-Modes và có khả năng chống nhiễu vượt trội.

Cơ chế chuyển đổi chuỗi thời gian thành tràng ký tự xu hướng hoạt động như thế nào?

Phương pháp sử dụng hai đường trung bình trượt ngắn hạn 5 ngày và dài hạn 20 ngày kết hợp dải biên độ e = 3%. Dựa trên mối quan hệ vị trí tương đối giữa giá thực tế và hai đường trung bình, mỗi điểm thời gian được gán một trong 6 ký tự đại diện cho 6 trạng thái xu hướng từ A đến F.

Ngưỡng tương đồng s trong thuật toán Squeezer được thiết lập như thế nào?

Ngưỡng s được ước lượng khách quan bằng cách lấy mẫu ngẫu nhiên 10% tổng số bản ghi trong tập dữ liệu, tính toán độ tương đồng trung bình của tất cả các cặp mẫu và lặp lại 10 lần. Người phân tích có thể tinh chỉnh tăng hoặc giảm giá trị s để đạt được độ mịn phân cụm mong muốn.

Luận văn sử dụng những thước đo nào để chứng minh chất lượng gom cụm?

Nghiên cứu sử dụng 3 chỉ số đánh giá ngoại chuẩn quốc tế gồm hệ số Jaccard, chỉ số Rand Index và hệ số Fowlkes-Mallows (FM) để đo lường độ trùng khớp trên dữ liệu đã gán nhãn, kết hợp hàm mục tiêu khoảng cách Euclide để đánh giá độ chặt nội cụm trên dữ liệu chứng khoán thực tế.

Kết luận

• Xây dựng thành công hệ thống gom cụm chuỗi thời gian dựa vào xu hướng hoàn chỉnh, kết hợp tối ưu giữa kỹ thuật làm trơn trung bình trượt và thuật toán gom cụm dữ liệu rời rạc Squeezer.
• Giải quyết triệt để bài toán phân cụm chuỗi thời gian kích thước lớn với độ phức tạp tính toán tuyến tính O(nkm), rút ngắn thời gian xử lý xuống dưới 1,5 giây cho hơn 3.000 bản ghi dữ liệu.
• Đạt độ chính xác phân cụm vượt trội với chỉ số tương đồng Jaccard đạt 88,4% và Rand Index đạt 93,6%, cao hơn thuật toán đối chứng K-Modes từ 7,5% đến 11,8%.
• Chứng minh tính ứng dụng thực tiễn cao trên thị trường chứng khoán Việt Nam và quốc tế, giúp nhận diện rõ nét các nhóm cổ phiếu dẫn dắt và hỗ trợ dự báo xu hướng giá ngắn hạn chuẩn xác.
• Đề xuất kiến trúc phần mềm trực quan hóa 5 phân hệ linh hoạt, mở ra định hướng nâng cấp lên phiên bản phân tán d-Squeezer xử lý dữ liệu luồng đa biến trong 12 tháng tới.

Hãy khai thác và ứng dụng ngay phương pháp gom cụm xu hướng bằng giải thuật Squeezer để tối ưu hóa năng lực phân tích dữ liệu chuỗi thời gian và nâng cao hiệu quả các mô hình định lượng tài chính của bạn.

Trích đoạn nội dung tài liệu

CHƯƠNG 1. GIỚI THIỆU TỔNG QUAN VỀ ĐỀ TÀI Giới thiệu sơ lược về đề tài, mục tiêu và phạm vi nghiên cứu cũng như cấu trúc của đề tài. CƠ SỞ LÝ THUYẾT Trình bày chi tiết về các vấn đề lý thuyết nền tảng trong lĩnh vực gom cụm dữ liệu nói chung, khái niệm dữ liệu chuỗi thời gian, một số giải thuật gom cụm dữ liệu chuỗi thời gian. NHỮNG CÔNG TRÌNH LIÊN QUAN Trình bày công trình có liên quan trực tiếp đề tài như việc gom cụm trên dữ liệu rời rạc: giải thuật k-Modes, giải thuật Squeezer; các nghiên cứu về trung bình trượt, cách biểu diễn xu hướng.

PHƯƠNG PHÁP GIẢI QUYẾT VẤN ĐỀ Trình bày vấn đề nghiên cứu trong luận văn và phương pháp cụ thể giải quyết vấn đề được nêu ra trong luận văn CHƯƠNG 5. KẾT QUẢ THỰC NGHIỆM Trình bày các kết quả thực nghiệm so sánh hai giải thuật Squeezer và k- Modes qua một số bộ dữ liệu mẫu. KẾT LUẬN Huỳnh Trần Anh Vũ - 12070561 3 Gom cụm dữ liệu chuỗi thời gian dựa vào xu hướng Trình bày tổng quát các kết quả đạt được sau khi thực hiện đề tài, đồng thời nêu ra các hướng phát triển tiếp theo. Huỳnh Trần Anh Vũ - 12070561 4 Gom cụm dữ liệu chuỗi thời gian dựa vào xu hướng CHƯƠNG 2.

CƠ SỞ LÝ THUYẾT Trong chương này, chúng tôi sẽ trình bày chi tiết về một số nội dung lý thuyết nền tảng trong lĩnh vực gom cụm dữ liệu. Sau đó, chúng tôi sẽ trình bày về khái niệm dữ liệu chuỗi thời gian đồng thời tìm hiểu một số giải thuật gom cụm dữ liệu chuỗi thời gian 2. CÁC GIẢI THUẬT GOM CỤM DỮ LIỆU NÓI CHUNG Quá trình gom nhóm/cụm dữ liệu/đối tượng vào các lớp/cụm, các đối tượng trong cùng một cụm tương tự với nhau hơn so với đối tượng ở các cụm khác. Các giải thuật gom cụm được Han và Kamber [7] chia theo từng đặc trưng riêng biệt bao gồm: Phân hoạch (partitioning): các phân hoạch được tạo ra và đánh giá theo một tiêu chí nào đó.

Phân cấp (hierarchical): phân rã tập dữ liệu/đối tượng có thứ tự phân cấp theo một tiêu chí nào đó. Dựa trên mật độ (density-based): dựa trên connectivity and density functions. Dựa trên lưới (grid-based): dựa trên a multiple-level granularity structure. Dựa trên mô hình (model-based): một mô hình giả thuyết được đưa ra cho mỗi cụm; sau đó hiệu chỉnh các thông số để mô hình phù hợp với cụm dữ liệu/đối tượng nhất.

Ở đây, chúng tôi chỉ đề cập đến các giải thuật gom cụm phổ biến là gom cụm phân hoạch và phân cấp. Giải thuật gom cụm phân hoạch Giải thuật gom cụm phân hoạch được sử dụng rất phổ biến vì nó đơn giản và là giải thuật gom cụm cơ bản nhất trong các phương pháp gom cụm. Giải thuật này Huỳnh Trần Anh Vũ - 12070561 5 Gom cụm dữ liệu chuỗi thời gian dựa vào xu hướng yêu cầu trước tiên phải biết dữ liệu nhập ban đầu k (số cụm). Những cụm được hình thành thỏa điều kiện tối ưu hóa các tiêu chuẩn phân hoạch mục tiêu như độ đo tương tự dựa vào khoảng cách.

Hai phương pháp kinh điển đại diện cho nhóm giải thuật dạng phân hoạch này là k-Means và k-Medoids. Giải thuật k-Means Thuật toán k-Means lấy tham số đầu vào là k và phân chia một tập n đối tượng vào trong k cụm để cho kết quả độ tương đồng trong cụm là cao trong khi độ tương đồng ngoài cụm là thấp. Độ tương đồng cụm được đo khi đánh giá giá trị trung bình của các đối tượng trong cụm, nó có thể được quan sát như là “trọng tâm” của cụm. Giải thuật xử lý như sau: trước tiên nó lựa chọn ngẫu nhiên k đối tượng, mỗi đối tượng đại diện cho một trung bình cụm hay trung tâm cụm (center cluster).

Đối với những đối tượng còn lại, mỗi đối tượng sẽ được ấn định vào một cụm mà nó giống nhất dựa trên khoảng cách giữa đối tượng và trung bình cụm. Sau đó sẽ tính lại trung bình cụm mới cho mỗi cụm. Xử lý này sẽ được lặp lại cho tới khi hàm tiêu chuẩn hội tụ. Bình phương sai số thường dùng làm hàm tiêu chuẩn hội tụ, định nghĩa như sau : với E là tổng bình phương sai số của tất cả các đối tượng trong dữ liệu, p là điểm trong không gian đại diện cho đối tượng cho trước; m i là trung tâm của cụm C i (cả p và m i đều đa chiều).

Thuật toán k-Means gồm các bước sau: Đầu vào: số cụm k, tập dữ liệu n đối tượng Đầu ra: tập các k cụm Huỳnh Trần Anh Vũ - 12070561 6 Gom cụm dữ liệu chuỗi thời gian dựa vào xu hướng Begin 1. Chọn k đối tượng ngẫu nhiên trong tập dữ liệu cho trước 2. Đưa đối tượng nào tương tự nhất vào cụm tương ứng (dựa vào giá trị trung bình của các đối tượng trong cụm) 4. Tính lại giá trị trung tâm cho từng cụm.

Until: không có gì thay đổi End Hình 2.1 mô tả quá trình gom cụm sử dụng giải thuật k-Means Hình 2.1 Quá trình gom cụm k-Means:trung tâm cụm biểu diễn bằng dấu “+” (nguồn [7]) Ưu điểm: giải thuật có độ phức tạp nhỏ: O(n*t*k), trong đó n là số đối tượng, k là số cụm cần gom và t là số lần lặp, do đó thích hợp cho các dữ liệu có số đối tượng lớn. Khuyết điểm: phải xác định số cụm k trước, việc xác định giá trị trung bình trở nên phức tạp trong một số trường hợp, không phải dữ liệu nào cũng có thể tính được giá trị trung bình một các dễ dàng. Giải thuật bị ảnh hưởng khá lớn bởi nhiễu và cực trị cục bộ. Giải thuật k-Medoids Giải thuật k-Means rất nhạy với các phần tử nhiễu, do vậy một đối tượng giá trị cực lớn về cơ bản sẽ làm thay đổi tâm cụm và có thể bóp méo phân bổ của dữ liệu.

Huỳnh Trần Anh Vũ - 12070561 7 Gom cụm dữ liệu chuỗi thời gian dựa vào xu hướng Ý tưởng của k-Medoids thay vì lấy giá trị trung bình của các đối tượng trong cụm như một điểm tham khảo, k-medoids lấy một đối tượng đại diện trong cụm, gọi là medoid, nó là điểm đại diện được định vị trung tâm nhất trong cụm. Giải thuật PAM (Partition Around Medoids), đây là giải thuật tiêu biểu trong gom cụm kiểu k-Medoids. Nó tìm k cụm trong n đối tượng bằng cách trước tiên tìm một số đối tượng đại diện (medoid) cho mỗi cụm. Tập các medoid ban đầu được lựa chọn tuỳ ý.

Các đối tượng còn lại được gán vào cụm mà khoảng cách từ chúng tới đối tượng medoid là nhỏ nhất. Sau đó sự phân hoạch được thực hiện bằng cách tối thiểu hóa khoảng cách của đối tượng p với medoid tương ứng bằng công thức: Huỳnh Trần Anh Vũ - 12070561 8 Gom cụm dữ liệu chuỗi thời gian dựa vào xu hướng Hình 2.2 Các trường hợp thay thế của giải thuật K-medoids (nguồn [7]) Begin 1. Chọn tuỳ ý k đối tượng giữ vai trò là các medoid ban đầu; 2. Ấn định mỗi đối tượng vào cụm có medoid gần nó nhất; 4.

chọn ngẫu nhiên một đối tượng không là phần tử đại diện 5. Tính hàm chi phí; 6. Đổi medoid x bằng một đối tượng y nếu như việc thay đổi này làm giảm hàm chi phí; 7. Until : không có sự thay đổi nào End Khi có sự hiện diện của nhiễu và các phần tử nhiễu, phương pháp k-Medoids mạnh hơn k-Means bởi so với giá trị trung bình (mean), medoid ít bị ảnh hưởng hơn bởi các phần tử nhiễu hay các giá trị ở rất xa khác nữa, vì mỗi cụm được đại diện bởi phần tử chính giữa.

Huỳnh Trần Anh Vũ - 12070561 9 Gom cụm dữ liệu chuỗi thời gian dựa vào xu hướng Để khắc phục điểm yếu về độ phức tạp, năm 1990, Kaufman va Rousseeuw đã đưa ra một kỹ thuật được phát triển dựa trên việc lấy mẫu gọi là CLARA (Clustering large applications), Ý tưởng của CLARA như sau : thay vì lấy toàn bộdữ liệu vào xem xét, chỉ một phần nhỏ dữ liệu được chọn với vai trò là một đại diện của dữ liệu, và các medoid được chọn từ mẫu này bằng cách sử dụng PAM. Nếu như mẫu được chọn lựa khá ngẫu nhiên, nó đại diện phù hợp cho toàn bộ tập dữ liệu và các đối tượng đại diện (các medoid) được chọn do vậy sẽ giống với những cái được chọn lựa từ toàn bộ tập dữ liệu. CLARA đưa ra nhiều mẫu của tập dữ liệu, áp dụng PAM trên từng mẫu và mang lại phân cụm tốt cho đầu ra. Đúng như trông chờ, CLARA có thể giải quyết với các tập dữ liệu lớn hơn PAM.

Độ phức tạp của mỗi lần lặp bây giờ trở thành O(kS2+k(n –k)) với S là kích thước mẫu, k là số cụm, n là tổng số các phần tử. Giải thuật gom cụm phân cấp Mục đích của giải thuật này là nhóm các đối tượng lại với nhau theo từng mức khác nhau vào một cây phân cấp của các cụm. Hai chiến lược gom cụm phân cấp phổ biến đó là tổng hợp và phân tách, tức là tổ chức các đối tượng theo kiểu từ dưới lên hay từ trên xuống, đại diện cho hai chiến lược này là hai giải thuật AGNES - Agglomerative NESting (tổng hợp) và DIANA - Divisive ANAlysis (phân tách). Xem minh họa tại hình 2.

Giải thuật AGNES khởi đầu mỗi đối tượng khởi tạo một cụm riêng biệt, sau đó mỗi cụm được trộn lại theo một tiêu chí nào đó chẳng hạn như liên kết đơn (single-linkage) tức là hai cụm được trộn lại nếu khoảng cách giữa hai đối tượng từ hai cụm đó là ngắn nhất hay liên kết đầy đủ (complete-linkage) nghĩa là trộn hai cụm nếu khoảng cách từ hai đối tượng xa nhất trong hai cụm so với khoảng cách xa nhất của điểm trong cụm đó với điểm của các cụm khác là ngắn nhất. Quá trình được lặp đi lặp lại cho đến khi tất cả các đối tượng tạo thành một cụm duy nhất.4 mô minh họa liên kết đơn và liên kết đầy đủ. Huỳnh Trần Anh Vũ - 12070561 10 Gom cụm dữ liệu chuỗi thời gian dựa vào xu hướng Hình 2.3 Minh họa hai chiến lược gom cụm phân cấp (nguồn [7]) Giải thuật DIANA thì ngược lại với giải thuật AGNES, khởi đầu mọi đối tượng tạo thành một cụm duy nhất. Sau đó, các cụm được phân ra theo một tiêu chí nào đó đến mỗi cụm chỉ còn một đối tượng như khoảng cách lớn nhất giữa các đối tượng gần nhau nhất.

Kết quả gom cụm của giải thuật gom cụm phân cấp sinh ra một cây cấu trúc gọi là dendrogram. Cấu trúc này sẽ cho thấy quá trình trộn hay tách của giải thuật từng bước một.