I. Tăng tốc gom cụm dữ liệu chuỗi thời gian
Tăng tốc gom cụm dữ liệu là một yêu cầu cấp thiết trong xử lý dữ liệu lớn, đặc biệt với chuỗi thời gian. Phương pháp kết hợp thu giảm số chiều và lập trình đa luồng được đề xuất để tối ưu hóa quá trình này. Thu giảm số chiều giúp giảm độ phức tạp tính toán, trong khi lập trình đa luồng tận dụng tối đa tài nguyên hệ thống để xử lý song song. Kết quả thực nghiệm cho thấy sự cải thiện đáng kể về thời gian thực thi mà vẫn đảm bảo chất lượng gom cụm.
1.1. Thu giảm số chiều
Thu giảm số chiều là kỹ thuật quan trọng trong xử lý chuỗi thời gian, giúp giảm kích thước dữ liệu mà vẫn bảo toàn thông tin chính. Phương pháp PAA (Piecewise Aggregate Approximation) được sử dụng để xấp xỉ dữ liệu, giảm thiểu thời gian tính toán mà không làm mất đi đặc trưng quan trọng của dữ liệu. Kết quả thực nghiệm cho thấy PAA giúp tăng tốc đáng kể quá trình gom cụm.
1.2. Lập trình đa luồng
Lập trình đa luồng là giải pháp hiệu quả để tăng tốc xử lý dữ liệu lớn. Bằng cách chia nhỏ công việc thành các luồng độc lập, hệ thống có thể xử lý song song nhiều tác vụ cùng lúc. Kết hợp với thu giảm số chiều, lập trình đa luồng giúp giảm thời gian thực thi của các thuật toán gom cụm như K-medoids và DTW (Dynamic Time Warping).
II. Thuật toán gom cụm và độ đo DTW
Thuật toán gom cụm đóng vai trò trung tâm trong phân tích chuỗi thời gian. K-medoids được lựa chọn do khả năng xử lý nhiễu và phần tử biên tốt hơn so với K-means. Độ đo DTW được sử dụng để tính toán khoảng cách giữa các chuỗi thời gian, cho phép ánh xạ các hình dạng tương tự ngay cả khi chúng không khớp về trục thời gian. Tuy nhiên, DTW có độ phức tạp tính toán cao, đòi hỏi các kỹ thuật tối ưu hóa như thu giảm số chiều và lập trình đa luồng.
2.1. Thuật toán K medoids
K-medoids là thuật toán gom cụm dựa trên việc chọn các medoid làm đại diện cụm. Khác với K-means, K-medoids ít bị ảnh hưởng bởi nhiễu và phần tử biên, phù hợp với dữ liệu chuỗi thời gian. Tuy nhiên, chi phí tính toán của K-medoids cao hơn, đòi hỏi các kỹ thuật tối ưu hóa để tăng tốc.
2.2. Độ đo DTW
Độ đo DTW là phương pháp tính khoảng cách linh hoạt, cho phép ánh xạ các chuỗi thời gian không đồng bộ. Mặc dù cho kết quả chính xác hơn so với độ đo Euclid, DTW có độ phức tạp tính toán cao. Kết hợp với thu giảm số chiều và lập trình đa luồng, DTW được tối ưu hóa để giảm thời gian thực thi.
III. Ứng dụng và đánh giá
Phương pháp kết hợp thu giảm số chiều và lập trình đa luồng được áp dụng trong hệ thống gom cụm chuỗi thời gian. Kết quả thực nghiệm trên các tập dữ liệu mẫu như Face Four, Trace, và CBF cho thấy sự cải thiện đáng kể về thời gian thực thi mà vẫn duy trì chất lượng gom cụm. Hệ thống này có tiềm năng ứng dụng rộng rãi trong các lĩnh vực như tài chính, y tế, và khí tượng.
3.1. Đánh giá thời gian thực thi
Kết quả thực nghiệm cho thấy việc áp dụng lập trình đa luồng giúp giảm thời gian thực thi của quá trình gom cụm lên đến 50%. Điều này chứng tỏ hiệu quả của phương pháp trong việc xử lý dữ liệu lớn.
3.2. Đánh giá chất lượng gom cụm
Mặc dù thời gian thực thi được rút ngắn, chất lượng gom cụm vẫn được duy trì ở mức chấp nhận được. Điều này khẳng định tính khả thi của phương pháp kết hợp thu giảm số chiều và lập trình đa luồng.
