Tổng quan nghiên cứu

Trong kỷ nguyên bùng nổ thông tin hiện đại, khối lượng dữ liệu chuỗi thời gian được tạo ra từ các ngành trọng yếu như năng lượng, viễn thông, tài chính và khí tượng thủy văn đang tăng trưởng với tốc độ phi mã hơn 40% mỗi năm. Khai phá và dự báo chính xác dữ liệu chuỗi thời gian đóng vai trò sống còn trong việc hỗ trợ các nhà quản trị đưa ra quyết định chiến lược kịp thời, hạn chế rủi ro vận hành và tối ưu hóa nguồn lực. Trong số các kỹ thuật dự báo phổ biến, thuật toán k lân cận gần nhất (k-Nearest Neighbors - k-NN) được đánh giá cao nhờ cấu trúc trực quan, tính phi tham số và khả năng triển khai linh hoạt. Tuy nhiên, mô hình k-NN đơn lẻ tồn tại nhược điểm cốt tử là mức độ nhạy cảm rất cao đối với các tham số đầu vào, bao gồm số lượng lân cận k, chiều dài vector truy vấn và tầm vực dự báo, khiến sai số dự báo thường tăng từ 15% đến 25% khi dữ liệu xuất hiện biến động bất thường.

Nghiên cứu của tác giả Hoàng Trung Hiếu dưới sự hướng dẫn khoa học của Phó Giáo sư Tiến sĩ Dương Tuấn Anh tại Trường Đại học Bách Khoa, Đại học Quốc gia Thành phố Hồ Chí Minh đã tập trung giải quyết triệt để rào cản này. Mục tiêu trọng tâm của luận văn là phát triển một hệ thống dự báo chuỗi thời gian cải tiến dựa trên tập hợp gồm hai bộ dự báo con {k1-NN, k2-NN}, kết hợp kỹ thuật phân đoạn dữ liệu qua các điểm cực trị quan trọng và giải thuật gom cụm K-means. Nghiên cứu được thử nghiệm toàn diện trên 6 bộ dữ liệu chuẩn với tổng quy mô lên đến 52.247 điểm quan sát, bao gồm dữ liệu phụ tải năng lượng tại Ý (29.932 điểm), dao động laser (10.093 điểm), số liệu doanh nghiệp (6.400 điểm), lưu lượng Internet (1.231 điểm), khí hậu (1.400 điểm) và thiên văn học (3.191 điểm). Kết quả thực nghiệm khẳng định phương pháp đề xuất giúp giảm sai số RMSE từ 8% đến 14,5% so với mô hình k-NN đơn lẻ, tạo bước đột phá trong việc nâng cao độ tin cậy dự báo cho các chuỗi dữ liệu có tính phi tuyến và biến động mạnh.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Cơ sở lý thuyết của đề tài được xây dựng trên sự tích hợp giữa lý thuyết chuỗi thời gian kinh điển và các kỹ thuật học máy hiện đại. Chuỗi thời gian được phân tích dựa trên cấu trúc 4 thành phần cơ bản: thành phần xu hướng (trend), thành phần mùa (seasonal), thành phần chu kỳ (cycle) và thành phần bất thường (irregular). Luận văn tổng hợp và đánh giá các trường phái dự báo truyền thống gồm phương pháp làm trơn hàm mũ (Single Exponential Smoothing, Holt và Holt-Winters), mô hình tự hồi quy tích hợp trung bình trượt ARIMA(p,d,q) của Box và Jenkins cùng mô hình mạng nơ-ron nhân tạo (Artificial Neural Network - ANN).

Trên cơ sở nhận diện hạn chế tuyến tính của ARIMA và chi phí tính toán lớn của mạng nơ-ron, nghiên cứu kế thừa và mở rộng mô hình tập hợp k-NN được đề xuất bởi Yankov cùng các cộng sự vào năm 2006. Ba khái niệm then chốt cấu thành giải pháp gồm:

  • Khái niệm điểm cực trị quan trọng (Important Extreme Points - IEP) theo công trình của Pratt và Fink (2008), cho phép trích xuất các điểm ngoặt then chốt của chuỗi dữ liệu với tỷ lệ nén R từ 90% đến 95%.
  • Phép biến đổi vị tự (Homothetic Transformation) trong không gian Affine nhằm đồng nhất hóa độ dài các chuỗi con mà vẫn bảo toàn hoàn hảo hình thái dạng sóng.
  • Giải thuật gom cụm K-means kết hợp hàm chuẩn hóa khoảng cách Min-Max nhằm phân loại các vector truy vấn vào các nhóm hình thái đặc trưng, từ đó kích hoạt bộ dự báo con k1-NN hoặc k2-NN tương ứng.

Phương pháp nghiên cứu

Nghiên cứu sử dụng nguồn dữ liệu thứ cấp chuẩn hóa thu thập từ kho dữ liệu chuỗi thời gian danh tiếng của Đại học California, Riverside (UCR Time Series Data Archive). Toàn bộ 6 tập dữ liệu thực nghiệm được phân chia nghiêm ngặt theo tỷ lệ mẫu: khoảng 60% đến 67% số lượng điểm dữ liệu cho tập huấn luyện (training set) và 33% đến 40% cho tập kiểm tra (testing set). Cụ thể, bộ dữ liệu nhu cầu năng lượng ở Ý sử dụng 20.000 điểm huấn luyện và 9.932 điểm kiểm tra; tập dữ liệu doanh nghiệp phân chia 4.000 điểm huấn luyện và 2.400 điểm kiểm tra; tập dữ liệu dao động laser phân bổ 6.000 điểm huấn luyện và 4.093 điểm kiểm tra.

Phương pháp chọn mẫu dựa trên kỹ thuật cửa sổ trượt (sliding window) liên tục để trích xuất các vector trễ có chiều dài l (từ 30 đến 50 điểm) và tầm vực dự báo tương lai h (từ 30 đến 100 điểm), đảm bảo giữ nguyên tính tuần tự tự nhiên của thời gian. Lý do lựa chọn chuỗi phương pháp phân tích này là nhờ giải thuật IEP có độ phức tạp tính toán tuyến tính O(n), chỉ cần duyệt qua dữ liệu một lần duy nhất, giúp tiết kiệm bộ nhớ tối đa. Việc kết hợp K-means và chuẩn hóa vị tự giải quyết triệt để bài toán phân lớp truy vấn mà không cần đến các bộ phân lớp phức tạp như Support Vector Machine (SVM), vốn có tỷ lệ chính xác dưới 80% trong các nghiên cứu trước đó. Toàn bộ quá trình nghiên cứu, lập trình hiện thực trên môi trường C# Visual Studio 2013 và thực nghiệm tính toán được hoàn thành trong khung thời gian 5 tháng (từ tháng 7/2015 đến tháng 12/2015).

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

Quá trình thực nghiệm đối sánh giữa mô hình tập hợp hai giải thuật {k1-NN, k2-NN} và mô hình k-NN đơn lẻ tối ưu toàn cục đã mang lại 4 phát hiện khoa học quan trọng:

Thứ nhất, mô hình tập hợp đạt độ chính xác vượt trội trên toàn bộ 6 tập dữ liệu thử nghiệm. Đối với tập dữ liệu nhu cầu năng lượng tại Ý gồm 29.932 điểm (với vector trễ l = 50, tầm vực dự báo h = 50), mô hình phân tách thành hai bộ dự báo con 4-NN và 15-NN. Kết quả kiểm tra trên 9.932 điểm cho thấy chỉ số sai số bình phương trung bình tiêu chuẩn (RMSE) giảm từ 10,2% đến 12,8% so với khi áp dụng k-NN đơn lẻ.

Thứ hai, đối với tập dữ liệu doanh nghiệp gồm 6.400 điểm dữ liệu, việc huấn luyện 4.000 điểm đã xác định thành công hai bộ dự báo tối ưu gồm 4-NN và 15-NN. Khi thực hiện dự báo trên 2.400 điểm dữ liệu kiểm tra, sai số tuyệt đối trung bình (MAE) và sai số phần trăm tuyệt đối trung bình (MAPE) của mô hình tập hợp giảm lần lượt 11,4% và 9,6% so với mô hình đơn lẻ.

Thứ ba, trên dữ liệu dao động laser (10.093 điểm) và lưu lượng Internet (1.231 điểm) - vốn là những chuỗi dữ liệu có tần suất dao động dày đặc và độ nhiễu cao, tập hợp {1-NN, 15-NN} và {2-NN, 15-NN} thể hiện khả năng thích ứng cục bộ vượt trội. Cụ thể, trên tập dữ liệu Internet Traffic với 431 điểm kiểm tra, mô hình tập hợp đã hạn chế được hiện tượng trôi sai số (error accumulation), cải thiện độ chính xác tổng thể lên 14,5%.

Thứ tư, kỹ thuật trích xuất điểm cực trị quan trọng với tỷ lệ nén từ 91% đến 94% đã chứng minh hiệu quả giảm tải dữ liệu ngoạn mục. Thuật toán loại bỏ hơn 90% số điểm dư thừa nhưng vẫn giữ được trọn vẹn đặc trưng hình học của các đỉnh cực đại và đáy cực tiểu, làm tiền đề vững chắc cho bước gom cụm K-means phân loại chính xác trên 92% mẫu truy vấn.

Thảo luận kết quả

Nguyên nhân cốt lõi giúp mô hình tập hợp vượt trội hơn k-NN đơn lẻ nằm ở cơ chế phân chia không gian trạng thái linh hoạt. Trong thực tế, chuỗi thời gian không bao giờ duy trì một cấu trúc tĩnh tại mà liên tục chuyển đổi giữa các pha ổn định và pha biến động mạnh. Một giá trị k đơn lẻ cố định sẽ rơi vào tình thế tiến thoái lưỡng nan: nếu chọn k nhỏ sẽ bị nhiễu cục bộ, nếu chọn k lớn sẽ làm phẳng các biến động đỉnh nhọn. Bằng cách sử dụng K-means để chia chuỗi con thành hai nhóm hình thái và gán k1 nhỏ cho pha biến động nhanh, k2 lớn cho pha chuyển tiếp mượt, mô hình đề xuất đã tối ưu hóa được sai số dự báo ở từng thời điểm cục bộ.

Khi so sánh với nghiên cứu của Yankov và cộng sự năm 2006 (sử dụng SVM) và nghiên cứu của Dewi Sinta năm 2014 (sử dụng trọng số trung bình tĩnh trên dữ liệu giá gạo Indonesia), phương pháp tiếp cận trong luận văn này đã khắc phục hoàn toàn điểm nghẽn về độ chính xác phân lớp thấp của SVM. Sự kết hợp giữa phép vị tự triệt tiêu độ lệch biên độ và K-means mang lại tốc độ thực thi nhanh hơn gấp 3 lần và độ ổn định cao hơn đáng kể.

Để làm nổi bật các phát hiện trên trong các báo cáo khoa học, dữ liệu thực nghiệm có thể được biểu diễn trực quan thông qua:

  • Biểu đồ đường (Line Chart) so sánh đa trục giữa chuỗi dữ liệu thực tế và chuỗi giá trị dự báo từ hai mô hình, làm nổi bật khả năng bám sát đường cong thực tế tại các điểm uốn khúc.
  • Bảng ma trận so sánh chi tiết 4 thước đo sai số (RMSE, MAE, MAPE, MSD) tương ứng với từng tập dữ liệu và từng tầm vực dự báo h = 30, h = 50, h = 100.
  • Biểu đồ cột (Bar Chart) minh họa tỷ lệ phần trăm suy giảm sai số RMSE, phản ánh mức độ vượt trội từ 8% đến 14,5% của mô hình đề xuất.

Đề xuất và khuyến nghị

Dựa trên những phát hiện và nền tảng thuật toán đã được chứng minh, nghiên cứu đề xuất 4 khuyến nghị ứng dụng thực tiễn mang tính khả thi cao:

Thứ nhất, tích hợp mô hình tập hợp k-NN vào hệ thống điều độ lưới điện thông minh (Smart Grid). Trung tâm Điều độ Hệ thống điện Quốc gia và các công ty phân phối điện lực cần triển khai thử nghiệm mô hình này trong giai đoạn Quý 1 đến Quý 3 năm 2026. Mục tiêu cụ thể là đưa sai số dự báo phụ tải ngắn hạn (MAPE) xuống dưới mức 3,5%, giúp tối ưu hóa kế hoạch phát điện của các nhà máy nhiệt điện và năng lượng tái tạo, tiết kiệm hàng triệu kilowatt-giờ điện hao hụt.

Thứ hai, phát triển module dự báo lưu lượng thời gian thực cho hạ tầng mạng viễn thông và trung tâm dữ liệu (Data Center). Đội ngũ kỹ sư hạ tầng tại các tập đoàn viễn thông lớn nên đóng gói giải thuật thành vi dịch vụ (microservice) xử lý luồng (stream processing) trong vòng 6 tháng tới. Hệ thống hướng đến mục tiêu duy trì độ trễ phản hồi dưới 50 mili-giây cho mỗi truy vấn dự báo, giúp tự động điều phối băng thông và cấp phát tài nguyên máy chủ trước khi xảy ra nghẽn mạng cục bộ.

Thứ ba, mở rộng quy mô tập hợp từ 2 lên n bộ dự báo con thích nghi tự động (Dynamic Multi-k Predictors). Các viện nghiên cứu trí tuệ nhân tạo và phòng thí nghiệm khoa học dữ liệu nên tiếp tục tài trợ các đề tài nghiên cứu chuyên sâu trong giai đoạn 2026 - 2027 nhằm nâng cấp thuật toán, cho phép tự động xác định số lượng cụm tối ưu thay vì ấn định cố định 2 cụm. Kỳ vọng nâng cao độ chính xác thêm từ 5% đến 7% đối với các chuỗi thời gian tài chính siêu hỗn loạn.

Thứ tư, chuẩn hóa quy trình tự động hiệu chỉnh siêu tham số thông qua thuật toán di truyền (Genetic Algorithm - GA) hoặc tối ưu hóa bầy đàn (PSO). Bộ phận phân tích dữ liệu doanh nghiệp cần áp dụng các kỹ thuật tối ưu hóa này vào Quý 4 năm 2026 nhằm rút ngắn 40% thời gian tìm kiếm tham số k1, k2 và hệ số nén R, giảm phụ thuộc vào phương pháp tinh chỉnh thủ công.

Đối tượng nên tham khảo luận văn

Luận văn thạc sĩ này là tài liệu tham khảo học thuật và ứng dụng chuyên sâu dành cho 4 nhóm đối tượng trọng tâm:

  1. Nhà nghiên cứu và giảng viên chuyên ngành Khoa học máy tính, Hệ thống thông tin và Trí tuệ nhân tạo: Luận văn cung cấp khung lý thuyết toàn diện, tổng quan tài liệu phong phú cùng hướng tiếp cận đột phá trong việc khắc phục điểm yếu của thuật toán lân cận gần nhất, là nguồn tài liệu hữu ích cho các bài giảng khai phá dữ liệu nâng cao và các nghiên cứu tiếp nối.

  2. Kỹ sư khoa học dữ liệu (Data Scientists) và chuyên viên phân tích định lượng (Quant Analysts): Luận văn mang lại hướng dẫn hiện thực chi tiết từng bước thuật toán, mã giả rõ ràng từ khâu trích xuất điểm cực trị đến chuẩn hóa vị tự và gom cụm K-means, dễ dàng chuyển đổi thành mã nguồn sản xuất trên các ngôn ngữ hiện đại như Python, C++ hay C#.

  3. Chuyên viên hoạch định tài nguyên trong ngành năng lượng, logistics và viễn thông: Các nhà quản lý vận hành có thể áp dụng trực tiếp mô hình để xây dựng các công cụ dự báo nhu cầu năng lượng, lưu lượng truy cập máy chủ hoặc chu kỳ tồn kho, giúp nâng cao hiệu quả điều hành và tiết giảm chi phí vận hành.

  4. Học viên cao học và sinh viên năm cuối khối ngành Công nghệ thông tin và Toán tin: Đề tài là hình mẫu chuẩn mực về phương pháp nghiên cứu khoa học thực nghiệm, cách thiết kế tập dữ liệu kiểm thử, chuẩn hóa dữ liệu và đánh giá sai số khoa học theo chuẩn quốc tế.

Câu hỏi thường gặp

  1. Tại sao mô hình tập hợp hai giải thuật k-NN lại có độ chính xác cao hơn mô hình k-NN đơn lẻ? Mô hình đơn lẻ chỉ áp dụng một số lượng lân cận k cố định cho toàn bộ chuỗi thời gian, dẫn đến sai số lớn khi chuỗi thay đổi hình thái. Mô hình tập hợp chia chuỗi dữ liệu thành các phân đoạn đặc trưng, từ đó chọn bộ dự báo k1-NN nhỏ cho vùng dao động mạnh và k2-NN lớn cho vùng ổn định, giúp giảm sai số RMSE tổng thể từ 8% đến 14,5%.

  2. Phép biến đổi vị tự đóng vai trò kỹ thuật gì trong quy trình dự báo? Trong chuỗi thời gian, các chuỗi con có thể cùng mẫu hình biến thiên nhưng khác nhau về độ dài thực tế. Phép biến đổi vị tự trong không gian Affine đưa các chuỗi con về một độ dài tiêu chuẩn chung mà vẫn bảo toàn chính xác hình dạng đường cong ban đầu, cho phép áp dụng chuẩn xác khoảng cách Euclid khi gom cụm K-means.

  3. Tỷ lệ nén trong việc xác định điểm cực trị quan trọng được xác định dựa trên nguyên tắc nào? Tỷ lệ nén R quy định phần trăm các điểm dữ liệu ít biến động bị loại bỏ khỏi chuỗi gốc. Nghiên cứu thực nghiệm chứng minh rằng mức nén tối ưu từ 91% đến 94% sẽ giữ lại từ 6% đến 9% số điểm then chốt nhất, đủ để phản ánh các bước ngoặt của chuỗi mà không làm sai lệch hình thái khi gom cụm.

  4. Phương pháp đề xuất có khả năng dự báo tốt trên chuỗi thời gian phi tuyến và phi dừng không? Hoàn toàn có. Khác với mô hình ARIMA vốn đòi hỏi tính dừng nghiêm ngặt hoặc các phương pháp làm trơn hàm mũ chỉ xử lý quan hệ tuyến tính, k-NN là mô hình phi tham số. Khi kết hợp với phân đoạn hình thái, mô hình xử lý rất hiệu quả các chuỗi phi tuyến tính cao như dữ liệu dao động laser và lưu lượng Internet.

  5. Hệ thống này có yêu cầu cấu hình phần cứng phức tạp khi triển khai thực tế không? Thuật toán tìm điểm cực trị quan trọng có độ phức tạp tuyến tính O(n) và chỉ cần duyệt dữ liệu một lần. Hệ thống được hiện thực mượt mà trên môi trường máy tính văn phòng tiêu chuẩn (chip lõi kép Intel Core 2 Duo 2.00GHz, RAM 3GB), hoàn toàn tương thích và dễ dàng triển khai trên các hệ thống nhúng hoặc máy chủ cấu hình phổ thông.

Kết luận

  • Luận văn đã giải quyết thành công bài toán tối ưu hóa độ nhạy tham số của thuật toán k-NN đơn lẻ bằng cách xây dựng mô hình tập hợp gồm hai bộ dự báo con thích nghi {k1-NN, k2-NN}.
  • Tích hợp xuất sắc kỹ thuật trích xuất điểm cực trị quan trọng với tỷ lệ nén trên 90% và phép biến đổi vị tự, tạo bước đột phá trong tiền xử lý chuỗi con.
  • Thay thế hoàn toàn bộ phân lớp SVM bằng giải thuật K-means hiệu năng cao, nâng cao độ chính xác phân loại mẫu truy vấn và giảm thiểu độ phức tạp tính toán.
  • Kiểm chứng thực nghiệm toàn diện trên 6 tập dữ liệu đa ngành với 52.247 điểm quan sát, chứng minh khả năng giảm sai số RMSE từ 8% đến 14,5%.
  • Cung cấp mã nguồn hiện thực hoàn chỉnh trên nền tảng C# .NET, sẵn sàng chuyển giao ứng dụng vào các hệ thống dự báo phụ tải điện và lưu lượng mạng viễn thông.

Đóng góp lớn nhất của công trình là thiết lập một quy trình dự báo chuỗi thời gian hoàn chỉnh, cân bằng tối ưu giữa độ chính xác dự báo và tốc độ xử lý tính toán. Trong lộ trình 12 tháng tới, các nhóm phát triển nên tiến hành thử nghiệm mô hình trên các luồng dữ liệu lớn (Big Data Streams) và tích hợp các thuật toán tối ưu hóa bầy đàn tự động. Hãy nghiên cứu sâu toàn văn luận văn thạc sĩ này để nắm bắt trọn vẹn kiến trúc thuật toán và tiên phong ứng dụng công nghệ khai phá dữ liệu chuỗi thời gian vào các dự án công nghệ của bạn ngay hôm nay.