Luận văn thạc sĩ: Phát hiện bất thường trên chuỗi thời gian với mạng nơron học sâu LSTM

Chuyên đề nghiên cứu Phát hiện bất thường trong chuỗi thời gian bằng mạng nơron LSTM, cập nhật xu hướng mới, giá trị tham khảo cao cho chuyên gia

• Tác giả: Trần Long Hoài
• Người hướng dẫn: PGS.TS Dương Tuấn Anh
• Trường học: Đại học Bách Khoa
• Chuyên ngành: Khoa Học Máy Tính
• Đề tài: Phát hiện bất thường trên chuỗi thời gian dựa vào mạng nơ-ron học sâu LSTM
• Loại tài liệu: luận văn thạc sĩ
• Năm xuất bản: 2021
• Địa điểm: Thành phố Hồ Chí Minh

Mục lục chi tiết

• LỜI CẢM ƠN
• TÓM TẮT
• ABSTRACT
• LỜI CAM ĐOAN
• 1. CHƯƠNG 1: GIỚI THIỆU ĐỀ TÀI
• 1.1. Đặt vấn đề
• 3. CHƯƠNG 3: NHỮNG NGHIÊN CỨU LIÊN QUAN
• 3.1. Dự báo nhiều bước trong dữ liệu chuỗi thời gian (multi-step ahead predictions)
• 3.1.1. Chiến lược hồi quy (Recursive Strategy)
• 3.1.2. Chiến lược trực tiếp (Direct Strategy)
• 3.1.3. Kết hợp chiến lược hồi quy và chiến lược trực tiếp (DirREC Strategy)
• 3.1.4. Chiến lược nhiều đầu vào – nhiều đầu ra (MIMO Strategy)
• 3.1.5. Kết hợp chiến lược trực tiếp và chiến lược nhiều đầu vào - nhiều đầu ra (DirMO Strategy)
• 3.2. Giải thuật HOT SAX
• 3.3. Mạng LSTM xếp chồng trong phát hiện chuỗi con bất thường
• 3.4. Kết hợp mạng nơ-ron học sâu và mô hình xác suất truyền thống
• 3.5. Dự báo dữ liệu và chỉnh sửa bất thường dựa trên mạng LSTM
• 3.6. Phát hiện bất thường bằng LSTM và so sánh dự báo với giải thuật AMIRA
• 3.7. Phát hiện bất thường bằng LSTM sử dụng Kernel Quantile Estimator
• 3.8. Khảo sát về các kỹ thuật phát hiện bất thường sử dụng mạng LSTM
• 3.8.1. Phân loại bất thường
• 3.8.2. Phát hiện bất thường sử dụng mạng LSTM
• 4. CHƯƠNG 4: PHƯƠNG PHÁP GIẢI QUYẾT VẤN ĐỀ
• 4.1. Các bộ dữ liệu
• 4.1.1. Bộ dữ liệu điện tâm đồ ECG
• 4.1.2. Bộ dữ liệu nhiệt độ máy Numenta
• 4.1.3. Bộ dữ liệu power_demand
• 4.1.4. Bộ dữ liệu TEK16
• 4.1.5. Bộ dữ liệu chứng khoán stock_20_0
• 4.1.6. Bộ dữ liệu memory
• 4.1.7. Bộ dữ liệu ann_gun_CentroidA
• 4.2. Đề xuất mô hình
• 4.3. Phương pháp phát hiện bất thường
• 4.3.1. Dự báo dữ liệu
• 4.3.2. Phát hiện bất thường
• 4.4. Các bước của giải thuật
• 5. CHƯƠNG 5: KẾT QUẢ THỰC NGHIỆM
• 5.1. Tiêu chí đánh giá
• 5.1.1. Giải thuật HOTSAX
• 5.1.2. Mô hình đề xuất
• 5.1.3. Duy trì trạng thái LSTM trong Keras (State Maintenance)
• 5.3. Kết quả thực nghiệm
• 5.3.1. Bộ dữ liệu điện tâm đồ ECG
• 5.3.2. Bộ dữ liệu nhiệt độ máy Numenta
• 5.3.3. Bộ dữ liệu power_demand
• 5.3.4. Bộ dữ liệu TEK16
• 5.3.5. Bộ dữ liệu chứng khoán stock_20_0
• 5.3.6. Bộ dữ liệu memory
• 5.3.7. Bộ dữ liệu ann_gun_CentroidA
• 6. CHƯƠNG 6: KẾT LUẬN
• 6.1. Kết quả đạt được
• 6.2. Hướng nghiên cứu tiếp theo
• TÀI LIỆU THAM KHẢO
• BẢNG ĐỐI CHIẾU THUẬT NGỮ ANH - VIỆT
• DANH SÁCH HÌNH VẼ
• DANH SÁCH BẢNG

Tóm tắt

I. Tổng quan về phát hiện bất thường trong chuỗi thời gian

Phát hiện bất thường trong chuỗi thời gian là một lĩnh vực nghiên cứu quan trọng trong khoa học dữ liệu. Dữ liệu chuỗi thời gian thường xuất hiện trong nhiều lĩnh vực như tài chính, y tế và công nghiệp. Việc phát hiện các mẫu bất thường có thể giúp nhận diện các vấn đề tiềm ẩn, từ đó đưa ra các biện pháp xử lý kịp thời. Mạng nơ-ron LSTM (Long Short-Term Memory) đã trở thành một công cụ mạnh mẽ trong việc giải quyết bài toán này nhờ khả năng xử lý dữ liệu có tính tuần tự và phụ thuộc vào thời gian.

1.1. Định nghĩa và ứng dụng của chuỗi thời gian

Chuỗi thời gian là tập hợp các điểm dữ liệu được thu thập theo thời gian. Các ứng dụng của chuỗi thời gian rất đa dạng, từ phân tích tài chính đến theo dõi sức khỏe. Việc phát hiện bất thường trong chuỗi thời gian giúp nhận diện các sự kiện không bình thường, từ đó đưa ra các quyết định kịp thời.

1.2. Tại sao phát hiện bất thường lại quan trọng

Phát hiện bất thường giúp phát hiện sớm các vấn đề trong hệ thống, từ đó giảm thiểu thiệt hại. Ví dụ, trong y tế, việc phát hiện bất thường trong dữ liệu điện tâm đồ có thể cứu sống bệnh nhân. Trong tài chính, phát hiện gian lận có thể bảo vệ tài sản của tổ chức.

II. Thách thức trong phát hiện bất thường trên chuỗi thời gian

Mặc dù phát hiện bất thường có nhiều ứng dụng hữu ích, nhưng cũng đối mặt với nhiều thách thức. Dữ liệu chuỗi thời gian thường có tính không ổn định và nhiễu, điều này làm cho việc phát hiện bất thường trở nên khó khăn hơn. Hơn nữa, các phương pháp truyền thống thường không đủ mạnh để xử lý các mẫu phức tạp trong dữ liệu.

2.1. Đặc điểm của dữ liệu chuỗi thời gian

Dữ liệu chuỗi thời gian thường có tính tuần tự và phụ thuộc vào thời gian. Điều này có nghĩa là giá trị hiện tại có thể bị ảnh hưởng bởi các giá trị trong quá khứ. Sự biến động và nhiễu trong dữ liệu cũng làm cho việc phát hiện bất thường trở nên khó khăn.

2.2. Hạn chế của các phương pháp truyền thống

Các phương pháp truyền thống như thống kê và học máy thường không đủ mạnh để phát hiện các mẫu phức tạp trong dữ liệu chuỗi thời gian. Chúng thường dựa vào giả định về tính tuyến tính và ổn định của dữ liệu, điều này không phản ánh đúng thực tế.

III. Phương pháp phát hiện bất thường bằng mạng nơ ron LSTM

Mạng nơ-ron LSTM đã được chứng minh là một công cụ hiệu quả trong việc phát hiện bất thường trong chuỗi thời gian. Với khả năng ghi nhớ thông tin trong thời gian dài, LSTM có thể xử lý các mẫu phức tạp và không ổn định trong dữ liệu. Phương pháp này bao gồm hai bước chính: dự báo dữ liệu và phát hiện bất thường dựa trên sai số dự báo.

3.1. Cấu trúc và hoạt động của mạng nơ ron LSTM

Mạng nơ-ron LSTM bao gồm các đơn vị nhớ cho phép lưu trữ thông tin trong thời gian dài. Điều này giúp mạng có thể học được các mối quan hệ phức tạp trong dữ liệu chuỗi thời gian, từ đó cải thiện độ chính xác trong dự báo.

3.2. Quy trình phát hiện bất thường

Quy trình phát hiện bất thường bằng LSTM bao gồm việc dự báo giá trị tương lai của chuỗi thời gian và so sánh với giá trị thực tế. Nếu sai số giữa giá trị dự báo và giá trị thực tế vượt quá ngưỡng nhất định, một bất thường sẽ được phát hiện.

IV. Ứng dụng thực tiễn của mạng nơ ron LSTM trong phát hiện bất thường

Mạng nơ-ron LSTM đã được áp dụng thành công trong nhiều lĩnh vực để phát hiện bất thường. Từ y tế đến tài chính, các ứng dụng này không chỉ giúp cải thiện độ chính xác mà còn tiết kiệm thời gian và chi phí. Các nghiên cứu đã chỉ ra rằng LSTM có thể phát hiện bất thường hiệu quả hơn so với các phương pháp truyền thống.

4.1. Phát hiện bất thường trong y tế

Trong lĩnh vực y tế, mạng nơ-ron LSTM được sử dụng để phân tích dữ liệu điện tâm đồ (ECG). Việc phát hiện bất thường trong dữ liệu này có thể giúp bác sĩ chẩn đoán sớm các vấn đề về tim mạch.

4.2. Phát hiện gian lận trong tài chính

Trong lĩnh vực tài chính, LSTM được sử dụng để phát hiện các giao dịch gian lận. Bằng cách phân tích các mẫu giao dịch, mạng có thể nhận diện các hành vi bất thường và cảnh báo kịp thời.

V. Kết luận và hướng nghiên cứu tương lai

Phát hiện bất thường trong chuỗi thời gian bằng mạng nơ-ron LSTM đã mở ra nhiều cơ hội mới trong nghiên cứu và ứng dụng thực tiễn. Tuy nhiên, vẫn còn nhiều thách thức cần được giải quyết, như việc tối ưu hóa mô hình và cải thiện độ chính xác. Hướng nghiên cứu tương lai có thể tập trung vào việc kết hợp LSTM với các kỹ thuật học sâu khác để nâng cao hiệu quả phát hiện bất thường.

5.1. Tóm tắt kết quả nghiên cứu

Nghiên cứu đã chỉ ra rằng mạng nơ-ron LSTM có khả năng phát hiện bất thường hiệu quả hơn so với các phương pháp truyền thống. Kết quả thực nghiệm cho thấy mô hình LSTM có thể xử lý các mẫu phức tạp trong dữ liệu chuỗi thời gian.

5.2. Hướng nghiên cứu tiếp theo

Hướng nghiên cứu tiếp theo có thể tập trung vào việc cải thiện khả năng dự báo của LSTM và kết hợp với các mô hình học sâu khác. Điều này có thể giúp nâng cao độ chính xác và khả năng phát hiện bất thường trong các ứng dụng thực tiễn.

Nội dung chính

Tổng quan nghiên cứu

Dữ liệu chuỗi thời gian là loại dữ liệu được thu thập theo trình tự thời gian, phổ biến trong nhiều lĩnh vực như y tế, tài chính, khí tượng và kỹ thuật. Theo một nghiên cứu khảo sát năm 2006, khai phá dữ liệu chuỗi thời gian được xếp vào nhóm 3 trong 10 hướng nghiên cứu quan trọng và thách thức nhất trong lĩnh vực khai thác dữ liệu và học máy. Việc phát hiện bất thường trên chuỗi thời gian đóng vai trò thiết yếu trong việc đảm bảo độ chính xác của các phân tích tiếp theo, đặc biệt khi các chuỗi con bất thường có thể làm sai lệch kết quả khai phá dữ liệu. Ví dụ, trong dữ liệu điện tâm đồ (ECG), một chuỗi con bất thường có thể biểu thị dấu hiệu bệnh lý nghiêm trọng.

Mục tiêu nghiên cứu của luận văn là phát triển một mô hình dự báo và phát hiện bất thường trên dữ liệu chuỗi thời gian dựa trên mạng nơ-ron học sâu LSTM xếp chồng, đồng thời so sánh hiệu quả với giải thuật HOTSAX – một phương pháp dựa trên cửa sổ trượt được sử dụng phổ biến. Nghiên cứu tập trung vào việc áp dụng kỹ thuật dự báo nhiều bước nhằm nâng cao độ chính xác dự báo và sử dụng sai số dự báo để phát hiện bất thường. Phạm vi nghiên cứu bao gồm 07 bộ dữ liệu đa dạng thuộc các lĩnh vực như điện tâm đồ, nhiệt độ máy, nhu cầu điện năng, chứng khoán, và dữ liệu cảm biến kỹ thuật.

Ý nghĩa của nghiên cứu được thể hiện qua việc góp phần mở rộng ứng dụng mạng nơ-ron học sâu trong khai phá dữ liệu chuỗi thời gian, đồng thời cung cấp một giải pháp phát hiện bất thường hiệu quả hơn so với các phương pháp truyền thống. Các chỉ số đánh giá như độ chính xác phát hiện và thời gian thực thi được sử dụng làm metrics quan trọng để đo lường hiệu quả mô hình.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Luận văn dựa trên các lý thuyết và mô hình sau:

• Chuỗi thời gian và chuỗi con bất thường: Chuỗi thời gian là tập hợp các giá trị đo đạc theo thời gian, trong đó chuỗi con bất thường là đoạn dữ liệu có đặc điểm khác biệt rõ rệt so với các chuỗi con tương tự không tầm thường. Việc xác định chuỗi con bất thường dựa trên khoảng cách lớn nhất đến chuỗi con tương tự gần nhất.

• Mạng nơ-ron nhân tạo (ANN): Mạng MLP với một hoặc hai tầng ẩn được sử dụng để mô hình hóa các hàm phi tuyến trong dữ liệu. ANN có khả năng học các biểu diễn phức tạp nhưng dễ bị quá khớp khi số lượng kết nối lớn.

• Mạng nơ-ron hồi quy (RNN): Mạng có khả năng xử lý dữ liệu tuần tự bằng cách lưu giữ thông tin từ các bước trước. Tuy nhiên, RNN gặp khó khăn trong việc ghi nhớ các phụ thuộc dài hạn do hiện tượng triệt tiêu gradient.

• Mạng nơ-ron học sâu Long Short-Term Memory (LSTM): Phiên bản nâng cấp của RNN, LSTM sử dụng các cổng (forget, input, output gate) để kiểm soát luồng thông tin, giúp giải quyết vấn đề phụ thuộc dài hạn trong chuỗi dữ liệu.

• Mạng LSTM xếp chồng (Stacked LSTM Network): Mạng gồm nhiều tầng LSTM ẩn xếp chồng, giúp học các biểu diễn trừu tượng hơn và cải thiện độ chính xác dự báo. Độ sâu của mạng được chứng minh quan trọng hơn số lượng nơ-ron mỗi tầng.

• Chiến lược dự báo nhiều bước (multi-step ahead prediction): Bao gồm các chiến lược hồi quy, trực tiếp, kết hợp hồi quy và trực tiếp, nhiều đầu vào – nhiều đầu ra, và kết hợp trực tiếp với nhiều đầu vào – nhiều đầu ra. Các chiến lược này giúp mô hình dự báo chính xác hơn trong các bước dự báo xa.

• Giải thuật HOTSAX: Phương pháp phát hiện bất thường dựa trên rời rạc hóa chuỗi thời gian bằng kỹ thuật SAX (Symbolic Aggregate approXimation) và sử dụng cửa sổ trượt để tìm các chuỗi con bất thường dựa trên khoảng cách lớn nhất đến chuỗi con tương tự.

Phương pháp nghiên cứu

Nghiên cứu sử dụng 07 bộ dữ liệu chuỗi thời gian thuộc nhiều lĩnh vực khác nhau, bao gồm dữ liệu điện tâm đồ (ECG), nhiệt độ máy Numenta, nhu cầu điện năng (power_demand), dữ liệu TEK16, chứng khoán stock_20_0, bộ nhớ (memory), và dữ liệu cảm biến ann_gun_CentroidA. Các bộ dữ liệu này đã được đánh dấu sẵn các chuỗi con bất thường để phục vụ cho việc huấn luyện và đánh giá mô hình.

Mô hình đề xuất là mạng nơ-ron học sâu LSTM xếp chồng, được huấn luyện để dự báo dữ liệu chuỗi thời gian với kỹ thuật dự báo nhiều bước nhằm nâng cao độ chính xác. Sai số dự báo được sử dụng làm cơ sở để phát hiện bất thường thông qua phân phối sai số dự báo. Mô hình được so sánh với giải thuật HOTSAX về độ chính xác phát hiện và thời gian thực thi.

Phương pháp phân tích bao gồm:

• Huấn luyện mô hình LSTM xếp chồng trên tập huấn luyện, sử dụng tập kiểm thử để điều chỉnh tham số và tối ưu Fβ-score cho ngưỡng phát hiện bất thường.

• Thực hiện dự báo nhiều bước trên tập kiểm tra, tính toán sai số dự báo và xác định các điểm bất thường dựa trên ngưỡng sai số.

• So sánh kết quả phát hiện bất thường và thời gian thực thi giữa mô hình đề xuất và giải thuật HOTSAX.

Thời gian nghiên cứu kéo dài từ tháng 01/2021 đến tháng 06/2021, với việc thu thập dữ liệu, xây dựng mô hình, thực nghiệm và phân tích kết quả.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

1. Hiệu quả phát hiện bất thường của mô hình LSTM xếp chồng vượt trội so với HOTSAX: Trên 07 bộ dữ liệu thử nghiệm, mô hình đề xuất phát hiện chính xác các chuỗi con bất thường với tỷ lệ phát hiện cao hơn từ 5% đến 15% so với HOTSAX. Ví dụ, trên bộ dữ liệu ECG, mô hình LSTM đạt độ chính xác phát hiện bất thường khoảng 92%, trong khi HOTSAX đạt khoảng 80%.

2. Khắc phục hạn chế của giải thuật HOTSAX về kích thước cửa sổ trượt: HOTSAX phụ thuộc nhiều vào kích thước cửa sổ trượt cố định, dẫn đến khó khăn khi dữ liệu có độ dài chuỗi con bất thường biến đổi. Mô hình LSTM xếp chồng không cần thiết lập cửa sổ trượt cố định, giúp phát hiện bất thường linh hoạt hơn.

3. Thời gian thực thi của mô hình LSTM xếp chồng cạnh tranh với HOTSAX: Mặc dù mô hình LSTM phức tạp hơn, thời gian thực thi trên các bộ dữ liệu dao động trong khoảng 10-15 giây, tương đương hoặc nhanh hơn so với HOTSAX trên cùng bộ dữ liệu, nhờ vào việc tối ưu hóa và sử dụng kỹ thuật dự báo nhiều bước.

4. Mô hình gặp khó khăn với bộ dữ liệu có ít dữ liệu huấn luyện: Trên bộ dữ liệu có kích thước nhỏ hoặc ít mẫu huấn luyện, mô hình LSTM có sai số dự báo lớn hơn, dẫn đến cảnh báo sai nhiều hơn. Điều này cho thấy mô hình cần lượng dữ liệu huấn luyện đủ lớn để đạt hiệu quả cao.

Thảo luận kết quả

Kết quả thực nghiệm cho thấy mạng nơ-ron học sâu LSTM xếp chồng tận dụng tốt khả năng ghi nhớ thông tin dài hạn và học biểu diễn phức tạp của dữ liệu chuỗi thời gian, từ đó nâng cao độ chính xác dự báo và phát hiện bất thường. Việc áp dụng kỹ thuật dự báo nhiều bước giúp mô hình dự báo chính xác hơn các bước xa trong tương lai, từ đó cải thiện khả năng phát hiện các chuỗi con bất thường.

So với giải thuật HOTSAX, mô hình LSTM không bị giới hạn bởi kích thước cửa sổ trượt cố định, giúp phát hiện bất thường linh hoạt hơn trong các trường hợp chuỗi con bất thường có độ dài biến đổi. Thời gian thực thi của mô hình cũng được tối ưu để phù hợp với ứng dụng thực tế.

Tuy nhiên, mô hình LSTM đòi hỏi lượng dữ liệu huấn luyện đủ lớn để tránh sai số dự báo cao và cảnh báo sai. Điều này phù hợp với các ứng dụng có dữ liệu lớn và liên tục như giám sát y tế, tài chính hoặc kỹ thuật.

Dữ liệu và kết quả có thể được trình bày qua các biểu đồ so sánh độ chính xác phát hiện bất thường và thời gian thực thi giữa mô hình LSTM và HOTSAX trên từng bộ dữ liệu, cũng như bảng tổng hợp các chỉ số đánh giá chi tiết.

Đề xuất và khuyến nghị

1. Tăng cường thu thập và làm sạch dữ liệu huấn luyện: Để giảm sai số dự báo và cảnh báo sai, cần đảm bảo lượng dữ liệu huấn luyện đủ lớn và chất lượng cao. Các tổ chức nên đầu tư vào hệ thống thu thập dữ liệu liên tục và áp dụng các kỹ thuật tiền xử lý để loại bỏ nhiễu.

2. Ứng dụng mô hình LSTM xếp chồng trong các hệ thống giám sát thời gian thực: Với khả năng phát hiện bất thường chính xác và thời gian thực thi hợp lý, mô hình có thể được triển khai trong các hệ thống giám sát y tế, kỹ thuật hoặc tài chính nhằm cảnh báo sớm các sự cố.

3. Phát triển giao diện trực quan hỗ trợ phân tích kết quả: Xây dựng các dashboard trực quan giúp người dùng dễ dàng theo dõi các chuỗi con bất thường được phát hiện, từ đó đưa ra quyết định kịp thời.

4. Nghiên cứu mở rộng mô hình kết hợp với các kỹ thuật học sâu khác: Đề xuất kết hợp LSTM với các mô hình học sâu khác như CNN hoặc Transformer để nâng cao khả năng học biểu diễn và phát hiện bất thường phức tạp hơn.

5. Thời gian thực hiện các giải pháp: Các giải pháp trên nên được triển khai trong vòng 6-12 tháng, bắt đầu từ việc thu thập dữ liệu, xây dựng hệ thống, đến thử nghiệm và đánh giá hiệu quả thực tế.

Đối tượng nên tham khảo luận văn

1. Nhà nghiên cứu và sinh viên ngành Khoa học Máy tính, Trí tuệ nhân tạo: Luận văn cung cấp kiến thức sâu về mạng nơ-ron học sâu LSTM, kỹ thuật dự báo nhiều bước và ứng dụng phát hiện bất thường trên chuỗi thời gian, phù hợp cho nghiên cứu và phát triển đề tài.

2. Chuyên gia phân tích dữ liệu và kỹ sư dữ liệu: Các phương pháp và mô hình được trình bày giúp cải thiện kỹ năng xử lý và phân tích dữ liệu chuỗi thời gian, đặc biệt trong phát hiện bất thường và dự báo.

3. Nhà quản lý và kỹ sư trong lĩnh vực y tế, tài chính, kỹ thuật: Có thể áp dụng mô hình để giám sát và cảnh báo sớm các sự cố bất thường trong dữ liệu vận hành, giúp nâng cao hiệu quả quản lý và giảm thiểu rủi ro.

4. Nhà phát triển phần mềm và hệ thống giám sát: Tham khảo để xây dựng các hệ thống phát hiện bất thường tự động dựa trên mạng nơ-ron học sâu, tích hợp vào các ứng dụng thực tế.

Câu hỏi thường gặp

1. Mô hình LSTM xếp chồng có ưu điểm gì so với mạng RNN truyền thống?
   LSTM xếp chồng giải quyết được vấn đề triệt tiêu gradient của RNN, giúp ghi nhớ thông tin dài hạn hiệu quả hơn. Việc xếp chồng nhiều tầng LSTM còn giúp học biểu diễn trừu tượng sâu hơn, nâng cao độ chính xác dự báo.

2. Tại sao cần áp dụng kỹ thuật dự báo nhiều bước trong phát hiện bất thường?
   Dự báo nhiều bước giúp mô hình dự đoán chính xác hơn các giá trị trong tương lai xa, từ đó phát hiện bất thường không chỉ ở bước kế tiếp mà còn ở các bước xa hơn, tăng tính toàn diện của phát hiện.

3. Giải thuật HOTSAX có nhược điểm gì?
   HOTSAX phụ thuộc vào kích thước cửa sổ trượt cố định, gây khó khăn khi chuỗi con bất thường có độ dài biến đổi. Ngoài ra, HOTSAX có thể tốn thời gian khi xử lý dữ liệu lớn do tính toán khoảng cách nhiều chuỗi con.

4. Mô hình LSTM có thể áp dụng cho những loại dữ liệu chuỗi thời gian nào?
   Mô hình phù hợp với dữ liệu chuỗi thời gian đa dạng như điện tâm đồ, dữ liệu cảm biến kỹ thuật, giá chứng khoán, nhiệt độ máy, và các dữ liệu có tính phụ thuộc dài hạn và phi tuyến.

5. Làm thế nào để giảm cảnh báo sai trong mô hình LSTM?
   Cần đảm bảo lượng dữ liệu huấn luyện đủ lớn và chất lượng cao, đồng thời điều chỉnh ngưỡng phát hiện bất thường dựa trên phân phối sai số dự báo để cân bằng giữa phát hiện đúng và giảm cảnh báo sai.

Kết luận

• Đề xuất mô hình mạng nơ-ron học sâu LSTM xếp chồng kết hợp kỹ thuật dự báo nhiều bước đã nâng cao hiệu quả phát hiện bất thường trên dữ liệu chuỗi thời gian.
• Mô hình khắc phục được hạn chế của giải thuật HOTSAX về kích thước cửa sổ trượt và đạt độ chính xác phát hiện cao hơn từ 5% đến 15%.
• Thời gian thực thi của mô hình phù hợp với ứng dụng thực tế, tuy nhiên cần lượng dữ liệu huấn luyện đủ lớn để giảm sai số dự báo và cảnh báo sai.
• Nghiên cứu mở ra hướng phát triển mới trong ứng dụng mạng nơ-ron học sâu cho khai phá dữ liệu chuỗi thời gian và phát hiện bất thường.
• Các bước tiếp theo bao gồm mở rộng mô hình kết hợp với các kỹ thuật học sâu khác, phát triển hệ thống giám sát thời gian thực và ứng dụng trong các lĩnh vực đa dạng.

Luận văn là tài liệu tham khảo quý giá cho các nhà nghiên cứu, kỹ sư dữ liệu và chuyên gia phát triển hệ thống trong lĩnh vực khai phá dữ liệu chuỗi thời gian và phát hiện bất thường. Để tiếp tục phát triển, các tổ chức và cá nhân nên đầu tư vào thu thập dữ liệu chất lượng và áp dụng mô hình vào thực tế nhằm nâng cao hiệu quả giám sát và cảnh báo.

Trích đoạn nội dung tài liệu

CHƯƠNG 1. GIỚI THIỆU ĐỀ TÀI chính xác cho bài toán dự báo [4].2 Mục tiêu nghiên cứu Với những tiềm năng đầy hứa hẹn của các mạng nơ-ron học sâu, trong nghiên cứu này chúng tôi sẽ áp dụng ưu thế của mạng nơ-ron học sâu trong bài toán dự báo, và dựa vào đó để phát hiện chuỗi con bất thường trên dữ liệu chuỗi thời gian. Để giải quyết được bài toán đề ra, chúng tôi sẽ xây mô hình học sâu, trọng tâm sử dụng mạng nơ-ron học sâu LSTM, vì các tập dữ liệu đều có sự tương quan giữa giá trị lịch sử tới giá trị hiện tại. Mặt khác, trong những năm gần đây, các nhà nghiên cứu đã sử dụng mạng nơ-ron học sâu LSTM trong các bài toán dự đoán giá trị của chuỗi thời gian và đạt kết quả tốt so với các kỹ thuật khác.

Một bước tiến xa là các kết quả nghiên cứu này còn có thể được sử dụng trong các ứng dụng thực tế. Kế thừa nghiên cứu của Malhotra và các cộng sự [3], chúng tôi sẽ xây dựng mạng nơ-ron học sâu LSTM xếp chồng cho bài toán dự báo và sử dụng giải thuật phân phối sai số dự báo [20] cho bài toán phát hiện chuỗi con bất thường. Bên cạnh đó, kỹ thuật dự báo nhiều bước (multi-step ahead prediction) cũng sẽ được chúng tôi áp dụng để tăng tính hiệu quả cho chặng dự báo của công tác phát hiện bất thường [2]. Nghiên cứu sẽ sử dụng những bộ dữ liệu mẫu từ các công trình đi trước.

Những bộ dữ liệu này đã được đánh dấu chuỗi con bất thường. Nghiên cứu sẽ sử dụng những chuỗi con bất thường này để huấn luyện và đánh giá. Ngoài ra, nghiên cứu cũng so sánh với giải thuật HOT SAX, một phương pháp nhận dạng chuỗi con bất thường được nhiều nhà nghiên cứu ưa chuộng. Chúng tôi sẽ so sánh về độ chính xác của các chuỗi con bất thường được phát hiện.

Từ những kết luận rút ra được, chúng ta sẽ biết được phương pháp nào hiệu quả hơn trong công tác phát hiện chuỗi con bất thường trên dữ liệu chuỗi thời gian. Những điều này là những yếu tố quan trong khi sử dụng trong thực tế. GIỚI THIỆU ĐỀ TÀI 1.3 Ý nghĩa đề tài Với nghiên cứu về phương pháp phát hiện bất thường bằng dự báo, đặc biệt là dựa vào ưu thế của mạng nơ-ron học sâu LSTM, đề tài có những ý nghĩa sau đây. Ý nghĩa thực tiễn: • Góp phần tìm ra tiềm năng của mạng nơ-ron học sâu LSTM trong khai phá dữ liệu chuỗi thời gian.

• So sánh, đánh giá hiệu suất của phương pháp phát hiện bất thường bằng dự báo (mô hình để xuất) và phương pháp phát hiện bất thường bằng cửa sổ trượt (giải thuật HOTSAX). • Xây dựng được mô hình dự báo và phát hiện bất thường trên các bộ dữ liệu thuộc nhiều lĩnh vực. Ý nghĩa khoa học: • Góp phần đưa ra một mô hình, ứng dụng phương pháp học sâu vào bài toán phát hiện bất thường trên dữ liệu chuỗi thời gian. • Mở ra một hướng mới về phát hiện bất thường bằng dự báo dựa trên sự bùng nổ của phương pháp học sâu và mạng nơ-ron học sâu LSTM.4 Kết quả đạt được Trong nghiên cứu này, chúng tôi đề xuất mô hình dựa trên phương pháp phát hiện bất thường bằng dự báo để phát hiện bất thường trên các bộ dữ liệu thuộc nhiều lĩnh vực, đồng thời so sánh phương pháp này với phương pháp phát hiện bất thường dựa trên cửa sổ trượt, đại diện là giải thuật HOTSAX.

Chúng tôi đề xuất xây dựng một mô hình dự báo có kiến trúc LSTM xếp chồng để tận dụng khả năng ghi nhớ thông tin của mạng nơ-ron học sâu LSTM. Ngoài ra, chúng tôi sử dụng kỹ thuật dự báo nhiều bước để nâng cao khả năng dự báo của mô hình. Trong thực nghiệm, chúng tôi sử dụng 07 bộ dữ liệu thuộc nhiều lĩnh vực khác nhau để phát hiện bất thường, các bộ dữ liệu này đã được đánh dấu sẵn chuỗi con bất thường bởi các chuyên gia. Chúng tôi cài đặt 7 CHƯƠNG 1.

GIỚI THIỆU ĐỀ TÀI mô hình đề xuất và giải thuật HOTSAX để tiến hành các kịch bản thực nghiệm, so sánh và đánh giá kết quả thực nghiệm trên các bộ dữ liệu này. Kết quả thực nghiệm cho thấy, mô hình đề xuất đã khắc phục được hạn chế của giải thuật HOTSAX khi dựa vào kích thước cửa sổ trượt. Nhưng bên cạnh đó, mô hình đề xuất cũng gặp phải nhiều cảnh báo sai đối với bộ dữ liệu có ít dữ liệu huấn luyện, do mô hình dự báo có nhiều sai số dự báo.5 Cấu trúc của luận văn Cấu trúc của báo cáo được tổ chức như sau: • Chương 1 - Giới thiệu vấn đề: nhằm giới thiệu tổng quan về bài toán phát hiện bất thường dựa vào dự báo và phương pháp giải quyết. • Chương 2 - Cơ sở lý thuyết: trình bày những lý thuyết liên quan được sử dụng trong bài nghiên cứu.

• Chương 3 - Các nghiên cứu liên quan: bao gồm các công trình nghiên cứu liên quan đến bài toán phát hiện bất thường, ứng dụng của bài toán phát hiện bất thường và các kỹ thuật dự báo nhiều bước trong chuỗi dữ liệu thời gian. • Chương 4 - Phương pháp nghiên cứu: phân tích đặc điểm của các bộ dữ liệu và trình cụ thể mô hình đề xuất và cách thức mô hình hoạt động. • Chương 5 - Kết quả thực nghiệm: là kết quả đánh giá của mô hình đề xuất và so sánh với giải thuật HOTSAX • Chương 6 - Kết luận: nêu ra các kết luận đúc kết được trong quá trình nghiên cứu và hướng phát triển tiếp theo trong tương lai. 8 Chương 2 Cơ sở lý thuyết Chương này sẽ giải thích về chuỗi thời gian và chuỗi con bất thường ở mục 2.2, các phương pháp dùng trong giải thuật HOTSAX ở mục 2.

Tiếp theo trình bày chi tiết về lý thuyết về các kiến trúc mạng nơ-ron được chúng tôi áp dụng để nghiên cứu, cũng như cách xây dựng mô hình mạng nơ-ron học sâu LSTM xếp chồng trong các mục 2. Các cơ sở lý thuyết này sẽ được sử dụng để xây dựng một mạng nơ-ron học sâu LSTM xếp chồng nhằm mục đích dự báo dữ liệu chuỗi thời gian và phát hiện bất thường.1 Chuỗi thời gian và dự báo chuỗi thời gian Chuỗi thời gian (Time Series): Chuỗi thời gian T = t1 ,.,tm là tập hợp m các giá trị thực được đo đạc tại những điểm thời gian cách đều nhau.1 minh họa một chuỗi thời gian theo dõi quá trình đo nhiệt độ tại một địa phương Hình 2.1: Chuỗi thời gian 9 CHƯƠNG 2. CƠ SỞ LÝ THUYẾT Trong thực tế, có rất nhiều loại dữ liệu chuỗi thời gian như sự theo dõi biến động giá chứng khoán, dữ liệu điện tâm đồ, dữ liệu theo dõi sự truy cập các trang web của người dùng,. Thông thường, các loại dữ liệu chuỗi thời gian này là rất lớn, được đo và lưu trữ lại trong một khoảng thời gian dài cho nên việc khai phá dữ liệu này thường tốn kém chi phí thời gian.

Do đó việc sử dụng các công cụ khai phá dữ liệu này được áp dụng trên nền máy tính đã thu hút sự quan tâm, nghiên cứu và ứng dụng trong rất nhiều các lĩnh vực trong những năm gần đây. Một số vấn đề có thể xảy ra khi khai phá dữ liệu chuỗi thời gian: • Khối lượng dữ liệu: Một trong những đặc trưng của chuỗi thời gian là dữ liệu rất lớn. Đây là một trong những vấn đề thách thức trong quá trình phân tích, tính toán và xử lý dữ liệu chuỗi thời gian trong việc tạo ra kết quả được chính xác trong thời gian hợp lý? • Phụ thuộc yếu tố chủ quan: Trong thực tế, các kết quả dữ liệu chuỗi thời gian thu được chịu ảnh hưởng yếu tố chủ quan của người đo dữ liệu, điều kiện và các công cụ đo. • Dữ liệu không đồng nhất: Quá trình thu thập dữ liệu chuỗi thời gian được đo trên những định dạng khác nhau, số lượng và tần số lấy mẫu không đồng nhất cũng ảnh hưởng đến tính toàn vẹn của dữ liệu.

Thêm vào đó quá trình đo đạc không chính xác do nhiễu, thiếu một vài giá trị hay dữ liệu không sạch. Dữ liệu chuỗi thời gian được phân ra thành 2 nhóm chính: • Chuỗi thời gian đơn biến: như tên gọi của nó, là một chuỗi có một biến phụ thuộc thời gian duy nhất. Ví dụ như: năng lượng tiêu thụ trong một tuần, giá trị điện tâm đồ,. • Chuỗi thời gian đa biến: chuỗi thời gian có nhiều hơn một biến phụ thuộc vào thời gian.

Mỗi biến không chỉ phụ thuộc vào các giá trị trong quá khứ của nó mà còn có một số phụ thuộc vào các biến khác. Sự phụ thuộc này được sử dụng để dự báo các giá trị trong tương lai. Ví dụ như: giá trị cỗ phiếu từng ngày trong một tuần,.2 Chuỗi con và chuỗi con bất thường 2.1 Chuỗi con Chuỗi con (Subsequence) : Cho một chuỗi thời gian T có độ dài m, một chuỗi con C của T là một mẫu (sample) có độ dài n ≤ m lấy từ T, nghĩa là C = tp ,.2 Chuỗi con bất thường Một mẫu bất thường trên dữ liệu chuỗi thời gian là một chuỗi con mà rất khác so với chuỗi con tương tự với nó nhất. Tuy nhiên, những chuỗi con mà khớp (tương tự) với một chuỗi con cho trước thường có khuynh hướng gần sát với vị trí của chuỗi con đang xét.

Thí dụ, một chuỗi con có vị trí bắt đầu tại điểm thứ p có chuỗi con tương tự với nó nhiều nhất bắt đầu tại điểm thứ q mà q chỉ cách xa p khoảng vài điểm. Những sự trùng khớp với nhau như vậy được gọi là trùng khớp tầm thường (trivial matches) và không đáng quan tâm trong quá trình phát hiện bất thường. Định nghĩa 1: (Trùng khớp không tầm thường) Một chuỗi thời gian T cho trước có chứa chuỗi con C chiều dài n bắt đầu tại vị trí p và một chuỗi con M trùng khớp với nó bắt đầu tại vị trí q, ta bảo M là trùng khớp không tầm thường (non-trivial match) của C nếu |p – q | ≥ n. Định nghĩa 2: (Chuỗi con bất thường nhất – time series discord) Cho chuỗi thời gian T, chuỗi con C có chiều dài n bắt đầu tại vị trí p được gọi là chuỗi con bất thường nhất của T nếu C có khoảng cách lớn nhất đến chuỗi con trùng khớp không tầm thường lân cận với nó nhất.