Nghiên cứu xây dựng hệ thống giám sát và dự đoán bất thường mạng 4G sử dụng trí tuệ nhân tạo

Luận văn thạc sĩ nghiên cứu máy tính nghiên cứu xây dựng hệ thống giám sát và dự đoán bất thường mạng vô tuyến 4g sử dụng trí, đánh giá hiện trạng, phân tích vấn đề, đề xuất biện

• Tác giả: Đỗ Ngọc Thanh Châu
• Người hướng dẫn: PGS.TS Huỳnh Tường Nguyên
• Trường học: Đại Học Bách Khoa - ĐHQG TP.HCM
• Chuyên ngành: Khoa Học Máy Tính
• Đề tài: Hệ Thống Giám Sát Và Dự Đoán Bất Thường Mạng 4G Bằng Trí Tuệ Nhân Tạo
• Loại tài liệu: luận văn thạc sĩ
• Năm xuất bản: 2023
• Địa điểm: Hồ Chí Minh

Mục lục chi tiết

• LỜI CẢM ƠN
• TÓM TẮT LUẬN VĂN
• THESIS ABSTRACT
• LỜI CAM ĐOAN
• DANH SÁCH HÌNH VẼ
• DANH SÁCH BẢNG
• DANH SÁCH CÁC TỪ VIẾT TẮT
• 1. CHƯƠNG 1: TỔNG QUAN
• 1.1. Tổng quan
• 1.2. Tình hình nghiên cứu trong và ngoài nước
• 1.2.1. Một số nghiên cứu ở nước ngoài
• 1.2.2. Tình hình triển khai nghiên cứu ở trong nước
• 1.3. Nhiệm vụ luận văn
• 2. CHƯƠNG 2: CƠ SỞ LÝ THUYẾT
• 2.1. Dữ liệu đầu vào – Dữ liệu loại chuỗi thời gian (Time series)
• 2.2. Phân tích tương quan giữa các đặc trưng (các KPIs)
• 2.2.1. Phân tích tương quan Pearson
• 2.2.2. Phân tích tương quan Spearman
• 2.2.3. Phân tích tương quan Kendall
• 2.3. Các phương pháp tiền xử lý dữ liệu trước khi huấn luyện mô hình
• 2.3.1. Tiền xử lý dữ liệu đầu vào sử dụng Scaling
• 2.3.2. Tiền xử lý dữ liệu đầu vào sử dụng Normalization
• 2.4. Tách dữ liệu ra thành các set để hỗ trợ việc huấn luyện mô hình
• 2.5. Mạng nơ-ron nhân tạo (ANN)
• 2.6. Các lớp tương ứng dùng để huấn luyện mô hình
• 2.6.3. Lớp Bidirectional LSTM
• 2.6.4. Cơ chế Sequence to Sequence ở mạng RNN
• 2.7. Activation Lớp hay activation function
• 2.8. Sử dụng kỹ thuật Regression để predict cho những đặc trưng low-variant
• 3. CHƯƠNG 3: THIẾT KẾ VÀ THỰC HIỆN PHẦN MỀM
• 3.1. Lưu đồ giải thuật tổng quát và các bước thực hiện phần mềm
• 3.2. Lọc và import dữ liệu đầu vào
• 3.3. Chia dữ liệu ra làm 3 thành phần để hỗ trợ cho việc huấn luyện
• 3.4. Tiền xử lý dữ liệu đầu vào dùng Standard Scaler
• 3.5. Chọn lọc các thông số cho mô hình mạng LSTM
• 3.6. Nghiên cứu và chọn một vài phương pháp và kỹ thuật hỗ trợ huấn luyện mô hình
• 3.7. Thực hiện phần tính toán Accuracy để hỗ trợ cho việc huấn luyện
• 3.8. Thực hiện giải thuật Regression để dự đoán giá trị cho một số khoảng giá trị không chênh lệch nhiều của các đặc trưng
• 3.9. Thực hiện viết chương trình hỗ trợ cho việc predict dựa trên những mô hình đã huấn luyện
• 3.10. Tính toán và gắn nhãn bất thường cho từng điểm dữ liệu
• 4. CHƯƠNG 4: KẾT QUẢ THỰC HIỆN
• 4.1. Kết quả đánh giá tương quan và chọn lọc dữ liệu đầu vào
• 4.2. Kết quả chọn thông số và huấn luyện mô hình 1
• 4.3. Kết quả chọn thông số và huấn luyện mô hình 2
• 4.4. Kết quả chọn thông số và sử dụng kỹ thuật Regression
• 4.5. Kết quả thực hiện dự đoán và đánh giá bất thường
• 5. CHƯƠNG 5: KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN
• 5.1. Kết luận
• 5.2. Hướng phát triển và ứng dụng trong tương lai
• TÀI LIỆU THAM KHẢO

Tóm tắt

I. Giới thiệu về hệ thống giám sát mạng 4G

Hệ thống giám sát mạng 4G đóng vai trò quan trọng trong việc duy trì hiệu suất và an ninh cho các dịch vụ viễn thông. Mạng di động 4G cung cấp tốc độ truyền dữ liệu nhanh và khả năng kết nối mạnh mẽ hơn so với các thế hệ trước. Tuy nhiên, với sự gia tăng lưu lượng và số lượng người dùng, việc phát hiện và dự đoán bất thường trở nên cần thiết hơn bao giờ hết. Trí tuệ nhân tạo (AI) đã được áp dụng để cải thiện khả năng giám sát và phân tích dữ liệu trong thời gian thực. Sự kết hợp giữa AI và hệ thống giám sát giúp nâng cao khả năng phát hiện sớm các vấn đề tiềm ẩn, từ đó giảm thiểu thời gian chết và cải thiện chất lượng dịch vụ. Theo một nghiên cứu gần đây, việc áp dụng AI trong quản lý mạng có thể giúp tăng cường khả năng phát hiện bất thường lên đến 80%.

II. Các phương pháp dự đoán bất thường trong mạng 4G

Các phương pháp dự đoán bất thường trong mạng 4G thường sử dụng các mô hình học máy và học sâu. Một trong những mô hình phổ biến là mạng LSTM, được thiết kế để xử lý dữ liệu chuỗi thời gian. LSTM có khả năng ghi nhớ thông tin trong một khoảng thời gian dài, giúp cải thiện độ chính xác trong việc dự đoán các sự kiện bất thường. Ngoài ra, các phương pháp như phân tích dữ liệu và tiền xử lý dữ liệu cũng rất quan trọng để tối ưu hóa đầu vào cho mô hình. Việc sử dụng các kỹ thuật như chuẩn hóa và phân tích tương quan giúp tăng cường hiệu suất của mô hình. Theo một nghiên cứu, việc áp dụng LSTM trong dự đoán bất thường có thể đạt được độ chính xác lên tới 90%.

III. Phân tích dữ liệu và phát hiện xâm nhập

Phân tích dữ liệu là bước quan trọng trong việc phát hiện xâm nhập trong mạng không dây 4G. Các kỹ thuật như phân tích tương quan và phát hiện bất thường giúp xác định các mẫu dữ liệu không bình thường. Bằng cách sử dụng các phương pháp như phân tích tương quan Pearson và KPI, người quản lý mạng có thể phát hiện các dấu hiệu của sự xâm nhập hoặc sự cố. Ngoài ra, việc áp dụng các mô hình học sâu như CNN và GAN trong phân tích lưu lượng mạng cũng đã được chứng minh là hiệu quả. Các nghiên cứu cho thấy rằng việc phát hiện xâm nhập có thể cải thiện đáng kể nếu kết hợp nhiều phương pháp phân tích khác nhau.

IV. Tính ứng dụng và triển vọng tương lai

Hệ thống giám sát và dự đoán bất thường mạng 4G bằng trí tuệ nhân tạo không chỉ giúp cải thiện hiệu suất mạng mà còn nâng cao khả năng bảo mật. Với sự phát triển không ngừng của công nghệ, các ứng dụng của AI trong lĩnh vực viễn thông sẽ ngày càng mở rộng. Các nhà nghiên cứu đang tìm kiếm cách để tích hợp AI với các công nghệ mới như 5G, nhằm tối ưu hóa khả năng quản lý mạng trong tương lai. Hệ thống thông minh này sẽ không chỉ giúp phát hiện bất thường mà còn tự động hóa các quy trình khắc phục, từ đó tạo ra một mạng lưới an toàn và hiệu quả hơn cho người dùng.

Nội dung chính

Tổng quan nghiên cứu

Sự phát triển mạnh mẽ của công nghệ thông tin và viễn thông đã biến mạng di động thế hệ thứ tư thành hạ tầng trọng yếu của nền kinh tế số. Kể từ khi tiêu chuẩn mạng di động thế hệ mới được triển khai thương mại tại Việt Nam vào năm 2017 bởi các nhà mạng lớn như Tập đoàn Bưu chính Viễn thông Việt Nam, tỷ lệ phủ sóng dịch vụ toàn quốc đã nhanh chóng đạt xấp xỉ 90% dân số. Tuy nhiên, việc vận hành hàng chục nghìn trạm thu phát sóng vô tuyến đang đối mặt với thách thức lớn về quản trị chất lượng dịch vụ và tối ưu hóa trải nghiệm người dùng.

Phương thức giám sát truyền thống chủ yếu dựa trên các quy tắc tĩnh và phản ứng bị động khi sự cố đã xảy ra. Cách tiếp cận này thường khiến thời gian gián đoạn dịch vụ kéo dài, làm giảm chỉ số chất lượng dịch vụ và gia tăng chi phí vận hành. Mục tiêu trọng tâm của nghiên cứu là xây dựng hệ thống tự động giám sát và dự báo sớm các bất thường trên mạng vô tuyến diện rộng bằng cách ứng dụng các mô hình học sâu tiên tiến. Đề tài tập trung xử lý dữ liệu chuỗi thời gian quy mô lớn thu thập từ mạng lưới trạm phát sóng thực tế tại khu vực miền Nam Việt Nam.

Phạm vi nghiên cứu được thực hiện trên tập dữ liệu gồm 2.000 trạm thu phát sóng tiêu biểu trong khoảng thời gian 6 tháng huấn luyện và 2 tháng kiểm thử độc lập. Hệ thống tiếp nhận 15 chỉ số đo lường hiệu năng đầu vào và thực hiện dự báo chính xác 5 chỉ số cốt lõi trong tương lai. Nghiên cứu mang lại ý nghĩa thực tiễn lớn khi giúp giảm thiểu trên 30% thời gian xử lý sự cố mạng, duy trì độ sẵn sàng kết nối và cung cấp công cụ đắc lực cho các kỹ sư tối ưu hóa hạ tầng viễn thông hiện đại.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Nghiên cứu ứng dụng nền tảng lý thuyết phân tích chuỗi thời gian kết hợp với các kiến trúc mạng nơ-ron học sâu hiện đại. Khung lý thuyết bao gồm các phương pháp đo lường tương quan phi tham số và tham số gồm Pearson, Spearman và Kendall nhằm đánh giá mối liên hệ phụ thuộc giữa các biến số với mức ý nghĩa quan sát quy chuẩn đạt ngưỡng 5%. Trên cơ sở đó, hệ thống xác định các đặc trưng có tính quyết định đến lưu lượng và chất lượng kết nối của mạng vô tuyến.

Kiến trúc học sâu chủ đạo là mạng nơ-ron hồi quy với biến thể bộ nhớ dài ngắn hạn cùng mạng bộ nhớ dài ngắn hạn hai chiều. Cấu trúc này giải quyết triệt để hiện tượng suy giảm đạo hàm thường gặp trong các mô hình chuỗi truyền thống nhờ hệ thống cổng quên, cổng vào và cổng ra chuyên biệt. Bên cạnh đó, mô hình chuỗi sang chuỗi tích hợp cơ chế chú ý tập trung được triển khai để giải mã các phụ thuộc xa trong dữ liệu. Đối với các đặc trưng có phương sai thấp và giá trị ổn định, mô hình tự hồi quy tuyến tính được kết hợp nhằm tối ưu hóa chi phí tính toán và nâng cao tốc độ phản hồi.

+-------------------------------------------------------------------------------+
| DỮ LIỆU ĐẦU VÀO (15 KPIs chuỗi thời gian từ 2.000 trạm vô tuyến)             |
+-------------------------------------------------------------------------------+
                                      |
                                      v
+-------------------------------------------------------------------------------+
| TIỀN XỬ LÝ & CHỌN LỌC ĐẶC TRƯNG                                               |
| - Min-max Scaling / Standard Scaler                                           |
| - Phân tích tương quan (Pearson, Spearman, Kendall với mức ý nghĩa alpha = 5%)|
+-------------------------------------------------------------------------------+
                                      |
                                      v
+-------------------------------------------------------------------------------+
| KIẾN TRÚC MÔ HÌNH DỰ BÁO                                                      |
| - Nhóm biến động cao: Mạng LSTM / BiLSTM kết hợp Cơ chế chú ý (Attention)     |
| - Nhóm phương sai thấp: Thuật toán Tự hồi quy (AutoRegressive)                |
+-------------------------------------------------------------------------------+
                                      |
                                      v
+-------------------------------------------------------------------------------+
| ĐẦU RA DỰ BÁO & CẢNH BÁO BẤT THƯỜNG (5 KPIs cốt lõi: Throughput, Traffic,...) |
+-------------------------------------------------------------------------------+

Phương pháp nghiên cứu

Dữ liệu thực nghiệm được trích xuất trực tiếp từ hệ thống quản lý mạng của nhà mạng viễn thông tại các tỉnh phía Nam. Quy mô mẫu nghiên cứu gồm 2.000 tệp dữ liệu tương ứng với 2.000 trạm phát sóng đơn lẻ, với dung lượng thô ghi nhận xấp xỉ 2 gigabyte mỗi ngày theo chu kỳ 1 giờ một lần. Tổng dung lượng dữ liệu sử dụng cho giai đoạn huấn luyện lên tới 300 gigabyte được thu thập liên tục từ tháng 1 năm 2022 đến hết tháng 6 năm 2022. Tập dữ liệu kiểm thử và đánh giá độc lập gồm khoảng 100 gigabyte dữ liệu thu thập trong tháng 7 và tháng 8 năm 2022.

Phương pháp chọn mẫu có chủ đích được áp dụng nhằm lựa chọn các trạm phát sóng đại diện cho các khu vực có mật độ thuê bao cao, lưu lượng biến động mạnh và độ ổn định lịch sử tốt. Quy trình tiền xử lý dữ liệu bao gồm làm sạch các bản ghi lỗi, xử lý dữ liệu khuyết thiếu bằng phương pháp nội suy chuỗi thời gian và chuẩn hóa thang đo dữ liệu về khoảng giá trị từ 0 đến 1 thông qua kỹ thuật Min-max Scaling và Standard Scaler.

Toàn bộ tập dữ liệu được phân chia theo tỷ lệ 80% cho tập huấn luyện và 20% cho tập kiểm thử. Nhằm ngăn chặn hiện tượng quá khớp dữ liệu, kỹ thuật dừng sớm kết hợp tập kiểm chứng trung gian được kích hoạt khi sai số trên tập kiểm chứng có dấu hiệu gia tăng. Lý do lựa chọn mô hình học sâu kết hợp là khả năng tự động trích xuất các mẫu hình phi tuyến tính phức tạp trong lưu lượng mạng mà các thuật toán thống kê cổ điển không thể mô hình hóa chính xác.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

Quá trình phân tích tương quan giữa 15 thông số đầu vào đã giúp loại bỏ các chiều dữ liệu dư thừa, cô đọng lại các nhóm nhân tố tác động trực tiếp nhất đến 5 chỉ số hiệu năng đầu ra gồm lưu lượng tổng, tốc độ truyền tải trung bình tải xuống của người dùng, tỷ lệ chuyển giao cùng tần số thành công, tỷ lệ rớt dịch vụ và tỷ lệ thiết lập cuộc gọi thành công.

Chỉ số hiệu năng đầu ra	Phương pháp áp dụng	Ngưỡng sai số trung bình	Độ ổn định / Độ chính xác
Lưu lượng tổng	Mạng LSTM kết hợp Cơ chế chú ý	Dưới 2,8%	Bám sát chu kỳ ngày - đêm
Tốc độ truyền tải tải xuống	Mạng LSTM sâu	Dưới 3,5%	Nhận diện suy hao đột ngột
Tỷ lệ chuyển giao thành công	Mạng BiLSTM	Dưới 4,2%	Dự báo biến động giờ cao điểm
Tỷ lệ rớt dịch vụ	Mạng BiLSTM kết hợp Chuỗi sang chuỗi	Dưới 3,1%	Phát hiện tăng đột biến
Tỷ lệ thiết lập cuộc gọi	Thuật toán Tự hồi quy (AR)	Dưới 1,2%	Duy trì độ ổn định trên 98%

Mô hình mạng bộ nhớ dài ngắn hạn kết hợp cơ chế chú ý đạt độ chính xác dự báo rất cao với sai số trung bình nằm trong ngưỡng từ 2% đến 5% đối với các chỉ số có biến động lưu lượng lớn. Kết quả dự báo chuỗi thời gian bám sát chặt chẽ đồ thị thực tế của trạm phát sóng cả trong các khung giờ cao điểm lẫn giờ thấp điểm.

Đối với các chỉ số có phương sai thấp như tỷ lệ thiết lập cuộc gọi thành công, giải thuật tự hồi quy tuyến tính cho thấy hiệu quả vượt trội khi đạt độ ổn định dự đoán trên 98% mà không đòi hỏi tiêu tốn nhiều tài nguyên tính toán của hệ thống.

Hệ thống phát hiện bất thường dựa trên ngưỡng sai số động đã cảnh báo thành công các điểm suy giảm chất lượng dịch vụ sớm từ 1 đến 3 giờ trước khi các cảnh báo ngưỡng tĩnh truyền thống được kích hoạt, đạt tỷ lệ phát hiện chính xác trên 92% trên tập kiểm thử 100 gigabyte.

Thảo luận kết quả

Khả năng học sâu của mạng bộ nhớ dài ngắn hạn cho phép mô hình nắm bắt đầy đủ tính chu kỳ 24 giờ trong ngày và chu kỳ 7 ngày trong tuần của người dùng di động. Các biến động ngắn hạn do nghẽn mạng cục bộ được tách biệt rõ ràng khỏi các xu hướng suy thoái phần cứng thực sự.

Khi so sánh với các nghiên cứu sử dụng mô hình học máy truyền thống như tự hồi quy tích hợp trung bình trượt chỉ đạt độ chính xác khoảng 65% trên dữ liệu chuỗi phi tuyến, mô hình đề xuất thể hiện sự vượt trội rõ rệt về khả năng khái quát hóa. Kết quả thực nghiệm có thể được trình bày trực quan thông qua biểu đồ đường kép so sánh đường dữ liệu thực tế và đường dự báo, kết hợp biểu đồ phân tán thể hiện sự phân bổ sai số dự báo tập trung quanh trục chuẩn độ lệch 0.

Nguyên nhân chính giúp mô hình đạt hiệu suất cao là việc kết hợp linh hoạt giữa mạng học sâu nhiều tầng cho các đặc trưng động và thuật toán tự hồi quy cho các đặc trưng tĩnh. Điều này giúp cân bằng tối ưu giữa độ chính xác dự báo và hiệu năng vận hành thực tế trên quy mô hạ tầng lớn gồm hàng nghìn trạm phát sóng.

Đề xuất và khuyến nghị

1. Tích hợp mô hình dự báo vào hệ thống giám sát điều hành mạng tập trung: Ban Vận hành Khai thác Mạng lưới cần triển khai nhúng trực tiếp mô hình vào trung tâm điều hành trong vòng 3 tháng tới. Mục tiêu giảm thời gian nhận diện và cô lập sự cố trạm phát sóng từ mức 45 phút xuống dưới 15 phút, nâng cao chất lượng trải nghiệm cho toàn bộ thuê bao di động.
2. Chuẩn hóa đường ống tự động hóa dữ liệu và tái huấn luyện mô hình: Bộ phận Kỹ thuật Dữ liệu cần thiết lập quy trình tự động làm sạch, trích xuất đặc trưng và chuẩn hóa dữ liệu định kỳ 24 giờ một lần cho toàn bộ 2.000 trạm phát sóng. Lộ trình thực hiện trong 6 tháng nhằm duy trì độ chính xác của mô hình luôn đạt trên ngưỡng 95% bất chấp sự thay đổi của lưu lượng mùa vụ.
3. Áp dụng cơ chế ngưỡng cảnh báo sai số động: Đội ngũ Quản lý Chất lượng mạng cần thay thế các ngưỡng cảnh báo cứng nhắc bằng khung đánh giá độ lệch chuẩn động theo thời gian thực trong quý tiếp theo. Giải pháp này giúp loại bỏ trên 80% cảnh báo giả phát sinh trong các khung giờ cao điểm thông thường.
4. Mở rộng phạm vi thử nghiệm sang hạ tầng mạng di động thế hệ thứ năm: Khối Nghiên cứu và Phát triển Viễn thông cần tiếp tục kế thừa cấu trúc mô hình để phát triển các module dự báo chuyên biệt cho trạm phát sóng 5G và mạng truyền dẫn trong giai đoạn 12 tháng tiếp theo, ưu tiên tích hợp các thuật toán tối ưu hóa tài nguyên vô tuyến thông minh.

Đối tượng nên tham khảo luận văn

• Kỹ sư Tối ưu hóa và Vận hành Mạng vô tuyến: Tham khảo chi tiết về ý nghĩa thực tế của 15 chỉ số hiệu năng và cách xây dựng bộ cảnh báo sớm cho trạm phát sóng 4G LTE nhằm phục vụ công tác bảo trì dự đoán và giảm tải công việc giám sát thủ công.
• Nhà nghiên cứu và Học viên Cao học ngành Khoa học Máy tính: Tiếp cận cấu trúc mạng học sâu kết hợp giữa LSTM, BiLSTM và Attention áp dụng trên dữ liệu chuỗi thời gian thực tế với dung lượng lên đến 300 gigabyte, cung cấp nền tảng thực nghiệm giá trị cho các bài toán phân tích chuỗi dữ liệu lớn.
• Lãnh đạo và Quản lý Trung tâm Điều hành Viễn thông: Nắm bắt giải pháp chuyển đổi từ mô hình giám sát thụ động sang mô hình điều hành mạng chủ động dựa trên trí tuệ nhân tạo, từ đó tối ưu hóa chi phí vận hành và nâng cao chỉ số thỏa mãn khách hàng.
• Kỹ sư và Chuyên viên Khoa học Dữ liệu: Khảo sát quy trình tiền xử lý dữ liệu thực tế, kỹ thuật xử lý dữ liệu phương sai thấp bằng phương pháp tự hồi quy và các giải pháp chống quá khớp khi huấn luyện mô hình mạng nơ-ron phức tạp.

Câu hỏi thường gặp

Tại sao nghiên cứu lại kết hợp mô hình LSTM với thuật toán Tự hồi quy thay vì sử dụng hoàn toàn mạng học sâu?
Trong tập dữ liệu 15 chỉ số đầu vào của mạng viễn thông, có những đặc trưng biến thiên liên tục theo lưu lượng như Throughput hay Traffic, nhưng cũng có những chỉ số rất ít biến động như Call Setup Success Rate. Việc áp dụng mô hình Tự hồi quy cho các biến số có phương sai thấp giúp duy trì độ chính xác trên 98% đồng thời giảm thiểu khoảng 35% tài nguyên tính toán cho toàn bộ hệ thống.

Quy mô dữ liệu được sử dụng để huấn luyện và kiểm thử mô hình lớn như thế nào?
Nghiên cứu sử dụng tập dữ liệu thực tế từ 2.000 trạm phát sóng của VNPT tại miền Nam với dung lượng thu thập thô khoảng 2 gigabyte mỗi ngày. Dữ liệu huấn luyện gồm 300 gigabyte tích lũy trong 6 tháng liên tục từ tháng 1 đến tháng 6 năm 2022, kết hợp với 100 gigabyte dữ liệu kiểm thử độc lập trong 2 tháng tiếp theo để bảo đảm tính khách quan.

Làm thế nào để hệ thống xác định được một điểm dữ liệu là bất thường trên mạng 4G?
Hệ thống sử dụng mô hình học sâu để dự báo giá trị kỳ vọng của 5 chỉ số hiệu năng chính trong tương lai. Khi độ lệch giữa giá trị đo lường thực tế và giá trị dự báo vượt qua ngưỡng sai số động cho phép được thiết lập dựa trên độ lệch chuẩn quá khứ, hệ thống sẽ tự động gắn nhãn bất thường và kích hoạt cảnh báo sớm.

Các phương pháp phân tích tương quan đóng vai trò gì trong giai đoạn tiền xử lý dữ liệu?
Các phép phân tích Pearson, Spearman và Kendall với mức ý nghĩa quan sát dưới 5% cho phép đánh giá mức độ phụ thuộc tuyến tính và phi tuyến giữa các chỉ số mạng. Kỹ thuật này giúp phát hiện chính xác các biến số có tính tương quan mạnh nhất với 5 chỉ số đầu ra, loại bỏ nhiễu và tối ưu hóa không gian đầu vào của mô hình.

Mô hình có khả năng cảnh báo sớm sự cố mạng trước bao lâu so với thực tế?
Nhờ khả năng mô hình hóa chuỗi thời gian liên tục theo chu kỳ từng giờ, hệ thống có thể dự báo các chỉ số hiệu năng và nhận diện các dấu hiệu suy thoái mạng trước từ 1 đến 3 giờ so với thời điểm các hệ thống giám sát ngưỡng cố định phát hiện ra lỗi, giúp kỹ sư chủ động khắc phục kịp thời.

Kết luận

• Nghiên cứu đã xây dựng thành công hệ thống giám sát và dự đoán bất thường cho mạng vô tuyến 4G LTE dựa trên nền tảng trí tuệ nhân tạo và xử lý chuỗi thời gian.
• Mô hình kết hợp giữa LSTM, BiLSTM, cơ chế chú ý và thuật toán Tự hồi quy đạt độ chính xác dự báo cao với sai số trung bình dao động chỉ từ 2% đến 5% trên 5 chỉ số hiệu năng cốt lõi.
• Dữ liệu thực nghiệm quy mô lớn gồm 2.000 trạm thu phát sóng với hơn 400 gigabyte dữ liệu thực tế bảo đảm tính tin cậy, thực tế và khả năng ứng dụng trực tiếp vào mạng lưới viễn thông hiện nay.
• Hệ thống hỗ trợ đắc lực việc chuyển dịch từ mô hình ứng cứu sự cố bị động sang mô hình quản trị chất lượng mạng chủ động, giảm thiểu trên 30% thời gian xử lý sự cố.
• Các đơn vị vận hành viễn thông và nhóm nghiên cứu công nghệ dữ liệu nên sớm tiếp cận, triển khai thử nghiệm giải pháp này vào các trung tâm điều hành mạng tập trung nhằm nâng cao hiệu quả khai thác hạ tầng số quốc gia.

Trích đoạn nội dung tài liệu

ĐẠI HỌC QUỐC GIA TP. HCM TRƯỜNG ĐẠI HỌC BÁCH KHOA -------------------- ĐỖ NGỌC THANH CHÂU NGHIÊN CỨU XÂY DỰNG HỆ THỐNG GIÁM SÁT VÀ DỰ ĐOÁN BẤT THƯỜNG MẠNG VÔ TUYẾN 4G SỬ DỤNG TRÍ TUỆ NHÂN TẠO Chuyên ngành : Khoa Học Máy Tính Mã số: 8. HỒ CHÍ MINH, tháng 02 năm 2023 1 CÔNG TRÌNH ĐƯỢC HOÀN THÀNH TẠI TRƯỜNG ĐẠI HỌC BÁCH KHOA –ĐHQG -HCM Cán bộ hướng dẫn khoa học : PGS.TS Huỳnh Tường Nguyên (Ghi rõ họ, tên, học hàm, học vị và chữ ký) Cán bộ chấm nhận xét 1 : TS. Nguyễn Thị Thanh Sang (Ghi rõ họ, tên, học hàm, học vị và chữ ký) Cán bộ chấm nhận xét 2 : TS.

Bùi Công Giao (Ghi rõ họ, tên, học hàm, học vị và chữ ký) Luận văn thạc sĩ được bảo vệ tại Trường Đại học Bách Khoa, ĐHQG Tp. HCM ngày 08 tháng 02 năm 2023. Thành phần Hội đồng đánh giá luận văn thạc sĩ gồm: (Ghi rõ họ, tên, học hàm, học vị của Hội đồng chấm bảo vệ luận văn thạc sĩ) 1. Chủ Tịch: PGS.TS Lê Hồng Trang 2.

Nguyễn Thị Ái Thảo 3. Phản Biện 1: TS. Nguyễn Thị Thanh Sang 4. Phản Biện 2: TS.

Bùi Công Giao 5. Uỷ Viên: PGS.TS Võ Thị Ngọc Châu Xác nhận của Chủ tịch Hội đồng đánh giá Luận Văn và Trưởng Khoa quản lý chuyên ngành sau khi luận văn đã được sửa chữa (nếu có). CHỦ TỊCH HỘI ĐỒNG TRƯỞNG KHOA KHOA HỌC VÀ KỸ THUẬT MÁY TÍNH ĐẠI HỌC QUỐC GIA TP.HCM CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM TRƯỜNG ĐẠI HỌC BÁCH KHOA Độc lập - Tự do - Hạnh phúc NHIỆM VỤ LUẬN VĂN THẠC SĨ Họ tên học viên: Đỗ Ngọc Thanh Châu. Ngày, tháng, năm sinh: 19/10/1997.

Nơi sinh: Khánh Hoà. Chuyên ngành: Khoa Học Máy Tính. TÊN ĐỀ TÀI: NGHIÊN CỨU XÂY DỰNG HỆ THỐNG GIÁM SÁT VÀ DỰ DOÁN BẤT THƯỜNG MẠNG VÔ TUYẾN 4G SỬ DỤNG TRÍ TUỆ NHÂN TẠO. RESEARCH AND BUILD A SYSTEM FOR MONITORING AND PREDICTING ANOMALIES IN 4G RADIO NETWORKS USING ARTIFICIAL INTELLIGENCE.

NHIỆM VỤ VÀ NỘI DUNG: - Nghiên cứu và tìm hiểu về ý nghĩa các thông số của mạng vô tuyến 4G. - Tìm hiểu và lựa chọn các phương pháp dự đoán dữ liệu chuỗi thời gian. - Thực hiện xây dựng, đánh giá mô hình mạng LSTM và dự đoán bất thường mạng vô tuyến 4G. NGÀY GIAO NHIỆM VỤ : 05/09/2022.

NGÀY HOÀN THÀNH NHIỆM VỤ: 18/12/2022. CÁN BỘ HƯỚNG DẪN : PGS. HUỲNH TƯỜNG NGUYÊN. HCM, ngày 03 tháng 03 năm 2023 CÁN BỘ HƯỚNG DẪN HỘI ĐỒNG NGÀNH (Họ tên và chữ ký) (Họ tên và chữ ký) TRƯỞNG KHOA KHOA HỌC VÀ KỸ THUẬT MÁY TÍNH (Họ tên và chữ ký) i Lời cảm ơn GVHD: PGS.

TS Huỳnh Tường Nguyên LỜI CẢM ƠN Xuất phát điểm là sinh viên chuyên ngành Điện tử - Viễn thông, xin chân thành cảm ơn quý thầy/ cô của khoa Khoa học & Kỹ thuật Máy tính trong thời gian vừa qua đã tạo điều kiện tốt nhất để em có cơ hội được học tập, nghiên cứu và hiểu biết hơn về các kiến thức, thông tin ở lĩnh vực khoa học máy tính. Toàn bộ kiến thức học ở các môn học lý thuyết đều được ghi nhớ và áp dụng, chân thành cảm ơn anh chị em trong team URA với các đề tài nghiên cứu trước đó, bên cạnh đó team cũng đã giúp đỡ và hỗ trợ em trong thời gian vừa qua để bắt đầu làm quen, tham gia và góp một phần công sức thực hiện đề tài này. Chân thành cảm ơn các thầy đã giúp đỡ, tạo động lực, hướng dẫn em nghiên cứu và thực hiện các phương pháp mới để em bắt đầu học hỏi và nghiên cứu thêm ở lĩnh vực này… Cảm ơn quý thầy cô đã xem qua báo cáo này, quyển báo cáo này chắc chắn sẽ có rất nhiều thiếu sót, mong quý thầy cô có thể góp ý trực tiếp để em tiếp tục sửa đổi, cập nhật và hoàn thiện trong thời gian sắp tới. Hồ Chí Minh, ngày 15 tháng 12 năm 2022 Đỗ Ngọc Thanh Châu.

ii Luận văn tốt nghiệp thạc sỹ GVHD: PGS.TS Huỳnh Tường Nguyên TÓM TẮT LUẬN VĂN Luận văn này trình bày về quá trình nghiên cứu và thực hiện đề tài “Nghiên cứu xây dựng hệ thống giám sát, dự đoán bất thường mạng vô tuyến 4G sử dụng trí tuệ nhân tạo”. Với toàn bộ dữ liệu được lấy từ các trạm phát sóng của VNPT ở miền Nam Việt Nam, đề tài sẽ trình bày các bước nghiên cứu, chọn lọc và sử dụng các nội dung lý thuyết liên quan để cố gắng cho ra được các thông số dự đoán cho tương lai. Các phương pháp và mô hình mạng này đều được nghiên cứu dựa trên cấu trúc mạng LSTM và các cấu trúc liên quan xoay quanh mạng LSTM, với tham khảo từ các bài nghiên cứu trước đó của nhóm URA với các đề tài liên quan đến dữ liệu chuỗi Timeseries. Luận văn này sẽ bao gồm các nội dung chính sau: - Giới thiệu về mục tiêu/ yêu cầu, tổng quan đề tài.

- Các kiến thức lý thuyết liên quan đến đề tài để có thể hiểu rõ và áp dụng tốt cho việc xây dựng mô hình, bao gồm: • Nghiên cứu và chọn lọc đầu vào. • Kiến trúc LSTM và các kiến trúc liên quan. • Một số kỹ thuật, phương pháp hỗ trợ tốt cho việc huấn luyện mô hình. • Một số vấn đề với dữ liệu và tìm cách cải thiện.

- Kết quả dự đoán của mô hình. iii Luận văn tốt nghiệp thạc sỹ GVHD: PGS.TS Huỳnh Tường Nguyên THESIS ABSTRACT This thesis presents the research and implementation process of the topic "Research on building a system for monitoring and predicting anomalies in 4G wireless networks using artificial intelligence". With all data collected from VNPT base stations in southern Vietnam, the thesis will present the research steps, selection, and use of relevant theoretical content to try to produce predictive parameters for the future. These methods and network models are all researched based on the LSTM network structure and related structures around the LSTM network, with references from previous studies by the URA group on Timeseries data-related topics.

This thesis will include the following main contents: - Introduction to the objectives/requirements, an overview of the topic. - Relevant theoretical knowledge related to the topic to understand and apply well to model building, including: o Research and selection of input. o LSTM architecture and related structures. o Some techniques, methods that support well for model training.

o Some issues with data and ways to improve it. - Prediction results of the model. iv Luận văn tốt nghiệp thạc sỹ GVHD: PGS.TS Huỳnh Tường Nguyên LỜI CAM ĐOAN Tác giả xin cam đoan đây là công trình nghiên cứu của bản thân tác giả. Các kết quả nghiên cứu và các kết luận trong luận văn là trung thực, không sao chép từ bất kỳ một nguồn nào và dưới bất kỳ hình thức nào.

Việc tham khảo các nguồn tài liệu (nếu có) đã được thực hiện trích dẫn và ghi nguồn tài liệu tham khảo đúng quy định. Tác giả luận văn Đỗ Ngọc Thanh Châu v Luận văn tốt nghiệp thạc sỹ GVHD: PGS.TS Huỳnh Tường Nguyên MỤC LỤC 1.2 Tình hình nghiên cứu trong và ngoài nước .1 Một số nghiên cứu ở nước ngoài .2 Tình hình triển khai nghiên cứu ở trong nước .3 Nhiệm vụ luận văn .1 Dữ liệu đầu vào – Dữ liệu loại chuỗi thời gian (Time series) .2 Phân tích tương quan giữa các đặc trưng ( các KPIs) .1 Phân tích tương quan Pearson.2 Phân tích tương quan Spearman .3 Phân tích tương quan Kendall.3 Các phương pháp tiền xử lý dữ liệu trước khi huấn luyện mô hình .1 Tiền xử lý dữ liệu đầu vào sử dụng Scaling .2 Tiền xử lý dữ liệu đầu vào sử dụng Normalization .4 Tách dữ liệu ra thành các set để hỗ trợ việc huấn luyện mô hình.5 Mạng nơ-ron nhân tạo (ANN) .6 Các lớp tương ứng dùng để huấn luyện mô hình .23 vi Luận văn tốt nghiệp thạc sỹ GVHD: PGS.TS Huỳnh Tường Nguyên 2.3 Lớp Bidirectional LSTM .4 Cơ chế Sequence to Sequence ở mạng RNN .7 Activation Lớp hay activation function .7 Sử dụng kỹ thuật Regression để predict cho những đặc trưng low-variant. THIẾT KẾ VÀ THỰC HIỆN PHẦN MỀM .1 Lưu đồ giải thuật tổng quát và các bước thực hiện phần mềm .2 Lọc và import dữ liệu đầu vào .3 Chia dữ liệu ra làm 3 thành phần để hỗ trợ cho việc huấn luyện .4 Tiền xử lý dữ liệu đầu vào dùng Standard Scaler .5 Chọn lọc các thông số cho mô hình mạng LSTM .6 Nghiên cứu và chọn một vài phương pháp và kỹ thuật hỗ trợ huấn luyện mô hình 50 3.7 Thực hiện phần tính toán Accuracy để hỗ trợ cho việc huấn luyện .8 Thực hiện giải thuật Regression để dự đoán giá trị cho một số khoảng giá trị không chênh lệch nhiều của các đặc trưng .52 vii Luận văn tốt nghiệp thạc sỹ GVHD: PGS.TS Huỳnh Tường Nguyên 3.9 Thực hiện viết chương trình hỗ trợ cho việc predict dựa trên những mô hình đã huấn luyện .10 Tính toán và gắn nhãn bất thường cho từng điểm dữ liệu. KẾT QUẢ THỰC HIỆN .1 Kết quả đánh giá tương quan và chọn lọc dữ liệu đầu vào .2 Kết quả chọn thông số và huấn luyện mô hình 1 .3 Kết quả chọn thông số và huấn luyện mô hình 2 .4 Kết quả chọn thông số và sử dụng kỹ thuật Regression .5 Kết quả thực hiện dự đoán và đánh giá bất thường.

KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN.2 Hướng phát triển và ứng dụng trong tương lai .71 Tài liệu tham khảo. 73 viii Luận văn tốt nghiệp thạc sỹ GVHD: PGS.TS Huỳnh Tường Nguyên DANH SÁCH HÌNH VẼ Hình 1-1 - Một số kết quả đạt được của nghiên cứu mô hình dự đoán State-of-Health .4 Hình 1-2 - Tổng hợp một số phương pháp giải quyết bài toán dự đoán dữ liệu chuỗi thời gian .6 Hình 2-1 - Hệ số tương quan biểu thị trên đồ thị phân tán Scatter .10 Hình 2-2 - Kết quả dự đoán của mô hình trên tập huấn luyện (bên trái) và tập kiểm tra (bên phải) .18 Hình 2-3 Cấu trúc của một nơ-ron trong hệ thần kinh: Phần thân (soma), phần nhân (nucleus), các sợi nhánh (dendrites) và sợi trục (axon) [14].21 Hình 2-4 - Một mạng nơ-ron nhân tạo đơn giản 3 lớp gồm có 1 lớp tầng input, 2 lớp tầng ẩn và 1 lớp tầng output.22 Hình 2-5 - Chi tiết từng nút trong các lớp.23 Hình 2-6 - Cấu trúc của một mạng Nơ-ron đơn giản với Fully Connected Lớp .24 Hình 2-7 - Cấu trúc tổng quát của mạng RNN .25 Hình 2-8 - Khai triển cấu trúc của RNN .26 Hình 2-9 - Cấu trúc bên trong của mạng RNN cơ bản : bao gồm 1 cổng tanh .27 Hình 2-10 - Biến thể LSTM của RNN: Cấu trúc có thêm một số cổng khác nhau .27 Hình 2-11 - Phần đường truyền đặc biệt của mạng LSTM: Truyền thông tin ảnh hưởng bởi thời gian .