Kỹ Thuật Học Máy Trong Việc Trích Xuất Thông Tin Từ Tệp Log

Luận văn thạc sĩ khoa học máy tính áp dụng kỹ thuật học máy trong việc trích xuất thông tin từ tệp log, mang lại hiệu quả cao trong phân tích dữ liệu.

• Tác giả: Nguyen Minh Tri
• Người hướng dẫn: Assoc. Nam Thoai
• Trường học: Ho Chi Minh City University of Technology
• Chuyên ngành: Computer Science
• Đề tài: Applying Machine Learning Techniques In Extracting Information From The Log File
• Loại tài liệu: Master Thesis
• Năm xuất bản: 2019
• Địa điểm: Ho Chi Minh City

Mục lục chi tiết

• LỜI CẢM ƠN
• LỜI CAM ĐOAN
• DANH MỤC HÌNH VẼ
• DANH MỤC BẢNG BIỂU
• DANH MỤC TỪ VIẾT TẮT
• 1. CHƯƠNG 1: GIỚI THIỆU
• 1.1. Tổng quan
• 1.2. Đóng góp của đề tài
• 1.3. Phạm vi nghiên cứu
• 1.4. Bố cục luận văn
• 2. CHƯƠNG 2: KIẾN THỨC NỀN TẢNG
• 2.1. Khai phá nhật ký web
• 2.2. Dự đoán chuỗi thời gian
• 2.3. Hồi quy phi tuyến
• 2.4. Mô hình Sequence-to-sequence
• 3. CHƯƠNG 3: CÁC NGHIÊN CỨU LIÊN QUAN
• 3.1. Khai phá nội dung web
• 3.2. Khai phá cấu trúc web
• 3.3. Khai phá nhật ký sử dụng web
• 3.4. Dự đoán chuỗi thời gian
• 3.5. Dự đoán độ phổ biến của nội dung
• 4. CHƯƠNG 4: XỬ LÝ VÀ PHÂN TÍCH TẬP TIN NHẬT KÝ
• 4.1. Nhật ký web của trang web HCMUT
• 4.2. Tiền xử lý dữ liệu
• 4.3. Phân phối độ phổ biến
• 4.4. Vòng đời của phim
• 4.5. Mô hình diễn biến truy cập
• 5. CHƯƠNG 5: MÔ HÌNH DỰ ĐOÁN
• 5.1. Hồi quy tuyến tính đa biến dựa trên đạo hàm
• 5.2. Mạng nơ-ron không đệ quy dựa trên cơ chế Attention
• 5.3. Dự đoán chuỗi thời gian
• 5.4. Dự đoán độ phổ biến nội dung trực tuyến
• 6. CHƯƠNG 6: KẾT QUẢ THỰC NGHIỆM
• 6.1. Thực nghiệm trên tập dữ liệu MovieLens
• 6.2. Thực nghiệm trên tập dữ liệu Youtube
• 6.3. Hiệu quả thời gian suy luận
• 7. CHƯƠNG 7: KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN
• DANH MỤC CÁC CÔNG TRÌNH ĐÃ CÔNG BỐ

Tóm tắt

I. Tổng Quan Kỹ Thuật Học Máy Trích Xuất Thông Tin Log

Sự phát triển nhanh chóng của công nghệ Internet và cơ sở hạ tầng đã dẫn đến sự bùng nổ về số lượng người dùng Internet. Tất cả các hoạt động của chúng ta trên Internet đều được ghi lại, tạo ra một lượng lớn tệp log mỗi ngày. Mặc dù nguồn tệp log rất đa dạng, chúng có chung một số đặc điểm. Ví dụ, lượng dữ liệu và thông tin trên tệp log rất lớn và tăng dần; dữ liệu thuộc tất cả các loại tồn tại trên log, chẳng hạn như phi cấu trúc, bán cấu trúc và cấu trúc; dữ liệu thường không đáng tin cậy và luôn chứa nhiễu; và nhiều hơn nữa. Tất cả những đặc điểm này tạo ra cả thách thức và cơ hội để khai thác và khám phá thông tin và kiến thức hữu ích từ tệp log. Gần đây, một lượng lớn nội dung trực tuyến đã xuất hiện. Việc dự đoán chính xác mức độ phổ biến của nội dung trực tuyến, đặc biệt là video, có tầm quan trọng lớn vì nó hỗ trợ và thúc đẩy việc thiết kế và quản lý các dịch vụ khác nhau. Việc sử dụng các kỹ thuật học máy có thể giúp giải quyết vấn đề này một cách hiệu quả.

1.1. Ứng Dụng Học Máy Trong Phân Tích Log Giới Thiệu

Học máy đang ngày càng được ứng dụng rộng rãi trong nhiều lĩnh vực, và phân tích log không phải là ngoại lệ. Các thuật toán học máy có thể được sử dụng để tự động hóa các tác vụ như phát hiện bất thường, dự đoán lỗi, và trích xuất thông tin quan trọng từ tệp log khổng lồ. Điều này giúp các nhà quản trị hệ thống và các chuyên gia bảo mật tiết kiệm thời gian và công sức, đồng thời cải thiện hiệu quả hoạt động và an ninh của hệ thống. Theo nghiên cứu của Nguyen Minh Tri, việc sử dụng các thuật toán học máy phù hợp có thể cải thiện đáng kể hiệu suất trong dự đoán chuỗi thời gian.

1.2. Thách Thức Trong Trích Xuất Thông Tin Tự Động Từ Log

Mặc dù tiềm năng rất lớn, việc trích xuất thông tin từ tệp log bằng học máy vẫn đối mặt với nhiều thách thức. Tệp log thường chứa dữ liệu không đồng nhất, nhiều nhiễu và thiếu cấu trúc rõ ràng. Việc lựa chọn thuật toán học máy phù hợp và tiền xử lý dữ liệu một cách hiệu quả là rất quan trọng để đạt được kết quả chính xác. Ngoài ra, cần có kiến thức chuyên môn về học máy và hiểu biết sâu sắc về hệ thống log để xây dựng các mô hình hiệu quả.

II. Phương Pháp Tự Động Hóa Trích Xuất Thông Tin Log Bằng ML

Để giải quyết những thách thức trên, cần áp dụng các phương pháp tiếp cận phù hợp. Một trong những phương pháp hiệu quả là sử dụng xử lý ngôn ngữ tự nhiên (NLP) để phân tích văn bản trong tệp log. NLP có thể giúp xác định các thực thể quan trọng, trích xuất các sự kiện và phân loại các thông điệp log. Các thuật toán học máy như mô hình học sâu (Deep Learning) cũng có thể được sử dụng để tự động học các đặc trưng từ tệp log và dự đoán các sự kiện trong tương lai. "With the development of machine learning and deep learning, many novel mechanisms and techniques have been proposed to capture the non-linear relations. They have significantly improved the performance in time series prediction".

2.1. Sử Dụng Xử Lý Ngôn Ngữ Tự Nhiên Cho Phân Tích Nhật Ký

Xử lý ngôn ngữ tự nhiên (NLP) đóng vai trò quan trọng trong việc phân tích nhật ký. Các kỹ thuật NLP cho phép máy tính hiểu và xử lý ngôn ngữ tự nhiên có trong tệp log. Điều này bao gồm các tác vụ như phân tích cú pháp, phân tích ngữ nghĩa và nhận dạng thực thể. Bằng cách sử dụng NLP, có thể trích xuất thông tin chi tiết về các sự kiện, lỗi và hành vi của người dùng từ tệp log.

2.2. Mô Hình Học Sâu Để Phát Hiện Bất Thường Trong Tệp Log

Mô hình học sâu, đặc biệt là các mạng nơ-ron tái phát (RNN) và mạng nơ-ron tích chập (CNN), đã chứng minh hiệu quả trong việc phát hiện bất thường trong tệp log. Các mô hình này có thể học các mẫu bình thường trong dữ liệu log và xác định các điểm khác biệt đáng kể. Việc phát hiện bất thường có thể giúp xác định các vấn đề bảo mật, lỗi hệ thống và các hành vi đáng ngờ khác.

III. Ứng Dụng Dự Đoán Lỗi Hệ Thống Từ Tệp Log Bằng Học Máy

Một ứng dụng quan trọng của học máy trong phân tích log là dự đoán lỗi hệ thống. Bằng cách phân tích các tệp log lịch sử, có thể xây dựng các mô hình dự đoán khả năng xảy ra lỗi trong tương lai. Điều này cho phép các nhà quản trị hệ thống chủ động thực hiện các biện pháp phòng ngừa, giảm thiểu thời gian chết và cải thiện độ tin cậy của hệ thống. Việc kết hợp Big data và phân tích log bằng học máy giúp tăng cường khả năng dự đoán.

3.1. Trích Xuất Đặc Trưng Từ Log Sử Dụng Machine Learning Hướng Dẫn

Để dự đoán lỗi hệ thống hiệu quả, việc trích xuất đặc trưng phù hợp từ tệp log là rất quan trọng. Các đặc trưng có thể bao gồm tần suất xuất hiện của các thông báo lỗi cụ thể, thời gian giữa các sự kiện liên quan đến lỗi, và các mẫu hành vi của người dùng. Các kỹ thuật học máy như lựa chọn đặc trưng và giảm chiều dữ liệu có thể được sử dụng để xác định các đặc trưng quan trọng nhất cho việc dự đoán lỗi.

3.2. Các Thuật Toán Học Máy Phổ Biến Cho Dự Đoán Lỗi Log

Có nhiều thuật toán học máy có thể được sử dụng để dự đoán lỗi từ tệp log. Một số thuật toán phổ biến bao gồm cây quyết định, máy vector hỗ trợ (SVM), và mạng nơ-ron. Việc lựa chọn thuật toán phù hợp phụ thuộc vào đặc điểm của dữ liệu log và yêu cầu cụ thể của bài toán.

IV. Mô Hình Học Máy Tiên Tiến Cho Trích Xuất Thông Tin Log

Các mô hình học máy ngày càng trở nên phức tạp và hiệu quả hơn trong việc trích xuất thông tin từ tệp log. Các mô hình học sâu như mạng nơ-ron tích chập (CNN) và mạng nơ-ron tái phát (RNN) có khả năng tự động học các đặc trưng phức tạp từ dữ liệu log, giúp cải thiện độ chính xác của các tác vụ như phát hiện bất thường, phân loại log và dự đoán lỗi. Việc sử dụng các giải pháp học máy cho quản lý log cũng đang ngày càng trở nên phổ biến.

4.1. Deep Learning Trong Phân Tích Log Ưu Điểm và Ứng Dụng

Deep learning mang lại nhiều ưu điểm vượt trội trong phân tích log. Các mô hình deep learning có thể xử lý dữ liệu phi cấu trúc một cách hiệu quả, tự động học các đặc trưng phức tạp và đạt được độ chính xác cao hơn so với các phương pháp truyền thống. Các ứng dụng của deep learning trong phân tích log bao gồm phát hiện bất thường, phân loại log, dự đoán lỗi và trích xuất thông tin ngữ nghĩa.

4.2. Phân Loại Log Bằng Học Máy Các Phương Pháp Hiệu Quả Nhất

Phân loại log bằng học máy là một tác vụ quan trọng trong nhiều ứng dụng. Việc phân loại log có thể giúp xác định nguồn gốc của các sự kiện, phân loại các loại lỗi và ưu tiên các vấn đề cần giải quyết. Các phương pháp học máy hiệu quả cho phân loại log bao gồm cây quyết định, máy vector hỗ trợ (SVM), và mạng nơ-ron.

V. Nghiên Cứu Kết Quả Thử Nghiệm Dự Đoán Content Phổ Biến

Nghiên cứu tập trung vào việc sử dụng Machine Learning for Log Analysis để dự đoán độ phổ biến của nội dung trực tuyến trên các nền tảng như YouTube và MovieLens. Các kết quả thử nghiệm cho thấy các mô hình đề xuất không chỉ vượt trội hơn các đường cơ sở mà còn cải thiện đáng kể thời gian suy luận. Derivative-based Multivariate Linear Regression (DMLR) và Attention-based Non-Recursive Neural Network (ANRNN) là hai mô hình được sử dụng. "The experimental results show that the proposed models not only outperform some baselines on the real datasets but also significantly improve the inference time."

5.1. Thử Nghiệm Với MovieLens Đánh Giá Hiệu Suất Mô Hình

Thử nghiệm trên tập dữ liệu MovieLens cho thấy các mô hình ANRNN và DMLR có khả năng dự đoán độ phổ biến của nội dung với độ chính xác cao. Các kết quả được so sánh với các mô hình khác như DA-RNN và FC-ANN để đánh giá hiệu suất tương đối. Các chỉ số đánh giá chính là RMSE (Root Mean Squared Error) và MAE (Mean Absolute Error).

5.2. Thử Nghiệm Với Youtube So Sánh Khả Năng Dự Đoán

Tương tự như thử nghiệm với MovieLens, thử nghiệm trên tập dữ liệu YouTube cũng cho thấy sự vượt trội của các mô hình ANRNN và DMLR. Việc dự đoán độ phổ biến của video trên YouTube mang tính thách thức hơn do tính đa dạng và phức tạp của dữ liệu. Kết quả cho thấy các mô hình đề xuất có khả năng nắm bắt các xu hướng và yếu tố ảnh hưởng đến độ phổ biến của video.

VI. Kết Luận Tương Lai Của Học Máy Trong Phân Tích Log

Việc ứng dụng học máy trong phân tích log đang mở ra những cơ hội to lớn để cải thiện hiệu quả hoạt động, an ninh và độ tin cậy của hệ thống. Với sự phát triển không ngừng của các thuật toán học máy và sự gia tăng về lượng dữ liệu log, chúng ta có thể kỳ vọng vào những tiến bộ vượt bậc hơn nữa trong lĩnh vực này trong tương lai. Việc theo dõi và áp dụng các giải pháp học máy cho quản lý log là rất quan trọng để tận dụng tối đa tiềm năng của phân tích log.

6.1. Xu Hướng Phát Triển Của Log Mining Using Machine Learning

Các xu hướng phát triển chính trong log mining using machine learning bao gồm việc sử dụng các mô hình học sâu phức tạp hơn, tích hợp dữ liệu log với các nguồn dữ liệu khác và phát triển các công cụ tự động hóa quy trình phân tích log. Ngoài ra, việc chú trọng đến các vấn đề bảo mật và quyền riêng tư trong phân tích log cũng là một xu hướng quan trọng.

6.2. Ứng Dụng Của Machine Learning Based Log Monitoring

Machine learning based log monitoring có nhiều ứng dụng tiềm năng, bao gồm phát hiện các cuộc tấn công mạng, dự đoán lỗi hệ thống, tối ưu hóa hiệu suất ứng dụng và cải thiện trải nghiệm người dùng. Bằng cách giám sát tệp log liên tục và sử dụng học máy để phân tích dữ liệu, có thể phát hiện sớm các vấn đề và thực hiện các biện pháp khắc phục kịp thời.

Nội dung chính

Tổng quan nghiên cứu

Sự bùng nổ của hạ tầng Internet và công nghệ số đã tạo ra khối lượng dữ liệu khổng lồ mỗi ngày, trong đó nội dung video trực tuyến được dự báo chiếm hơn 80% tổng lưu lượng băng thông toàn cầu. Đi kèm với dòng lưu lượng này là hàng tỷ bản ghi tệp nhật ký máy chủ (log file) chứa đựng những thông tin vô cùng giá trị về hành vi người dùng. Vấn đề cốt lõi đặt ra là việc khai phá và dự báo chính xác độ phổ biến của nội dung trực tuyến từ dữ liệu log luôn đối mặt với thách thức lớn do tính chất phi tuyến, dữ liệu nhiễu và sự phân hóa cực đoan của thị hiếu người xem. Trong khi các nghiên cứu trước đây chủ yếu tập trung vào dự báo xu hướng dài hạn với các mô hình tuyến tính đơn giản hoặc mạng đệ quy có độ trễ tính toán lớn, nhu cầu thực tiễn đòi hỏi phải có giải pháp dự báo chính xác trong ngắn hạn với thời gian phản hồi gần như tức thời.

Luận văn thạc sĩ chuyên ngành Khoa học Máy tính do học viên Nguyễn Minh Trí thực hiện tại Trường Đại học Bách Khoa - ĐHQG TP.HCM dưới sự hướng dẫn khoa học của Giáo sư Thoại Nam tập trung giải quyết trọn vẹn bài toán này. Mục tiêu cụ thể của nghiên cứu bao gồm việc xây dựng quy trình tiền xử lý log toàn diện, đề xuất hai mô hình học máy đột phá gồm mô hình Hồi quy tuyến tính đa biến dựa trên đạo hàm và mô hình Mạng nơ-ron không đệ quy dựa trên cơ chế chú ý nhằm dự báo chính xác độ phổ biến của nội dung trực tuyến trong ngắn hạn.

Phạm vi thực nghiệm của đề tài được triển khai trên tập dữ liệu log thực tế của Cổng thông tin Trường Đại học Bách Khoa - ĐHQG TP.HCM trong giai đoạn 12 tháng từ tháng 11/2016 đến tháng 10/2017 với hơn 74 triệu bản ghi, kết hợp cùng tập dữ liệu chuẩn MovieLens 20M với 20 triệu lượt đánh giá và tập dữ liệu video YouTube với hơn 37 tỷ lượt xem. Ý nghĩa thực tiễn của công trình thể hiện rõ nét qua việc cung cấp công cụ toán học giúp các nhà mạng tối ưu hóa chính sách lưu trữ bộ nhớ đệm biên, hỗ trợ doanh nghiệp truyền thông số tăng trưởng 15% đến 20% hiệu quả quảng cáo và tiết kiệm tới 30% tài nguyên băng thông truyền dẫn.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Nghiên cứu được xây dựng trên nền tảng vững chắc của lý thuyết khai phá dữ liệu web, lý thuyết xử lý chuỗi thời gian phi tuyến và các bước tiến mới nhất trong lĩnh vực học sâu. Cụ thể, khung lý thuyết phân chia khai phá nhật ký web thành ba nhánh trụ cột: khai phá nội dung web, khai phá cấu trúc web và khai phá sử dụng web. Trong đó, khai phá sử dụng web đóng vai trò trung tâm để trích xuất nhật ký tương tác, nhận diện phiên làm việc và mô hình hóa hành vi người dùng.

Để giải quyết bài toán dự báo độ phổ biến, luận văn kết hợp hai hướng tiếp cận mô hình toán học và học máy hiện đại:

• Mô hình Hồi quy tuyến tính đa biến dựa trên đạo hàm: Kế thừa các quan sát về tính tương quan tuyến tính trên thang đo logarit của các nhà nghiên cứu tiền nhiệm, đồng thời bổ sung toán tử đạo hàm bậc một và bậc hai nhằm nắm bắt tốc độ biến thiên tức thời của lượt truy cập.
• Mô hình Mạng nơ-ron không đệ quy tích hợp cơ chế chú ý: Ứng dụng đột phá từ kiến trúc Transformer trong xử lý ngôn ngữ tự nhiên, loại bỏ hoàn toàn các liên kết đệ quy tuần tự nhằm nắm bắt phụ thuộc dữ liệu đa chiều mà không bị triệt tiêu đạo hàm.

Các khái niệm chuyên ngành then chốt được chuẩn hóa và vận dụng xuyên suốt bao gồm:

• Phân phối xác suất Gamma: Mô hình hóa phân bố lệch của độ phổ biến nội dung với hai tham số hình dạng và tỷ lệ.
• Vòng đời nội dung: Khoảng thời gian hữu dụng mà một nội dung số duy trì được lượng truy cập đạt ngưỡng tối thiểu theo ngày.
• Chu kỳ bùng nổ truy cập: Giai đoạn xuất hiện sự gia tăng đột biến về số lượt xem vượt qua ngưỡng động so với tốc độ tăng trưởng trung bình tích lũy.

Phương pháp nghiên cứu

Nghiên cứu sử dụng nguồn dữ liệu đa dạng với quy mô lớn, bao gồm tệp log định dạng kết hợp mở rộng của máy chủ web giáo dục với hơn 74 triệu bản ghi thô (tương ứng 10 triệu lượt truy cập hợp lệ từ 780.000 địa chỉ IP), tệp dữ liệu MovieLens 20M chứa 20 triệu đánh giá của 138.000 người dùng trên 27.000 bộ phim, và tập dữ liệu đồ thị liên kết YouTube gồm hơn 5 triệu video. Phương pháp chọn mẫu áp dụng kỹ thuật duyệt đồ thị theo chiều rộng để thu thập liên tục 59 điểm thời gian đo lường và kỹ thuật lọc chọn 5.000 nội dung có lượng tương tác cao nhất để phân tích chuyên sâu các mô hình chuỗi thời gian.

Quy trình tiền xử lý và làm sạch dữ liệu được thiết kế chặt chẽ qua 5 giai đoạn:

• Làm sạch dữ liệu: Loại bỏ triệt để các yêu cầu tài nguyên nhúng tĩnh như hình ảnh, tệp định dạng giao diện, âm thanh và các mã phản hồi lỗi máy chủ, giúp cắt giảm 46% dung lượng dữ liệu rác.
• Giảm chiều dữ liệu: Trích xuất các trường thông tin cốt lõi gồm địa chỉ IP, mốc thời gian và trang giới thiệu.
• Định danh truy cập và phiên làm việc: Tách lọc các lượt tương tác thực tế dựa trên đường dẫn tài nguyên đồng nhất kết hợp phân tích ngưỡng chênh lệch thời gian.
• Chuyển đổi và tra cứu địa lý: Tích hợp mô hình tra cứu vị trí địa lý của địa chỉ IP để xác định quốc gia, tỉnh thành và nhà cung cấp dịch vụ Internet thông qua cơ sở dữ liệu ngoại tuyến tối ưu.
• Chuẩn hóa dữ liệu: Đồng bộ hóa cấu trúc danh mục địa phương và tên nhà mạng viễn thông.

Lý do lựa chọn phương pháp phân tích phi đệ quy kết hợp cơ chế chú ý xuất phát từ việc các phương pháp truyền thống như mạng nơ-ron hồi quy hay bộ nhớ ngắn dài yêu cầu tính toán tuần tự từng bước thời gian, dẫn đến chi phí điện toán rất lớn và không thể tận dụng tối đa khả năng xử lý song song của phần cứng hiện đại. Mô hình đề xuất cho phép xử lý đồng thời toàn bộ chuỗi quan sát, giảm thiểu thời gian huấn luyện và tăng tốc độ suy luận. Đề tài được giao thực hiện chính thức từ ngày 13/08/2018, hoàn thành bản thảo vào ngày 02/06/2019 và bảo vệ thành công trước Hội đồng đánh giá luận văn thạc sĩ vào ngày 03/07/2019.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

Phân tích định lượng trên các tập dữ liệu thực tế đã mang lại ba phát hiện quan trọng mang tính quy luật:

Thứ nhất, phân bố người dùng truy cập máy chủ web thể hiện tính tập trung địa lý và nhà mạng rõ rệt. Dữ liệu ghi nhận người dùng từ hơn 100 quốc gia, trong đó lưu lượng từ Việt Nam chiếm tỷ trọng áp đảo 76,092%, tiếp theo là Hoa Kỳ chiếm 6,934% và Đài Loan chiếm 3,138%. Tại thị trường nội địa, Thành phố Hồ Chí Minh dẫn đầu với 73,497% tổng lượt truy cập, vượt xa Hà Nội với 13,943% và toàn bộ các tỉnh thành còn lại chiếm khoảng 12,56%. Xét theo hạ tầng mạng, trong số 33 nhà cung cấp dịch vụ Internet được ghi nhận, VNPT-VN là đơn vị chiếm lĩnh thị phần lớn nhất với gần 50% tổng số lượt truy cập máy chủ.

Thứ hai, độ phổ biến của nội dung truyền thông số tuân theo quy luật phân phối lũy thừa cực đoan. Trong tập dữ liệu MovieLens 20M, khoảng 90% nội dung chỉ nhận được dưới 1.000 lượt tương tác, trong đó 15% nội dung chỉ có duy nhất 1 lượt đánh giá trong suốt thời gian tồn tại. Đáng chú ý, 80% số bộ phim có lượng truy cập tích lũy chỉ đạt 1 triệu lượt (chiếm vỏn vẹn 5% tổng dung lượng tương tác toàn hệ thống). Về vòng đời nội dung, 80% bộ phim có thời gian duy trì sức hút rất ngắn từ 1 đến 10 ngày, gần 90% kết thúc vòng đời dưới 250 ngày và chỉ số ít đạt mức tối đa 1.340 ngày. Phân tích chu kỳ bùng nổ cho thấy 72,003% nội dung hoàn toàn không xuất hiện đợt bùng nổ nào (tăng trưởng đều đặn hoặc chìm lắng), trong khi nhóm có từ 6 đến 18 đợt bùng nổ chỉ chiếm khoảng 5%.

Thứ ba, mô hình đề xuất thể hiện sự vượt trội toàn diện về độ chính xác dự báo và hiệu năng tính toán. Khi kiểm thử trên tập dữ liệu MovieLens và YouTube, mô hình Mạng nơ-ron không đệ quy dựa trên cơ chế chú ý đạt sai số toàn phương trung bình (RMSE) và sai số tuyệt đối trung bình (MAE) thấp hơn đáng kể so với các mô hình chuẩn như Mạng nơ-ron hồi quy hai giai đoạn chú ý và Mạng nơ-ron truyền thẳng kết nối đầy đủ. Đặc biệt, thời gian suy luận của mô hình không đệ quy nhanh hơn gấp nhiều lần, giúp xử lý các luồng dữ liệu lớn theo thời gian thực một cách tối ưu.

Thảo luận kết quả

Nguyên nhân cốt lõi giúp mô hình Mạng nơ-ron không đệ quy tích hợp cơ chế chú ý đạt hiệu năng vượt trội nằm ở kiến trúc tự chú ý đa tầng. Khác với mạng LSTM hay DA-RNN bị giới hạn bởi nút thắt truyền trạng thái ẩn tuần tự từ bước thời gian này sang bước thời gian khác, cơ chế chú ý không đệ quy trực tiếp thiết lập các đường kết nối trọng số giữa mọi vị trí trong chuỗi lịch sử truy cập. Điều này cho phép mô hình trích xuất đồng thời các phụ thuộc tầm xa và các biến động ngắn hạn đột ngột mà không gặp phải hiện tượng triệt tiêu tín hiệu đạo hàm.

So sánh với các nghiên cứu kinh điển của Szabo và Pinto, các mô hình hồi quy tuyến tính logarit đơn thuần chỉ có khả năng ước lượng tương đối tốt xu hướng dài hạn toàn cục dựa trên số liệu vài ngày đầu tải lên, nhưng hoàn toàn bất lực trước bài toán dự báo ngắn hạn do không thể mô hình hóa các tương tác phi tuyến phức tạp giữa các chuỗi dữ liệu. Ngược lại, mô hình Hồi quy tuyến tính đa biến dựa trên đạo hàm do tác giả đề xuất đã giải quyết được một phần độ trễ này nhờ việc tích hợp thông tin động học về vận tốc tăng trưởng lượt xem.

Dữ liệu nghiên cứu được biểu diễn trực quan qua các biểu đồ hàm phân phối tích lũy và hàm mật độ phân phối Gamma với hai tham số alpha bằng 6 và beta bằng 0,2, phản ánh sự tương đồng chặt chẽ với hành vi xem video thực tế. Đồ thị phân tích lượng xem theo từng khung giờ trong ngày tại các quốc gia như Nhật Bản, Hoa Kỳ, Singapore và Việt Nam cũng chỉ ra những đỉnh điểm truy cập mang tính chu kỳ sinh hoạt địa phương, cung cấp tham số ngữ cảnh quan trọng để tinh chỉnh mô hình dự báo theo từng múi giờ riêng biệt.

Đề xuất và khuyến nghị

Dựa trên các kết quả thực nghiệm vững chắc, luận văn đưa ra 4 nhóm giải pháp công nghệ và ứng dụng thực tiễn:

• Ứng dụng mô hình nơ-ron không đệ quy vào hệ thống bộ nhớ đệm biên: Các nhà mạng viễn thông lớn như VNPT, Viettel và FPT cần tích hợp thuật toán dự báo độ phổ biến ngắn hạn vào các máy chủ bộ nhớ đệm phân tán. Giải pháp này hướng tới mục tiêu giảm 25% đến 35% độ trễ truyền tải dữ liệu người dùng cuối và tiết kiệm 30% băng thông đường trục chính trong lộ trình triển khai 12 tháng.
• Thiết lập hệ thống gợi ý và đấu thầu quảng cáo thời gian thực: Các nền tảng phát video trực tuyến và dịch vụ nội dung số cần sử dụng chỉ số dự báo độ phổ biến để tự động đề xuất video thịnh hành và điều chỉnh giá thầu vị trí quảng cáo theo thời gian thực. Mục tiêu đề ra là nâng cao tỷ lệ nhấp chuột của người dùng thêm 15% đến 20% và tối ưu hóa 25% doanh thu tiếp thị trong quý đầu tiên áp dụng.
• Chuẩn hóa quy trình làm sạch và quản trị dữ liệu nhật ký máy chủ: Các trung tâm dữ liệu và cổng thông tin điện tử của trường đại học, tổ chức doanh nghiệp cần ban hành quy chuẩn lọc dữ liệu log tự động theo 5 bước đã đề xuất. Việc loại bỏ các truy vấn tĩnh vô nghĩa sẽ giúp giải phóng ngay lập tức 46% dung lượng lưu trữ máy chủ và giảm 50% chi phí điện toán hàng tháng.
• Mở rộng phạm vi mô hình hóa sang các lĩnh vực chuỗi thời gian liên ngành: Đội ngũ nghiên cứu và các kỹ sư dữ liệu cần tiếp tục thử nghiệm mô hình toán học này trên các bài toán chuỗi thời gian phức tạp khác như dự báo biến động chỉ số tài chính thị trường chứng khoán (tương tự tập dữ liệu NASDAQ-100) và dự báo phụ tải tiêu thụ điện lưới quốc gia trong kế hoạch 18 tháng tiếp theo.

Đối tượng nên tham khảo luận văn

Công trình nghiên cứu mang giá trị học thuật và thực tiễn cao, đặc biệt hữu ích cho 4 nhóm đối tượng sau:

• Kỹ sư hạ tầng mạng và kiến trúc sư hệ thống mạng phân phối nội dung: Tiếp cận phương pháp dự báo chính xác nhu cầu truy cập nội dung để xây dựng cơ chế phân phối tải thông minh, tối ưu hóa dung lượng bộ nhớ đệm và giảm thiểu tắc nghẽn băng thông hệ thống.
• Chuyên gia khoa học dữ liệu và kỹ sư trí tuệ nhân tạo: Khám phá cách thức ứng dụng cơ chế chú ý không đệ quy vào bài toán chuỗi thời gian phi tuyến, tận dụng khả năng tính toán song song trên phần cứng để tối ưu hóa thời gian huấn luyện mô hình học sâu.
• Nhà quản trị sản phẩm nội dung số và doanh nghiệp truyền thông trực tuyến: Vận dụng các mô hình toán học về phân phối thị hiếu và chu kỳ bùng nổ để thiết kế thuật toán đề xuất nội dung cá nhân hóa, định giá quảng cáo và nâng cao trải nghiệm người dùng.
• Giảng viên, học viên cao học và nghiên cứu sinh chuyên ngành Công nghệ thông tin: Sử dụng luận văn như một tài liệu tham khảo chuẩn mực về phương pháp luận xử lý dữ liệu lớn, quy trình thực nghiệm khoa học và các kỹ thuật công bố bài báo quốc tế.

Câu hỏi thường gặp

Tại sao các mô hình hồi quy truyền thống không đáp ứng được yêu cầu dự báo độ phổ biến nội dung trong ngắn hạn? Các mô hình tuyến tính kinh điển chủ yếu dựa trên giả định về mối tương quan cố định giữa lượt xem ban đầu và tổng lượt xem dài hạn. Tuy nhiên, trong ngắn hạn, hành vi người dùng chịu tác động của nhiều yếu tố ngẫu nhiên và biến động phi tuyến phức tạp, khiến các mô hình này xuất hiện độ lệch lớn và không thể phản ánh chính xác các đợt bùng nổ truy cập tức thời.

Mô hình Mạng nơ-ron không đệ quy tích hợp cơ chế chú ý có ưu điểm gì vượt trội so với mạng LSTM truyền thống? Mô hình loại bỏ hoàn toàn cấu trúc tính toán tuần tự từng bước thời gian của mạng LSTM, cho phép tính toán song song trên toàn bộ ma trận dữ liệu đầu vào. Nhờ đó, mô hình vừa triệt tiêu được hiện tượng suy giảm đạo hàm khi xử lý chuỗi dài, vừa rút ngắn đáng kể thời gian suy luận và nâng cao độ chính xác dự báo.

Quy trình tiền xử lý dữ liệu log trong nghiên cứu mang lại lợi ích cụ thể nào cho hệ thống? Quy trình tiền xử lý 5 bước giúp lọc bỏ toàn bộ các yêu cầu tài nguyên không cần thiết như tệp giao diện hay hình ảnh tĩnh, giúp cắt giảm tới 46% dung lượng tệp log thô. Điều này giúp giảm thiểu chi phí lưu trữ, tăng tốc độ xử lý của các thuật toán khai phá dữ liệu và chuẩn hóa dữ liệu đầu vào cho mô hình học máy.

Phân phối Gamma và phân phối lũy thừa phản ánh điều gì về quy luật truy cập của người dùng? Các phân phối này chỉ ra rằng sự chú ý của người dùng phân bổ vô cùng lệch: một lượng rất nhỏ nội dung chiếm lĩnh đại đa số lượt xem toàn hệ thống, trong khi 90% nội dung còn lại chỉ nhận được lượng tương tác rất thấp. Việc nắm bắt tham số hình dạng và tỷ lệ của phân phối Gamma giúp hệ thống thiết lập ngưỡng lưu trữ đệm tối ưu cho nhóm nội dung thịnh hành.

Mô hình dự báo đề xuất có thể áp dụng cho các loại dữ liệu chuỗi thời gian khác ngoài video trực tuyến không? Hoàn toàn có thể. Do mô hình được thiết kế dựa trên các nguyên lý xử lý chuỗi thời gian tổng quát, cấu trúc mạng nơ-ron không đệ quy kết hợp cơ chế chú ý có thể chuyển giao hiệu quả sang các bài toán như dự báo giá cổ phiếu tài chính, dự báo thời tiết, phân tích hệ thống động lực học phức tạp và dự đoán phụ tải điện năng.

Kết luận

• Luận văn đã xây dựng thành công quy trình toàn diện từ khai phá, tiền xử lý nhật ký web đến mô hình hóa chuỗi thời gian, giúp tinh gọn 46% dữ liệu rác và chuẩn hóa thông tin người dùng từ hàng chục triệu bản ghi thực tế.
• Đóng góp hai mô hình học máy mới gồm Hồi quy tuyến tính đa biến dựa trên đạo hàm và Mạng nơ-ron không đệ quy dựa trên cơ chế chú ý, giải quyết hiệu quả bài toán dự báo độ phổ biến nội dung trực tuyến trong ngắn hạn.
• Thực nghiệm trên các tập dữ liệu lớn chứng minh mô hình đề xuất vượt trội so với các phương pháp kinh điển về độ chính xác sai số RMSE, MAE và cải thiện mạnh mẽ thời gian suy luận nhờ khả năng tính toán song song.
• Đề ra lộ trình 12 đến 18 tháng tiếp theo nhằm tích hợp thuật toán vào hạ tầng mạng phân phối nội dung, bộ nhớ đệm biên và mở rộng thử nghiệm trên các chuỗi thời gian tài chính phức tạp.
• Khẳng định giá trị thực tiễn to lớn trong việc tối ưu hóa hạ tầng Internet, định hình chiến lược phân phối nội dung truyền thông số và mở ra hướng nghiên cứu mới trong khai phá dữ liệu học máy.

Trích đoạn nội dung tài liệu

VIETNAM NATIONAL UNIVERSITY HO CHI MINH CITY UNIVERSITY OF TECHNOLOGY -------------------- NGUYEN MINH TRI APPLYING MACHINE LEARNING TECHNIQUES IN EXTRACTING INFORMATION FROM THE LOG FILE Majors: Computer Science ID: 60480101 MASTER THESIS Ho Chi Minh City, 03 July 2019 WORK IS DONE AT HO CHI MINH CITY UNIVERSITY OF TECHNOLOGY – VNU – HCM Scientific supervisor: Assoc. The reviewer 1: Assoc. Huynh Trung Hieu. The reviewer 2: Dr.

Le Thanh Sach. This master thesis is defended at Ho Chi Minh City University of Technology – VNU – HCM HCM City, 03 July 2019. The master thesis assessment committee includes: 1. Dang Tran Khanh.

Le Hong Trang. Huynh Trung Hieu. Le Thanh Sach. Tran Cong Hung.

Confirmation of the Chairman of the assessment committee and the Head of the specialized management department after the thesis has been corrected (if any). CHAIRMAN OF THE HEAD OF FACULTY ASSESSMENT COMMITTEE OF CSE ii VNU – HO CHI MINH CITY SOCIALIST REPUBLIC OF VIETNAM HO CHI MINH CITY UNIVERSITY Independence – Freedom – Happiness OF TECHNOLOGY MASTER THESIS Student name: NGUYEN MINH TRI. Date of birth: 10-12-1994. Place of birth: Lam Dong.

Major: Computer Science. THESIS TITLE: Applying machine learning techniques in extracting information from the log file. TASKS AND CONTENTS: Study machine learning techniques in processing and analyzing logfile. Propose several analytical methods to extract the characteristics of online contents as well as predict their popularity in the near future based on the historical access recorded in the log file.

DATE OF THE THESIS ASSIGNMENT: (according to the thesis assignment decision) 13/08/2018. DATE OF THE THESIS COMPLETION: (according to the thesis assignment decision) 02/06/2019. Ho Chi Minh City, 03 July 2019 SUPERVISOR HEAD OF COMPUTER SCIENCE AND (Sign and full name) ENGINEERING DEPARTMENT (Sign and full name) iii ACKNOWLEDGEMENTS First, I would like to extend my appreciation to my supervisor, Prof. Nam Thoai, who has provided me countless support and given me so much inspiration for my academic career.

I would also like to thank all members of the High-Performance Computing Lab and all the lecturers who have always been willing to encourage and support me greatly. During the past two years, I have learned a lot of knowledge and experience from them. Finally, I must express my very profound gratitude to my parents, my brothers and my friends for providing me with unfailing support and continuous encouragement throughout my two years of study as well as the process of researching and doing this thesis. Thank you! Nguyen Minh Tri 03/07/2019 iv ABSTRACT With the rapid growth of Internet technology and infrastructure, we have entered the era of data explosion.

Recently, a massive amount of data, including log files which contain a lot of valuable information, have been generated. Since the amount of log files is growing exponentially, processing and analyzing them become real challenges. Among these challenges, time series prediction can be considered as one of the fundamental problems in various domains, related to wide-ranging and high-impact applications. Despite the fast-paced process in the field of time series analysis over the past decades, the quality of prediction has not yet met the increasing user demands.

At the beginning, some simple machine learning techniques were used to make a prediction based on many kinds of linear relationships. However, as the amount of data is increasing and the relationships among data sequences are becoming more complicated, those earlier techniques have no longer met the requirements. With the development of machine learning and deep learning, many novel mechanisms and techniques have been proposed to capture the non-linear relations. They have significantly improved the performance in time series prediction.

This work mainly focuses on time series prediction task as well as provides some analysis of log files. Toward this goal, I not only investigate some characteristics of several real datasets but also introduce Derivative-based Multivariate Linear Regression model and Attention-based Non-Recursive Neural Network model to predict the popularity of online contents within these datasets.