Nghiên Cứu Công Nghệ LSTM Và Giải Pháp Dự Đoán Lượng Hành Khách Đi Máy Bay

Nghiên cứu mạng LSTM và giải pháp dự đoán lượng hành khách đi máy bay, cung cấp cái nhìn sâu sắc về ứng dụng trong ngành hàng không.

• Tác giả: Phạm Chí Hùng
• Người hướng dẫn: TS. Nguyễn Văn Thủy
• Trường học: Học viện Công nghệ Bưu chính Viễn thông
• Chuyên ngành: Hệ thống Thông tin
• Đề tài: Nghiên Cứu Công Nghệ LSTM Trong Dự Đoán Lượng Hành Khách Đi Máy Bay
• Loại tài liệu: luận văn thạc sĩ kỹ thuật
• Năm xuất bản: 2019
• Địa điểm: Hà Nội

Mục lục chi tiết

• LỜI CAM ĐOAN
• LỜI CẢM ƠN
• 1. CHƯƠNG 1: TỔNG QUAN MẠNG NƠ-RON HỒI QUY
• 1.1. Mạng nơ-ron nhân tạo
• 1.1.1. Kiến trúc mạng nơ-ron nhân tạo
• 1.1.2. Hoạt động của mạng nơ-ron nhân tạo
• 1.1.3. Các thành phần cơ bản của mạng nơ-ron nhân tạo
• 1.1.3.1. Đơn vị xử lý
• 1.1.3.2. Hàm kết hợp
• 1.1.3.3. Hàm kích hoạt
• 1.2. Mạng nơ-ron hồi quy
• 1.2.1. Khái niệm RNN
• 1.2.2. Quá trình xử lý thông tin của RNN
• 1.2.3. Các ứng dụng của RNN
• 1.2.4. Các phiên bản mở rộng của RNN
• 1.3. Kết luận chương 1
• 2. CHƯƠNG 2: ỨNG DỤNG CÔNG NGHỆ LSTM CHO VIỆC DỰ ĐOÁN LƯỢNG HÀNH KHÁCH ĐI MÁY BAY QUỐC TẾ
• 2.1. Kiến trúc mạng LSTM
• 2.2. Quá trình xử lý thông tin của LSTM
• 2.3. Các kỹ thuật LSTM sử dụng trong thử nghiệm
• 2.3.1. LSTM hồi quy
• 2.3.2. LSTM hồi quy sử dụng phương thức cửa sổ
• 2.3.3. LSTM hồi quy sử dụng bước thời gian
• 2.3.4. LSTM sử dụng bộ nhớ giữa các bước
• 2.3.5. LSTM xếp chồng sử dụng bộ nhớ giữa các bước
• 2.4. Nghiên cứu vấn đề dự báo chuỗi thời gian, lượng hành khách đi máy bay quốc tế
• 2.4.1. Phân tích yêu cầu
• 2.4.2. Mô hình thử nghiệm
• 2.5. Cài đặt ứng dụng
• 2.6. Kết luận chương
• 3. CHƯƠNG 3: THỬ NGHIỆM VÀ ĐÁNH GIÁ KẾT QUẢ
• 3.1. Giới thiệu bài toán ước lượng hành khách đi máy bay quốc tế
• 3.2. Các kịch bản thử nghiệm
• 3.3. Một số kết quả thực nghiệm
• 3.3.1. Kết quả thử nghiệm độ chính xác dự đoán lượng hành khách đi máy bay
• 3.3.2. Phương pháp LSTM hồi quy
• 3.3.3. Phương pháp LSTM hồi quy sử dụng phương thức cửa sổ
• 3.3.4. Phương pháp LSTM hồi quy sử dụng bước thời gian
• 3.3.5. Phương pháp LSTM sử dụng bộ nhớ giữa các bước
• 3.3.6. LSTM xếp chồng sử dụng bộ nhớ giữa các bước
• 3.4. Kết luận chương
• TÀI LIỆU THAM KHẢO

Tóm tắt

I. Tổng Quan Về Nghiên Cứu LSTM Dự Đoán Lượng Hành Khách

Nghiên cứu công nghệ LSTM trong dự đoán lượng hành khách đi máy bay là một lĩnh vực quan trọng, đặc biệt trong bối cảnh ngành hàng không ngày càng phát triển. Theo dự đoán của IATA, lượng hành khách sẽ tăng gấp đôi vào năm 2035, đạt 7.2 tỷ lượt. Việc dự đoán chính xác xu hướng này giúp các hãng hàng không và sân bay tối ưu hóa nguồn lực, nâng cao hiệu suất và đáp ứng nhu cầu vận tải. Bài toán dự đoán chuỗi thời gian này đòi hỏi các mô hình có khả năng ghi nhớ và xử lý thông tin theo trình tự, và LSTM là một lựa chọn hiệu quả. Nghiên cứu này tập trung vào việc ứng dụng LSTM để giải quyết bài toán dự đoán lượng hành khách đi máy bay quốc tế, một nhiệm vụ phức tạp do tính mùa vụ, biến động kinh tế và các yếu tố bất ngờ như COVID-19.

1.1. Tầm Quan Trọng Của Dự Đoán Trong Ngành Hàng Không

Dự đoán lượng hành khách chính xác là yếu tố then chốt để các hãng hàng không và sân bay đưa ra quyết định chiến lược về chuyến bay, nhân sự, và cơ sở hạ tầng. Việc dự đoán sai lệch có thể dẫn đến lãng phí nguồn lực, giảm hiệu suất, và ảnh hưởng đến trải nghiệm của hành khách. Theo IATA, nhu cầu đi lại bằng đường hàng không sẽ tăng gấp đôi trong hai thập kỷ tới, đặc biệt ở khu vực Châu Á - Thái Bình Dương. Do đó, việc áp dụng các công nghệ tiên tiến như LSTM để nâng cao độ chính xác của dự đoán là vô cùng cần thiết.

1.2. Giới Thiệu Về Mạng Nơ ron Hồi Quy LSTM Long Short Term Memory

LSTM là một loại mạng nơ-ron hồi quy (RNN) được thiết kế để khắc phục nhược điểm của RNN truyền thống trong việc xử lý các chuỗi dài. LSTM có khả năng ghi nhớ thông tin quan trọng trong quá trình xử lý chuỗi, giúp mô hình học được các phụ thuộc dài hạn. Điều này đặc biệt quan trọng trong bài toán dự đoán lượng hành khách, vì xu hướng và mùa vụ có thể kéo dài trong nhiều tháng hoặc thậm chí nhiều năm. LSTM sử dụng các cổng (gate) để kiểm soát luồng thông tin vào và ra khỏi bộ nhớ, giúp mô hình tập trung vào các thông tin quan trọng và loại bỏ các thông tin nhiễu.

II. Thách Thức Trong Dự Đoán Lượng Hành Khách Đi Máy Bay

Dự đoán lượng hành khách đi máy bay là một bài toán phức tạp do nhiều yếu tố ảnh hưởng, bao gồm kinh tế, du lịch, vận tải, và các sự kiện bất ngờ. Biến động kinh tế toàn cầu có thể ảnh hưởng đến nhu cầu đi lại, trong khi các sự kiện như COVID-19 có thể gây ra sự sụt giảm đột ngột. Tính mùa vụ cũng là một yếu tố quan trọng, với lượng hành khách thường tăng cao vào các dịp lễ, tết, và mùa du lịch. Ngoài ra, sự cạnh tranh giữa các hãng hàng không và sự thay đổi trong chính sách hàng không cũng có thể ảnh hưởng đến thị trường. Việc xây dựng một mô hình dự đoán chính xác đòi hỏi phải thu thập và xử lý một lượng lớn dữ liệu, đồng thời áp dụng các kỹ thuật phân tích dữ liệu và mô hình học sâu phù hợp.

2.1. Ảnh Hưởng Của Các Yếu Tố Kinh Tế Và Xã Hội

Các yếu tố kinh tế như tăng trưởng GDP, tỷ lệ thất nghiệp, và giá nhiên liệu có ảnh hưởng trực tiếp đến nhu cầu đi lại bằng đường hàng không. Khi kinh tế phát triển, người dân có xu hướng đi du lịch và công tác nhiều hơn, dẫn đến tăng lượng hành khách. Các yếu tố xã hội như xu hướng du lịch, sự thay đổi trong lối sống, và các sự kiện văn hóa cũng có thể ảnh hưởng đến thị trường hàng không. Ví dụ, sự gia tăng của du lịch tự túc và du lịch trải nghiệm đã tạo ra nhu cầu mới cho các chuyến bay giá rẻ và các điểm đến mới.

2.2. Tác Động Của Các Sự Kiện Bất Ngờ Ví Dụ COVID 19

Các sự kiện bất ngờ như khủng bố, thiên tai, và dịch bệnh có thể gây ra sự sụt giảm đột ngột trong lượng hành khách. Đại dịch COVID-19 là một ví dụ điển hình, khi các biện pháp phong tỏa và hạn chế đi lại đã khiến thị trường hàng không toàn cầu đóng băng. Việc dự đoán và ứng phó với các sự kiện bất ngờ là một thách thức lớn đối với các hãng hàng không và sân bay. Các mô hình dự đoán cần phải được điều chỉnh để phản ánh tác động của các sự kiện này, đồng thời phải có khả năng thích ứng nhanh chóng với các thay đổi trong thị trường.

III. Phương Pháp LSTM Hồi Quy Cho Dự Đoán Chuỗi Thời Gian

Phương pháp LSTM hồi quy là một kỹ thuật phổ biến để dự đoán chuỗi thời gian, đặc biệt là trong các bài toán có tính mùa vụ và xu hướng. Kỹ thuật này sử dụng mạng LSTM để học các mẫu trong quá khứ và dự đoán các giá trị trong tương lai. LSTM hồi quy có thể được áp dụng trực tiếp vào dữ liệu chuỗi thời gian, hoặc có thể kết hợp với các kỹ thuật tiền xử lý dữ liệu như phương pháp cửa sổ trượt hoặc bước thời gian để cải thiện độ chính xác. Trong nghiên cứu này, phương pháp LSTM hồi quy được sử dụng để dự đoán lượng hành khách đi máy bay quốc tế, với các thử nghiệm khác nhau về cấu trúc mạng, tham số huấn luyện, và kỹ thuật tiền xử lý dữ liệu.

3.1. Ứng Dụng LSTM Hồi Quy Trực Tiếp Vào Dữ Liệu Chuỗi Thời Gian

Trong phương pháp này, dữ liệu chuỗi thời gian được đưa trực tiếp vào mạng LSTM mà không cần bất kỳ kỹ thuật tiền xử lý nào. Mạng LSTM sẽ học các mẫu và phụ thuộc trong dữ liệu và dự đoán các giá trị tiếp theo. Ưu điểm của phương pháp này là đơn giản và dễ thực hiện, nhưng có thể không hiệu quả đối với các chuỗi thời gian phức tạp có nhiều biến động và mùa vụ.

3.2. Sử Dụng Phương Pháp Cửa Sổ Trượt Để Cải Thiện Độ Chính Xác

Phương pháp cửa sổ trượt là một kỹ thuật tiền xử lý dữ liệu phổ biến trong dự đoán chuỗi thời gian. Kỹ thuật này chia dữ liệu thành các cửa sổ có kích thước cố định và sử dụng các cửa sổ này làm đầu vào cho mạng LSTM. Bằng cách sử dụng nhiều cửa sổ khác nhau, mạng LSTM có thể học được các mẫu và phụ thuộc trong dữ liệu một cách hiệu quả hơn. Kích thước của cửa sổ là một tham số quan trọng cần được điều chỉnh để đạt được độ chính xác tốt nhất.

IV. Thử Nghiệm Và Đánh Giá Kết Quả Dự Đoán LSTM

Để đánh giá hiệu suất của mô hình LSTM, các thử nghiệm đã được thực hiện trên dữ liệu thực tế về lượng hành khách đi máy bay quốc tế. Các kết quả thử nghiệm cho thấy rằng mô hình LSTM có khả năng dự đoán lượng hành khách với độ chính xác cao, đặc biệt khi kết hợp với các kỹ thuật tiền xử lý dữ liệu như phương pháp cửa sổ trượt và bước thời gian. Các chỉ số đánh giá như sai số trung bình tuyệt đối (MAE) và sai số bình phương gốc (RMSE) được sử dụng để so sánh hiệu suất của các mô hình khác nhau. Kết quả cho thấy rằng mô hình LSTM vượt trội hơn so với các phương pháp dự đoán truyền thống.

4.1. Các Kịch Bản Thử Nghiệm Với Dữ Liệu Thực Tế

Các kịch bản thử nghiệm được thiết kế để đánh giá hiệu suất của mô hình LSTM trong các điều kiện khác nhau. Các kịch bản này bao gồm dự đoán lượng hành khách trong ngắn hạn, trung hạn, và dài hạn, cũng như dự đoán trong các giai đoạn có biến động lớn và mùa vụ rõ rệt. Dữ liệu được sử dụng trong các thử nghiệm là dữ liệu thực tế về lượng hành khách đi máy bay quốc tế từ các nguồn khác nhau.

4.2. Đánh Giá Độ Chính Xác Và Sai Số Của Mô Hình LSTM

Độ chính xác và sai số là hai chỉ số quan trọng để đánh giá hiệu suất của mô hình dự đoán. Độ chính xác cho biết mức độ gần đúng của các dự đoán so với các giá trị thực tế, trong khi sai số cho biết mức độ khác biệt giữa các dự đoán và các giá trị thực tế. Các chỉ số sai số phổ biến được sử dụng trong đánh giá mô hình bao gồm sai số trung bình tuyệt đối (MAE) và sai số bình phương gốc (RMSE).

V. Ứng Dụng Thực Tế Của LSTM Trong Dự Báo Hàng Không

Kết quả nghiên cứu này có thể được ứng dụng trong thực tế để giúp các hãng hàng không và sân bay đưa ra quyết định chiến lược về quản lý nguồn lực, lập kế hoạch chuyến bay, và tối ưu hóa giá vé. Mô hình LSTM có thể được tích hợp vào các phần mềm dự báo để cung cấp các dự đoán chính xác về lượng hành khách, giúp các nhà quản lý đưa ra quyết định dựa trên dữ liệu. Ngoài ra, mô hình LSTM cũng có thể được sử dụng để phát hiện các xu hướng và biến động trong thị trường hàng không, giúp các hãng hàng không và sân bay thích ứng nhanh chóng với các thay đổi.

5.1. Tích Hợp LSTM Vào Phần Mềm Dự Báo Cho Hãng Hàng Không

Việc tích hợp mô hình LSTM vào các phần mềm dự báo hiện có có thể giúp các hãng hàng không cải thiện độ chính xác của các dự đoán về lượng hành khách. Phần mềm dự báo có thể sử dụng các dự đoán từ mô hình LSTM để lập kế hoạch chuyến bay, quản lý nhân sự, và tối ưu hóa giá vé. Điều này có thể giúp các hãng hàng không giảm chi phí, tăng doanh thu, và nâng cao hiệu suất.

5.2. Hỗ Trợ Quyết Định Chiến Lược Cho Quản Lý Sân Bay

Các sân bay có thể sử dụng các dự đoán từ mô hình LSTM để lập kế hoạch về cơ sở hạ tầng, quản lý luồng hành khách, và tối ưu hóa việc sử dụng các nguồn lực. Các dự đoán chính xác về lượng hành khách có thể giúp các sân bay tránh tình trạng quá tải, giảm thời gian chờ đợi, và nâng cao trải nghiệm của hành khách. Ngoài ra, mô hình LSTM cũng có thể được sử dụng để dự đoán nhu cầu về các dịch vụ khác tại sân bay, như bãi đậu xe, nhà hàng, và cửa hàng.

VI. Kết Luận Và Hướng Phát Triển Nghiên Cứu LSTM Dự Đoán

Nghiên cứu này đã chứng minh rằng công nghệ LSTM là một công cụ hiệu quả để dự đoán lượng hành khách đi máy bay. Các kết quả thử nghiệm cho thấy rằng mô hình LSTM có khả năng dự đoán với độ chính xác cao, đặc biệt khi kết hợp với các kỹ thuật tiền xử lý dữ liệu. Trong tương lai, nghiên cứu có thể được mở rộng để bao gồm các yếu tố khác ảnh hưởng đến thị trường hàng không, như giá nhiên liệu, tỷ giá hối đoái, và các sự kiện chính trị. Ngoài ra, có thể nghiên cứu các kiến trúc mạng LSTM phức tạp hơn, cũng như các phương pháp tối ưu hóa tham số để cải thiện hiệu suất của mô hình.

6.1. Tổng Kết Về Ưu Điểm Của LSTM Trong Dự Đoán Hàng Không

LSTM có nhiều ưu điểm so với các phương pháp dự đoán truyền thống trong thị trường hàng không. LSTM có khả năng học các mẫu và phụ thuộc phức tạp trong dữ liệu, có thể xử lý các chuỗi thời gian dài, và có thể thích ứng với các thay đổi trong thị trường. Điều này giúp LSTM đưa ra các dự đoán chính xác hơn và đáng tin cậy hơn so với các phương pháp khác.

6.2. Hướng Nghiên Cứu Tiếp Theo Để Nâng Cao Hiệu Quả LSTM

Trong tương lai, có nhiều hướng nghiên cứu có thể được thực hiện để nâng cao hiệu quả của mô hình LSTM trong dự đoán lượng hành khách đi máy bay. Các hướng nghiên cứu này bao gồm việc kết hợp LSTM với các mô hình khác, sử dụng các kỹ thuật tối ưu hóa tham số tiên tiến, và tích hợp các nguồn dữ liệu bổ sung. Ngoài ra, có thể nghiên cứu các ứng dụng mới của LSTM trong thị trường hàng không, như dự đoán nhu cầu về các dịch vụ khác tại sân bay và phát hiện gian lận.

Nội dung chính

Tổng quan nghiên cứu

Ngành hàng không quốc tế đóng vai trò huyết mạch trong việc thúc đẩy giao thương toàn cầu và phát triển kinh tế giữa các quốc gia. Theo số liệu thống kê từ Hiệp hội Vận tải Hàng không Quốc tế (IATA), nhu cầu di chuyển bằng đường hàng không trên thế giới dự kiến sẽ chạm mốc 7,2 tỷ lượt hành khách vào năm 2035, tăng gần gấp đôi so với con số 3,8 tỷ lượt ghi nhận năm 2016. Tốc độ tăng trưởng vượt bậc tập trung mạnh mẽ tại khu vực Châu Á - Thái Bình Dương, kéo theo sự thay đổi vị thế của các thị trường hàng không trọng điểm: Trung Quốc được dự báo sẽ vượt qua Mỹ vào năm 2029 để trở thành thị trường lớn nhất thế giới, trong khi Ấn Độ sẽ vượt Anh để chiếm vị trí thứ ba vào năm 2026.

Sự bùng nổ nhu cầu này đặt ra bài toán cấp thiết cho các hãng hàng không về việc tối ưu hóa quy trình điều hành, phân bổ nguồn lực đội bay và quản trị doanh thu. Tuy nhiên, lưu lượng hành khách là chuỗi dữ liệu thời gian biến động phi tuyến tính phức tạp, chịu ảnh hưởng đồng thời bởi các yếu tố mùa vụ, kỳ nghỉ lễ và biến động kinh tế.

Luận văn thạc sĩ chuyên ngành Hệ thống Thông tin với đề tài nghiên cứu công nghệ mạng nơ-ron hồi quy bộ nhớ dài ngắn (Long Short-Term Memory - LSTM) đã giải quyết trọn vẹn bài toán dự báo lưu lượng hành khách đường bay quốc tế. Mục tiêu trọng tâm của nghiên cứu là xây dựng, cấu hình và đánh giá hiệu năng của 5 biến thể kiến trúc LSTM trên tập dữ liệu thực tế gồm 129 quan sát hàng tháng của hãng hàng không American Airlines trong giai đoạn từ tháng 07/2005 đến tháng 03/2016. Kết quả nghiên cứu mang ý nghĩa thực tiễn lớn, chứng minh mô hình LSTM có khả năng hạ thấp sai số tương đối kiểm nghiệm xuống mức tối ưu 0,055%, cung cấp giải pháp dự báo chuẩn xác cho các nhà quản trị ngành hàng không.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Nghiên cứu được xây dựng trên nền tảng lý thuyết học sâu (Deep Learning) kết hợp với mô hình hóa chuỗi thời gian, tập trung vào ba khối kiến thức cốt lõi:

• Mạng nơ-ron nhân tạo (ANN): Hoạt động dựa trên nguyên lý xử lý thông tin mô phỏng hệ thần kinh sinh học, vận hành qua quá trình lan truyền tiến và thuật toán lan truyền ngược để cập nhật ma trận trọng số liên kết $W$ và độ lệch $b$, tối thiểu hóa hàm suy hao thông qua phương pháp giảm độ dốc.
• Mạng nơ-ron hồi quy (RNN): Cấu trúc mạng có phản hồi cho phép duy trì trạng thái ẩn $S_t = f(Ux_t + Ws_{t-1})$ qua các bước thời gian, giải quyết hiệu quả dữ liệu tuần tự. Tuy nhiên, RNN truyền thống gặp hạn chế nghiêm trọng về sự suy giảm đạo hàm (vanishing gradient) khi chuỗi thời gian kéo dài quá 10 bước lặp.
• Mạng bộ nhớ dài ngắn (LSTM): Kiến trúc cải tiến đột phá được phát triển nhằm duy trì sự phụ thuộc dữ liệu dài hạn. Lõi của LSTM gồm trạng thái tế bào (cell state $C_t$) đóng vai trò như băng chuyền thông tin và hệ thống 3 cổng kiểm soát: cổng quên (forget gate) sử dụng hàm kích hoạt Sigmoid để loại bỏ dữ liệu dư thừa, cổng vào (input gate) kết hợp hàm Tanh để cập nhật trạng thái ứng viên, và cổng ra (output gate) quyết định mức độ phát tín hiệu dự báo ra bên ngoài theo miền giá trị [-1, 1].

Phương pháp nghiên cứu

Nghiên cứu kết hợp chặt chẽ giữa phân tích lý thuyết toán học và kiểm nghiệm thực nghiệm trên máy tính chuyên dụng:

• Nguồn dữ liệu và kích thước mẫu: Tập dữ liệu chuỗi thời gian đơn biến gồm 129 điểm dữ liệu đo lường lượng hành khách thực tế theo tháng của American Airlines (giai đoạn 07/2005 – 03/2016). Phương pháp chọn mẫu toàn bộ chuỗi quan sát liên tục trong 129 tháng được áp dụng để bảo toàn tính chu kỳ và xu hướng dài hạn.
• Tiền xử lý dữ liệu: Chuỗi dữ liệu số lượng hành khách được chuẩn hóa về miền giá trị [-1, 1] phù hợp với miền hoạt động của hàm tiếp tuyến hyperbolic (tanh). Sau đó, dữ liệu được chuyển đổi thành cấu trúc ma trận huấn luyện và kiểm nghiệm theo tỷ lệ phân chia chuẩn 67% huấn luyện (khoảng 86 quan sát) và 33% kiểm thử (khoảng 43 quan sát).
• Thiết lập môi trường tính toán: Mô hình được lập trình trên ngôn ngữ Python, sử dụng nền tảng học máy TensorFlow và Keras trên môi trường máy trạm phần cứng CPU Intel Core i7-2600 3.40GHz, bộ nhớ RAM 2 GB chạy hệ điều hành Windows 10.
• Kịch bản thực nghiệm: 5 kỹ thuật kiến trúc được triển khai đồng thời qua 100 chu kỳ huấn luyện (epochs) để đo lường độ lệch căn bậc hai sai số trung bình (Root Mean Squared Error - RMSE). Lý do lựa chọn RMSE vì đây là chỉ số phản ánh mức độ chênh lệch thực tế giữa số lượng hành khách dự báo và thực tế theo cùng đơn vị đo lường (hành khách).

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

Quá trình thực nghiệm 5 kịch bản cấu hình mạng LSTM trên cùng một tập dữ liệu chuẩn đã ghi nhận các chỉ số hiệu năng cụ thể sau:

STT	Kịch bản kiến trúc LSTM	Sai số RMSE tập huấn luyện	Tỷ lệ lỗi tập huấn luyện (%)	Sai số RMSE tập kiểm nghiệm	Tỷ lệ lỗi tập kiểm nghiệm (%)
1	LSTM hồi quy cơ bản	14.528,72	0,087%	11.018,91	0,066%
2	LSTM hồi quy theo phương thức cửa sổ	14.157,42	0,085%	10.185,59	0,061%
3	LSTM hồi quy theo bước thời gian	15.010,17	0,090%	9.636,19	0,058%
4	LSTM duy trì bộ nhớ trạng thái	15.151,38	0,090%	10.310,33	0,062%
5	LSTM xếp chồng duy trì bộ nhớ trạng thái	15.520,49	0,093%	9.260,16	0,055%

Các phát hiện nổi bật rút ra từ bảng số liệu thực nghiệm:

• Khả năng khái quát hóa của kiến trúc xếp chồng (Stacked LSTM): Mô hình LSTM xếp chồng sử dụng bộ nhớ giữa các bước đạt sai số kiểm nghiệm thấp nhất toàn diện với RMSE là 9.260,16 hành khách (tương đương tỷ lệ sai số chỉ 0,055%). So với mô hình LSTM hồi quy cơ bản (11.018,91 RMSE), kiến trúc xếp chồng đã giảm được 15,96% sai số trên tập dữ liệu chưa từng biết.
• Hiệu năng học trên tập huấn luyện của phương pháp cửa sổ: Mô hình LSTM sử dụng khung cửa sổ trượt (windowing) thể hiện khả năng khớp dữ liệu huấn luyện tốt nhất với RMSE đạt 14.157,42 (sai số 0,085%), thấp hơn đáng kể so với mức sai số 15.520,49 của mô hình xếp chồng.
• Tác động của cấu hình bước thời gian (Time-step): Việc cấu hình dữ liệu dạng chuỗi bước thời gian đa chiều giúp mô hình LSTM đạt RMSE kiểm nghiệm 9.636,19 (0,058%), vượt trội hơn hẳn so với việc đưa các quan sát quá khứ vào dưới dạng các đặc trưng riêng lẻ.

Thảo luận kết quả

Khi biểu diễn trực quan các kết quả dự báo qua đồ thị chuỗi thời gian, đường biểu diễn dự báo của mô hình LSTM bám sát gần như hoàn hảo đường dữ liệu thực tế của American Airlines qua cả các giai đoạn đỉnh mùa du lịch lẫn đáy thấp điểm.

Số hành khách

Sự vượt trội của mô hình LSTM xếp chồng bắt nguồn từ việc bổ sung các tầng ẩn lặp lại (stacked recurrent layers), tạo ra các cấp độ trừu tượng hóa dữ liệu theo thời gian sâu hơn. Tầng LSTM phía trên trích xuất các đặc trưng chuỗi vi mô theo từng bước thời gian, sau đó truyền toàn bộ chuỗi đầu ra cho tầng LSTM bên dưới để nhận diện quy luật mùa vụ vĩ mô.

Mặc dù sai số huấn luyện của mô hình xếp chồng cao hơn (15.520,49 so với 14.157,42 của mô hình cửa sổ), hiện tượng này phản ánh khả năng chống lại hiện tượng quá khớp (overfitting) vượt trội. Mô hình cửa sổ tuy bám sát tập huấn luyện nhưng dễ bị nhiễu cục bộ, trong khi mô hình xếp chồng duy trì trạng thái giúp giữ lại các phụ thuộc chuỗi dài hạn xuyên suốt toàn bộ tập dữ liệu kiểm nghiệm.

Đề xuất và khuyến nghị

Dựa trên kết quả nghiên cứu thực nghiệm, các giải pháp cụ thể được đề xuất nhằm chuyển giao công nghệ vào thực tiễn ngành hàng không:

• Triển khai kiến trúc LSTM xếp chồng vào hệ thống điều hành bay: Các hãng hàng không cần tích hợp mô hình Stacked LSTM vào hệ thống hoạch định nguồn lực doanh nghiệp (ERP) trong vòng 6 đến 12 tháng tới nhằm kiểm soát sai số dự báo nhu cầu dưới ngưỡng 0,06%, giúp tối ưu hóa việc phân bổ lịch bay và xếp chỗ ngồi.
• Bổ sung các biến ngoại sinh đa chiều vào dữ liệu đầu vào: Trung tâm điều hành dữ liệu bay cần mở rộng tập dữ liệu trong giai đoạn 3 đến 6 tháng tiếp theo bằng cách tích hợp thêm các yếu tố vĩ mô như biến động giá dầu Jet A-1, chỉ số GDP, lịch nghỉ lễ và dự báo thời tiết cực đoan nhằm nâng độ chính xác dự báo thêm 15% đến 20%.
• Nâng cấp hạ tầng tính toán chuyên dụng: Bộ phận công nghệ thông tin cần trang bị hệ thống máy chủ tích hợp chip xử lý đồ họa (GPU/TPU) chuyên biệt thay thế cho CPU truyền thống để rút ngắn thời gian huấn luyện mô hình khi mở rộng tập dữ liệu vượt mức 10.000 lượt quan sát.
• Xây dựng quy trình tự động tái huấn luyện mô hình (MLOps Pipeline): Đội ngũ kỹ sư dữ liệu hàng không cần thiết lập luồng xử lý tự động cập nhật dữ liệu hành khách mới theo chu kỳ hàng tháng, tự động chạy lại 100 epochs để cập nhật ma trận trọng số, đảm bảo mô hình luôn thích ứng với các biến động thị trường đột xuất.

Đối tượng nên tham khảo luận văn

Nội dung và mã nguồn thực nghiệm của luận văn là tài liệu tham khảo giá trị cho các nhóm đối tượng:

• Kỹ sư dữ liệu và chuyên gia Machine Learning: Tiếp cận quy trình xây dựng, tiền xử lý và tinh chỉnh 5 biến thể mạng LSTM trên thư viện Keras/TensorFlow để ứng dụng cho các bài toán dự báo chuỗi thời gian tài chính, giao thông hoặc logistics.
• Nhà quản trị và chuyên viên điều hành hàng không: Nắm bắt phương pháp luận dự báo định lượng hiện đại để xây dựng chiến lược cung ứng tải, định giá vé linh hoạt và tối ưu hóa chi phí vận hành tại sân bay.
• Học viên cao học và nhà nghiên cứu công nghệ thông tin: Sử dụng khung lý thuyết, công thức lan truyền ngược và phương pháp thiết kế thực nghiệm trong luận văn làm tài liệu nghiên cứu tham khảo cho các đề tài xử lý chuỗi thời gian hoặc học sâu ứng dụng.
• Kiến trúc sư giải pháp phần mềm: Khảo sát mô hình kiến trúc tích hợp giữa module dự báo học sâu và các hệ thống quản lý cơ sở dữ liệu doanh nghiệp.

Câu hỏi thường gặp

Mạng LSTM có ưu điểm gì vượt trội so với RNN truyền thống trong bài toán chuỗi thời gian?

Mạng RNN truyền thống thường gặp hiện tượng suy giảm đạo hàm khi xử lý chuỗi thời gian quá 10 bước lặp, khiến mô hình mất khả năng ghi nhớ dài hạn. Ngược lại, LSTM bổ sung trạng thái tế bào và 3 cổng kiểm soát (cổng quên, cổng vào, cổng ra), cho phép lưu giữ thông tin quan trọng qua hơn 100 bước thời gian với sai số kiểm nghiệm duy trì dưới 0,06%.

Tại sao mô hình LSTM xếp chồng lại đạt sai số kiểm nghiệm thấp nhất (9.260,16 RMSE)?

Mô hình LSTM xếp chồng sử dụng nhiều tầng LSTM liên tiếp, trong đó tầng trước cung cấp chuỗi đầu ra tuần tự cho tầng kế tiếp. Cấu trúc này tạo ra các mức độ trừu tượng hóa thời gian đa tầng, giúp mô hình bóc tách hiệu quả cả đặc trưng ngắn hạn lẫn xu hướng chu kỳ dài hạn của 129 tháng quan sát mà không bị quá khớp.

Bộ dữ liệu 129 tháng có đảm bảo tính tin cậy để huấn luyện mạng học sâu không?

Tập dữ liệu 129 tháng của American Airlines (từ 07/2005 đến 03/2016) bao quát gần 11 năm vận hành, thể hiện đầy đủ các chu kỳ mùa vụ hàng năm và các biến động kinh tế. Với cấu hình mạng phù hợp qua 100 chu kỳ huấn luyện và chuẩn hóa miền giá trị [-1, 1], dữ liệu đảm bảo mô hình hội tụ ổn định với sai số tương đối chỉ từ 0,055% đến 0,093%.

Kỹ thuật trượt cửa sổ (window method) hỗ trợ mô hình như thế nào?

Phương pháp cửa sổ chuyển đổi bài toán chuỗi thời gian thành bài toán hồi quy bằng cách sử dụng nhiều bước thời gian liên tiếp trong quá khứ ($t-1, t$) làm biến đầu vào để dự báo bước tiếp theo ($t+1$). Kỹ thuật này giúp mô hình đạt sai số huấn luyện thấp nhất (14.157,42 RMSE) nhờ tận dụng triệt để tương quan cục bộ giữa các tháng liền kề.

Doanh nghiệp có thể ứng dụng kết quả của luận văn vào thực tế như thế nào?

Doanh nghiệp vận tải hàng không có thể tích hợp trực tiếp module mã nguồn Python/Keras của luận văn vào hệ thống quản trị để tự động dự báo lượng khách trước 1 đến 12 tháng. Dựa trên số liệu dự báo sai số dưới 0,06%, hãng có thể tối ưu hóa việc phân bổ nhân sự bay, bảo dưỡng tàu bay và lập chính sách giá vé cạnh tranh.

Kết luận

• Luận văn đã hệ thống hóa toàn diện cơ sở lý thuyết về mạng nơ-ron nhân tạo, mạng nơ-ron hồi quy và cơ chế vận hành chuyên sâu của kiến trúc LSTM.
• Nghiên cứu đã thiết kế và triển khai thực nghiệm thành công 5 cấu hình mạng LSTM chuyên biệt cho bài toán dự báo chuỗi thời gian lưu lượng hành khách hàng không.
• Kết quả thực nghiệm xác lập mô hình LSTM xếp chồng duy trì bộ nhớ trạng thái là giải pháp tối ưu nhất với sai số RMSE kiểm nghiệm đạt 9.260,16 hành khách (tỷ lệ lỗi chỉ 0,055%).
• Đóng góp thực tiễn của đề tài là xây dựng hoàn chỉnh ứng dụng dự báo trên hệ điều hành Windows bằng ngôn ngữ Python kết hợp Keras và TensorFlow, có khả năng áp dụng trực tiếp cho các hãng bay.
• Hướng phát triển tiếp theo trong giai đoạn tới bao gồm việc mở rộng thử nghiệm trên các bộ dữ liệu lớn quy mô hàng triệu lượt khách và nghiên cứu kết hợp mô hình LSTM với các thuật toán học máy lai (Hybrid Deep Learning).

Quý độc giả, nhà nghiên cứu và các đơn vị doanh nghiệp vận tải có thể ứng dụng khung giải pháp và phương pháp luận của luận văn để tối ưu hóa bài toán dự báo chuỗi thời gian trong thực tế.

Trích đoạn nội dung tài liệu

CHƯƠNG 1 TỔNG QUAN MẠNG NƠ-RON HỒI QUY Trong chương này tôi sẽ giới thiệu về cơ sở lý thuyết về mạng nơ-ron nhân tạo, cách thức hoạt động của mạng nơ-ron, các phiên bản mở rộng của mạng nơ-ron nhân tạo.1 Mạng nơ-ron nhân tạo 1.1 Kiến trúc mạng nơ-ron nhân tạo Mạng nơ-ron nhân tạo (Artificial Neural Network – ANN) là một mô hình xử lý thông tin được mô phỏng dựa trên hoạt động của hệ thống thần kinh của sinh vật, bao gồm số lượng lớn các Nơ-ron được gắn kết để xử lý thông tin. ANN được giới thiệu năm 1943 bởi nhà thần kinh học Warren McCulloch và nhà logic học Walter Pits, ANN hoạt động giống như bộ não của con người, được học bởi kinh nghiệm (thông qua việc huấn luyện), có khả năng lưu giữ các tri thức và sử dụng các tri thức đó trong việc dự đoán các dữ liệu chưa biết (unseen data) [1]. Một mạng nơ-ron là một nhóm các nút nối với nhau, mô phỏng mạng nơ- ron thần kinh của não người. Mạng nơ-ron nhân tạo được thể hiện thông qua ba thành phần cơ bản: mô hình của nơ-ron, cấu trúc và sự liên kết giữa các nơ-ron.

Trong nhiều trường hợp, mạng nơ-ron nhân tạo là một hệ thống thích ứng, tự thay đổi cấu trúc của mình dựa trên các thông tin bên ngoài hay bên trong chạy qua mạng trong quá trình học.1 Kiến trúc mạng nơ-ron nhân tạo 4 Kiến trúc chung của một ANN được thể hiện ở hình 1.1, gồm 3 thành phần đó là lớp vào, lớp ẩn và lớp ra [2] Trong đó, lớp vào thể hiện cho các đầu vào của mạng; lớp ẩn gồm các nơ-ron, nhận dữ liệu đầu vào từ các nơ-ron ở lớp trước đó và chuyển đổi các đầu vào này cho các lớp xử lý tiếp theo; lớp ra thể hiện cho các đầu ra của mạng. Trong một mạng ANN có thể có nhiều lớp ẩn. Mạng nơron nhân tạo ngày nay gần giống với bộ não con người như: Có khả năng học, tức là sử dụng những kinh nghiệm để cải thiện hiệu suất. Khi thu thập được đủ một lượng mẫu thì ANN có thể khái quát hóa rất cao.

Một ANN có thể nhận ra được một ký tự viết tay, có thể phát hiện bom ở sân bay… 1.2 Hoạt động của mạng nơ-ron nhân tạo Hình 1.2 Quá trình xử lý thông tin của một mạng nơ-ron nhân tạo. Hoạt động của mạng nơ-ron nhân tạo được thể hình ở hình 1.2 với 3 chu trình: Đầu vào: Mỗi đầu vào tương ứng với 1 đặc trưng của dữ liệu. Ví dụ như trong ứng dụng của ngân hàng xem xét có chấp nhận cho khách hàng vay tiền hay không thì mỗi input là một thuộc tính của khách hàng như thu nhập, nghề nghiệp, tuổi, số con,… Đầu ra: Kết quả của một ANN là một giải pháp cho một vấn đề, ví dụ như với bài toán xem xét chấp nhận cho khách hàng vay tiền hay không thì đầu ra là “có” hoặc “không”. 5 Trọng số liên kết: Đây là thành phần rất quan trọng của một ANN, nó thể hiện mức độ quan trọng, độ mạnh của dữ liệu đầu vào đối với quá trình xử lý thông tin chuyển đổi dữ liệu từ lớp này sang lớp khác.

Quá trình học của ANN thực ra là quá trình điều chỉnh các trọng số của các dữ liệu đầu vào để có được kết quả mong muốn. Hàm tổng: Tính tổng trọng số của tất cả các đầu vào được đưa vào mỗi nơ- ron. Hàm tổng của một nơ-ron đối với n đầu vào được tính theo công thức sau: 𝑛 𝑌 = ∑ 𝑋𝑖 𝑊𝑖 𝑖=1 (1) Hàm chuyển đổi: Hàm tổng của một nơ-ron cho biết khả năng kích hoạt của nơ-ron đó còn gọi là kích hoạt bên trong. Các nơ-ron này có thể sinh ra một đầu ra hoặc không trong mạng ANN, nói cách khác rằng có thể đầu ra của một nơ-ron có thể được chuyển đến lớp tiếp trong mạng nơ-ron theo hoặc không.

Mối quan hệ giữa hàm tổng và kết quả đầu ra được thể hiện bằng hàm chuyển đổi. Việc lựa chọn hàm chuyển đổi có tác động lớn đến kết quả đầu ra của mạng ANN. Hàm chuyển đổi phi tuyến được sử dụng phổ biến trong mạng ANN là sigmoid hoặc tanh. 1 Hàm Sigmoid: 𝑓(𝑧) = 1 + exp⁡(−𝑧) (2) 𝑒 𝑧 − 𝑒 −𝑧 Hàm Tanh: 𝑓(𝑧) = tanh(𝑧) = 𝑧 𝑒 + 𝑒 −𝑧 Trong đó, hàm tanh là phiên bản thay đổi tỉ lệ của sigmoid , tức là khoảng giá trị đầu ra của hàm chuyển đổi thuộc khoảng [-1, 1] thay vì [0,1] nên chúng còn gọi là hàm chuẩn hóa.

Kết quả xử lý tại các đầu ra của nơ-ron đôi khi rất lớn, vì vậy hàm chuyển đổi được sử dụng để xử lý đầu ra này trước khi chuyển đến lớp tiếp theo. Đôi khi thay vì sử dụng hàm chuyển đổi, người ta sử dụng giá trị ngưỡng để kiểm soát các đầu ra của các nơ-ron tại một lớp nào đó trước khi chuyển các đầu ra này đến các lớp tiếp theo. 6 Nếu đầu ra của một nơ-ron nào đó nhỏ hơn giá trị ngưỡng thì nó sẽ không được chuyển đến lớp tiếp theo. Mạng nơ-ron của chúng ta dự đoán dựa trên lan truyền thẳng là các phép nhân ma trận cùng với hàm kích hoạt để thu được kết quả đầu ra.

Nếu đầu vào x là vector 2 chiều thì ta có thể tính kết quả dự đoán bằng công thức sau: y1 = 𝑥𝑊1 + 𝑏1 yT = tanh(y1) (3) y2 = 𝑎1𝑊2 + 𝑏2 yT = 𝑦̂ = 𝑠𝑜𝑓𝑡𝑚𝑎𝑥(y2) Trong đó, y𝑖 là đầu vào của tầng thứ 𝑖, YT là đầu ra của tầng thứ 𝑖 sau khi áp dụng hàm kích hoạt. 𝑊1, 𝑏1, 𝑊2, 𝑏2 là các thông số cần tìm của mô hình mạng nơ-ron. Huấn luyện để tìm các thông số cho mô hình tương đương với việc tìm các thông số 𝑊1, 𝑏1, 𝑊2, 𝑏2, sao cho độ lỗi của mô hình đạt được là thấp nhất. Ta gọi hàm độ lỗi của mô hình là hàm suy hao.

Nếu ta có N dòng dữ liệu huấn luyện và C nhóm phân lớp, khi đó hàm suy hao giữa giá trị dự đoán 𝑦̂ và 𝑦 tính như sau: 1 𝐿(𝑦, 𝑦̂) = − ⁡ ∑ ∑ 𝑦𝑛,𝑖 𝑙𝑜𝑔𝑦̂𝑛,𝑖 (4) 𝑁 𝑛∈𝑁 𝑖∈𝐶 Ý nghĩa công thức trên nghĩa là: lấy tổng trên toàn bộ tập huấn luyện và cộng dồn vào hàm loss nếu kết quả phân lớp sai. Độ dị biệt giữa hai giá trị 𝑦̂ và 𝑦 càng lớn thì độ lỗi càng cao. Mục tiêu của chúng ta là tối thiểu hóa hàm lỗi này. Ta có thể sử dụng phương pháp giảm độ dốc để tối tiểu hóa hàm lỗi.

Có hai loại giảm độ dốc, một loại với tốc độ học cố định được gọi là giảm độ dốc hàng loạt, loại còn lại có tốc độ học thay đổi theo quá trình huấn luyện được gọi là giảm độ dốc ngẫu nhiên. Phương pháp giảm độ dốc cần các đường dốc là các vector có được bằng cách 𝜕𝐿 𝜕𝐿 𝜕𝐿 𝜕𝐿 lấy đạo hàm của hàm suy hao theo từng thông số 𝜕𝑊1,⁡𝜕𝑏1 , 𝜕𝑊2, 𝜕𝑏2. Để tính các đường 7 dốc này, ta sử dụng thuật toán lan truyền ngược. Đây là cách hiệu quả để tính đường dốc khởi điểm từ lớp đầu ra.

Áp dụng lan truyền ngược ta có các đại lượng: 𝛿3 = 𝑦 − 𝑦̂ 𝛿2 = (1 − 𝑡𝑎𝑛ℎ2 𝑧1 ) ∗ 𝛿3 𝑊2𝑇 𝜕𝐿 = 𝑎1𝑇 𝛿3 𝜕𝑊2 𝜕𝐿 (5) = 𝛿3 𝜕𝑏2 𝜕𝐿 = 𝑥 𝑇 𝛿2 𝜕𝑊1 𝜕𝐿 = 𝛿2 𝜕𝑏1 1.2 Các thành phần cơ bản của mạng nơ-ron nhân tạo 1.1 Đơn vị xử lý Còn được gọi là một nơ-ron hay một nút, thực hiện một công việc rất đơn giản: nó nhận tín hiệu vào từ các đơn vị phía trước hay một nguồn bên ngoài và sử dụng chúng để tính tín hiệu ra sẽ được lan truyền sang các đơn vị khác.3 Đơn vị xử lý 8 Trong đó: xi : các đầu vào wji : các trọng số tương ứng với các đầu vào θj : độ lệch aj : đầu vào mạng zj : đầu ra của nơron g(x): hàm chuyển (hàm kích hoạt). Trong một mạng nơron có ba kiểu đơn vị: - Các đơn vị đầu vào nhận tín hiệu từ bên ngoài. - Các đơn vị đầu ra gửi dữ liệu ra bên ngoài. - Các đơn vị ẩn, tín hiệu vào và tín hiệu ra của nó nằm trong mạng.

Mỗi đơn vị j có thể có một hoặc nhiều đầu vào: x0, x1, x2, xn, nhưng chỉ có một đầu ra zj. Một đầu vào tới một đơn vị có thể là dữ liệu từ bên ngoài mạng, hoặc đầu ra của một đơn vị khác, hoặc là đầu ra của chính nó.2 Hàm kết hợp Mỗi một đơn vị trong một mạng kết hợp các giá trị đưa vào nó thông qua các liên kết với các đơn vị khác, sinh ra một giá trị gọi là đầu vào mạng. Hàm thực hiện nhiệm vụ này gọi là hàm kết hợp, được định nghĩa bởi một luật lan truyền cụ thể. Trong phần lớn các mạng nơron, chúng ta giả sử rằng mỗi một đơn vị cung cấp một bộ cộng như là đầu vào cho đơn vị mà nó có liên kết.

Tổng đầu vào đơn vị j đơn giản chỉ là tổng trọng số của các đầu ra riêng lẻ từ các đơn vị kết nối cộng thêm ngưỡng hay độ lệch θj : 𝑎𝑗 = ⁡ ∑𝑛𝑖=1 𝑤𝑗𝑖 𝑥𝑖 + ⁡θj⁡ (6) Trường hợp wji > 0, nơ-ron được coi là đang ở trong trạng thái kích thích. Tương tự, nếu như wji < 0, nơ-ron ở trạng thái kiềm chế. Chúng ta gọi các đơn vị với luật lan truyền như trên là các đơn vị sigma. Trong một vài trường hợp người ta cũng có thể sử dụng các luật lan truyền phức tạp hơn.

Một trong số đó là luật sigma-pi, có dạng như sau: 9 𝑎𝑗=⁡∑𝑛𝑖=1 𝑤𝑗𝑖 ∏𝑚 𝑘=1 𝑥𝑖𝑘 +⁡θj (7) Rất nhiều hàm kết hợp sử dụng một "độ lệch" hay "ngưỡng" để tính đầu vào mạng tới đơn vị. Đối với một đơn vị đầu ra tuyến tính, thông thường, θj được chọn là hằng số và trong bài toán xấp xỉ đa thức θj = 1.3 Hàm kích hoạt Phần lớn các đơn vị trong mạng nơ-ron chuyển đầu vào mạng bằng cách sử dụng một hàm vô hướng gọi là hàm kích hoạt, kết quả của hàm này là một giá trị gọi là mức độ kích hoạt của đơn vị. Loại trừ khả năng đơn vị đó thuộc lớp ra, giá trị kích hoạt được đưa vào một hay nhiều đơn vị khác. Các hàm kích hoạt thường bị ép vào một khoảng giá trị xác định, do đó thường được gọi là các hàm bẹp.

Các hàm kích hoạt hay được sử dụng là: * Hàm đồng nhất (8) 𝑔(𝑥) = 𝑥 Nếu coi các đầu vào là một đơn vị thì chúng sẽ sử dụng hàm này. Đôi khi một hằng số được nhân với đầu vào mạng để tạo ra một hàm đồng nhất.