Nghiên Cứu Công Nghệ LSTM Và Giải Pháp Dự Đoán Lượng Hành Khách Đi Máy Bay

Nghiên cứu mạng LSTM và giải pháp dự đoán lượng hành khách đi máy bay, cung cấp cái nhìn sâu sắc về ứng dụng trong ngành hàng không.

• Tác giả: Phạm Chí Hùng
• Người hướng dẫn: TS. Nguyễn Văn Thủy
• Trường học: Học viện Công nghệ Bưu chính Viễn thông
• Chuyên ngành: Hệ thống Thông tin
• Đề tài: Nghiên Cứu Công Nghệ LSTM Trong Dự Đoán Lượng Hành Khách Đi Máy Bay
• Loại tài liệu: luận văn thạc sĩ kỹ thuật
• Năm xuất bản: 2019
• Địa điểm: Hà Nội

Mục lục chi tiết

• LỜI CAM ĐOAN
• LỜI CẢM ƠN
• 1. CHƯƠNG 1: TỔNG QUAN MẠNG NƠ-RON HỒI QUY
• 1.1. Mạng nơ-ron nhân tạo
• 1.1.1. Kiến trúc mạng nơ-ron nhân tạo
• 1.1.2. Hoạt động của mạng nơ-ron nhân tạo
• 1.1.3. Các thành phần cơ bản của mạng nơ-ron nhân tạo
• 1.1.3.1. Đơn vị xử lý
• 1.1.3.2. Hàm kết hợp
• 1.1.3.3. Hàm kích hoạt
• 1.2. Mạng nơ-ron hồi quy
• 1.2.1. Khái niệm RNN
• 1.2.2. Quá trình xử lý thông tin của RNN
• 1.2.3. Các ứng dụng của RNN
• 1.2.4. Các phiên bản mở rộng của RNN
• 1.3. Kết luận chương 1
• 2. CHƯƠNG 2: ỨNG DỤNG CÔNG NGHỆ LSTM CHO VIỆC DỰ ĐOÁN LƯỢNG HÀNH KHÁCH ĐI MÁY BAY QUỐC TẾ
• 2.1. Kiến trúc mạng LSTM
• 2.2. Quá trình xử lý thông tin của LSTM
• 2.3. Các kỹ thuật LSTM sử dụng trong thử nghiệm
• 2.3.1. LSTM hồi quy
• 2.3.2. LSTM hồi quy sử dụng phương thức cửa sổ
• 2.3.3. LSTM hồi quy sử dụng bước thời gian
• 2.3.4. LSTM sử dụng bộ nhớ giữa các bước
• 2.3.5. LSTM xếp chồng sử dụng bộ nhớ giữa các bước
• 2.4. Nghiên cứu vấn đề dự báo chuỗi thời gian, lượng hành khách đi máy bay quốc tế
• 2.4.1. Phân tích yêu cầu
• 2.4.2. Mô hình thử nghiệm
• 2.5. Cài đặt ứng dụng
• 2.6. Kết luận chương
• 3. CHƯƠNG 3: THỬ NGHIỆM VÀ ĐÁNH GIÁ KẾT QUẢ
• 3.1. Giới thiệu bài toán ước lượng hành khách đi máy bay quốc tế
• 3.2. Các kịch bản thử nghiệm
• 3.3. Một số kết quả thực nghiệm
• 3.3.1. Kết quả thử nghiệm độ chính xác dự đoán lượng hành khách đi máy bay
• 3.3.2. Phương pháp LSTM hồi quy
• 3.3.3. Phương pháp LSTM hồi quy sử dụng phương thức cửa sổ
• 3.3.4. Phương pháp LSTM hồi quy sử dụng bước thời gian
• 3.3.5. Phương pháp LSTM sử dụng bộ nhớ giữa các bước
• 3.3.6. LSTM xếp chồng sử dụng bộ nhớ giữa các bước
• 3.4. Kết luận chương
• TÀI LIỆU THAM KHẢO

Tóm tắt

I. Tổng Quan Về Nghiên Cứu LSTM Dự Đoán Lượng Hành Khách

Nghiên cứu công nghệ LSTM trong dự đoán lượng hành khách đi máy bay là một lĩnh vực quan trọng, đặc biệt trong bối cảnh ngành hàng không ngày càng phát triển. Theo dự đoán của IATA, lượng hành khách sẽ tăng gấp đôi vào năm 2035, đạt 7.2 tỷ lượt. Việc dự đoán chính xác xu hướng này giúp các hãng hàng không và sân bay tối ưu hóa nguồn lực, nâng cao hiệu suất và đáp ứng nhu cầu vận tải. Bài toán dự đoán chuỗi thời gian này đòi hỏi các mô hình có khả năng ghi nhớ và xử lý thông tin theo trình tự, và LSTM là một lựa chọn hiệu quả. Nghiên cứu này tập trung vào việc ứng dụng LSTM để giải quyết bài toán dự đoán lượng hành khách đi máy bay quốc tế, một nhiệm vụ phức tạp do tính mùa vụ, biến động kinh tế và các yếu tố bất ngờ như COVID-19.

1.1. Tầm Quan Trọng Của Dự Đoán Trong Ngành Hàng Không

Dự đoán lượng hành khách chính xác là yếu tố then chốt để các hãng hàng không và sân bay đưa ra quyết định chiến lược về chuyến bay, nhân sự, và cơ sở hạ tầng. Việc dự đoán sai lệch có thể dẫn đến lãng phí nguồn lực, giảm hiệu suất, và ảnh hưởng đến trải nghiệm của hành khách. Theo IATA, nhu cầu đi lại bằng đường hàng không sẽ tăng gấp đôi trong hai thập kỷ tới, đặc biệt ở khu vực Châu Á - Thái Bình Dương. Do đó, việc áp dụng các công nghệ tiên tiến như LSTM để nâng cao độ chính xác của dự đoán là vô cùng cần thiết.

1.2. Giới Thiệu Về Mạng Nơ ron Hồi Quy LSTM Long Short Term Memory

LSTM là một loại mạng nơ-ron hồi quy (RNN) được thiết kế để khắc phục nhược điểm của RNN truyền thống trong việc xử lý các chuỗi dài. LSTM có khả năng ghi nhớ thông tin quan trọng trong quá trình xử lý chuỗi, giúp mô hình học được các phụ thuộc dài hạn. Điều này đặc biệt quan trọng trong bài toán dự đoán lượng hành khách, vì xu hướng và mùa vụ có thể kéo dài trong nhiều tháng hoặc thậm chí nhiều năm. LSTM sử dụng các cổng (gate) để kiểm soát luồng thông tin vào và ra khỏi bộ nhớ, giúp mô hình tập trung vào các thông tin quan trọng và loại bỏ các thông tin nhiễu.

II. Thách Thức Trong Dự Đoán Lượng Hành Khách Đi Máy Bay

Dự đoán lượng hành khách đi máy bay là một bài toán phức tạp do nhiều yếu tố ảnh hưởng, bao gồm kinh tế, du lịch, vận tải, và các sự kiện bất ngờ. Biến động kinh tế toàn cầu có thể ảnh hưởng đến nhu cầu đi lại, trong khi các sự kiện như COVID-19 có thể gây ra sự sụt giảm đột ngột. Tính mùa vụ cũng là một yếu tố quan trọng, với lượng hành khách thường tăng cao vào các dịp lễ, tết, và mùa du lịch. Ngoài ra, sự cạnh tranh giữa các hãng hàng không và sự thay đổi trong chính sách hàng không cũng có thể ảnh hưởng đến thị trường. Việc xây dựng một mô hình dự đoán chính xác đòi hỏi phải thu thập và xử lý một lượng lớn dữ liệu, đồng thời áp dụng các kỹ thuật phân tích dữ liệu và mô hình học sâu phù hợp.

2.1. Ảnh Hưởng Của Các Yếu Tố Kinh Tế Và Xã Hội

Các yếu tố kinh tế như tăng trưởng GDP, tỷ lệ thất nghiệp, và giá nhiên liệu có ảnh hưởng trực tiếp đến nhu cầu đi lại bằng đường hàng không. Khi kinh tế phát triển, người dân có xu hướng đi du lịch và công tác nhiều hơn, dẫn đến tăng lượng hành khách. Các yếu tố xã hội như xu hướng du lịch, sự thay đổi trong lối sống, và các sự kiện văn hóa cũng có thể ảnh hưởng đến thị trường hàng không. Ví dụ, sự gia tăng của du lịch tự túc và du lịch trải nghiệm đã tạo ra nhu cầu mới cho các chuyến bay giá rẻ và các điểm đến mới.

2.2. Tác Động Của Các Sự Kiện Bất Ngờ Ví Dụ COVID 19

Các sự kiện bất ngờ như khủng bố, thiên tai, và dịch bệnh có thể gây ra sự sụt giảm đột ngột trong lượng hành khách. Đại dịch COVID-19 là một ví dụ điển hình, khi các biện pháp phong tỏa và hạn chế đi lại đã khiến thị trường hàng không toàn cầu đóng băng. Việc dự đoán và ứng phó với các sự kiện bất ngờ là một thách thức lớn đối với các hãng hàng không và sân bay. Các mô hình dự đoán cần phải được điều chỉnh để phản ánh tác động của các sự kiện này, đồng thời phải có khả năng thích ứng nhanh chóng với các thay đổi trong thị trường.

III. Phương Pháp LSTM Hồi Quy Cho Dự Đoán Chuỗi Thời Gian

Phương pháp LSTM hồi quy là một kỹ thuật phổ biến để dự đoán chuỗi thời gian, đặc biệt là trong các bài toán có tính mùa vụ và xu hướng. Kỹ thuật này sử dụng mạng LSTM để học các mẫu trong quá khứ và dự đoán các giá trị trong tương lai. LSTM hồi quy có thể được áp dụng trực tiếp vào dữ liệu chuỗi thời gian, hoặc có thể kết hợp với các kỹ thuật tiền xử lý dữ liệu như phương pháp cửa sổ trượt hoặc bước thời gian để cải thiện độ chính xác. Trong nghiên cứu này, phương pháp LSTM hồi quy được sử dụng để dự đoán lượng hành khách đi máy bay quốc tế, với các thử nghiệm khác nhau về cấu trúc mạng, tham số huấn luyện, và kỹ thuật tiền xử lý dữ liệu.

3.1. Ứng Dụng LSTM Hồi Quy Trực Tiếp Vào Dữ Liệu Chuỗi Thời Gian

Trong phương pháp này, dữ liệu chuỗi thời gian được đưa trực tiếp vào mạng LSTM mà không cần bất kỳ kỹ thuật tiền xử lý nào. Mạng LSTM sẽ học các mẫu và phụ thuộc trong dữ liệu và dự đoán các giá trị tiếp theo. Ưu điểm của phương pháp này là đơn giản và dễ thực hiện, nhưng có thể không hiệu quả đối với các chuỗi thời gian phức tạp có nhiều biến động và mùa vụ.

3.2. Sử Dụng Phương Pháp Cửa Sổ Trượt Để Cải Thiện Độ Chính Xác

Phương pháp cửa sổ trượt là một kỹ thuật tiền xử lý dữ liệu phổ biến trong dự đoán chuỗi thời gian. Kỹ thuật này chia dữ liệu thành các cửa sổ có kích thước cố định và sử dụng các cửa sổ này làm đầu vào cho mạng LSTM. Bằng cách sử dụng nhiều cửa sổ khác nhau, mạng LSTM có thể học được các mẫu và phụ thuộc trong dữ liệu một cách hiệu quả hơn. Kích thước của cửa sổ là một tham số quan trọng cần được điều chỉnh để đạt được độ chính xác tốt nhất.

IV. Thử Nghiệm Và Đánh Giá Kết Quả Dự Đoán LSTM

Để đánh giá hiệu suất của mô hình LSTM, các thử nghiệm đã được thực hiện trên dữ liệu thực tế về lượng hành khách đi máy bay quốc tế. Các kết quả thử nghiệm cho thấy rằng mô hình LSTM có khả năng dự đoán lượng hành khách với độ chính xác cao, đặc biệt khi kết hợp với các kỹ thuật tiền xử lý dữ liệu như phương pháp cửa sổ trượt và bước thời gian. Các chỉ số đánh giá như sai số trung bình tuyệt đối (MAE) và sai số bình phương gốc (RMSE) được sử dụng để so sánh hiệu suất của các mô hình khác nhau. Kết quả cho thấy rằng mô hình LSTM vượt trội hơn so với các phương pháp dự đoán truyền thống.

4.1. Các Kịch Bản Thử Nghiệm Với Dữ Liệu Thực Tế

Các kịch bản thử nghiệm được thiết kế để đánh giá hiệu suất của mô hình LSTM trong các điều kiện khác nhau. Các kịch bản này bao gồm dự đoán lượng hành khách trong ngắn hạn, trung hạn, và dài hạn, cũng như dự đoán trong các giai đoạn có biến động lớn và mùa vụ rõ rệt. Dữ liệu được sử dụng trong các thử nghiệm là dữ liệu thực tế về lượng hành khách đi máy bay quốc tế từ các nguồn khác nhau.

4.2. Đánh Giá Độ Chính Xác Và Sai Số Của Mô Hình LSTM

Độ chính xác và sai số là hai chỉ số quan trọng để đánh giá hiệu suất của mô hình dự đoán. Độ chính xác cho biết mức độ gần đúng của các dự đoán so với các giá trị thực tế, trong khi sai số cho biết mức độ khác biệt giữa các dự đoán và các giá trị thực tế. Các chỉ số sai số phổ biến được sử dụng trong đánh giá mô hình bao gồm sai số trung bình tuyệt đối (MAE) và sai số bình phương gốc (RMSE).

V. Ứng Dụng Thực Tế Của LSTM Trong Dự Báo Hàng Không

Kết quả nghiên cứu này có thể được ứng dụng trong thực tế để giúp các hãng hàng không và sân bay đưa ra quyết định chiến lược về quản lý nguồn lực, lập kế hoạch chuyến bay, và tối ưu hóa giá vé. Mô hình LSTM có thể được tích hợp vào các phần mềm dự báo để cung cấp các dự đoán chính xác về lượng hành khách, giúp các nhà quản lý đưa ra quyết định dựa trên dữ liệu. Ngoài ra, mô hình LSTM cũng có thể được sử dụng để phát hiện các xu hướng và biến động trong thị trường hàng không, giúp các hãng hàng không và sân bay thích ứng nhanh chóng với các thay đổi.

5.1. Tích Hợp LSTM Vào Phần Mềm Dự Báo Cho Hãng Hàng Không

Việc tích hợp mô hình LSTM vào các phần mềm dự báo hiện có có thể giúp các hãng hàng không cải thiện độ chính xác của các dự đoán về lượng hành khách. Phần mềm dự báo có thể sử dụng các dự đoán từ mô hình LSTM để lập kế hoạch chuyến bay, quản lý nhân sự, và tối ưu hóa giá vé. Điều này có thể giúp các hãng hàng không giảm chi phí, tăng doanh thu, và nâng cao hiệu suất.

5.2. Hỗ Trợ Quyết Định Chiến Lược Cho Quản Lý Sân Bay

Các sân bay có thể sử dụng các dự đoán từ mô hình LSTM để lập kế hoạch về cơ sở hạ tầng, quản lý luồng hành khách, và tối ưu hóa việc sử dụng các nguồn lực. Các dự đoán chính xác về lượng hành khách có thể giúp các sân bay tránh tình trạng quá tải, giảm thời gian chờ đợi, và nâng cao trải nghiệm của hành khách. Ngoài ra, mô hình LSTM cũng có thể được sử dụng để dự đoán nhu cầu về các dịch vụ khác tại sân bay, như bãi đậu xe, nhà hàng, và cửa hàng.

VI. Kết Luận Và Hướng Phát Triển Nghiên Cứu LSTM Dự Đoán

Nghiên cứu này đã chứng minh rằng công nghệ LSTM là một công cụ hiệu quả để dự đoán lượng hành khách đi máy bay. Các kết quả thử nghiệm cho thấy rằng mô hình LSTM có khả năng dự đoán với độ chính xác cao, đặc biệt khi kết hợp với các kỹ thuật tiền xử lý dữ liệu. Trong tương lai, nghiên cứu có thể được mở rộng để bao gồm các yếu tố khác ảnh hưởng đến thị trường hàng không, như giá nhiên liệu, tỷ giá hối đoái, và các sự kiện chính trị. Ngoài ra, có thể nghiên cứu các kiến trúc mạng LSTM phức tạp hơn, cũng như các phương pháp tối ưu hóa tham số để cải thiện hiệu suất của mô hình.

6.1. Tổng Kết Về Ưu Điểm Của LSTM Trong Dự Đoán Hàng Không

LSTM có nhiều ưu điểm so với các phương pháp dự đoán truyền thống trong thị trường hàng không. LSTM có khả năng học các mẫu và phụ thuộc phức tạp trong dữ liệu, có thể xử lý các chuỗi thời gian dài, và có thể thích ứng với các thay đổi trong thị trường. Điều này giúp LSTM đưa ra các dự đoán chính xác hơn và đáng tin cậy hơn so với các phương pháp khác.

6.2. Hướng Nghiên Cứu Tiếp Theo Để Nâng Cao Hiệu Quả LSTM

Trong tương lai, có nhiều hướng nghiên cứu có thể được thực hiện để nâng cao hiệu quả của mô hình LSTM trong dự đoán lượng hành khách đi máy bay. Các hướng nghiên cứu này bao gồm việc kết hợp LSTM với các mô hình khác, sử dụng các kỹ thuật tối ưu hóa tham số tiên tiến, và tích hợp các nguồn dữ liệu bổ sung. Ngoài ra, có thể nghiên cứu các ứng dụng mới của LSTM trong thị trường hàng không, như dự đoán nhu cầu về các dịch vụ khác tại sân bay và phát hiện gian lận.

Trích đoạn nội dung tài liệu

CHƯƠNG 1 TỔNG QUAN MẠNG NƠ-RON HỒI QUY Trong chương này tôi sẽ giới thiệu về cơ sở lý thuyết về mạng nơ-ron nhân tạo, cách thức hoạt động của mạng nơ-ron, các phiên bản mở rộng của mạng nơ-ron nhân tạo.1 Mạng nơ-ron nhân tạo 1.1 Kiến trúc mạng nơ-ron nhân tạo Mạng nơ-ron nhân tạo (Artificial Neural Network – ANN) là một mô hình xử lý thông tin được mô phỏng dựa trên hoạt động của hệ thống thần kinh của sinh vật, bao gồm số lượng lớn các Nơ-ron được gắn kết để xử lý thông tin. ANN được giới thiệu năm 1943 bởi nhà thần kinh học Warren McCulloch và nhà logic học Walter Pits, ANN hoạt động giống như bộ não của con người, được học bởi kinh nghiệm (thông qua việc huấn luyện), có khả năng lưu giữ các tri thức và sử dụng các tri thức đó trong việc dự đoán các dữ liệu chưa biết (unseen data) [1]. Một mạng nơ-ron là một nhóm các nút nối với nhau, mô phỏng mạng nơ- ron thần kinh của não người. Mạng nơ-ron nhân tạo được thể hiện thông qua ba thành phần cơ bản: mô hình của nơ-ron, cấu trúc và sự liên kết giữa các nơ-ron.

Trong nhiều trường hợp, mạng nơ-ron nhân tạo là một hệ thống thích ứng, tự thay đổi cấu trúc của mình dựa trên các thông tin bên ngoài hay bên trong chạy qua mạng trong quá trình học.1 Kiến trúc mạng nơ-ron nhân tạo 4 Kiến trúc chung của một ANN được thể hiện ở hình 1.1, gồm 3 thành phần đó là lớp vào, lớp ẩn và lớp ra [2] Trong đó, lớp vào thể hiện cho các đầu vào của mạng; lớp ẩn gồm các nơ-ron, nhận dữ liệu đầu vào từ các nơ-ron ở lớp trước đó và chuyển đổi các đầu vào này cho các lớp xử lý tiếp theo; lớp ra thể hiện cho các đầu ra của mạng. Trong một mạng ANN có thể có nhiều lớp ẩn. Mạng nơron nhân tạo ngày nay gần giống với bộ não con người như: Có khả năng học, tức là sử dụng những kinh nghiệm để cải thiện hiệu suất. Khi thu thập được đủ một lượng mẫu thì ANN có thể khái quát hóa rất cao.

Một ANN có thể nhận ra được một ký tự viết tay, có thể phát hiện bom ở sân bay… 1.2 Hoạt động của mạng nơ-ron nhân tạo Hình 1.2 Quá trình xử lý thông tin của một mạng nơ-ron nhân tạo. Hoạt động của mạng nơ-ron nhân tạo được thể hình ở hình 1.2 với 3 chu trình: Đầu vào: Mỗi đầu vào tương ứng với 1 đặc trưng của dữ liệu. Ví dụ như trong ứng dụng của ngân hàng xem xét có chấp nhận cho khách hàng vay tiền hay không thì mỗi input là một thuộc tính của khách hàng như thu nhập, nghề nghiệp, tuổi, số con,… Đầu ra: Kết quả của một ANN là một giải pháp cho một vấn đề, ví dụ như với bài toán xem xét chấp nhận cho khách hàng vay tiền hay không thì đầu ra là “có” hoặc “không”. 5 Trọng số liên kết: Đây là thành phần rất quan trọng của một ANN, nó thể hiện mức độ quan trọng, độ mạnh của dữ liệu đầu vào đối với quá trình xử lý thông tin chuyển đổi dữ liệu từ lớp này sang lớp khác.

Quá trình học của ANN thực ra là quá trình điều chỉnh các trọng số của các dữ liệu đầu vào để có được kết quả mong muốn. Hàm tổng: Tính tổng trọng số của tất cả các đầu vào được đưa vào mỗi nơ- ron. Hàm tổng của một nơ-ron đối với n đầu vào được tính theo công thức sau: 𝑛 𝑌 = ∑ 𝑋𝑖 𝑊𝑖 𝑖=1 (1) Hàm chuyển đổi: Hàm tổng của một nơ-ron cho biết khả năng kích hoạt của nơ-ron đó còn gọi là kích hoạt bên trong. Các nơ-ron này có thể sinh ra một đầu ra hoặc không trong mạng ANN, nói cách khác rằng có thể đầu ra của một nơ-ron có thể được chuyển đến lớp tiếp trong mạng nơ-ron theo hoặc không.

Mối quan hệ giữa hàm tổng và kết quả đầu ra được thể hiện bằng hàm chuyển đổi. Việc lựa chọn hàm chuyển đổi có tác động lớn đến kết quả đầu ra của mạng ANN. Hàm chuyển đổi phi tuyến được sử dụng phổ biến trong mạng ANN là sigmoid hoặc tanh. 1 Hàm Sigmoid: 𝑓(𝑧) = 1 + exp⁡(−𝑧) (2) 𝑒 𝑧 − 𝑒 −𝑧 Hàm Tanh: 𝑓(𝑧) = tanh(𝑧) = 𝑧 𝑒 + 𝑒 −𝑧 Trong đó, hàm tanh là phiên bản thay đổi tỉ lệ của sigmoid , tức là khoảng giá trị đầu ra của hàm chuyển đổi thuộc khoảng [-1, 1] thay vì [0,1] nên chúng còn gọi là hàm chuẩn hóa.

Kết quả xử lý tại các đầu ra của nơ-ron đôi khi rất lớn, vì vậy hàm chuyển đổi được sử dụng để xử lý đầu ra này trước khi chuyển đến lớp tiếp theo. Đôi khi thay vì sử dụng hàm chuyển đổi, người ta sử dụng giá trị ngưỡng để kiểm soát các đầu ra của các nơ-ron tại một lớp nào đó trước khi chuyển các đầu ra này đến các lớp tiếp theo. 6 Nếu đầu ra của một nơ-ron nào đó nhỏ hơn giá trị ngưỡng thì nó sẽ không được chuyển đến lớp tiếp theo. Mạng nơ-ron của chúng ta dự đoán dựa trên lan truyền thẳng là các phép nhân ma trận cùng với hàm kích hoạt để thu được kết quả đầu ra.

Nếu đầu vào x là vector 2 chiều thì ta có thể tính kết quả dự đoán bằng công thức sau: y1 = 𝑥𝑊1 + 𝑏1 yT = tanh(y1) (3) y2 = 𝑎1𝑊2 + 𝑏2 yT = 𝑦̂ = 𝑠𝑜𝑓𝑡𝑚𝑎𝑥(y2) Trong đó, y𝑖 là đầu vào của tầng thứ 𝑖, YT là đầu ra của tầng thứ 𝑖 sau khi áp dụng hàm kích hoạt. 𝑊1, 𝑏1, 𝑊2, 𝑏2 là các thông số cần tìm của mô hình mạng nơ-ron. Huấn luyện để tìm các thông số cho mô hình tương đương với việc tìm các thông số 𝑊1, 𝑏1, 𝑊2, 𝑏2, sao cho độ lỗi của mô hình đạt được là thấp nhất. Ta gọi hàm độ lỗi của mô hình là hàm suy hao.

Nếu ta có N dòng dữ liệu huấn luyện và C nhóm phân lớp, khi đó hàm suy hao giữa giá trị dự đoán 𝑦̂ và 𝑦 tính như sau: 1 𝐿(𝑦, 𝑦̂) = − ⁡ ∑ ∑ 𝑦𝑛,𝑖 𝑙𝑜𝑔𝑦̂𝑛,𝑖 (4) 𝑁 𝑛∈𝑁 𝑖∈𝐶 Ý nghĩa công thức trên nghĩa là: lấy tổng trên toàn bộ tập huấn luyện và cộng dồn vào hàm loss nếu kết quả phân lớp sai. Độ dị biệt giữa hai giá trị 𝑦̂ và 𝑦 càng lớn thì độ lỗi càng cao. Mục tiêu của chúng ta là tối thiểu hóa hàm lỗi này. Ta có thể sử dụng phương pháp giảm độ dốc để tối tiểu hóa hàm lỗi.

Có hai loại giảm độ dốc, một loại với tốc độ học cố định được gọi là giảm độ dốc hàng loạt, loại còn lại có tốc độ học thay đổi theo quá trình huấn luyện được gọi là giảm độ dốc ngẫu nhiên. Phương pháp giảm độ dốc cần các đường dốc là các vector có được bằng cách 𝜕𝐿 𝜕𝐿 𝜕𝐿 𝜕𝐿 lấy đạo hàm của hàm suy hao theo từng thông số 𝜕𝑊1,⁡𝜕𝑏1 , 𝜕𝑊2, 𝜕𝑏2. Để tính các đường 7 dốc này, ta sử dụng thuật toán lan truyền ngược. Đây là cách hiệu quả để tính đường dốc khởi điểm từ lớp đầu ra.

Áp dụng lan truyền ngược ta có các đại lượng: 𝛿3 = 𝑦 − 𝑦̂ 𝛿2 = (1 − 𝑡𝑎𝑛ℎ2 𝑧1 ) ∗ 𝛿3 𝑊2𝑇 𝜕𝐿 = 𝑎1𝑇 𝛿3 𝜕𝑊2 𝜕𝐿 (5) = 𝛿3 𝜕𝑏2 𝜕𝐿 = 𝑥 𝑇 𝛿2 𝜕𝑊1 𝜕𝐿 = 𝛿2 𝜕𝑏1 1.2 Các thành phần cơ bản của mạng nơ-ron nhân tạo 1.1 Đơn vị xử lý Còn được gọi là một nơ-ron hay một nút, thực hiện một công việc rất đơn giản: nó nhận tín hiệu vào từ các đơn vị phía trước hay một nguồn bên ngoài và sử dụng chúng để tính tín hiệu ra sẽ được lan truyền sang các đơn vị khác.3 Đơn vị xử lý 8 Trong đó: xi : các đầu vào wji : các trọng số tương ứng với các đầu vào θj : độ lệch aj : đầu vào mạng zj : đầu ra của nơron g(x): hàm chuyển (hàm kích hoạt). Trong một mạng nơron có ba kiểu đơn vị: - Các đơn vị đầu vào nhận tín hiệu từ bên ngoài. - Các đơn vị đầu ra gửi dữ liệu ra bên ngoài. - Các đơn vị ẩn, tín hiệu vào và tín hiệu ra của nó nằm trong mạng.

Mỗi đơn vị j có thể có một hoặc nhiều đầu vào: x0, x1, x2, xn, nhưng chỉ có một đầu ra zj. Một đầu vào tới một đơn vị có thể là dữ liệu từ bên ngoài mạng, hoặc đầu ra của một đơn vị khác, hoặc là đầu ra của chính nó.2 Hàm kết hợp Mỗi một đơn vị trong một mạng kết hợp các giá trị đưa vào nó thông qua các liên kết với các đơn vị khác, sinh ra một giá trị gọi là đầu vào mạng. Hàm thực hiện nhiệm vụ này gọi là hàm kết hợp, được định nghĩa bởi một luật lan truyền cụ thể. Trong phần lớn các mạng nơron, chúng ta giả sử rằng mỗi một đơn vị cung cấp một bộ cộng như là đầu vào cho đơn vị mà nó có liên kết.

Tổng đầu vào đơn vị j đơn giản chỉ là tổng trọng số của các đầu ra riêng lẻ từ các đơn vị kết nối cộng thêm ngưỡng hay độ lệch θj : 𝑎𝑗 = ⁡ ∑𝑛𝑖=1 𝑤𝑗𝑖 𝑥𝑖 + ⁡θj⁡ (6) Trường hợp wji > 0, nơ-ron được coi là đang ở trong trạng thái kích thích. Tương tự, nếu như wji < 0, nơ-ron ở trạng thái kiềm chế. Chúng ta gọi các đơn vị với luật lan truyền như trên là các đơn vị sigma. Trong một vài trường hợp người ta cũng có thể sử dụng các luật lan truyền phức tạp hơn.

Một trong số đó là luật sigma-pi, có dạng như sau: 9 𝑎𝑗=⁡∑𝑛𝑖=1 𝑤𝑗𝑖 ∏𝑚 𝑘=1 𝑥𝑖𝑘 +⁡θj (7) Rất nhiều hàm kết hợp sử dụng một "độ lệch" hay "ngưỡng" để tính đầu vào mạng tới đơn vị. Đối với một đơn vị đầu ra tuyến tính, thông thường, θj được chọn là hằng số và trong bài toán xấp xỉ đa thức θj = 1.3 Hàm kích hoạt Phần lớn các đơn vị trong mạng nơ-ron chuyển đầu vào mạng bằng cách sử dụng một hàm vô hướng gọi là hàm kích hoạt, kết quả của hàm này là một giá trị gọi là mức độ kích hoạt của đơn vị. Loại trừ khả năng đơn vị đó thuộc lớp ra, giá trị kích hoạt được đưa vào một hay nhiều đơn vị khác. Các hàm kích hoạt thường bị ép vào một khoảng giá trị xác định, do đó thường được gọi là các hàm bẹp.

Các hàm kích hoạt hay được sử dụng là: * Hàm đồng nhất (8) 𝑔(𝑥) = 𝑥 Nếu coi các đầu vào là một đơn vị thì chúng sẽ sử dụng hàm này. Đôi khi một hằng số được nhân với đầu vào mạng để tạo ra một hàm đồng nhất.