Chương 1 TONG QUAN.- 5:5: 52 2t 2 t2E2E2EEEEEEEEEEerkekertrrrrrerrrrrrer 1 LL Lí do chọn đề tiicciccccccssssesssssecsssssesssssessssssessssiesesssesssssesesssesessssesessneseesse 1 I0 ÒỤ3.4 Phạm vi nghiên CỨU.- ¿ok 11 31 1 113 E1 nh Hàn ngư 2 Chương 2_ CƠ SỞ LÝ THUYÉT VÀ CÁC NGHIÊN CỨU LIÊN QUAN.2 Các nghiên cứu liên quan.--- + + +65 * SE £‡E+E£sEEEskeskrkeekeske 7 Chương3_ XÂY DỰNG MÔ HINH HỌC MAY.1 Quy trình tổng quan.2 Quá trình khảo sát, thu thập 3.1 Khảo sát các nguồn dữ liệu. Thu thập dữ liệu.3 Quá trình tiền xử lý.1 Các van đề liên quan đến giá trị.2 Mã hóa dữ liệu phân loại. Xử lý mất cân bằng.4 Trích chọn đặc trưng.- -- - ¿+ + + +k*k*EEk HH gà 34 3.4 Két qua ca. 41 Chuong4 THIẾT KE, XÂY DỰNG VÀ TRIÊN KHAI CÔNG CỤ DỰ BAO TINH TRANG CHUYEN BAY .1 Phân tích, xác định các yêu cầu chức nang va phi chức năng.2 Đặc tả quy trình, luồng dữ liệu.1 Quy trình thu thập dữ liệu.2 Quy trình dự đoán trễ/huỷ chuyến của người dùng.3 Thiết kế cơ sở dữ liệu.2 Bảng flight_schedules.c St SH rey 5 4.4 Bảng weather_ÏOCatiOnS.5 Bảng weath€rs.
Sàn HH ry 55 4.4 Kiến trúc tổng quan.1 Xây dựng giao diện.2 Xử lý quy trình nghiệp vụ.3 Machine Learning Service .5 Triển khai hệ thống trên Cloud.:--¿-2++22+++2++2zx++zzx++zxsesrx 71 4.1 Tu động triỀn Khai occ ececeeceessesseseessesseseesseseeseessessessessesseseesnesneeses 71 4.2 Kiến trúc hạ tang.cccccccscscssecsssecssecsseecssecsssecsseecsseesssecsssecsseessseessneesse 72 Chương 5 KET LUẬN.1 Kết quả dat được.2 Ưu điểm và hạn chế của để tài.3 Đề xuất hướng phát triển trong tương lai.----2-z+2+++cszcszsce+ T1 TÀI LIỆU THAM KHẢO. DANH MỤC HÌNH Hình 3-1 Quy trình xử lý dữ liệu thô. Hình 3-2 Quy trình xử lý mắt cân bằng và trích chọn đặc trưng. Hình 3-3 Quy trình áp dụng các mô hình học máy và đánh giá.
„10 Hình 3-4 Sơ đồ quá trình thu thập dữ liệu chuyến bay đợt 2.----- 18 Hình 3-5 Sơ đồ quá trình thu thập dữ liệu thời tiết đợt 2.----:----+ 19 Hình 3-6 Biểu đồ cột thé hiện phân bó của dữ liệu “flights” theo năm. 21 Hình 3-7 Biểu tròn thể hiện phan trăm số lượng các lớp sau khi thu thập. 23 Hình 3-8 Dữ liệu minh họa các cột dữ liệu liên quan đến thời gian.- 24 Hình 3-9 Dữ liệu minh hoa các mẫu dữ liệu có “signal” là “gray”.--- 25 Hình 3-10 Dữ liệu minh họa cột ““WÏnndÌ”. - --- s3 s + * + svserxerssrrrrrrresee 26 Hình 3-11 Dữ liệu minh hoa cột ““teImp””.--- ¿5+ +2 S++vE+v£sexeksxseeeesrexee 27 Hình 3-12 Dữ liệu minh họa cột “humidity” Hình 3-13 Biểu đồ cột thé hiện các giá trị rỗng của dữ liệu thời tiết.
28 Hình 3-14 Dữ liệu minh họa các giá trị bất thường ở cột “direcfion”. 30 Hình 3-15 Dữ liệu minh họa cột ““weather””.-- -- c sc + 3+3 ssvereersereesesee 31 Hình 3-16 Mô tả kỹ thuật tách rời giá tri cột '“weafler”.- --««-« «xxx 32 Hình 3-17 Dữ liệu minh họa cột “đire€fi0W””.-- óc 2c s*+£sstsvsexeeeeessee 32 Hình 3-18 Mô tả kỹ thuật tạo tách rời đặc trưng từ cột “direction”. 33 Hình 3-19 Mô tả kỹ thuật gan giá trị cho đặc trưng của cột “direction”. 33 Hình 3-20 Biéu đồ tròn thể hiện phan trăm số lượng các lớp trong dữ liệu trước tiền Hình 3-21 Biểu đồ cột thé hiện tổng các chuyến hủy, dời và trễ của từng hãng hàng |qUdVY.
36 Hình 3-22 Biểu đồ tròn thể hiện phan trăm các chuyến hủy, dời và trễ theo từng hang hang KhOng. 36 Hình 3-23 Biểu đồ so sánh sự tác động của đặc trưng “airline”.---- 37 Hình 3-24 Ma trận nhằm lẫn của AdaBoost khi không có đặc trưng “month”. 39 Hình 3-25 Ma trận nhằm lẫn của AdaBoost khi có đặc trưng “month”. 39 Hình 3-26 Ma trận nhằm lẫn của Gradient Boosting khi không có đặc trưng “MONE” oe eee ố ố ẻ ẻ.
40 Hình 3-27 Ma trận nhằm lẫn của GBDT khi có đặc trưng “month”.- 40 Hình 3-28 Biểu đồ tròn thé hiện phan trăm số lượng các nhãn sau tiền xử lý. 42 Hình 3-29 Biểu đồ so sánh độ do Fl-score giữa các mô hình.- 43 Hình 3-30 Biểu đồ cột thé hiện thời gian huấn luyện các mô hình. 44 Hình 3-31 Biểu đồ cột thê hiện thời gian kiểm thir các mô hình.------ 44 Hình 3-32 Ma trận nhằm lẫn của mô hình Random FOrest.-------:-+ 45 Hình 3-33 Ma trận nhằm lẫn của mô hình AdaBoost.--¿-¿-z+ 45 Hình 3-34 Ma trận nhằm lẫn của GBDT.-:::::++++++++++++++ttttttttrtrrrrre 46 Hình 3-35 Ma trận nhằm lẫn của mô hình Logistic Regression.---- 46 Hình 4-1 Quy trình dự đoán tré/huy chuyền của người dùng.----- 50 Hình 4-2 Kiến trúc tổng quan. 5Ó Hình 4-3 Giao diện nhập thông tin tra cứu lịch trình bay một chiêu.
57 Hình 4-4 Giao diện kết quả tra cứu lịch trình bay phù hop một chiều. „58 Hình 4-5 Giao diện nhập thông tin tra cứu lịch trình bay hai chiều. 58 Hình 4-6 Giao diện kết quả tra cứu lịch trình bay phù hợp hai chiều đi, về. 59 Hình 4-7 Giao diện nhập thông tin tra cứu mã chuyến bay.---:---:+ 59 Hình 4-8 Giao diện kết quả tra cứu mã chuyến bay.----- 2 2©sz+22sz+++ 60 Hình 4-9 Dữ liệu json thô từ trang Flightradar24.--¿-¿ s -+++++++c+c+zcexx+ 61 Hình 4-10 Dữ liệu thô thời tiết tương lai.---¿-22©2++22+t2c+rverxrerrxrsrrrrsrs 62 Hình 4-11 Xác định selector của 6 cần lấy dữ liệu trong cây DOM.
63 Hình 4-12 Dữ liệu thô html. Hình 4-13 Dữ liệu thô thời tiết quá khÍ.- 6k kg Hy 64 Hình 4-14 Xác định selector của 6 cần lấy dữ liệu trong cây DOM. 64 Hình 4-15 Dữ liệu thô htiml. -- ¿+ + 525 S922*E£+#ExSEerrrrrrkrkrkrrererrree 65 Hình 4-16 Quy trình tự động thu thập dữ liệu chuyến bay.-------- 65 Hình 4-17 Quy trình tự động thu thập dữ liệu thời tIẾT,.
St nen 66 Hình 4-18 Quy trình tự động triển khai từ GitHub lên VPS.-- 5: c5c¿ 71 Hình 4-19 Định nghĩa Docker Container Front-end.----s «+5 +c+s+ze£e++ 72 Hình 4-20 Quy trình xây dựng web site và serve web của Nginx. 72 Hình 4-21 Xây dựng Docker Image từ Source Code và Dockerfile.- 73 Hình 4-22 Các Container bên trong Docker Compose. ---------- 5+2 74 Hình 4-23 Luồng hoạt động của Nginx và Certbot trong hệ thống. 74 DANH MỤC BANG Bảng 3-1 Bảng mô tả thông tin các đặc trưng của tập dữ liệu “flights”.
20 Bang 3-2 Bảng thống kê số lượng các nhãn sau khi thu thập.------ 21 Bang 3-3 Bảng mô tả thông tin các đặc trưng của tập dữ liệu “weathers”. 22 Bang 3-4 Bang thống kê chỉ tiết số lượng các giá trị rong của dữ liệu thời tiết. 29 Bang 3-5 Bảng thông tin tong hợp cho quá trình trích chon đặc trưng. 35 Bảng 3-6 Bảng thống kê độ đo recall và F1-score khi có và không có đặc trưng “ARTI”.
37 Bang 3-7 Bảng thống kê độ do recall và F1-score khi có và không có đặc trưng `". 38 Bang 3-8 Bảng thống kê số lượng mỗi nhãn trước và sau tiền xử lý. 41 Bảng 3-9 Bảng thống kê tap dir liệu trong quá trình thực nghiệm. 4 Bang 3-10 Bảng kết quả độ đo F1-score và thời gian của các mô hình.
4 Bang 4-1 Bang aiTDOTS. 51 Bang 4-2 Bang flight_schedules. 52 Bang 4-3 Bang flighis. óc S2 Sàn 1 1 HH HH HH HH0 re.
53 Bang 4-4 Bang weather_locations .cccccceccccssecesesescceseeeeeseseeeeeeseseseeeeeeseseneees 54 Bang 4-5 Bang weather. óc ng HH HH 55 LỜI CÁM ƠN Kính gửi quý thầy cô và nhà trường đại học công nghệ thông tin, Chúng em xin gửi lời cảm ơn chân thành và sâu sắc nhất đến quý thầy cô và nhà trường đã tạo điều kiện cho chúng em được học tập và nghiên cứu tại một môi trường chuyên nghiệp, hiện đại và thân thiện. Quý thầy cô đã truyền đạt cho chúng em những kiến thức quý báu, những kỹ năng thiết thực và những tư duy sáng tạo trong lĩnh vực công nghệ thông tin. Nhờ đó, chúng em đã có được những nền tảng vững chắc dé phát triển năng lực của mình và chuẩn bị cho những bước tiếp theo trong sự nghiệp.
Đặc biệt, chúng em xin bày tỏ lòng biết ơn sâu sắc đến cô Cao Thị Nhạn, giảng viên hướng dẫn của nhóm, đã luôn tận tình hỗ trợ, động viên và góp ý cho chúng em trong quá trình thực hiện đề tài này. Cô đã là người thầy, người bạn và người anh chị của chúng em, giúp chúng em vượt qua những khó khăn và hoàn thành đề tài một cách tôt nhât. Chúng em xin cam kết sẽ không ngừng học hỏi, nỗ lực va phân đâu dé xứng đáng với niềm tin và kỳ vọng của quý thầy cô và nhà trường. Sau này luôn luôn thực hiện tốt phương châm của trường đã thấm nhuan bao năm qua, tư duy “Học tập suốt đời” và ra sức đóng góp sức lực nhỏ vào phát triển của đất nước.
Xin chân thành cảm ơn! Trân trọng, Nhóm sinh viên NHAN XÉT CUA GVHD Người nhận xét (Ký và ghi rõ họ tên) Từ đây đủ CSDL Cơ sở dữ liệu NCHMF Trung tâm Dự báo Khí tượng Thủy văn Quốc gia HTTP HyperText Transfer Protocol HTML Hypertext Markup Language API Application Programming Interface VPS Virtual Private Server JSON JavaScript Object Notation GBDT _ Gradient Boosting Decision Trees LỜI MỚ ĐẦU Việt Nam đang là một trong những điểm nóng kinh tế của thế giới, được tổ chức Quỹ Tiền tệ Quốc tế dự báo mức tăng trưởng dự kiến đạt 5,8% ở năm 2023 và 6,9% vào năm 2024!. Chính vì vậy, nhu cầu về sử dụng phương tiện di chuyển tăng đáng kể, trong đó bao gồm cả việc sử dụng máy bay. Tốc độ di chuyền và các dịch vụ đi kèm đa đạng là những điểm sáng đối với hình thức di chuyên bằng máy bay. Tuy nhiên, theo thống kê của Cục Hàng không Việt Nam toàn ngành có 32.260 chuyến bị trễ (chiếm 10,3%)? gây nhiều khó khăn, bắt tiện cho hành khách.
Nắm bắt được nhu cầu, nhóm quyết định thực hiện đề tài “Dự báo khả năng hủy chuyến, trễ chuyến của chuyến bay nội địa Việt Nam”. Trên thế giới, đây cũng là một chủ đề được nhiều nhà nghiên cứu quan tâm và còn nhiều thách thức. Bởi việc dự báo tốt có lợi cho nhiều bên liên quan như hãng hàng không, khách đi máy bay, thân nhân người đi máy bay, và các dịch vụ kinh doanh trong hệ thống hàng không. Thách thức lớn hiện nay là các nếu chỉ dùng dữ liệu lịch sử về các chuyến bay như Mã hang hàng không, Mã chuyến, Ngày bay, Thời gian cất cánh, Thời gian hạ cánh, Khoảng thời gian bay, và nhãn là Đúng giờ, Trễ chuyến, hay Hủy chuyến thì độ chính xác không cao do trên thực tế còn phụ thuộc rất nhiều thông tin khác như thời tiết, tình hình dịch bệnh, kinh tế, chính trị, xã hội.
Trong đó, yếu tô thời tiết được quan tâm nghiên cứu những năm gần đây như là các nhân tố bổ sung bởi có nhiều ảnh hưởng đến chất lượng chuyến bay nhằm nâng cao kết quả dy đoán.