Bối cảnh và vấn đề nghiên cứu

Trong bối cảnh hội nhập kinh tế quốc tế và chuyển đổi số, các doanh nghiệp dịch vụ đối mặt với áp lực cạnh tranh ngày càng gay gắt. Ngành dịch vụ hàng không là một trong những ngành kinh tế đặc thù có lượng dữ liệu giao dịch và vận hành phát sinh liên tục với quy mô lớn. Việc thấu hiểu nhu cầu của thị trường và hành vi của hành khách trở thành yếu tố quyết định để tối ưu hóa hiệu quả hoạt động kinh doanh. Marketing dịch vụ hàng không không chỉ dừng lại ở các hoạt động quảng cáo và bán vé thông thường mà bao gồm toàn bộ quá trình quản trị hệ thống: từ việc nhận diện nhu cầu của khách hàng đến việc hiện thực hóa các giải pháp nhằm đáp ứng nhu cầu đó thông qua các chính sách dịch vụ cụ thể.

Khoa học dữ liệu đóng vai trò then chốt trong việc xử lý khối lượng lớn thông tin phi cấu trúc và có cấu trúc, chuyển hóa dữ liệu thô thành các tri thức hành động hỗ trợ lãnh đạo doanh nghiệp đưa ra các quyết định chiến lược. Xuất phát từ bối cảnh thực tiễn của ngành vận chuyển hàng không tại Việt Nam, đề tài "Phân lớp bộ dữ liệu Marketing dịch vụ hàng không dựa trên ứng dụng Orange" được nhóm sinh viên thuộc Khoa Công nghệ thông tin kinh doanh, Trường Công nghệ và Thiết kế - Đại học Kinh tế TP. Hồ Chí Minh thực hiện dưới sự hướng dẫn của TS. Nguyễn Quốc Hùng. Đề tài tập trung khai thác các kỹ thuật khai phá dữ liệu và học máy thông qua phần mềm trực quan Orange để phân lớp tệp khách hàng, từ đó cung cấp cơ sở phân tích khoa học cho hoạt động marketing hàng không.

Văn bản xác định hai mục tiêu nghiên cứu cụ thể:

  1. Tìm hiểu các thuộc tính của khách hàng và đánh giá mức độ ảnh hưởng của chiến lược marketing dịch vụ hàng không đến nhu cầu cùng độ thỏa mãn của khách hàng.
  2. Dự báo tiềm năng phát triển của thị trường và đề xuất các công cụ số nhằm nâng cao hiệu quả hoạt động marketing trong lĩnh vực dịch vụ hàng không.

Đối tượng nghiên cứu của đồ án là bộ dữ liệu marketing dịch vụ hàng không bao gồm các thuộc tính nhân khẩu học và hành vi vận chuyển của hành khách (độ tuổi, giới tính, mã khách hàng, ngày bay, mã chuyến bay, sân bay đi/đến, thời gian bay/đến, số lượng hành khách, số lượng chuyến bay và số lượng hủy chuyến). Không gian nghiên cứu tập trung vào phạm vi khai thác dữ liệu dịch vụ hàng không tại Việt Nam, được thực hiện và hoàn thành vào tháng 10 năm 2023.


Cơ sở lý thuyết và phương pháp

Đồ án xây dựng nền tảng nghiên cứu dựa trên các khái niệm chuẩn mực về khoa học dữ liệu, quy trình khai phá dữ liệu và các thuật toán học máy có giám sát lẫn không giám sát.

Khung lý thuyết và khái niệm cốt lõi

  • Phân loại dữ liệu và Dữ liệu lớn (Big Data): Hệ thống hóa dữ liệu thành hai dạng cơ bản: dữ liệu có cấu trúc (lưu trữ trong cơ sở dữ liệu quan hệ, Excel, Google Sheets, dễ truy xuất) và dữ liệu phi cấu trúc (văn bản, nhật ký web, video, âm thanh). Định nghĩa Big Data với đặc trưng khối lượng lớn, biến đổi nhanh và phức tạp, đòi hỏi các công cụ phân tích hiện đại.
  • Quy trình Khoa học dữ liệu: Bao gồm 3 thành phần chính: (1) Tạo ra và quản trị dữ liệu; (2) Phân tích dữ liệu (kết hợp toán thống kê, công nghệ thông tin và tri thức chuyên ngành); (3) Chuyển kết quả phân tích thành giá trị hành động. Chu trình thực hiện trải qua 6 bước: Quan sát $\rightarrow$ Đặt câu hỏi $\rightarrow$ Hình thành giả thuyết $\rightarrow$ Thiết kế bài kiểm tra $\rightarrow$ Phân tích kết quả $\rightarrow$ Đưa ra khuyến nghị thực tế.
  • Kỹ thuật phân cụm dữ liệu (Unsupervised Learning): Phân tích các kỹ thuật gom nhóm dữ liệu chưa gán nhãn bao gồm phân cụm phân cấp (Hierarchical Clustering với các độ đo khoảng cách: Single-link, Complete-link, Average-link, Centroid) và phân cụm phân hoạch (Partitioning Clustering với thuật toán K-Means).
  • Kỹ thuật phân lớp dữ liệu (Supervised Learning): Quá trình xây dựng mô hình dự đoán nhãn mục tiêu rời rạc (target) từ các thuộc tính đầu vào (features). Nghiên cứu phân tích ba thuật toán phân lớp chính:
    • Hồi quy Logistic (Logistic Regression): Mô hình xác suất ước lượng kết quả đầu ra rời rạc hoặc nhị phân.
    • Cây quyết định (Decision Tree): Cấu trúc đồ thị dạng cây biểu diễn các quy tắc rẽ nhánh quyết định, trực quan và không đòi hỏi chuẩn hóa dữ liệu phức tạp.
    • Máy vector hỗ trợ (Support Vector Machine - SVM): Thuật toán tìm kiếm siêu phẳng tối ưu (hyperplane) với biên cực đại (maximum margin) để phân tách các lớp dữ liệu trong không gian đa chiều.
  • Phương pháp đánh giá mô hình phân lớp:
    • Ma trận nhầm lẫn (Confusion Matrix): Ghi nhận các giá trị $TP$ (Dương tính thật), $TN$ (Âm tính thật), $FP$ (Dương tính giả - Sai lầm loại 1), $FN$ (Âm tính giả - Sai lầm loại 2).
    • Các chỉ số đo lường hiệu năng: Độ chính xác tổng thể ($\text{Accuracy/CA} = \frac{TP + TN}{P + N}$), Độ chuẩn xác ($\text{Precision} = \frac{TP}{TP + FP}$), Độ phủ/Độ nhạy ($\text{Recall} = \frac{TP}{TP + FN}$), Điểm trung bình điều hòa ($\text{F1-score} = \frac{2 \times \text{Precision} \times \text{Recall}}{\text{Precision} + \text{Recall}}$).
    • Đường cong ROC (Receiver Operating Characteristic) và diện tích dưới đường cong ROC (AUC - Area Under Curve).

Phương pháp nghiên cứu thực nghiệm

Nghiên cứu sử dụng phương pháp thực nghiệm định lượng kết hợp khai phá dữ liệu trên hai công cụ:

  • Microsoft Excel: Sử dụng các công cụ phân tích thống kê mô tả (Descriptive Statistics), tổng hợp nhóm (Subtotal), hợp nhất dữ liệu (Consolidate), tổng hợp đa chiều (PivotTable), phân tích dự báo chuỗi thời gian (Moving Average, Exponential Smoothing), hồi quy tuyến tính (Regression) và tối ưu hóa tuyến tính (Solver).
  • Phần mềm Orange Data Mining: Khai thác môi trường lập trình luồng trực quan (visual programming) thông qua các khối chức năng (widgets): Data, Transform, Visualize, Model, Evaluate, Unsupervised và Add-ons.
  • Kỹ thuật phân chia dữ liệu: Sử dụng phương pháp chia mẫu kiểm thử Hold-out (chia tách tỷ lệ huấn luyện/thử nghiệm thông qua widget Data Sampler) và kỹ thuật kiểm định chéo $K$-lần (K-fold Cross Validation với $k=6$).

Nguồn dữ liệu

Dữ liệu đầu vào là bộ dữ liệu Marketing Hàng không ghi nhận các biến số hoạt động bay, trong đó có tệp dữ liệu tổng hợp gồm $9.421$ chuyến bay thực hiện và $74$ chuyến bay bị hủy, cùng các tập mẫu con được trích xuất để huấn luyện và kiểm thử mô hình.


Nội dung chính theo từng chương

Chương 1: Giới thiệu về khoa học dữ liệu và giới thiệu đề tài

Chương 1 thiết lập khung nhận thức tổng quan về khoa học dữ liệu và bối cảnh ngành hàng không. Tác giả làm rõ khái niệm dữ liệu có cấu trúc và phi cấu trúc, định nghĩa Big Data và phân tích 5 trụ cột của khoa học dữ liệu: Khai thác dữ liệu (Data Mining), Thống kê (Statistics), Học máy (Machine Learning), Phân tích (Analytics) và Lập trình (Programming). Khoa học dữ liệu đóng vai trò giải quyết 6 bài toán cốt lõi của doanh nghiệp: tài chính, khách hàng, bán hàng, thị trường, nhân sự và vận hành sản xuất.

Chương này cũng trích dẫn các trường hợp ứng dụng thực tế thành công từ Google (cá nhân hóa tìm kiếm và quảng cáo), Amazon (hệ thống gợi ý sản phẩm dựa trên lịch sử mua sắm) và Visa (phát hiện gian lận giao dịch thẻ qua học máy). Từ đó, đề tài đi vào lý do lựa chọn bài toán phân lớp dữ liệu marketing ngành hàng không nhằm nâng cao năng lực cạnh tranh và tối ưu hóa chính sách chăm sóc hành khách.

Chương 2: Tổng quan về chương trình sử dụng và các phương pháp sử dụng

Chương 2 trình bày chi tiết về hai công cụ phần mềm cùng nền tảng toán học của các giải thuật khai thác dữ liệu:

  • Khai thác dữ liệu trên Excel: Hướng dẫn các thao tác kỹ thuật và cấu hình tham số:
    • Descriptive Statistics: Tính toán các giá trị trung bình (Mean), sai số chuẩn (Standard Error), trung vị (Median), yếu vị (Mode), độ lệch chuẩn (Standard Deviation) với độ tin cậy $95%$.
    • Subtotal & Consolidate: Gom nhóm tính tổng/trung bình và hợp nhất dữ liệu từ nhiều nguồn theo vị trí hoặc hạng mục.
    • PivotTable: Trích xuất báo cáo phân tích đa chiều qua 4 vùng dữ liệu (Filters, Rows, Columns, Values).
    • Dự báo: Thiết lập chu kỳ trượt (Interval = 3) trong Moving Average, hệ số san bằng $\alpha = 0{,}7$ (hệ số giảm chấn $1-\alpha = 0{,}3$) trong Exponential Smoothing, phân tích hồi quy đơn/đa biến và giải bài toán quy hoạch tuyến tính tối đa hóa lợi nhuận nông nghiệp bằng Solver.
  • Phần mềm Orange và các thuật toán học máy:
    • Giới thiệu kiến trúc widget trên nền Python/C++, các nhóm chức năng chính (Data, Transform, Visualize, Model, Evaluate, Unsupervised).
    • Phân tích cơ chế hoạt động của thuật toán gom cụm phân cấp và $K$-Means (ưu nhược điểm về độ nhạy ngoại biên, sự phụ thuộc vào điểm khởi tạo tâm cụm).
    • Phân tích chi tiết quy trình phân lớp dữ liệu 2 bước (Xây dựng mô hình huấn luyện $\rightarrow$ Đánh giá mô hình & Gán nhãn dữ liệu mới). Trình bày cơ chế toán học, ưu và nhược điểm của 3 thuật toán: Logistic Regression, Decision Tree, SVM.
    • Định nghĩa chi tiết các độ đo đánh giá: Ma trận nhầm lẫn, $CA$, $\text{Precision}$, $\text{Recall}$, $\text{F1}$, đường cong ROC và chỉ số AUC; phân biệt các trạng thái mô hình (Underfitting, Overfitting, Fit).

Chương 3: Ứng dụng phương pháp vào bài toán thực tế

Chương 3 triển khai quy trình thực nghiệm trên bộ dữ liệu Marketing dịch vụ hàng không thông qua phần mềm Orange:

  • Xử lý và nhập dữ liệu: Kết nối luồng dữ liệu từ widget File $\rightarrow$ Data Table $\rightarrow$ Save Data để kiểm tra tính toàn vẹn, xác nhận dữ liệu không bị lỗi cấu trúc.
  • Mô tả cấu trúc dữ liệu: Bộ dữ liệu bao gồm 12 biến số:
    • Biến đầu vào: Độ tuổi, Giới tính, Mã khách hàng, Ngày bay, Mã chuyến bay.
    • Biến đầu ra: Sân bay đi, Sân bay đến, Giờ bay, Giờ đến.
    • Biến tổng hợp: Số lượng hành khách, Số lượng chuyến bay, Số lượng hủy chuyến.
  • Thống kê mô tả:
    • Phân tích nhân khẩu học: Nhóm khách hàng trong độ tuổi từ 24 đến 60 chiếm tỷ lệ chủ đạo, trong đó hành khách Nam chiếm đa số.
    • Phân tích vận hành: Toàn bộ tập dữ liệu ghi nhận $9.421$ chuyến bay thực hiện thành công (chiếm $99%$) và $74$ chuyến bay bị hủy (chiếm $1%$).
  • Quy trình phân lớp thực nghiệm:
    • Thiết lập thuộc tính Giới tính làm biến mục tiêu (target).
    • Sử dụng widget Data Sampler để phân tách dữ liệu thành các tập con: tập mẫu $30%$ (chứa 30 mẫu, 10 biến), tập mẫu $70%$ (chứa 70 mẫu, 10 biến) và tập huấn luyện chi tiết gồm 21 mẫu dữ liệu sạch.
    • Đưa dữ liệu vào widget Test and Score để kiểm thử chéo 3 thuật toán (Logistic Regression, Decision Tree, SVM) dưới hai chế độ: Kiểm định chéo $K$-fold ($k=6$) và Lấy mẫu ngẫu nhiên lặp lại (Random Sampling) theo 3 kịch bản phân chia tỷ lệ (50%-90%, 20%-70%, 50%-66%).
    • Trích xuất Ma trận nhầm lẫn cho từng thuật toán và sử dụng widget Prediction để dự báo nhãn cho 27 mẫu dữ liệu mới.

Chương 4: Đánh giá kết quả của mô hình

Chương 4 thực hiện so sánh đối chuẩn hiệu năng giữa các thuật toán dựa trên các chỉ số định lượng trích xuất từ bảng Evaluation Result và ma trận nhầm lẫn:

  • Đánh giá theo K-fold Cross Validation: Kiểm định với 6 thành phần (6 folds) cho thấy diện tích dưới đường cong AUC đạt giá trị phân tách tốt.
  • Đánh giá theo Random Sampling: So sánh hiệu năng của mô hình Cây quyết định (Decision Tree) trên 3 phương án chia tỷ lệ lấy mẫu:
Tỷ lệ lấy mẫu (Random Sampling) Tính chính xác (CA) Điểm F1 (F1-score) Độ chuẩn xác (Precision) Độ phủ (Recall) Diện tích dưới đường cong (AUC)
50% - 90% 48,0% 44,2% 47,3% 48,0% 0,555
20% - 70% 76,4% 76,3% 76,3% 76,4% 0,768
50% - 66% 76,5% 76,7% 77,3% 76,5% 0,752
  • Phân tích Ma trận nhầm lẫn: Mô hình Cây quyết định (Decision Tree) cho tỷ lệ sai lầm loại 1 ($FP$) và sai lầm loại 2 ($FN$) thấp nhất so với Hồi quy Logistic và SVM.
  • Lựa chọn mô hình tối ưu: Tác giả kết luận mô hình Cây quyết định (Decision Tree) với phương án chia mẫu $20%-70%$ là giải pháp phù hợp nhất nhờ đạt chỉ số $\text{AUC} = 0{,}768$ cao nhất, đồng thời duy trì độ chính xác $\text{CA} = 76{,}4%$ và $\text{F1} = 76{,}3%$.

Kết quả và đóng góp

Kết quả nghiên cứu chính

  1. Xác lập đặc trưng khách hàng và vận hành bay: Nhận diện nhóm khách hàng trọng tâm của dịch vụ hàng không nằm trong độ tuổi từ 24 đến 60 tuổi, với ưu thế nghiêng về tệp khách hàng nam giới. Thống kê tỷ lệ hủy chuyến ở mức thấp ($1%$, tương ứng 74 chuyến trên tổng số 9.421 chuyến bay được khảo sát).
  2. Xác định mô hình phân lớp tối ưu: Chứng minh thực nghiệm rằng mô hình Cây quyết định (Decision Tree) vượt trội hơn so với Hồi quy Logistic và SVM trên bộ dữ liệu nghiên cứu:
    • Đạt diện tích dưới đường cong $\text{AUC} = 0{,}768$.
    • Tỷ lệ phân lớp chính xác tổng thể $\text{CA} = 76{,}4%$.
    • Điểm trung bình điều hòa $\text{F1} = 76{,}3%$.
    • Độ chuẩn xác $\text{Precision} = 76{,}3%$ và độ nhạy $\text{Recall} = 76{,}4%$.
    • Tối thiểu hóa được cả sai lầm loại 1 ($FP$) và sai lầm loại 2 ($FN$) trên ma trận nhầm lẫn.
  3. Triển khai dự báo thực tế: Ứng dụng thành công khối Prediction để gán nhãn dự báo phân lớp cho tập dữ liệu thử nghiệm gồm 27 quan sát mới.

Giải pháp và khuyến nghị quản trị

Từ kết quả phân tích dữ liệu, nhóm tác giả đề xuất các nhóm giải pháp chiến lược cho doanh nghiệp hàng không:

  • Thấu hiểu và thích ứng môi trường marketing: Nghiên cứu sâu các biến động của thị trường để cung cấp thông tin chi tiết cho các nhà điều hành bay, giúp chủ động xây dựng chính sách dịch vụ linh hoạt.
  • Đánh giá và tạo lập sự khác biệt dịch vụ: Sử dụng kết quả phân tích phân lớp để đánh giá mức độ độc đáo của sản phẩm/dịch vụ so với các đối thủ cạnh tranh, thiết lập rào cản chống sao chép nhằm duy trì ưu thế bền vững.
  • Tối ưu hóa chiến lược tiếp thị đa phân khúc: Thiết kế các chương trình marketing cá nhân hóa theo đặc thù nhân khẩu học (độ tuổi 24-60, giới tính) và hành vi bay nhằm gia tăng tỷ lệ lấp đầy chuyến bay và giảm thiểu rủi ro hủy vé.

Hạn chế và hướng nghiên cứu tiếp

Văn bản ghi nhận các định hướng mở rộng nghiên cứu tiếp theo bao gồm:

  • Mở rộng phạm vi thuộc tính khách hàng: Tích hợp thêm các biến số nhân khẩu học và hành vi chuyên sâu như nghề nghiệp, tình trạng hôn nhân, mức thu nhập, tần suất bay và hạng vé để nâng cao độ chính xác của mô hình dự báo chiến lược.
  • Đánh giá hiệu quả chiến lược hiện tại: Mở rộng mô hình để đo lường định lượng hiệu quả của các chiến dịch marketing đang triển khai, phục vụ so sánh đối chuẩn (benchmarking) trực tiếp với các hãng hàng không đối thủ.
  • Tích hợp các công cụ dữ liệu lớn và học sâu: Nghiên cứu mở rộng việc kết hợp các add-ons nâng cao trên Orange (như xử lý văn bản, học sâu, phân tích mạng xã hội) để khai thác các nguồn dữ liệu phản hồi phi cấu trúc của hành khách.

Giá trị tham khảo

Đồ án là tài liệu tham khảo học thuật và ứng dụng hữu ích dành cho:

  • Sinh viên các ngành Hệ thống thông tin quản lý, Khoa học dữ liệu, Công nghệ thông tin kinh doanh: Tham khảo cấu trúc hoàn chỉnh của một đồ án khai phá dữ liệu ứng dụng, phương pháp thực hành trực quan trên phần mềm Orange và kỹ thuật xử lý số liệu thống kê/tối ưu hóa trên Microsoft Excel.
  • Chuyên viên phân tích dữ liệu và chuyên viên Marketing ngành dịch vụ - vận tải: Tham khảo quy trình phân lớp khách hàng, phương pháp thiết lập biến mục tiêu, kỹ thuật đánh giá mô hình bằng đường cong ROC/AUC và ma trận nhầm lẫn để ứng dụng vào bài toán phân đoạn thị trường thực tế.

Câu hỏi thường gặp

1. Biến mục tiêu (target) được lựa chọn để thực hiện bài toán phân lớp trong đồ án là gì?
Biến mục tiêu được nhóm tác giả lựa chọn để huấn luyện và đánh giá các mô hình phân lớp trên phần mềm Orange là biến Giới tính của hành khách.

2. Bộ dữ liệu nghiên cứu ghi nhận số lượng chuyến bay thực hiện và số lượng chuyến bay bị hủy là bao nhiêu?
Dữ liệu thống kê mô tả ghi nhận tổng cộng $9.421$ chuyến bay thực hiện (chiếm tỷ lệ $99%$) và $74$ chuyến bay bị hủy (chiếm tỷ lệ $1%$).

3. Ba thuật toán phân lớp nào được đưa vào thử nghiệm và so sánh trong đồ án?
Ba thuật toán được thử nghiệm là: Hồi quy Logistic (Logistic Regression), Cây quyết định (Decision Tree) và Máy vector hỗ trợ (Support Vector Machine - SVM).

4. Vì sao mô hình Cây quyết định (Decision Tree) được lựa chọn là mô hình tối ưu nhất?
Mô hình Cây quyết định được lựa chọn vì trong kịch bản phân chia mẫu $20%-70%$, mô hình đạt chỉ số diện tích dưới đường cong lớn nhất ($\text{AUC} = 0{,}768$), độ chính xác $\text{CA} = 76{,}4%$, điểm $\text{F1} = 76{,}3%$, đồng thời cho kết quả sai lầm loại 1 ($FP$) và sai lầm loại 2 ($FN$) trên ma trận nhầm lẫn ở mức thấp nhất.

5. Trong phần tổng quan công cụ Excel ở Chương 2, tác giả đã trình bày những phương pháp phân tích nào?
Chương 2 trình bày các phương pháp khai thác dữ liệu trên Excel gồm: Thống kê mô tả (Descriptive Statistics), Báo cáo tổng hợp nhóm (Subtotal), Hợp nhất dữ liệu (Consolidate), Bảng tổng hợp đa chiều (PivotTable), Dự báo trung bình trượt (Moving Average), Dự báo san bằng mũ (Exponential Smoothing), Phân tích hồi quy (Regression) và Giải bài toán tối ưu hóa tuyến tính bằng công cụ Solver.


Kết luận

Đồ án "Phân lớp bộ dữ liệu Marketing dịch vụ hàng không dựa trên ứng dụng Orange" đã hoàn thành các mục tiêu nghiên cứu thông qua việc hệ thống hóa cơ sở lý thuyết khoa học dữ liệu và ứng dụng thành công các giải thuật học máy vào bài toán marketing hàng không. Kết quả thực nghiệm xác định thuật toán Cây quyết định (Decision Tree) kết hợp phân chia mẫu $20%-70%$ đạt hiệu năng tối ưu nhất với chỉ số $\text{AUC} = 0{,}768$ và độ chính xác $76{,}4%$. Nghiên cứu cung cấp góc nhìn thực tiễn và cơ sở định lượng quan trọng giúp các doanh nghiệp hàng không xây dựng chính sách marketing linh hoạt, nâng cao năng lực cạnh tranh và tối ưu hóa trải nghiệm khách hàng.