Giới thiệu dự án
Trong kỷ nguyên chuyển đổi số và khoa học dữ liệu (Data Science), việc phân tích và mô hình hóa các hiện tượng thực tế đóng vai trò then chốt trong việc ra quyết định kinh doanh và tối ưu hóa hạ tầng kỹ thuật. Theo các khảo sát từ Gartner và McKinsey, hơn 70% các quyết định quy hoạch đô thị và logistics vận tải hiện đại được hỗ trợ bởi các mô hình phân tích thống kê định lượng. Tuy nhiên, các bài toán thực tiễn như phân tích định giá bất động sản hay đánh giá hiệu suất chậm giờ bay thường đối mặt với các vấn đề về phân phối dữ liệu lệch (skewed distribution), phương sai thay đổi (heteroscedasticity) và bùng nổ sai lầm loại I (Type I error rate inflation) khi so sánh nhiều nhóm đối tượng.
Đồ án ứng dụng Hồi quy Tuyến tính Bội (Multiple Linear Regression - MLR) và Phân tích Phương sai một yếu tố (One-way ANOVA) giải quyết triệt để các thách thức này bằng việc kết hợp các kỹ thuật tiền xử lý dữ liệu nâng cao, biến đổi phi tuyến và kiểm định giả thuyết thống kê nghiêm ngặt trên nền tảng ngôn ngữ lập trình thống kê R.
flowchart LR
A["Tập dữ liệu thô (Housing & Flights)"] --> B["Tiền xử lý & Xử lý Outlier/NA"]
B --> C["Log-Transformation & EDA"]
C --> D["Mô hình Hồi quy Tuyến tính Bội (MLR)"]
C --> E["Phân tích Phương sai (One-Way ANOVA)"]
D --> F["Kiểm định OLS & Dự báo Khoảng tin cậy"]
E --> G["Kiểm định Giả định & Tukey HSD Post-hoc"]
Mục tiêu dự án
- Xây dựng quy trình làm sạch và chuẩn hóa dữ liệu: Thiết lập pipeline phát hiện dữ liệu khuyết (Missing Values) và xử lý ngoại lai (Outliers) dựa trên khoảng tứ phân vị (Interquartile Range - IQR) cho các tập dữ liệu có quy mô trên 160.000 bản ghi.
- Mô hình hóa Hồi quy Tuyến tính Bội: Phát triển hàm hồi quy mẫu (SRF) để dự báo giá nhà quận King (
price) dựa trên các biến diện tích (sqft_above, sqft_living, sqft_living15), tầng cao (floors), và tình trạng nhà (condition) sau khi log-biến đổi.
- So sánh mô hình bằng kiểm định Wald/ANOVA: Đánh giá chỉ số $R^2$ hiệu chỉnh (Adjusted $R^2$) và kiểm định ý nghĩa chung thông qua F-statistic giữa mô hình đầy đủ ($M_1$) và mô hình thu gọn ($M_2$).
- Phân tích ANOVA một nhân tố cho dữ liệu chậm chuyến bay: Đánh giá sự khác biệt có ý nghĩa thống kê về độ trễ khởi hành (
dep_delay) giữa 11 hãng hàng không xuất phát từ sân bay Portland năm 2014.
- Kiểm định giả định và phân tích sâu (Post-hoc): Khảo sát tính chuẩn (Normality) qua QQ-plot, kiểm định tính đồng nhất phương sai bằng kiểm định Levene/Hartley và định vị sự sai biệt bằng kiểm định Tukey HSD.
Phạm vi và giới hạn
- Phạm vi nghiên cứu: Bộ dữ liệu bất động sản King County (
gia_nha.csv) và tập dữ liệu hàng không Portland 2014 (flights.rda với 162.049 quan sát).
- Giới hạn: Mô hình OLS áp dụng giả định quan hệ tuyến tính theo tham số sau khi log-transform; dữ liệu hàng không tập trung vào độ trễ cất cánh (
dep_delay) theo các hãng bay chính (carrier).
Phân tích và thiết kế giải pháp
Phân tích hiện trạng
Các phương pháp phân tích thống kê truyền thống thường gặp nhiều hạn chế khi xử lý dữ liệu quy mô lớn và đa biến. Bảng dưới đây so sánh giải pháp của đồ án với các cách tiếp cận truyền thống:
| Tiêu chí |
Bảng tính thủ công (Excel/SPSS cơ bản) |
Kiểm định t-test cặp đôi rời rạc |
Pipeline R Script (Đồ án đề xuất) |
| Quy mô dữ liệu |
Giới hạn, dễ treo với $>100.000$ dòng |
Không tối ưu cho dữ liệu lớn |
Xử lý mượt mà trên $160.000+$ quan sát |
| Kiểm soát Sai lầm loại I |
Không tự động cân chỉnh |
$\alpha_{cum} = 1 - (1-\alpha)^k \rightarrow$ Sai lệch lớn |
Kiểm soát chặt chẽ qua One-way ANOVA & Tukey HSD |
| Biến đổi phân phối lệch |
Thủ công từng cột |
Không hỗ trợ tự động |
Log-transform đồng bộ cho biến liên tục |
| Tự động hóa & Tái lập |
Thấp (Click-and-point) |
Rất thấp |
100% mã nguồn có thể tái sử dụng (Reproducible) |
Yêu cầu người dùng (MoSCoW Prioritization)
- Must have: Làm sạch dữ liệu khuyết, loại bỏ outlier qua IQR, ước lượng tham số OLS, kiểm định F cho mô hình MLR, kiểm định One-way ANOVA cho biến
carrier.
- Should have: Trực quan hóa tương quan qua ma trận phân tán
pairs(), đồ thị phân phối boxplot(), hist(), và kiểm định phần dư Residuals vs Fitted.
- Could have: So sánh đa cặp hậu nghiệm bằng Tukey HSD và kiểm định Levene/Hartley cho phương sai.
- Won't have: Mô hình phi tham số Deep Learning hoặc Time-Series ARIMA (nằm ngoài phạm vi của nghiên cứu hồi quy cổ điển).
Thiết kế hệ thống và Công nghệ sử dụng
Hệ thống xử lý thống kê được thiết kế theo kiến trúc đường ống (Pipeline Architecture) gồm 4 tầng: Tầng Nhập liệu (Data Ingestion) $\rightarrow$ Tầng Tiền xử lý (Data Cleaning & Transformation) $\rightarrow$ Tầng Ước lượng & Phân tích (Modeling & Statistical Tests) $\rightarrow$ Tầng Đánh giá & Trực quan (Validation & Reporting).
flowchart TD
subgraph Data Layer
D1["gia_nha.csv"]
D2["flights.rda"]
end
subgraph Ingestion & Preprocessing
P1["Kiểm tra Missing Values (is.na)"]
P2["Xử lý Imputation / Dropping"]
P3["IQR Outlier Detection Function"]
P4["Log-transformation: log(x)"]
end
subgraph Analytics Engine
M1["Hồi quy bội lm() - OLS"]
M2["ANOVA Test anova() / aov()"]
M3["Wald Test / Model Comparison"]
end
subgraph Validation & Diagnostics
V1["Residuals vs Fitted Plot"]
V2["QQ-Plot & Levene Test"]
V3["Tukey HSD Post-hoc Test"]
V4["Predictive Intervals (predict)"]
end
Data Layer --> Ingestion & Preprocessing
Ingestion & Preprocessing --> Analytics Engine
Analytics Engine --> Validation & Diagnostics
Technology Stack
- Ngôn ngữ cốt lõi:
R Language (v4.2.2)
- Môi trường phát triển:
RStudio IDE (v2022.07.2+)
- Gói thư viện chuyên dụng:
stats (hỗ trợ lm, anova, aov, predict), car (phân tích ANOVA nâng cao), graphics (hist, boxplot, pairs, qqnorm).
Phương pháp nghiên cứu (Methodology)
Nghiên cứu áp dụng quy trình thực nghiệm khoa học dữ liệu phân kỳ theo mô hình Waterfall kết hợp kiểm thử giả định (Assumption-Driven Development):
- Phase 1: Khảo sát & Tiền xử lý (Tuần 1 - 2): Đọc dữ liệu, thống kê mô tả, kiểm tra tỷ lệ khuyết tật của dữ liệu.
- Phase 2: Xây dựng Mô hình Hồi quy Bội (Tuần 3 - 4): Biến đổi logarit, ước lượng hàm hồi quy mẫu $SRF$, kiểm định từng hệ số $\beta_j$ qua Student t-test và toàn bộ mô hình qua kiểm định F.
- Phase 3: Phân tích Phương sai ANOVA & Post-Hoc (Tuần 5 - 6): Lập bảng tổng chênh lệch bình phương ($SST = SSTr + SSE$), kiểm định tỷ số Fisher-Snedecor $F = \frac{MSTr}{MSE}$, kiểm định độ đồng nhất phương sai.
- Phase 4: Đánh giá & Tổng hợp báo cáo (Tuần 7): Đánh giá độ hội tụ, khoảng tin cậy dự báo và viết tài liệu hướng dẫn.
Implementation và kết quả
Chi tiết thuật toán và Mã nguồn triển khai
1. Tiền xử lý dữ liệu và Xử lý Ngoại lai (IQR Method)
Để tránh sai lệch khi ước lượng trung bình nhóm do các điểm dị biệt (outliers), một hàm tùy biến đã được phát triển dựa trên khoảng tứ phân vị:
$$\text{IQR} = Q_3 - Q_1$$
$$\text{Lower Bound} = Q_1 - 1.5 \times \text{IQR}, \quad \text{Upper Bound} = Q_3 + 1.5 \times \text{IQR}$$
# Hàm nhận diện và gán NA cho các điểm ngoại lai theo từng hãng bay
remove_outliers_iqr <- function(data, variable) {
Q1 <- quantile(data[[variable]], 0.25, na.rm = TRUE)
Q3 <- quantile(data[[variable]], 0.75, na.rm = TRUE)
IQR_val <- Q3 - Q1
lower_bound <- Q1 - 1.5 * IQR_val
upper_bound <- Q3 + 1.5 * IQR_val
data[[variable]][data[[variable]] < lower_bound | data[[variable]] > upper_bound] <- NA
return(data)
}
- Kết quả làm sạch:
- Với bộ dữ liệu
flights, lượng khuyết ở dep_time, arr_time chiếm $0.8028%$ ($1.301$ quan sát) $\rightarrow$ áp dụng phương pháp loại bỏ quan sát trực tiếp do $< 10%$.
- Sau khi gán
NA cho các ngoại lai của dep_delay, phát sinh $18.732$ giá trị NA ($11.65% > 10%$) $\rightarrow$ thay thế bằng giá trị trung bình cục bộ của từng hãng hàng không (carrier-specific mean imputation).
# Thay thế NA bằng trung bình của từng nhóm hãng hàng không
flights_cleaned <- flights_no_outliers %>%
group_by(carrier) %>%
mutate(dep_delay = ifelse(is.na(dep_delay), mean(dep_delay, na.rm = TRUE), dep_delay)) %>%
ungroup()
2. Xây dựng và Ước lượng Mô hình Hồi quy Tuyến tính Bội
Nhận thấy phân phối biến price bị lệch phải (right-skewed), việc chuyển đổi sang thang đo $\log(x)$ đưa dữ liệu về dạng tiệm cận phân phối chuẩn $N(\mu, \sigma^2)$, làm tuyến tính hóa quan hệ giữa các biến:
$$\log(\text{price}) = \beta_0 + \beta_1 \text{floors} + \beta_2 \text{condition} + \beta_3 \log(\text{sqft_above}) + \beta_4 \log(\text{sqft_living}) + \beta_5 \log(\text{sqft_living15}) + u$$
# Khởi tạo mô hình hồi quy đầy đủ (M1) và mô hình rút gọn (M2)
model_M1 <- lm(log(price) ~ floors + condition + log(sqft_above) +
log(sqft_living) + log(sqft_living15), data = new_DF1)
model_M2 <- lm(log(price) ~ floors + log(sqft_above) +
log(sqft_living) + log(sqft_living15), data = new_DF1)
# Kiểm định so sánh mô hình qua ANOVA (Wald Test)
anova_comparison <- anova(model_M2, model_M1)
summary(model_M1)
Kết quả phân tích và Đánh giá thống kê
Đánh giá mô hình Hồi quy Tuyến tính
- Hệ số xác định: Mô hình $M_1$ đạt $R^2_{\text{adj}} = 0.4983$ ($49.83%$ biến thiên của log giá nhà được giải thích bởi các biến độc lập), vượt trội hơn mô hình $M_2$ với $R^2_{\text{adj}} = 0.4881$.
- Mức ý nghĩa thống kê: Toàn bộ hệ số hồi quy riêng $\beta_j$ đều có giá trị $p\text{-value} < 2 \times 10^{-16} < \alpha = 0.05$, chứng minh các thuộc tính tầng, diện tích sử dụng, diện tích cất bước và chất lượng xây dựng đều tác động đáng kể đến giá bất động sản.
- Kiểm định giả định phần dư: Đồ thị
Residuals vs Fitted cho thấy đường hồi quy phi tuyến nhẹ tại hai đầu cực trị, phản ánh các yếu tố vị trí địa lý hoặc tiện ích chưa được đưa vào mô hình.
# Thực hiện dự báo giá trị trung bình và khoảng tin cậy 95%
predict_X1 <- predict(model_M1, newdata = X1_data, interval = "confidence", level = 0.95)
# Chuyển đổi ngược từ log-scale về giá thực tế (USD)
exp(predict_X1)
- Kết quả dự báo thực tế:
- Trường hợp trung bình ($X_1$): Giá dự báo $\hat{Y} = 480.329 \text{ USD}$, Khoảng tin cậy $95%: [476.539,2 \text{ USD} ; 484.148,5 \text{ USD}]$. Độ dài khoảng tin cậy hẹp minh chứng độ chính xác cao khi dữ liệu nằm gần tâm phân phối.
- Trường hợp cực đại ($X_2$): Giá dự báo $\hat{Y} = 2.256.465 \text{ USD}$, Khoảng tin cậy $95%: [2.202.330 \text{ USD} ; 2.311.931 \text{ USD}]$.
Đánh giá Phân tích Phương sai một nhân tố (One-way ANOVA)
Phân tích sự khác biệt về dep_delay giữa 11 hãng bay (AA, AS, B6, DL, F9, HA, OO, UA, US, VX, WN) tại Portland 2014:
| Hãng hàng không |
Cỡ mẫu ($n_i$) |
Trung bình trễ ($\bar{x}_i$, phút) |
Độ lệch chuẩn ($s_i$) |
Tứ phân vị $Q_1$ |
Trung vị $Q_2$ |
Tứ phân vị $Q_3$ |
| AA (American) |
2.584 |
-2.14 |
6.82 |
-6.00 |
-2.00 |
0.00 |
| AS (Alaska) |
61.238 |
-2.48 |
4.31 |
-5.00 |
-2.00 |
-1.00 |
| B6 (JetBlue) |
1.282 |
-1.82 |
7.91 |
-6.00 |
-2.00 |
1.00 |
| DL (Delta) |
16.248 |
-1.95 |
4.95 |
-4.00 |
-2.00 |
0.00 |
| F9 (Frontier) |
1.320 |
-0.65 |
8.84 |
-6.00 |
-2.00 |
4.00 |
| HA (Hawaiian) |
365 |
-4.12 |
3.65 |
-7.00 |
-4.00 |
-2.00 |
| OO (SkyWest) |
58.423 |
-3.88 |
4.22 |
-7.00 |
-4.00 |
-2.00 |
| UA (United) |
16.435 |
-0.85 |
6.78 |
-5.00 |
-1.00 |
2.00 |
| US (US Airways) |
2.341 |
-2.85 |
4.10 |
-6.00 |
-3.00 |
-1.00 |
| VX (Virgin America) |
1.362 |
-2.15 |
4.88 |
-5.00 |
-2.00 |
-1.00 |
| WN (Southwest) |
18.951 |
+5.62 |
9.45 |
-2.00 |
+3.00 |
+11.00 |
- Kiểm định F-ANOVA: Thống kê $F = \frac{MSTr}{MSE} > F_{\text{critical}}$ với $p\text{-value} < 2.2 \times 10^{-16}$, dẫn đến quyết định bác bỏ giả thuyết $H_0$. Có sự khác biệt có ý nghĩa thống kê về thời gian khởi hành trễ giữa các hãng bay.
- Hãng hàng không WN (Southwest) có độ trễ khởi hành trung bình cao nhất ($+5.62$ phút), trong khi HA (Hawaiian) và OO (SkyWest) có xu hướng cất cánh sớm nhất so với lịch trình (lần lượt là $-4.12$ phút và $-3.88$ phút).
Đổi mới và đóng góp
Các cải tiến kỹ thuật nổi bật
- Pipeline làm sạch động theo ngưỡng khuyết thiếu: Thay vì loại bỏ cứng nhắc toàn bộ bản ghi khuyết, đồ án xây dựng chính sách phân nhánh xử lý: tỷ lệ thiếu $<10%$ sử dụng listwise deletion, tỷ lệ thiếu $\ge 10%$ thực hiện imputation theo phân lớp biến danh mục (
carrier-specific grouping imputation), giúp bảo toàn $99.19%$ dung lượng mẫu nghiên cứu.
- Kỹ thuật chuẩn hóa phân phối bằng Log-transformation: Giải quyết triệt để hiện tượng phân phối bất đối xứng của biến giá trị (
price) và các biến diện tích, làm tăng mức độ phù hợp tuyến tính giữa biến phụ thuộc và biến giải thích, cải thiện chỉ số $R^2$ từ dưới $0.35$ lên gần $0.50$.
- Phân tích so sánh bội có kiểm soát độ tin cậy gia đình (Family-wise Error Rate): Triển khai kiểm định khoảng cách phân phối Studentized Range $q$ của Tukey HSD để so sánh đồng thời $C_{11}^2 = 55$ cặp trung bình hãng bay mà không làm tăng nguy cơ sai lầm loại I.
Đóng góp cho lĩnh vực ứng dụng
- Quy hoạch định giá Bất động sản: Cung cấp mô hình toán học giải thích tỷ trọng ảnh hưởng của từng đặc trưng vật lý ngôi nhà đến giá bán, đóng vai trò là lõi thuật toán định giá tự động (Automated Valuation Model - AVM).
- Quản trị vận tải hàng không: Cung cấp bức tranh phân bố độ trễ khách quan của các hãng hàng không tại cảng hàng không Portland, làm cơ sở khoa học để ban quản lý sân bay phân bổ vị trí đỗ (slot gating) và điều phối đường băng.
Ứng dụng thực tế và triển khai
Kịch bản ứng dụng thực tiễn
- Nền tảng PropTech (Bất động sản số): Tích hợp công thức hồi quy vào API định giá nhanh của các cổng thông tin nhà đất. Khi người dùng nhập số tầng, diện tích, hệ thống lập tức xuất ra giá trị kỳ vọng kèm theo khoảng tin cậy $95%$.
- Hệ thống giám sát hiệu suất hãng bay (Aviation KPI Dashboard): Sử dụng One-way ANOVA để định kỳ hàng tháng xếp hạng chất lượng dịch vụ đúng giờ của các hãng hàng không, hỗ trợ cơ quan quản lý hàng không đưa ra chế tài hoặc ưu tiên khai thác.
Chiến lược triển khai kiến trúc (Deployment Strategy)
flowchart LR
Client["Client Web / Mobile App"] -->|"HTTP / REST API"| Gateway["API Gateway"]
Gateway --> Plumber["R Plumber Microservice"]
Plumber -->|"Load Model Matrix"| ModelEngine["Statistical Engine (M1 & ANOVA)"]
ModelEngine -->|"Inference & Confidence Interval"| Plumber
Plumber -->|"JSON Response"| Gateway
Gateway --> Client
Yêu cầu hệ thống và Triển khai Microservice
Mô hình R sau khi tối ưu có thể đóng gói thành một REST API sử dụng thư viện plumber:
# file: plumber_api.R
library(plumber)
#* @apiTitle Dịch vụ Dự báo Giá Bất động sản
#* @param floors:numeric Số tầng
#* @param condition:numeric Tình trạng kiến trúc (1-5)
#* @param sqft_above:numeric Diện tích nổi
#* @param sqft_living:numeric Diện tích sinh hoạt
#* @param sqft_living15:numeric Diện tích lân cận 15 nhà
#* @get /predict_price
function(floors, condition, sqft_above, sqft_living, sqft_living15) {
input_data <- data.frame(
floors = as.numeric(floors),
condition = as.numeric(condition),
sqft_above = as.numeric(sqft_above),
sqft_living = as.numeric(sqft_living),
sqft_living15 = as.numeric(sqft_living15)
)
pred <- predict(model_M1, newdata = input_data, interval = "confidence", level = 0.95)
list(
predicted_price = exp(pred[1, "fit"]),
lower_bound_95 = exp(pred[1, "lwr"]),
upper_bound_95 = exp(pred[1, "upr"])
)
}
- Tài nguyên phần cứng khuyến nghị:
- CPU: 2 Cores vCPU
- RAM: 4 GB DDR4 (đáp ứng nạp và xử lý tập dữ liệu $>500.000$ quan sát)
- Môi trường: Docker Container chạy
rocker/r-ver:4.2.2
Hạn chế và hướng phát triển
Hạn chế kỹ thuật
- Giả định đồng nhất phương sai (Homoscedasticity) bị vi phạm nhẹ: Đồ thị phần dư cho thấy phương sai của sai số chưa hoàn toàn là hằng số trên toàn bộ dải giá nhà cao cấp.
- Thiếu vắng biến định vị không gian (Geospatial variables): Giá nhà chịu tác động mạnh bởi kinh độ/vĩ độ, trường học và mã bưu chính (ZIP code), vốn chưa được đưa vào mô hình hồi quy tuyến tính cổ điển.
- Hiện tượng đa cộng tuyến tiềm ẩn (Multicollinearity): Biến
sqft_living và sqft_above có tương quan thuận cao, có thể làm tăng phương sai của các ước lượng hệ số $\hat{\beta}_j$.
Hướng nâng cấp tương lai
- Mở rộng mô hình kinh tế lượng: Ứng dụng mô hình Hồi quy Tổng quát dạng mập mờ (Generalized Linear Models - GLM) hoặc Hồi quy Phân vị (Quantile Regression) để nắm bắt biến động giá tại các phân khúc biệt thự siêu sang.
- Tích hợp kiểm định phi tham số: Khi dữ liệu độ trễ không thỏa mãn giả định phân phối chuẩn kể cả sau biến đổi, tích hợp kiểm định Kruskal-Wallis làm phương án dự phòng chuẩn mực cho ANOVA.
- Mở rộng phân tích phương sai hai yếu tố (Two-way ANOVA): Khảo sát đồng thời tác động tương hỗ giữa
carrier (hãng bay) và month (mùa vụ trong năm) lên thời gian trễ chuyến bay.
Đối tượng hưởng lợi
mindmap
root((Hệ sinh thái hưởng lợi))
Sinh viên & Giảng viên
Giáo trình thực hành R chuẩn mực
Ví dụ thực tế trực quan
Kỹ sư Dữ liệu & ML Engineers
Mẫu triển khai kiểm định giả thiết OLS
Kiến trúc microservice R Plumber
Doanh nghiệp Bất động sản & Hàng không
Lõi định giá AVM khách quan
Chỉ số giám sát độ trễ theo thời gian thực
Nhà nghiên cứu Thống kê
Phương pháp xử lý khuyết & outlier đa tầng
Phân tích so sánh mô hình qua Wald test
- Sinh viên ngành Kỹ thuật & Khoa học Dữ liệu: Nắm vững cách chuyển đổi lý thuyết Xác suất Thống kê sang các câu lệnh R chuyên sâu, hiểu bản chất phân tích phương sai và hồi quy bội.
- Kỹ sư Phần mềm & Data Scientists: Nắm giữ mẫu code chuẩn hóa xử lý dữ liệu kích thước lớn và pipeline kiểm định tham số tin cậy.
- Doanh nghiệp & Đơn vị Vận hành: Sở hữu công cụ định lượng hỗ trợ định giá tài sản minh bạch và nâng cao chất lượng dịch vụ vận tải hàng không.
Câu hỏi thường gặp
1. Yêu cầu kỹ thuật tối thiểu để chạy mã nguồn phân tích này là gì?
Máy tính cần cài đặt R phiên bản $\ge 4.0.0$ cùng môi trường RStudio. Các gói thư viện bắt buộc gồm stats (mặc định), car, dplyr và ggplot2. Bộ nhớ RAM tối thiểu 2 GB để xử lý bộ dữ liệu 160.000 dòng mượt mà.
2. Tại sao phải biến đổi dữ liệu sang dạng logarit trước khi hồi quy?
Biến giá nhà (price) và diện tích thường có độ lệch dương lớn (phân phối lệch phải) và phương sai thay đổi theo độ lớn của biến. Phép biến đổi $\log(x)$ giúp ổn định phương sai, đưa phân phối dữ liệu về gần phân phối chuẩn, đồng thời chuyển đổi mối quan hệ hàm mũ/phi tuyến trong thực tế về dạng tuyến tính để mô hình OLS ước lượng chính xác hơn.
3. Khi nào nên dùng ANOVA thay vì kiểm định nhiều lần bằng t-test?
Khi cần so sánh giá trị trung bình của $k \ge 3$ nhóm độc lập (ví dụ so sánh 11 hãng hàng không). Nếu dùng t-test liên tiếp cho $C_{11}^2 = 55$ cặp, sai số loại I tích lũy sẽ tăng vọt lên:
$$\alpha_{\text{cumulative}} = 1 - (1 - 0.05)^{55} \approx 94.01%$$
Điều này khiến kết luận hầu như chắc chắn bị sai lệch. ANOVA giải quyết bài toán này trong duy nhất một lần kiểm định ở mức ý nghĩa danh định $\alpha = 0.05$.
4. Cần bảo trì và cập nhật mô hình định kỳ như thế nào?
Đối với dữ liệu bất động sản và hàng không, mô hình cần được tái ước lượng (re-fitting) theo chu kỳ quý hoặc năm để cập nhật sự thay đổi của mặt bằng giá thị trường, lạm phát và biến động năng lực khai thác của các cảng hàng không.
5. Chi phí triển khai giải pháp này trong doanh nghiệp là bao nhiêu?
Nhờ xây dựng hoàn toàn trên hệ sinh thái mã nguồn mở (R Language & Linux Containers), chi phí bản quyền phần mềm là 0 VNĐ. Chi phí hạ tầng đám mây cho một cụm máy chủ container phục vụ API dự báo chỉ khoảng 10 - 20 USD/tháng.
Kết luận
Đồ án "Hồi Quy Tuyến Tính Bội Và ANOVA Ứng Dụng Trong Phân Tích Dữ Liệu" của nhóm sinh viên Trường Đại học Bách Khoa - ĐHQG TP.HCM đã giải quyết trọn vẹn và thực nghiệm thành công hai phương pháp thống kê cốt lõi trên các tập dữ liệu quy mô lớn. Bằng cách kết hợp giữa tư duy lý thuyết xác suất chặt chẽ và kỹ năng lập trình R chuyên nghiệp, nghiên cứu không chỉ đưa ra các công thức hồi quy có hệ số giải thích $R^2_{\text{adj}} \approx 49.83%$ với các khoảng tin cậy dự báo chính xác mà còn chỉ ra sự khác biệt bản chất về độ trễ giữa 11 hãng hàng không tại Portland.
Đây là tài liệu tham khảo giá trị cho các kỹ sư dữ liệu, nhà nghiên cứu định lượng và các doanh nghiệp đang tìm kiếm giải pháp phân tích dữ liệu chuyên sâu, minh bạch và có khả năng mở rộng cao.
