BÀI TẬP THỰC HÀNH THỐNG KÊ TÍNH TOÁN – TRƯỜNG ĐẠI HỌC TÔN ĐỨC THẮNG

Tổng quan về giáo trình

Tài liệu "Bài tập thực hành Thống kê tính toán" do ThS. Bùi Thùy Trang biên soạn ngày 09 tháng 09 năm 2023, trực thuộc Bộ môn Thống kê – Khoa Toán – Thống kê, Trường Đại học Tôn Đức Thắng. Đây là tài liệu hướng dẫn học tập và thực hành trên máy tính, phục vụ trực tiếp cho học phần Thống kê tính toán trong chương trình đào tạo cử nhân các ngành Toán ứng dụng, Thống kê và các khối ngành liên quan.

Về mặt vị trí đào tạo, học phần đóng vai trò cầu nối giữa cơ sở lý thuyết Xác suất – Thống kê toán và kỹ năng xử lý dữ liệu thực nghiệm thông qua môi trường lập trình R. Mục tiêu học tập cốt lõi (learning outcomes) của tài liệu bao gồm:

  • Trang bị kỹ năng tổ chức, nhập xuất và xử lý dữ liệu từ nhiều định dạng phần mềm khác nhau.
  • Rèn luyện kỹ năng mô phỏng các phân phối xác suất và tính toán xác suất thực nghiệm.
  • Thực hiện phân tích thống kê mô tả, tính toán các đặc trưng số và trực quan hóa dữ liệu qua hệ thống biểu đồ chuyên dụng.
  • Vận dụng các mô hình kiểm định giả thuyết thống kê tham số và phi tham số trên một mẫu hoặc nhiều mẫu.
  • Triển khai phân tích phương sai (ANOVA), phân tích tương quan và phân tích hồi quy tuyến tính trong giải quyết các bài toán dữ liệu thực tế.

Cấu trúc tài liệu được thiết kế theo phương thức thực hành từng bước (step-by-step). Mỗi chủ đề đều đi kèm bảng tổng hợp cú pháp hàm trong R, các ví dụ minh họa kèm mã lệnh và hệ thống bài tập thực hành độc lập dựa trên các tập dữ liệu thực nghiệm đa dạng.

Nội dung kiến thức cốt lõi

Các chương/chủ đề chính

Tài liệu được xây dựng với cấu trúc gồm 6 chương chính:

  1. Chương 1: Nhập và xuất dữ liệu (Trang 3 – 7) Chương này tập trung vào các thao tác nền tảng trong môi trường R:

    • Tạo vector và cấu trúc bảng dữ liệu thông qua các hàm c(), rep(), data.frame().
    • Xuất dữ liệu đã nhập sang các tệp tin văn bản hoặc bảng tính Excel.
    • Nhập dữ liệu từ các định dạng tệp khác nhau: bảng tính Excel (citysale.xls, Obesity.csv), văn bản thuần (cityrain.txt), tệp dữ liệu SPSS (hanghoa.sav), và tệp dữ liệu Stata (alcolholbeer expenditure for Tet.dta).
    • Kỹ thuật thao tác dữ liệu: trích xuất dòng, cột, phần tử theo chỉ số; lọc dữ liệu con có điều kiện bằng hàm subset(); sắp xếp theo thứ tự bằng hàm order(); kiểm tra kích thước bộ dữ liệu bằng nrow(), ncol(), names(); mã hóa lại các biến phân loại và biến điều kiện. Tiêu biểu là bài tập tình huống đóng vai cán bộ xử lý điểm thi đại học với bộ dữ liệu diemthidh.

  2. Chương 2: Các phân phối xác suất (Trang 8 – 13)

    • Phân phối rời rạc: Các bài tập áp dụng phân phối Nhị thức và phân phối Poisson trong việc tính xác suất điểm, xác suất tích lũy, kỳ vọng, phương sai, độ lệch chuẩn và vẽ đồ thị hàm khối xác suất.
    • Phân phối liên tục: Khảo sát phân phối Đều $U(a, b)$, phân phối Chuẩn $N(\mu, \sigma^2)$, phân phối Chi-bình phương $\chi^2(n)$, và phân phối Student $t(n)$. Chương này hướng dẫn định nghĩa hàm mật độ bằng cú pháp function(), mô phỏng phát sinh số liệu ngẫu nhiên từ các phân phối xác suất và trực quan hóa hàm mật độ xác suất trên cùng hệ trục tọa độ có chú thích bằng lệnh legend().

  3. Chương 3: Phân tích mô tả và biểu đồ (Trang 14 – 28)

    • Mô tả biến liên tục: Hướng dẫn sử dụng các hàm thống kê cơ bản: trung bình mean(), trung vị median(), phương sai var(), độ lệch chuẩn sd(), phân vị quantile(), khoảng trải giữa IQR(), tóm lược 5 số summary(), bảng tần số table(), và bảng tần suất prop.table().
    • Mô tả biến phân nhóm: Sử dụng gói gmodels với hàm CrossTable() và gói psych với hàm describeBy().
    • Hệ thống biểu đồ: Biểu đồ hộp (boxplot()) xác định giá trị ngoại lai; biểu đồ cột (barplot()); biểu đồ tròn (pie()); biểu đồ thân lá (stem(), stem.leaf(), stem.backback() trong gói aplpack); biểu đồ phân bố tần số/tần suất (hist()) kết hợp đường mật độ (lines(density())); biểu đồ chuỗi thời gian (ts(), plot.ts()); biểu đồ tán xạ hai biến (plot()).

  4. Chương 4: Kiểm định tham số và phi tham số (Trang 29 – 59)

    • Quy tắc kiểm định giả thuyết: Thiết lập cặp giả thuyết $H_0$ và $H_1$, quy tắc đưa ra quyết định dựa trên mức ý nghĩa $\alpha$ và giá trị $p\text{-value}$, kiểm định tính phân phối chuẩn qua kiểm định Shapiro-Wilk (shapiro.test()).
    • Kiểm định tham số một mẫu: So sánh trung bình với một số chuẩn (kiểm định Z qua hàm z.test() trong gói BSDA khi biết phương sai hoặc mẫu lớn; kiểm định t qua hàm t.test() khi chưa biết phương sai); so sánh tỷ lệ với một số (prop.test()); so sánh phương sai với một số chuẩn qua hàm varTest() thuộc gói EnvStats.
    • Kiểm định tham số hai mẫu: So sánh hai trung bình cho trường hợp phương sai đã biết (z.test()), phương sai chưa biết nhưng bằng nhau (t.test() với var.equal=TRUE), hoặc phương sai khác nhau; so sánh hai tỷ lệ (prop.test()); so sánh hai phương sai (var.test()).
    • Kiểm định phi tham số: Kiểm định dấu một mẫu và hai mẫu phụ thuộc (cặp); kiểm định Wilcoxon một mẫu và hai mẫu phụ thuộc; kiểm định tổng hạng Wilcoxon dựa trên hai mẫu độc lập; kiểm định tính độc lập Chi-bình phương.

  5. Chương 5: Phân tích phương sai (Trang 60 – 66) Trình bày phương pháp phân tích phương sai một yếu tố (One-way ANOVA) và phân tích phương sai hai yếu tố (Two-way ANOVA) nhằm so sánh trung bình giữa nhiều nhóm độc lập.

  6. Chương 6: Phân tích tương quan và Phân tích hồi quy (Trang 67 trở đi) Bao gồm phân tích tương quan tuyến tính đơn biến và đa biến; xây dựng mô hình hồi quy tuyến tính đơn biến và hồi quy tuyến tính đa biến để đánh giá mối quan hệ giữa các biến định lượng.

Kiến thức nền tảng được xây dựng

Tài liệu củng cố và hệ thống hóa các nguyên lý thống kê suy diễn:

  • Nguyên tắc đặt giả thuyết thống kê: Quy định giả thuyết vô hiệu $H_0$ đại diện cho trạng thái chuẩn hoặc không có sự khác biệt (luôn chứa dấu bằng: $=, \le, \ge$), trong khi đối thuyết $H_1$ đại diện cho giả định hoặc nghi ngờ cần chứng minh (chứa các dấu: $\ne, <, >$).
  • Phân phối của các thống kê mẫu: Định nghĩa dạng phân phối của các thống kê tương ứng với từng bài toán:
    • Thống kê $Z = \frac{\bar{X} - \mu_0}{\sigma / \sqrt{n}} \sim N(0, 1)$ khi biết phương sai tổng thể $\sigma^2$.
    • Thống kê $T = \frac{\bar{X} - \mu_0}{S / \sqrt{n}} \sim t(n - 1)$ khi chưa biết phương sai tổng thể.
    • Thống kê $Y = \frac{(n - 1)S^2}{\sigma_0^2} \sim \chi^2(n - 1)$ trong kiểm định phương sai một mẫu.
    • Thống kê $G = \frac{S_1^2}{S_2^2} \sim F(n_1 - 1, n_2 - 1)$ trong bài toán so sánh hai phương sai.
  • Tiêu chuẩn nhận diện giá trị ngoại lai (outliers): Giá trị ngoại lai được xác định qua nguyên tắc biên: $$\text{Outlier} > Q_3 + 1.5 \times IQR \quad \text{hoặc} \quad \text{Outlier} < Q_1 - 1.5 \times IQR$$
  • Phương pháp tính toán phân vị: Tài liệu làm rõ sự khác biệt giữa thuật toán mặc định của R (type = 7) và phương pháp tính toán lý thuyết giảng dạy trên lớp (type = 2) trong hàm quantile(x, probs, type).

Kỹ năng phát triển

  • Kỹ năng kỹ thuật (Technical skills): Thành thạo lập trình tính toán trong R; cài đặt và khai thác các thư viện mở rộng như gmodels, psych, BSDA, EnvStats, aplpack, MASS.
  • Kỹ năng phân tích (Analytical skills): Lựa chọn chính xác loại kiểm định giả thuyết (tham số hay phi tham số, kiểm định một phía hay hai phía, mẫu độc lập hay mẫu cặp); đọc và phiên giải các tham số đầu ra như thống kê kiểm định, bậc tự do (df), khoảng tin cậy và giá trị $p\text{-value}$.
  • Kỹ năng giải quyết bài toán thực tế (Practical competencies): Xử lý quy trình dữ liệu hoàn chỉnh từ khâu nhập tệp, làm sạch, tính điểm tổng hợp có điều kiện ưu tiên, phân nhóm theo điểm chuẩn, đến khâu lập bảng thống kê và báo cáo biểu đồ.

Phương pháp giảng dạy và học tập

Tài liệu áp dụng phương pháp tiếp cận theo định hướng thực hành (code-oriented and data-driven approach), liên kết trực tiếp giữa công thức toán học và cú pháp lệnh lập trình R.

                  ┌────────────────────────────────────────┐
                  │        DỮ LIỆU ĐẦU VÀO (Data)          │
                  │   .csv / .xlsx / .txt / .sav / .dta    │
                  └──────────────────┬─────────────────────┘
                                     │
                                     ▼
                  ┌────────────────────────────────────────┐
                  │    TIỀN XỬ LÝ & QUẢN TRỊ DỮ LIỆU       │
                  │   c(), subset(), order(), transform    │
                  └──────────────────┬─────────────────────┘
                                     │
                  ┌──────────────────┴─────────────────────┐
                  ▼                                        ▼
    ┌───────────────────────────┐            ┌───────────────────────────┐
    │    THỐNG KÊ MÔ TẢ &       │            │    THỐNG KÊ SUY DIỄN &    │
    │      TRỰC QUAN HÓA        │            │   KIỂM ĐỊNH GIẢ THUYẾT    │
    ├───────────────────────────┤            ├───────────────────────────┤
    │ - mean(), sd(), IQR()     │            │ - shapiro.test()          │
    │ - summary(), CrossTable() │            │ - z.test(), t.test()      │
    │ - boxplot(), hist()       │            │ - prop.test(), varTest()  │
    │ - barplot(), pie(), stem()│            │ - Wilcoxon, ANOVA, Regress│
    └───────────────────────────┘            └───────────────────────────┘

Hệ thống bài tập trong giáo trình được xây dựng trên các tập dữ liệu và tình huống cụ thể:

  • Tình huống quản lý giáo dục: Xử lý điểm thi 3 năm phổ thông và điểm thi đại học của học sinh (diemthidh), tính điểm ưu tiên theo khu vực và đối tượng, lọc dữ liệu theo khối thi (A, A1, B, C, D1), phân tích phổ điểm bằng histogram kết hợp đường mật độ.
  • Tình huống y sinh học: Phân loại tình trạng loãng xương (osteo) và béo phì (obesity) theo chỉ số bmi và tscore1 trong tệp Obesity.csv; theo dõi nồng độ đường huyết ở bệnh nhân tiểu đường; nồng độ cholesterol và lipid máu (chol.txt); hàm lượng vitamin D ở bệnh nhân u xơ thần kinh.
  • Tình huống kỹ thuật và môi trường: Đánh giá ảnh hưởng của sự cố tràn dầu tại bờ sông Chitipin (bang Texas) lên sự phục hồi của thảm thực vật Distichlisspicata; đo lường lượng khí thải $CO_2$ (Carbon dioxide_co2); phân tích độ pH trong 105 mẫu nước mưa (Acidity of rainwater); kiểm định độ chính xác và phương sai kích thước của chi tiết máy công cụ.

Tài liệu cung cấp các đoạn hướng dẫn (HD) chứa tên hàm trọng tâm kèm theo các tham số cần thiết, giúp người học định hình phương pháp giải quyết mà vẫn phải tự viết mã lệnh và biện luận kết quả.

Điểm nổi bật và cập nhật

  • Đồng bộ hóa môi trường tính toán: Giáo trình chuẩn hóa toàn bộ quy trình phân tích số liệu trên ngôn ngữ R – công cụ mã nguồn mở tiêu chuẩn trong nghiên cứu thống kê và khoa học dữ liệu hiện đại.
  • Xử lý đa dạng cấu trúc dữ liệu: Khác với các tài liệu chỉ cung cấp dữ liệu mẫu dạng vector đơn giản, tài liệu này hướng dẫn nhập và xử lý dữ liệu từ nhiều định dạng chuyên dụng khác nhau (.sav của SPSS, .dta của Stata, .xls/.csv của Excel, .txt dạng văn bản thô).
  • Tính thực tế của nguồn dữ liệu: Hệ thống bài tập sử dụng các nghiên cứu và số liệu từ các cơ quan thống kê, tạp chí khoa học (như báo cáo của Tổng cục Thống kê, tạp chí của Hiệp hội Y khoa Hoa Kỳ - JAMA, Tạp chí Y học New England), bao quát các lĩnh vực: kinh tế học, y học lâm sàng, khoa học môi trường và kỹ thuật sản xuất.

Đối tượng sử dụng giáo trình

  1. Sinh viên đại học: Phục vụ sinh viên năm thứ hai, năm thứ ba thuộc Khoa Toán – Thống kê, Trường Đại học Tôn Đức Thắng và sinh viên các khối ngành Kinh tế, Khoa học dữ liệu, Công nghệ thông tin có học phần Thống kê ứng dụng hoặc Thống kê tính toán.
  2. Điều kiện tiên quyết (Prerequisites): Người học cần hoàn thành học phần lý thuyết Xác suất và Thống kê toán (nắm vững các khái niệm biến ngẫu nhiên, hàm mật độ, kỳ vọng, phương sai, phân phối xác suất và bài toán ước lượng).
  3. Giảng viên: Sử dụng làm đề cương bài tập thực hành trên phòng máy vi tính, làm cơ sở xây dựng ngân hàng đề thi đánh giá kỹ năng tính toán số liệu.
  4. Tự học và tham khảo: Dùng làm tài liệu tra cứu các hàm thống kê trong R cho học viên cao học, các nhà nghiên cứu cần thực hiện xử lý số liệu sơ cấp và trung cấp.

Câu hỏi thường gặp

1. Giáo trình này phù hợp với ai?

Tài liệu được thiết kế cho sinh viên đại học theo học môn Thống kê tính toán tại Trường Đại học Tôn Đức Thắng, cũng như người học cần rèn luyện kỹ năng thực hành phân tích số liệu thống kê trên môi trường R.

2. Cần kiến thức nền nào trước khi học tài liệu này?

Người học cần có kiến thức cơ bản về Xác suất và Thống kê toán lý thuyết (các phân phối xác suất, ước lượng tham số, nguyên lý kiểm định giả thuyết) và kỹ năng sử dụng máy tính cơ bản.

3. Điểm khác biệt của tài liệu so với các giáo trình lý thuyết thống kê thông thường là gì?

Tài liệu tập trung hoàn toàn vào việc triển khai tính toán bằng mã lệnh trên máy tính (sử dụng ngôn ngữ R), hướng dẫn chi tiết cách đọc các định dạng tệp thực tế (.sav, .dta, .xls), cách xuất đồ thị và cách biện luận kết quả dựa trên đầu ra phần mềm.

4. Làm sao để tự học hiệu quả với tài liệu này?

Người học nên cài đặt phần mềm R và RStudio, thực hiện cài đặt các thư viện cần thiết (gmodels, psych, BSDA, EnvStats, aplpack, MASS), tự gõ và chạy từng dòng lệnh mẫu trước khi giải các bài tập thực hành độc lập trong từng chương.

5. Có tài liệu và dữ liệu mẫu bổ trợ kèm theo không?

Tài liệu đi kèm thư mục Datafiles chứa các tập dữ liệu mẫu được trích dẫn trong bài tập như: diemthidh, Obesity.csv, citysale.xls, cityrain.txt, hanghoa.sav, chol.txt, Garbage.csv, SpamTpye, literacy rates.csv, Tonado damage, Carbon dioxide_co2, Acidity of rainwater.

Kết luận

Tài liệu "Bài tập thực hành Thống kê tính toán" của ThS. Bùi Thùy Trang là tài liệu hướng dẫn thực hành thống kê ứng dụng có hệ thống, bao quát toàn diện các bước từ tiền xử lý dữ liệu, phân tích mô tả, mô phỏng xác suất đến kiểm định giả thuyết và phân tích mô hình.

Lộ trình học tập đề xuất:

  1. Nắm vững kỹ thuật nhập/xuất và xử lý biến tại Chương 1.
  2. Thực hành mô phỏng và vẽ hàm mật độ phân phối xác suất tại Chương 2.
  3. Rèn luyện kỹ năng mô tả dữ liệu và trực quan hóa biểu đồ tại Chương 3.
  4. Áp dụng các phương pháp kiểm định tham số và phi tham số tại Chương 4.
  5. Mở rộng sang phân tích phương sai tại Chương 5 và mô hình tương quan, hồi quy tuyến tính tại Chương 6.