Đồ án môn học chuyên đề phân tích dữ liệu với ngôn ngữ R tại Đại học Đà Nẵng

Đồ án phân tích dữ liệu với R mẫu, đầy đủ các bước. Cung cấp hướng dẫn, code và báo cáo chi tiết giúp sinh viên tham khảo hoàn thành tốt.

• Tác giả: Hồ Hà Giang
• Người hướng dẫn: TS. Nguyễn Thanh
• Trường học: Trường Đại học Công nghệ Thông tin và Truyền thông Việt - Hàn
• Chuyên ngành: Phân tích dữ liệu
• Đề tài: Đồ án môn học chuyên đề phân tích dữ liệu với R
• Loại tài liệu: Đồ án môn học
• Năm xuất bản: 2020
• Địa điểm: Đà Nẵng

Mục lục chi tiết

• MỞ ĐẦU
• MỤC LỤC HÌNH ẢNH
• 1. CHƯƠNG 1: GIỚI THIỆU NGÔN NGỮ R
• 1.1. Tổng Quan về ngôn ngữ R
• 1.2. Các lệnh và hàm trong R
• 1.3. Các dạng biểu đồ trong R
• 1.4. Phương pháp scatterplot 2 chiều trong R
• 1.5. Phương pháp hiển thị khác trong R
• 1.6. Hồi quy tuyến tính
• 2. CHƯƠNG 2: PHÂN TÍCH DỮ LIỆU
• 2.1. Các phương pháp phân tích dữ liệu
• 2.1.1. Phân tích thống kê, mô tả (Descriptive analytics)
• 2.1.2. Phân tích hồi quy tuyến tính (Regression analysis)
• 2.1.3. Phân tích phương sai (Variance analysis)
• 2.1.4. Phân tích hậu cần (Logistic analysis)
• 2.1.5. Phân tích văn bản (Text analysis)
• 2.2. Các mô hình phân tích
• 2.2.1. Mô hình hồi quy tuyến tính đơn giản
• 2.2.2. Mô hình hồi quy tuyến tính đa biến
• 2.2.3. Mô hình hồi quy Logistic
• 3. CHƯƠNG 3: PHÂN TÍCH DỮ LIỆU
• 3.1. Mô tả dữ liệu
• 3.2. Làm sạch dữ liệu (Tiền xử lý dữ liệu)
• 3.3. Phân tích thống kê
• 3.3.1. Phân tích thống kê mô tả (descriptive statistics summary)
• 3.3.2. Thống kê mô tả theo từng nhóm
• 3.3.3. Phân tích hồi quy tuyến tính
• 3.3.4. Phân tích phương sai
• 3.4. Trích xuất dữ liệu
• 3.5. Biến đổi dữ liệu (tạo biến mới theo công thức phù hợp)
• 3.6. Tách rời dữ liệu
• 3.7. Chiết số liệu từ data. Xây dựng các mô hình
• TÀI LIỆU THAM KHẢO

Tóm tắt

I. Hướng dẫn đồ án phân tích dữ liệu với R cho người mới

Đồ án môn học chuyên đề phân tích dữ liệu với R là một cột mốc quan trọng trong quá trình học tập của sinh viên ngành Công nghệ thông tin và Khoa học dữ liệu. Ngôn ngữ R đã khẳng định vị thế là một công cụ cực kỳ mạnh mẽ, không chỉ là một ngôn ngữ lập trình hàm cấp cao mà còn là một môi trường toàn diện cho tính toán thống kê và trực quan hóa. Ưu điểm nổi bật của R là mã nguồn mở, miễn phí và có một cộng đồng hỗ trợ khổng lồ, với hàng ngàn gói (packages) chuyên dụng cho mọi lĩnh vực từ tài chính, y sinh đến marketing. Đồ án này không chỉ giúp củng cố kiến thức lý thuyết mà còn rèn luyện kỹ năng thực tiễn, từ khâu thu thập, tiền xử lý đến xây dựng mô hình và diễn giải kết quả. Việc thành thạo R mở ra nhiều cơ hội nghề nghiệp, vì các nhà phân tích dữ liệu, nhà khoa học dữ liệu và nhà thống kê học đều ưa chuộng sử dụng R để xử lý các bộ dữ liệu lớn (big data) và rút ra những thông tin chi tiết có giá trị. Hoàn thành tốt một đồ án môn học chuyên đề phân tích dữ liệu với R là bước đệm vững chắc để giải quyết các bài toán phức tạp trong thực tế.

1.1. Tổng quan về ngôn ngữ R và môi trường phát triển

Ngôn ngữ R là một platform-independent, cho phép sử dụng trên mọi hệ điều hành mà không cần lo lắng về tính tương thích. Việc cài đặt R hoàn toàn miễn phí từ trang web CRAN (Comprehensive R Archive Network). Môi trường làm việc của R rất linh hoạt, cho phép người dùng tương tác trực tiếp qua giao diện dòng lệnh hoặc sử dụng các IDE mạnh mẽ như RStudio. Một trong những sức mạnh lớn nhất của R là hệ thống gói thư viện phong phú. Các gói như ggplot2 cho trực quan hóa, dplyr cho xử lý dữ liệu, hay caTools cho học máy giúp đơn giản hóa các tác vụ phức tạp. Tài liệu gốc nhấn mạnh: "R có thể tích hợp được với ngôn ngữ khác (C, C++). Nó cũng cho phép chúng ta tương tác với nhiều nguồn dữ liệu và các gói thống kê (SAS, SPSS)". Điều này cho thấy tính linh hoạt và khả năng mở rộng của R trong các dự án phân tích dữ liệu chuyên sâu.

1.2. Các lệnh và hàm cơ bản cần nắm trong phân tích dữ liệu

Để bắt đầu một đồ án môn học chuyên đề phân tích dữ liệu với R, việc nắm vững các lệnh và hàm cơ bản là yêu cầu tiên quyết. Dữ liệu trong R thường được lưu trữ dưới dạng các đối tượng như vector, ma trận (matrix), hoặc khung dữ liệu (data frame). Hàm c() được dùng để tạo vector, seq() tạo dãy số, và rep() lặp lại giá trị. Để đọc dữ liệu từ tệp, hàm scan() và read.table() rất hữu ích. Việc truy xuất dữ liệu được thực hiện thông qua chỉ số trong dấu ngoặc vuông [], ví dụ x[,3] để lấy toàn bộ cột thứ 3. Các hàm thống kê cốt lõi bao gồm summary() để tóm tắt dữ liệu, mean() tính trung bình, sd() tính độ lệch chuẩn, và cor() tính hệ số tương quan. Đối với các phân tích phức tạp hơn, hàm lm() được dùng cho hồi quy tuyến tính, và aov() cho phân tích phương sai. Việc sử dụng thành thạo các hàm này là nền tảng để triển khai các mô hình phân tích hiệu quả.

II. Top thách thức khi thực hiện đồ án phân tích dữ liệu

Việc thực hiện một đồ án môn học chuyên đề phân tích dữ liệu với R không chỉ đơn thuần là viết mã lệnh. Quá trình này ẩn chứa nhiều thách thức đòi hỏi sự kiên nhẫn và tư duy phân tích sắc bén. Một trong những khó khăn lớn nhất là giai đoạn làm sạch dữ liệu (data cleaning) hay còn gọi là tiền xử lý. Dữ liệu trong thực tế hiếm khi hoàn hảo; chúng thường chứa giá trị thiếu, dữ liệu nhiễu, hoặc không nhất quán. Việc xử lý những vấn đề này chiếm một phần lớn thời gian và công sức của dự án. Nếu bước này không được thực hiện cẩn thận, mọi mô hình phân tích xây dựng sau đó đều có thể cho ra kết quả sai lệch và vô nghĩa. Một thách thức khác là lựa chọn phương pháp phân tích phù hợp. Với vô số mô hình từ hồi quy tuyến tính, hồi quy logistic đến các thuật toán phức tạp hơn, việc xác định mô hình nào phù hợp nhất với bộ dữ liệu và câu hỏi nghiên cứu là một bài toán khó. Điều này đòi hỏi người thực hiện phải có kiến thức sâu rộng về thống kê và học máy, cũng như khả năng đánh giá ưu nhược điểm của từng phương pháp trong bối cảnh cụ thể của đồ án.

2.1. Vấn đề tiền xử lý và làm sạch dữ liệu thô

Dữ liệu thô từ các nguồn như khảo sát, mạng xã hội, hay hệ thống giao dịch thường không sẵn sàng để phân tích trực tiếp. Chúng cần được "trộn và kết hợp, tạo khối và xử lý trước để chuyển đổi nó thành một dạng thích hợp". Quá trình tiền xử lý dữ liệu bao gồm các công việc như xử lý giá trị bị thiếu (missing values), xác định và loại bỏ các giá trị ngoại lai (outliers), chuẩn hóa dữ liệu, và mã hóa các biến định tính. Ví dụ, trong bộ dữ liệu thẻ tín dụng được phân tích trong tài liệu gốc, các biến như EDUCATION và MARRIAGE được mã hóa dưới dạng số (1, 2, 3...). Nếu không hiểu rõ ý nghĩa của các mã hóa này, việc phân tích sẽ trở nên vô nghĩa. Ngôn ngữ R cung cấp các gói mạnh mẽ như dplyr và tidyr để hỗ trợ quá trình này, giúp việc làm sạch dữ liệu trở nên hệ thống và hiệu quả hơn.

2.2. Lựa chọn mô hình phân tích và kiểm định giả thuyết

Sau khi dữ liệu đã được làm sạch, thách thức tiếp theo là chọn đúng mô hình phân tích. Việc lựa chọn sai mô hình có thể dẫn đến kết luận không chính xác. Ví dụ, nếu mối quan hệ giữa các biến là phi tuyến tính, việc áp dụng mô hình hồi quy tuyến tính đơn giản sẽ không hiệu quả. Tương tự, đối với biến kết quả dạng nhị phân (ví dụ: vỡ nợ hay không), mô hình hồi quy Logistic sẽ phù hợp hơn. Bên cạnh đó, việc kiểm định các giả định của mô hình là cực kỳ quan trọng. Chẳng hạn, hồi quy tuyến tính yêu cầu phần dư (residuals) phải có phân phối chuẩn và phương sai không đổi. Sử dụng các công cụ chẩn đoán trong R để kiểm tra các giả định này giúp đảm bảo tính hợp lệ của kết quả. Đây là một bước quan trọng trong bất kỳ đồ án phân tích dữ liệu nào để đảm bảo tính khoa học và độ tin cậy.

III. Cách tiếp cận phân tích thống kê mô tả dữ liệu với R

Phân tích thống kê mô tả là bước đầu tiên và cơ bản nhất trong mọi đồ án môn học chuyên đề phân tích dữ liệu với R. Mục tiêu của giai đoạn này không phải là đưa ra dự đoán, mà là để "mô tả hoặc tóm tắt một tập dữ liệu" và hiểu rõ các đặc tính cơ bản của nó. Đây là nền tảng cho mọi phân tích định lượng sau này. Bằng cách sử dụng các kỹ thuật thống kê mô tả, nhà phân tích có thể có được cái nhìn tổng quan về dữ liệu, phát hiện các mẫu, xác định các điểm bất thường và hình thành các giả thuyết ban đầu. Trong R, quá trình này được hỗ trợ bởi các hàm tích hợp sẵn và các gói thư viện mạnh mẽ. Việc tóm tắt dữ liệu qua các chỉ số như trung bình, trung vị, độ lệch chuẩn hay phân phối tần suất giúp làm nổi bật các thông tin quan trọng ẩn sau những con số. Hơn nữa, trực quan hóa dữ liệu là một phần không thể thiếu của phân tích mô tả, giúp truyền tải thông tin một cách hiệu quả và dễ hiểu. Thực hiện tốt bước này sẽ định hướng cho các phân tích sâu hơn như hồi quy hay phân tích phương sai.

3.1. Kỹ thuật tóm tắt dữ liệu bằng các chỉ số thống kê

Tóm tắt dữ liệu là quá trình cô đọng thông tin từ một tập dữ liệu lớn thành các chỉ số thống kê chính. R cung cấp hàm summary() cực kỳ hữu ích, cho phép hiển thị nhanh các giá trị min, max, trung bình, trung vị và các phân vị (quartiles) cho mỗi biến. Ngoài ra, các thư viện chuyên dụng như Hmisc và psych cung cấp các hàm như describe() cho phép thực hiện thống kê mô tả chi tiết hơn, bao gồm cả độ xiên (skewness) và độ nhọn (kurtosis). Các chỉ số này được chia thành ba nhóm chính: các phép đo xu hướng trung tâm (trung bình, trung vị, mode), các phép đo phân tán (phạm vi, phương sai, độ lệch chuẩn), và các phép đo tần suất (đếm, phần trăm). Việc tính toán và diễn giải các chỉ số này giúp hiểu rõ đặc điểm của từng biến trong bộ dữ liệu, là bước chuẩn bị quan trọng cho phân tích dữ liệu với R.

3.2. Trực quan hóa dữ liệu qua biểu đồ histogram và boxplot

Trực quan hóa là một công cụ mạnh mẽ để khám phá dữ liệu. Theo tài liệu gốc, "Nếu biểu đồ được trình bày dễ hiểu, hợp lý, là phương tiện hiệu quả cung cấp cho nhà phân tích về thông tin quan trọng của dữ liệu". Biểu đồ histogram (tổ chức đồ), được tạo bằng hàm hist(), rất hiệu quả trong việc hiển thị phân phối tần suất của một biến liên tục. Nó giúp xác định xem dữ liệu có tuân theo phân phối chuẩn hay không. Trong khi đó, biểu đồ hộp (boxplot), được tạo bằng hàm boxplot(), hiển thị giá trị nhỏ nhất, lớn nhất, trung vị, và các phân vị 25% và 75%. Boxplot đặc biệt hữu ích trong việc phát hiện các giá trị ngoại lai (outliers). Việc kết hợp sử dụng hai loại biểu đồ này mang lại cái nhìn sâu sắc về cấu trúc và sự phân bố của dữ liệu, là một kỹ năng không thể thiếu khi thực hiện đồ án môn học chuyên đề phân tích dữ liệu với R.

IV. Bí quyết xây dựng mô hình hồi quy và phân tích phương sai

Sau khi đã khám phá dữ liệu, bước tiếp theo trong một đồ án môn học chuyên đề phân tích dữ liệu với R là xây dựng các mô hình để tìm kiếm mối quan hệ và đưa ra dự đoán. Hai trong số các phương pháp phổ biến và nền tảng nhất là phân tích hồi quy và phân tích phương sai (ANOVA). Phân tích hồi quy được sử dụng để nghiên cứu "mối liên hệ phụ thuộc của một biến (biến phụ thuộc) vào một hay nhiều biến khác (biến độc lập)". Mục tiêu là ước lượng hoặc dự đoán giá trị của biến phụ thuộc. Trong khi đó, ANOVA là một phương pháp thống kê "dùng để kiểm tra sự khác biệt giữa hai hay nhiều giá trị trung bình". Nó giúp xác định xem một yếu tố định tính (nguyên nhân) có ảnh hưởng đáng kể đến một yếu tố kết quả định lượng hay không. Ngôn ngữ R cung cấp các hàm lm() cho hồi quy tuyến tính và aov() cho ANOVA, giúp việc triển khai các mô hình này trở nên đơn giản và hiệu quả. Việc hiểu rõ nguyên lý và cách áp dụng các mô hình này là chìa khóa để khai thác tri thức từ dữ liệu.

4.1. Ứng dụng mô hình hồi quy tuyến tính đơn và đa biến

Mô hình hồi quy tuyến tính đơn giản tìm kiếm mối quan hệ tuyến tính giữa một biến độc lập (x) và một biến phụ thuộc (y). Ví dụ trong tài liệu gốc về dự đoán chiều cao của trẻ dựa vào độ tuổi là một minh họa điển hình. Phương trình có dạng y = α + βx. Tuy nhiên, trong thực tế, một biến phụ thuộc thường chịu ảnh hưởng của nhiều yếu tố. Khi đó, mô hình hồi quy tuyến tính đa biến được sử dụng, có dạng yi = α + β1x1i + β2x2i + ... + εi. R giúp ước tính các hệ số (β) một cách dễ dàng thông qua hàm lm(). Việc diễn giải các hệ số này cho biết mức độ ảnh hưởng của từng biến độc lập lên biến phụ thuộc, cung cấp những hiểu biết sâu sắc cho bài toán phân tích dữ liệu.

4.2. Xây dựng mô hình hồi quy Logistic cho bài toán phân loại

Khi biến kết quả là biến nhị phân (ví dụ: có/không, thành công/thất bại), mô hình hồi quy tuyến tính không còn phù hợp. Đây là lúc mô hình hồi quy Logistic phát huy tác dụng. Mô hình này không dự đoán trực tiếp giá trị của biến kết quả, mà dự đoán xác suất xảy ra của một biến cố. Phương trình của nó có dạng logit(p) = α + βX, trong đó p là xác suất. Trong đồ án mẫu, mô hình Logistic được xây dựng để dự đoán khả năng vỡ nợ thẻ tín dụng (default.payment.next.month = 1 hoặc 0). Hàm glm() trong R với tham số family=binomial được sử dụng để xây dựng mô hình này. Kết quả từ hồi quy Logistic giúp xác định các yếu tố ảnh hưởng đáng kể đến xác suất xảy ra biến cố, là một công cụ dự báo mạnh mẽ.

4.3. Kiểm định sự khác biệt trung bình với phân tích phương sai

Phân tích phương sai (ANOVA) là một công cụ thống kê dùng để so sánh giá trị trung bình của một biến liên tục giữa hai hay nhiều nhóm khác nhau. Ví dụ, trong tài liệu, ANOVA được dùng để kiểm tra xem có sự khác biệt về trình độ học vấn (EDUCATION) giữa các nhóm giới tính (SEX) hay không. Giả thuyết không (H0) của ANOVA là tất cả các giá trị trung bình của các nhóm đều bằng nhau. Dựa vào giá trị F và trị số p (Pr(>F)) từ kết quả của hàm aov(), ta có thể kết luận bác bỏ hay chấp nhận giả thuyết không. Nếu p < 0.05, điều đó cho thấy có sự khác biệt có ý nghĩa thống kê giữa các nhóm. Đây là một phương pháp quan trọng trong đồ án phân tích dữ liệu để kiểm định ảnh hưởng của các yếu tố phân loại.

V. Phân tích case study thực tế trong đồ án R chuyên sâu

Lý thuyết sẽ trở nên vô nghĩa nếu không được áp dụng vào thực tế. Một đồ án môn học chuyên đề phân tích dữ liệu với R chất lượng cao luôn cần một case study cụ thể để minh họa toàn bộ quy trình, từ khâu chuẩn bị dữ liệu đến xây dựng và đánh giá mô hình. Trong tài liệu tham khảo, bộ dữ liệu về các khoản thanh toán mặc định của khách hàng thẻ tín dụng ở Đài Loan được sử dụng làm ví dụ trung tâm. Bộ dữ liệu này bao gồm 25 biến, chứa thông tin nhân khẩu học (giới tính, tuổi, học vấn), dữ liệu tín dụng (hạn mức), và lịch sử thanh toán chi tiết qua nhiều tháng. Việc phân tích bộ dữ liệu này không chỉ là một bài tập kỹ thuật mà còn mang lại những thông tin kinh doanh hữu ích, chẳng hạn như xác định các yếu tố dự báo khả năng vỡ nợ của khách hàng. Quá trình này thể hiện rõ sức mạnh của R trong việc xử lý và mô hình hóa dữ liệu phức tạp, biến những con số thô thành các quyết định chiến lược.

5.1. Quy trình xử lý và chiết xuất dữ liệu từ case study

Quy trình bắt đầu bằng việc mô tả dữ liệu bằng các lệnh dim() để xem kích thước và names() để xem tên các biến. Sau đó, dữ liệu được khám phá sâu hơn thông qua phân tích thống kê mô tả theo từng nhóm, ví dụ như phân tích theo giới tính (SEX). Các kỹ thuật chiết xuất dữ liệu được áp dụng để tạo ra các tập dữ liệu con phục vụ cho các phân tích cụ thể. Ví dụ, lệnh subset() được sử dụng để tách dữ liệu thành hai nhóm nam và nữ. Ngoài ra, việc chọn các cột và hàng cụ thể từ data frame cũng là một thao tác phổ biến, ví dụ df[1:20, c(1,3,4)] để lấy 20 dòng đầu tiên của các cột 1, 3, và 4. Các thao tác chiết xuất dữ liệu này rất quan trọng để chuẩn bị dữ liệu cho giai đoạn mô hình hóa trong đồ án phân tích dữ liệu với R.

5.2. Xây dựng và đánh giá mô hình dự báo vỡ nợ tín dụng

Bước quan trọng nhất trong case study là xây dựng một mô hình dự báo. Quy trình này bắt đầu bằng việc chia bộ dữ liệu thành hai phần: mẫu xây dựng (training set) và mẫu kiểm định (testing set) bằng thư viện caTools. Mô hình Logistic (glm()) sau đó được xây dựng trên mẫu xây dựng để dự đoán biến EDUCATION (trong tài liệu gốc, đây có vẻ là một ví dụ, biến mục tiêu thực tế nên là default.payment.next.month). Kết quả summary(model) cho thấy các yếu tố (biến độc lập) nào có ảnh hưởng đáng kể đến xác suất dự đoán. Cuối cùng, mô hình được sử dụng để đưa ra dự báo trên mẫu kiểm định. Hiệu quả của mô hình được đánh giá thông qua ma trận nhầm lẫn (confusion matrix), giúp tính toán các chỉ số như độ chính xác, độ nhạy, và độ đặc hiệu. Quy trình này minh họa một cách toàn diện cách áp dụng học máy vào một bài toán thực tế trong đồ án phân tích dữ liệu.

Nội dung chính

Bối cảnh và vấn đề nghiên cứu

Đồ án môn học chuyên đề "Phân tích dữ liệu với R" được thực hiện bởi sinh viên Hồ Hà Giang (lớp 17IT2), dưới sự hướng dẫn của TS. Nguyễn Thanh tại Trường Đại học Công nghệ Thông tin và Truyền thông Việt - Hàn thuộc Đại học Đà Nẵng vào tháng 12 năm 2020. Đề tài thuộc lĩnh vực Công nghệ thông tin và Khoa học dữ liệu ứng dụng.

Bối cảnh thực tiễn được tác giả xác định dựa trên sự phát triển mạnh mẽ của các công trình nghiên cứu về phân tích dữ liệu trong hơn một thập kỷ qua. Trong bối cảnh khối lượng dữ liệu từ các hệ thống giao dịch, khảo sát, mạng xã hội và cảm biến ngày càng gia tăng, nhu cầu xử lý và khám phá tri thức từ dữ liệu lớn trở nên cấp thiết. Ngôn ngữ R nổi lên như một công cụ lập trình hàm và môi trường tính toán thống kê mã nguồn mở, độc lập nền tảng, có hệ sinh thái gói thư viện mở rộng phong phú và khả năng tích hợp linh hoạt với các ngôn ngữ lập trình khác như C, C++ cũng như các hệ quản trị cơ sở dữ liệu quan hệ.

Mục tiêu và nhiệm vụ nghiên cứu của đồ án bao gồm:

1. Nghiên cứu tổng quan về môi trường lập trình R, các cấu trúc dữ liệu cơ bản, hệ thống hàm tính toán xác suất thống kê và các công cụ trực quan hóa đồ họa.
2. Hệ thống hóa cơ sở lý thuyết của các phương pháp phân tích dữ liệu định lượng, bao gồm thống kê mô tả, phân tích hồi quy tuyến tính đơn biến và đa biến, phân tích phương sai, phân tích hồi quy logistic và tổng quan phân tích văn bản.
3. Ứng dụng ngôn ngữ R để thực hiện quy trình tiền xử lý, trích xuất dữ liệu, kiểm định thống kê và xây dựng mô hình dự báo trên các tập dữ liệu thực nghiệm.

Đối tượng và phạm vi nghiên cứu:

• Đối tượng nghiên cứu: Cú pháp, hàm xử lý dữ liệu, thư viện thống kê của ngôn ngữ R và các mô hình toán thống kê ứng dụng.
• Phạm vi không gian và dữ liệu: Tập dữ liệu giao dịch thẻ tín dụng của khách hàng tại Đài Loan gồm 30.000 dòng quan sát và 25 biến số; tập dữ liệu kinh điển về hoa Iris (150 quan sát, 4 thuộc tính); tập dữ liệu khảo sát chiều cao theo tháng tuổi (18–29 tháng) và tập dữ liệu cân nặng của 6 trẻ em từ 1 đến 6 tuổi.
• Phạm vi thời gian: Dữ liệu thẻ tín dụng được thu thập trong giai đoạn từ tháng 4 năm 2005 đến tháng 9 năm 2005; đồ án được hoàn thành vào tháng 12 năm 2020.

---

Cơ sở lý thuyết và phương pháp

Khung lý thuyết của đồ án dựa trên các nguyên lý thống kê ứng dụng và kỹ thuật khai phá dữ liệu:

• Thống kê mô tả (Descriptive analytics): Sử dụng các số đo phân phối tần số (đếm, phần trăm, tần suất), các số đo xu hướng trung tâm (trung bình - Mean, trung vị - Median, yếu vị - Mode) và các số đo độ biến thiên, phân tán (khoảng biến thiên - Range, phương sai - Variance, độ lệch chuẩn - Standard Deviation, hệ số biến thiên).
• Hồi quy tuyến tính đơn biến và đa biến (Linear Regression Analysis): Mô hình hóa mối quan hệ tuyến tính giữa biến phụ thuộc $y$ và các biến độc lập $x$ theo phương trình tổng quát: $$y_i = \alpha + \beta_1 x_{i1} + \beta_2 x_{i2} + \dots + \beta_k x_{ik} + \varepsilon_i$$ Các tham số được ước lượng bằng phương pháp bình phương bé nhất (Least Squares). Mức độ liên hệ tuyến tính được đo lường thông qua hệ số tương quan $r \in [-1, 1]$ và sai số phần dư (residual) $\varepsilon_i = y_i - y'_i$.
• Phân tích phương sai (Variance Analysis - ANOVA một chiều): Kiểm định giả thuyết thống kê nhằm so sánh sự khác biệt giữa các giá trị trung bình của biến định lượng theo các nhóm phân loại thông qua tỷ số kiểm định $F$.
• Mô hình hồi quy Logistic (Logistic Regression): Áp dụng cho biến kết cục nhị phân thông qua hàm liên kết logit: $$\text{logit}(p) = \log\left(\frac{p}{1-p}\right) = \alpha + \beta X$$ Tỷ số số chênh (Odds Ratio) được xác định bằng công thức $\text{Odds Ratio} = \exp(\beta)$.
• Tổng quan phân tích văn bản (Text Analysis): Khái quát quy trình xử lý văn bản thô, dọn dẹp, mã hóa từ và thiết lập ma trận tài liệu - thuật ngữ.

Phương pháp nghiên cứu thực tế được triển khai bao gồm:

• Phương pháp phân tích - tổng hợp tài liệu: Thu thập lý thuyết nền tảng về xác suất thống kê và tài liệu hướng dẫn lập trình R từ các nguồn chuyên khảo.
• Phương pháp thực nghiệm tính toán trên phần mềm: Viết các đoạn mã kịch bản trong môi trường R để xử lý số liệu, tính toán ma trận, vẽ đồ thị phân tích và huấn luyện mô hình.
• Kỹ thuật phân chia tập dữ liệu (Data Splitting): Sử dụng hàm sample.split() để phân chia tập dữ liệu 30.000 bản ghi thành tập huấn luyện (Mẫu Xây Dựng) chiếm 65% và tập kiểm thử (Mẫu Kiểm Định) chiếm 35%.

Nguồn dữ liệu và công cụ hỗ trợ:

• Công cụ: Môi trường lập trình R tải từ mạng lưới CRAN; các gói thư viện chuyên dụng gồm Hmisc, psych, plyr, tidyr, ggplot2, caTools, cùng các gói kết nối cơ sở dữ liệu RMySQL, RPgSQL, RODBC.
• Dữ liệu: Bộ dữ liệu thứ cấp về lịch sử thanh toán thẻ tín dụng Đài Loan và các bộ dữ liệu mẫu có sẵn trong R (iris).

---

Nội dung chính theo từng chương

Chương 1. Giới thiệu ngôn ngữ R

Chương 1 trình bày tổng quan về nguồn gốc, tính năng và cú pháp cơ bản của ngôn ngữ R. Tác giả phân tích các ưu điểm của R như tính độc lập nền tảng (chạy trên mọi hệ điều hành), tính năng mã nguồn mở cho phép can thiệp mã nguồn, khả năng mở rộng với hàng ngàn gói thư viện và khả năng tương tác với các hệ quản trị cơ sở dữ liệu (MySQL, PostgreSQL qua trình điều khiển ODBC).

Về mặt kỹ thuật lập trình, chương 1 hệ thống hóa các thành phần cốt lõi:

• Cấu trúc dữ liệu và phép toán: Hỗ trợ kiểu luận lý, số nguyên, số thực, số phức, ký tự, véctơ, ma trận, danh sách và khung dữ liệu (data.frame). Các phép toán số học (+, -, *, /, %%, %/%, ^), đại số ma trận (%*%, t(), det(), diag(), eigen()) và phép toán logic.
• Hàm thao tác dữ liệu: Các hàm khởi tạo chuỗi và véctơ như c(), seq(), rep(); hàm đọc/ghi dữ liệu như scan(), read(), write(), save(); hàm tính toán thống kê như mean(), var(), sd(), cov(), cor(), summary(), sample(), rnorm(), dnorm().
• Hệ thống đồ họa trực quan: Phân loại thành hàm đồ họa mức cao (plot(), hist(), boxplot(), pairs(), barplot(), pie(), persp(), contour(), coplot()) và hàm đồ họa mức thấp (abline(), lines(), points(), axis(), legend(), text(), polygon(), symbols()).

Tác giả thực nghiệm trực quan hóa trên tập dữ liệu hoa iris (150 quan sát, 4 thuộc tính) bằng biểu đồ tổ chức đồ (histogram), biểu đồ hộp (boxplot) cho thuộc tính Petal Length, ma trận tán xạ 2 chiều (pairs()) phân loại 3 lớp hoa theo màu sắc, và kỹ thuật chia màn hình hiển thị thành lưới 2x2 bằng lệnh par(mfrow = c(2, 2)). Chương này cũng minh họa bài toán hồi quy tuyến tính đơn về chiều cao theo tháng tuổi của trẻ (18–29 tháng), xác định hệ số chặn $\alpha = 64.635$ bằng hàm lm(), vẽ đường hồi quy bằng hàm abline() và dự báo chiều cao tại 23.5 tháng tuổi là 79.05 cm thông qua hàm predict().

Chương 2. Phân tích dữ liệu

Chương 2 tập trung vào cơ sở lý thuyết của các phương pháp phân tích số liệu định lượng và mô hình toán thống kê. Tác giả trình bày chi tiết bản chất của 5 phương pháp phân tích chính:

1. Phân tích mô tả: Làm rõ vai trò tóm tắt tập dữ liệu trong quá khứ mà không đưa ra dự đoán tương lai, phân tích các chỉ số tần số, xu hướng trung tâm và độ biến thiên.
2. Phân tích hồi quy tuyến tính: Giải thích nguyên lý xác định sự phụ thuộc giữa biến độc lập và biến phụ thuộc, bản chất hệ số tương quan $r$ trong phạm vi từ -1 đến 1 và ý nghĩa của hệ số biến thiên trong việc so sánh độ phân tán.
3. Phân tích phương sai (ANOVA): Khái quát phương pháp kiểm định sự khác biệt giữa các số trung bình nhằm xem xét ảnh hưởng của yếu tố nguyên nhân đến yếu tố kết quả định lượng.
4. Phân tích hậu cần (Logistic): Mô tả cấu trúc mô hình đối với biến kết quả nhị phân và các biến dự báo độc lập.
5. Phân tích văn bản: Trình bày quy trình khai phá mẫu từ dữ liệu văn bản thô phục vụ trí tuệ doanh nghiệp (Business Intelligence).

Chương 2 cũng đi sâu vào chi tiết các mô hình phân tích:

• Mô hình hồi quy tuyến tính đơn giản: Minh họa qua mẫu số liệu thực nghiệm gồm 6 trẻ từ 1 đến 6 tuổi. Tác giả phân tích hiện tượng sai lệch tại các điểm quan sát $y_1, y_2$ so với đường hồi quy, qua đó làm rõ khái niệm sai số phần dư (residual $\varepsilon_i = y_i - y'_i$) và mối liên hệ đạt mức 97%.
• Mô hình hồi quy tuyến tính đa biến: Mở rộng phương trình với nhiều biến độc lập $x_1, x_2, \dots, x_k$ và các hệ số hồi quy riêng phần $\beta_j$.
• Mô hình hồi quy Logistic: Trình bày công thức logit, log odds và cách tính tỉ số số chênh (Odds Ratio = $\exp(\beta)$).

Chương 3. Phân tích dữ liệu

Chương 3 là phần thực nghiệm ứng dụng ngôn ngữ R trên bộ dữ liệu thanh toán thẻ tín dụng tại Đài Loan (giai đoạn tháng 4/2005 – tháng 9/2005) gồm 30.000 dòng quan sát và 25 biến số. Tác giả ghi nhận dữ liệu ban đầu đã sạch và tiến hành các bước phân tích cụ thể:

Tên biến số	Ý nghĩa và thang đo
ID	Mã định danh khách hàng
LIMIT_BAL	Hạn mức tín dụng cá nhân và gia đình (Đài tệ)
SEX	Giới tính (1 = Nam, 2 = Nữ)
EDUCATION	Trình độ học vấn (1 = Sau đại học, 2 = Đại học, 3 = Trung học, 4 = Khác, 5 = Chưa biết, 6 = Chưa biết)
MARRIAGE	Tình trạng hôn nhân (1 = Đã kết hôn, 2 = Độc thân, 3 = Khác)
AGE	Tuổi của khách hàng (năm)
PAY_0 đến PAY_6	Tình trạng thanh toán từ tháng 4 đến tháng 9/2005 (-1 = Đúng hạn, 1–8 = Trễ 1–8 tháng, 9 = Trễ từ 9 tháng)
BILL_AMT1 đến BILL_AMT6	Số tiền trên sao kê hóa đơn từ tháng 4 đến tháng 9/2005 (Đài tệ)
PAY_AMT1 đến PAY_AMT6	Số tiền đã thanh toán trong các kỳ trước từ tháng 4 đến tháng 9/2005 (Đài tệ)
default.payment.next.month	Tình trạng thanh toán mặc định kỳ tiếp theo (1 = Có, 0 = Không)

Các nội dung thực nghiệm được triển khai theo trình tự:

• Thống kê mô tả và trực quan hóa theo nhóm: Sử dụng hàm summary() và gói thư viện Hmisc để tóm tắt các tham số phân phối; chia màn hình thành 6 ô (par(mfrow = c(2, 3))) để vẽ histogram cho các biến PAY_AMT; sử dụng gói psych với hàm describeBy để phân tích mô tả tách biệt theo hai nhóm giới tính SEX.
• Phân tích hồi quy và kiểm định ngoại lai: Khảo sát tương quan pay ~ age trên tập mẫu ngẫu nhiên gồm 6 cá nhân; sử dụng gói plyr vẽ biểu đồ boxplot cho hai biến SEX và PAY_AMT1 nhằm phát hiện các giá trị ngoại lai (outliers).
• Phân tích phương sai (ANOVA một chiều): Kiểm tra giả định phân phối chuẩn của biến EDUCATION qua biểu đồ histogram, sau đó thực hiện kiểm định ANOVA với công thức aov(EDUCATION ~ SEX, data = df). Kết quả kiểm định trích xuất các thông số gồm bậc tự do (Df = 1), tổng bình phương (Sum Sq), trung bình bình phương (Mean Sq), giá trị kiểm định $F$ và mức ý nghĩa $Pr(>F)$.
• Trích xuất và định hình lại cấu trúc dữ liệu: Thực hiện trích xuất dữ liệu con bằng chỉ số dòng/cột (df[1:20, 1:10], df[1:20, c("LIMIT_BAL", "EDUCATION")]); chuyển đổi dữ liệu từ dạng dọc sang dạng ngang bằng hàm spread() từ gói tidyr; tách dữ liệu theo giới tính thành hai tập con nam và nu bằng hàm subset(df, SEX == "1") và subset(df, SEX == "2"); chiết xuất 3 biến số (ID, SEX, EDUCATION) và lấy 10 dòng đầu tiên.
• Trực quan hóa đa dạng: Vẽ biểu đồ cột (barplot()) cho biến AGE, biểu đồ thanh kết hợp AGE và EDUCATION bằng gói ggplot2 với geom_bar(stat = "identity"), cùng biểu đồ đường thể hiện quan hệ giữa tuổi và số tiền hóa đơn.
• Quy trình xây dựng mô hình hồi quy Logistic:
  1. Sử dụng gói caTools, thiết lập set.seed(1000) và phân chia tập dữ liệu bằng hàm sample.split(df$EDUCATION, SplitRatio = 0.65).
  2. Hình thành hai mẫu: Mẫu Xây Dựng (mauXayDung) gồm 19.500 quan sát (65%) và Mẫu Kiểm Định (mauKiemDinh) gồm 10.500 quan sát (35%).
  3. Huấn luyện mô hình logistic bằng hàm glm() với biến phụ thuộc EDUCATION và các biến độc lập gồm SEX, AGE, BILL_AMT1, BILL_AMT2, BILL_AMT3, PAY_AMT2, PAY_AMT3, PAY_AMT4, PAY_2, PAY_3, PAY_4 trên tập mauXayDung với tham số family = binomial.
  4. Dự báo xác suất trên tập dữ liệu bằng hàm predict(model, type = "response").
  5. Đánh giá phân phối xác suất dự báo và thiết lập ma trận nhầm lẫn ở ngưỡng phân loại (threshold) 0.5.

---

Kết quả và đóng góp

Đồ án đã tổng hợp các kết quả thực nghiệm và rút ra các kết luận cụ thể có trong văn bản:

Nội dung thực nghiệm	Phương pháp / Công cụ	Dữ liệu / Tham số áp dụng	Kết quả ghi nhận trong văn bản
Hồi quy chiều cao trẻ em	Hàm lm(), predict()	Dữ liệu chiều cao trẻ 18–29 tháng	Hệ số chặn $\alpha = 64.635$, dự đoán chiều cao tại 23.5 tháng tuổi là 79.05 cm
Hồi quy tuyến tính đơn	Phương pháp bình phương bé nhất	Mẫu 6 trẻ em từ 1–6 tuổi	Mức độ liên hệ giữa $x$ và $y$ đạt 97%, phần dư $\varepsilon_i$ xuất hiện tại $y_1, y_2$
Phân tích phương sai	Hàm aov(), ANOVA 1 chiều	Biến EDUCATION ~ SEX	Bậc tự do Df = 1, trích xuất đầy đủ bảng Sum Sq, Mean Sq, $F$ value, $Pr(>F)$
Phân chia tập dữ liệu	Gói caTools, sample.split	30.000 bản ghi thẻ tín dụng	Mẫu Xây Dựng: 19.500 quan sát (65%), Mẫu Kiểm Định: 10.500 quan sát (35%)
Mô hình Logistic	Hàm glm(family = binomial)	Tập mauXayDung (11 biến độc lập)	Ước lượng hệ số ảnh hưởng, dự báo xác suất và lập ma trận nhầm lẫn tại ngưỡng 0.5

Đóng góp của tác giả đối với đề tài:

• Hệ thống hóa đầy đủ cú pháp, các toán tử và hàm thống kê then chốt của ngôn ngữ R, tạo tài liệu hướng dẫn từng bước từ thao tác dữ liệu cơ bản đến các kỹ thuật trực quan hóa nâng cao.
• Trình bày quy trình phân tích dữ liệu toàn diện trên một bộ dữ liệu quy mô lớn (30.000 bản ghi), kết hợp giữa việc trích xuất, biến đổi cấu trúc bảng với các kỹ thuật kiểm định giả thuyết thống kê (ANOVA) và mô hình hóa dự báo (Logistic Regression).
• Tác giả đề xuất việc khai thác các gói thư viện chuyên dụng như caTools, ggplot2, psych, plyr, tidyr và Hmisc để tối ưu hóa hiệu năng phân tích số liệu trên máy tính cá nhân.

---

Hạn chế và hướng nghiên cứu tiếp

Hạn chế của đồ án được chỉ ra từ chính văn bản và phạm vi nghiên cứu:

• Tác giả tự đánh giá tài liệu tham khảo còn hạn chế, kinh nghiệm thực tiễn chưa sâu sắc dẫn đến một số thiếu sót trong quá trình thực hiện.
• Công đoạn tiền xử lý dữ liệu chưa được thực hiện sâu do giả định ban đầu cho rằng bộ dữ liệu 30.000 dòng đã sạch hoàn toàn, chưa đề cập chi tiết đến kỹ thuật xử lý các giá trị khuyết (missing values) hay chuẩn hóa biến số quy mô lớn.
• Trong phần thực nghiệm mô hình Logistic ở Chương 3, việc sử dụng biến EDUCATION (biến định danh nhiều hơn 2 nhóm) làm biến phụ thuộc cho hàm phân phối nhị phân (family = binomial) và sự xuất hiện của tên biến RainTomorrow trong lệnh lập ma trận nhầm lẫn ở cuối chương cho thấy sự thiếu nhất quán trong bước xử lý mã nguồn cuối cùng.

Hướng nghiên cứu tiếp:

• Nghiên cứu sâu hơn về các gói phân tích nâng cao trong R để giải quyết các bài toán phân loại đa lớp (multinomial logistic regression) hoặc các thuật toán học máy phức tạp hơn.
• Ứng dụng quy trình phân tích vào nhiều bộ dữ liệu thực tế đa dạng khác thuộc các lĩnh vực kinh tế, tài chính và y tế.

---

Giá trị tham khảo

Tài liệu đồ án mang lại giá trị tham khảo cụ thể cho các nhóm đối tượng:

• Sinh viên ngành Công nghệ thông tin, Khoa học dữ liệu và Thống kê: Cung cấp tài liệu tra cứu có hệ thống về cú pháp lệnh, thao tác ma trận, đại số tuyến tính và các hàm phân phối xác suất trong môi trường R.
• Người nghiên cứu phân tích dữ liệu thực nghiệm: Cung cấp quy trình từng bước về chia tách dữ liệu huấn luyện/kiểm định (train/test), vẽ biểu đồ phân phối đa biến (ggplot2, par(mfrow)), kiểm tra phân phối chuẩn và kiểm định ANOVA một chiều trên R.
• Nội dung đáng tham khảo nhất: Bảng danh mục 25 biến số tài chính tín dụng trong Chương 3 và các đoạn mã mẫu thực hiện trích xuất dữ liệu bằng tidyr, subset và huấn luyện mô hình dự báo với gói caTools.

---

Câu hỏi thường gặp

1. Bộ dữ liệu thực nghiệm chính trong đồ án có quy mô và nguồn gốc như thế nào?
Bộ dữ liệu gồm 30.000 dòng quan sát và 25 biến số, ghi nhận thông tin về các khoản thanh toán mặc định, nhân khẩu học, hạn mức tín dụng, lịch sử thanh toán và sao kê hóa đơn của khách hàng sử dụng thẻ tín dụng tại Đài Loan từ tháng 4 năm 2005 đến tháng 9 năm 2005.

2. Tập dữ liệu 30.000 dòng được phân chia tỷ lệ bao nhiêu để xây dựng mô hình Logistic?
Dữ liệu được phân chia theo tỷ lệ 65:35 bằng gói caTools (với set.seed(1000)), tạo ra Mẫu Xây Dựng (mauXayDung) gồm 19.500 quan sát (65%) và Mẫu Kiểm Định (mauKiemDinh) gồm 10.500 quan sát (35%).

3. Phân tích phương sai (ANOVA một chiều) được tác giả thực hiện trên những biến số nào?
Phân tích phương sai được thực hiện để kiểm tra sự khác biệt về trình độ học vấn theo giới tính bằng câu lệnh one.way <- aov(EDUCATION ~ SEX, data = df).

4. Kết quả tham số thu được trong bài toán hồi quy chiều cao trẻ em ở Chương 1 là bao nhiêu?
Phương trình hồi quy tuyến tính đơn giữa chiều cao và tháng tuổi của trẻ (18–29 tháng) cho giá trị hệ số chặn $\alpha = 64.635$, cho phép dự báo chiều cao của trẻ tại 23.5 tháng tuổi là 79.05 cm.

5. Những gói thư viện mở rộng (packages) nào của R được sử dụng trong chương thực nghiệm?
Các gói thư viện được sử dụng gồm Hmisc (thống kê mô tả), psych (mô tả theo nhóm), plyr (xử lý dữ liệu và boxplot), tidyr (chuyển đổi cấu trúc ngang), ggplot2 (vẽ biểu đồ cột nâng cao), và caTools (phân chia mẫu dữ liệu).

---

Kết luận

Đồ án môn học "Phân tích dữ liệu với R" của sinh viên Hồ Hà Giang đã hệ thống hóa toàn diện các kiến thức nền tảng về ngôn ngữ lập trình R, các phép toán thống kê và kỹ thuật trực quan hóa dữ liệu. Tác giả đã triển khai thực nghiệm quy trình phân tích từ thống kê mô tả, kiểm định ANOVA đến xây dựng mô hình hồi quy logistic trên tập dữ liệu thẻ tín dụng quy mô 30.000 bản ghi. Mặc dù còn một số hạn chế về mặt tiền xử lý và tính nhất quán ở bước đánh giá mô hình cuối cùng, công trình vẫn là một tài liệu học tập và tham khảo thực hành hữu ích cho sinh viên tiếp cận phân tích dữ liệu định lượng trên môi trường R.

Trích đoạn nội dung tài liệu

CHƯƠNG 1. GIỚI THIỆU NGÔN NGỮ R 7 1. Tổng Quan về ngôn ngữ R 7 1. Các lệnh và hàm trong R 8 1.

Các dạng biểu đồ trong R 12 1. Phương pháp scatterplot 2 chiều trong R 12 1. Phương pháp hiển thị khác trong R 14 1. Hồi quy tuyến tính 15 CHƯƠNG 2.

PHÂN TÍCH DỮ LIỆU 19 2. Các phương pháp phân tích dữ liệu 19 2. Phân tích thống kê, mô tả (Descriptive analytics) 19 2. Phân tích hồi quy tuyến tính (Regression analysis) 20 2.

Phân tích phương sai (Variance analysis) 21 2. Phân tích hậu cần (Logistic analysis) 21 2. Phân tích văn bản (Text analysis) 21 2. Các mô hình phân tích 22 2.

Mô hình hồi quy tuyến tính đơn giản 22 2.2 Mô hình hồi quy tuyến tính đa biến 23 2.3 Mô hình hồi quy Logistic 24 CHƯƠNG 3. PHÂN TÍCH DỮ LIỆU 25 3. Mô tả dữ liệu 25 3. Làm sạch dữ liệu (Tiền xử lý dữ liệu) 26 3.

Phân tích thống kê 26 3. Phân tích thống kê mô tả (descriptive statistics summary) 27 3. Thống kê mô tả theo từng nhóm 28 3.3 Phân tích hồi quy tuyến tính 29 3. Phân tích phương sai 30 3.

Trích xuất dữ liệu 31 3. Biến đổi dữ liệu (tạo biến mới theo công thức phù hợp) 33 DO.r 3 Tieu luan DO. Tách rời dữ liệu 33 3. Chiết số liệu từ data.

Xây dựng các mô hình 37 TÀI LIỆU THAM KHẢO 40 MỤC LỤC HÌNH ẢNH DO.r 4 Tieu luan DO. Môi trường lập trình ngôn ngữ R. Đồ thị hộp và tổ chức đồ của thuộc tính Petal Length dữ liệu iris. Ma trận scatterplot 2 chiều của dữ liệu iris.

Hiển thị dữ liệu iris với 4 phương pháp hiển thị. Đồ thị về chiều cao trung bình của trẻ theo tháng tuổi. Đồ thị của phương trình hồi quy về chiều cao trung bình của trẻ theo tháng tuổi. Phân bố tần số được biểu diễn dưới dạng bảng và đồ thị.

Hệ số biến thiên. Bảng cân nặng của 6 trẻ từ 1-6 tuổi. Biểu đồ mô hình hồi quy tuyến tính của cân nặng 6 trẻ. Phương trình tuyến tính đa biến.

Tên của biến số trong dữ liệu. Dữ liệu sau khi được tóm tắt. Dữ liệu được thống kê lại. Chỉ số PAY_AMT được phân tích bằng biểu đồ.

5, Dữ liệu được thống kê theo nhóm giới tính. Kết quả được biểu diễn bằng biểu đồ tán xạ. Kết quả được biểu diễn bằng biểu đồ BoxPlot. Biểu đồ histogram của biến EDUCATION.

Kết quả sau khi kiểm tra. Kết quả sau khi trích xuất. Kết quả trích xuất cột 1 và 3 từ hàng 1 đến 20. Dữ liệu được xuất theo chiều ngang.

Kết quả sau khi tách giới tính trong dữ liệu. Số liệu của 3 biến được tách ra từ data. Chọn 10 dòng số liệu đầu tiên. Biểu đồ vẽ được với các biến số SEX, AGE, MARRIAGE, BILL_AMT, PAY_2.

Biểu đồ histogram với biến EDUCATION. Biểu đồ thanh với biến AGE và EDUCATION.r 5 Tieu luan DO. Kết quả 30000 biến. Kết quả của 2 mẫu Train và Test.

Các yếu tố ảnh hưởng đến dự đoán. Xây dựng bộ mẫu xây dựng. Kết quả và các giá trị của Dự Báo Kiểm Định.r 6 Tieu luan DO. GIỚI THIỆU NGÔN NGỮ R 1.

Tổng Quan về ngôn ngữ R R là một ngôn ngữ lập trình hàm cấp cao vừa là một môi trường dành cho tính toán thống kê. R hỗ trợ rất nhiều công cụ cho phân tích dữ liệu, khám phá tri thức và khai mỏ dữ liệu nhưng lại là phần mềm miễn phí mã nguồn mở. Hơn nữa R rất dễ học và có thể phát triển nhanh các ứng dụng tính toán xác suất thống kê, phân tích dữ liệu R là một công cụ rất mạnh cho học máy, thống kê và phân tích dữ liệu. Nó là một ngôn ngữ lập trình.

Ngôn ngữ R là một platform-independent do đó chúng ta có thể sử dụng nó cho bất kỳ hệ điều hành nào. Việc cài đặt R cũng miễn phì vì thế chúng ta có thể sử dụng mà không cần phải mua bản quyền. Ngôn ngữ R là mã nguồn mở nên ai trong chúng ta cũng có thể phân tích source code để hiểu được chính xác cách R vận hành. Bất kỳ ai cũng có thể thêm tính năng và fix bug mà không cần chờ nhà phát hành ra bản vá.

Đồng thời, R có thể tích hợp được với ngôn ngữ khác (C,C++). Nó cũng cho phép chúng ta tương tác với nhiều nguồn dữ liệu và các gói thống kê (SAS, SPSS). R có một cộng đồng phát triển mạnh mẽ. R là một ngôn ngữ lập trình mà nhiều nhà phân tích dữ liệu, nhà khoa học dữ liệu, nhà thống kê sử dụng cho mục đích phân tích dữ liệu và thực hiện phân thích thống kê bằng biểu đồ và các công cụ trực quan khác.

Qua việc sử dụng R, người ta có thể phân tích các bộ dữ liệu lớn(big data). R đang nổi lên như là một ngôn ngữ mang nhiều tiềm năng và ngày càng mở rộng với hàng ngàn gói (packages) cung cấp cho nhiều ứng dụng. Các lệnh và hàm trong R Hình 1. Môi trường lập trình ngôn ngữ R DO.r 7 Tieu luan DO.r Trước hết, chúng ta có thể tải về một phiên bản của R và các gói thư viện từ địa chỉ của trang web http://cran.

Tiến hành cài đặt, và gọi thực thi môi trường R như hình 1. Để thêm các gói thư viện vào môi trường lập trình R, chúng ta sử dụng các chức năng được cung cấp từ menu Packages. R là ngôn ngữ lập trình hàm cấp cao. Tất cả các công việc được làm thông qua hàm.

Ta có thể truyền các thông số cho hàm. Giá trị trả về của hàm có thể được lưu vào một đối tượng biến nhờ vào phép gán = hoặc <-,. Ví dụ như ta ghi giá trị trung bình của vectơ x vào biến mx, sử dụng lệnh: mx = mean(x) hoặc mx <- mean(x). Giá trị trả về của hàm được lưu vào biến mặc định tên .value, lệnh print() hay cat() dùng để hiển thị đối tượng.

R cung cấp trợ giúp trực tuyến thông qua hàm help() hay ?tên_hàm.start() cũng cung cấp trợ giúp với giao diện Web. R hỗ trợ nhiều kiểu dữ liệu như: luận lý (true, false), số nguyên, số thực, số phức, ký tự, chuỗi ký tự, vectơ, danh sách, ma trận, khung dữ liệu (data frame) và các phép toán như: +, -, *, /, %% (chia lấy phần dư), %/% (chia lấy phần nguyên), ! (nghịch đảo), ^ (luỹ thừa), %*% (nhân ma trận), <, >, ==, >=, <=, & (và), &&, | (hoặc), ||, <- (gán), ->. Một đối tượng khi tạo ra sẽ được lưu trong bộ nhớ cho đến khi ta thoát khỏi môi trường R bằng hàm q(), lúc này đối tượng có thể được lưu lại cho lần làm việc sau hoặc biến mất đi trong trường hợp người sử dụng không cần đến. Nhóm các hàm được bắt đầu bởi { và kết thúc bởi }.

Hàm library() sẽ liệt kê tất cả các thư viện sẵn dùng trong môi trường R, nếu muốn sử dụng thư việc nào chỉ cần gọi hàm library(tên_thư_viện), ngoài ra library(help=tên_thư_viện) sẽ liệt kê các hàm sẵn có trong thư viện. Để bắt đầu làm việc với R, từ dấu nhắc hệ thống ta gõ R chương trình sẽ vào môi trường làm việc ở chế độ gõ giao tiếp với dấu nhắc >. Nếu muốn nạp tập tin chương trình, ta có thể dùng hàm source(“tập_tin_chương_trình”). Hàm q() dùng để thoát khỏi môi trường R.

Hàm c() có thể được dùng để tạo ra vectơ và gán trực tiếp đến đối tượng trong R, chẳng hạn như lệnh cho phép tạo vectơ x chứa 5 phần tử như sau: x <- c(12, 54, 13, 10, 5) Hàm seq() cho phép tạo ra dãy số trong R, ví dụ như lệnh sau cho phép DO.r 8 Tieu luan DO.r tạo dãy số từ 6 đến 20 với khoảng cách là 0.5) Hàm rep() cho phép tạo ra véctơ trong R bằng cách lặp lại giá trị của phần tử, ví dụ như lệnh sau cho phép tạo dãy 10 số 1: x <- rep(1, 10) Các phép toán có thể được áp dụng trực tiếp lên kiểu véctơ. Ví dụ sau cho phép tính tổng bình phương của dãy số 1, 2, 3, 4, 5: x <- c(1, 2, 3, 4, 5) sq <- sum(x^2) Nếu muốn đọc dữ liệu vectơ từ tập tin, ta có thể sử dụng hàm scan, ví dụ lệnh đọc dữ liệu từ tập tin data_file (giá trị các phần tử cách nhau bởi khoảng trắng) vào biến x như sau: x <- scan(“data_file”) Hàm scan() không tham số cho phép nhập dữ liệu từ bàn phím kết thúc bằng dòng trống. Ngoài ra, hàm matrix còn cho phép chuyển dữ liệu vectơ thành ma trận, ví dụ lệnh đọc dữ liệu từ tập tin mat_file (ma trận có 5 cột và giá trị các phần tử được lưu theo dòng) vào biến mat như sau: mat <- matrix(scan("mat_file"), ncol = 5, byrow = T) Để đọc một khung dữ liệu từ tập tin, ta có thể sử dụng hàm read. R cũng hỗ trợ các hàm cho phép ghi lại các biến vào tập tin dữ liệu như save(), write(), write.

Việc truy cập nội dung các phần tử của vectơ, ma trận, khung dữ liệu được thực hiện thông qua chỉ số được đặt trong cặp dấu []. Để truy xuất đến toàn bộ cột hay dòng của một ma trận ta có thể đặc tả chỉ số của cột hay dòng đó, ví dụ như x[,3] để truy xuất đến cột thứ 3 của ma trận x. Nếu muốn gán tên cho cột hay dòng của ma trận ta có thể sử dụng hàm dimnames(), ví dụ như lệnh sau cho phép gán tên X cho cột một, tên Y cho cột hai và tên Z cho cột ba của ma trận mat, vậy mat[,2] và mat[,"Y"] là như nhau. dimnames(mat) <- list(NULL, c("X", "Y", "Z")) Đối với khung dữ liệu, ta có thể dùng tên của biến để truy cập đến nội dung, chẳng hạn ta có khung dữ liệu tên soil có các biến Ca, K và pH, ta có thể truy cập nội dung biến pH với biểu thức soil$pH.

Ngoài ra, ta cũng có thể truy cập nội dung các biến của khung dữ liệu trực DO.r 9 Tieu luan DO.r tiếp bằng tên biến nhờ vào hàm attach, ví dụ attach(soil). R cũng hỗ trợ các cho các tính toán thống kê như: summary(), sample(), dnorm(), pnorm(), qnorm(), rnorm(), dunif(), punif(), qunif(), runif(), mean(), var(), sd(), cov(), cor(), lm(),. Ví dụ sau đây minh họa cách sử dụng hàm sample() để lấy mẫu ngẫu nhiên có hoàn lại 10 số nguyên có giá trị từ 0 đến 9. Sau đó tính giá trị trung bình và độ lệch chuẩn của dãy số.

x <- sample(0:9, 10, replace = TRUE) mx <- mean(x) sx <- sd(x) Nếu muốn sử dụng hàm mô phỏng phân phối chuẩn rnorm() để sinh dãy số ngẫu nhiên gồm 10 số với các tham số giá trị trung bình là 5 và độ lệch chuẩn bằng 1.