Chương 1 - Giới thiệu ngôn ngữ R 11 1.8 Hàm tự xây dựng: Cú pháp: <tên hàm> <- function (<ds tham số>){ds câu lệnh} 1.3 XUẤT/NHẬP DỮ LIỆU (DATA IMPORT/EXPORT) a. Xác định thư mục làm việc Lấy thư mục hiện hành: Hàm getwd() Thiết lập thư mục hiện hành: Hàm setwd(<thư mục>) b. Lưu trữ và nhập dữ liệu từ file dữ liệu của R Dữ liệu của ngôn ngữ R có thể lưu trữ vào file .Rdata bằng hàm save(). Sau đó có thể đọc lại từ R bởi hàm load().
Trong đoạn mã sau, hàm rm() xóa đối tượng a từ R c. Nhập và lưu trữ dữ liệu một file dạng text (1) Nhập dữ liệu: sử dụng hàm read.table(<”tên file”>, header=TRUE) Trong lệnh này header=TRUE, có nghĩa là yêu cầu R đọc dòng đầu tiên của file đó như là tên của các cột (2) Lưu dữ liệu: sử dụng hàm write.table(<”tên file”>, row. Nhập và lưu trữ dữ liệu một file .CSV (1) Nhập dữ liệu: sử dụng hàm read.csv(<”tên file”, header=TRUE) (2) Lưu dữ liệu: sử dụng hàm write.csv(<”tên file”, row.names=F) 12 Thống kê máy tính (Hàm này dùng để đọc các file excel. Các file excel trước đó phải được lưu với phần mở rộng CSV) Ví dụ sau tạo lập một dataframe df1 và lưu trữ nó dưới dạng file .csv bằng hàm write.
Sau đó, dataframe được nạp từ file df2 bằng hàm read. Với kết nối này có thể đọc/ghi file excel với phần mở rộng. TÀI LIỆU THAM KHẢO [1] Phân tích số liệu và biểu đồ bằng R, Nguyễn Văn Tuấn, cran.org/doc/contrib/Intro_to_R_Vietnamese.pdf [2] R for Beginners, Emmanuel Paradis, cran.org /doc/contrib/Paradis- rdebuts_en.pdf, 2005 [3] R and Data Mining: Examples and Case Studies, Yanchang Zhao, http://www.com, 2013 C H Ư Ơ N G 2 THỐNG KÊ HỌC 2.1 THỐNG KÊ Thống kê là tập hợp các phương pháp dùng để thu thập, trình bày và mô tả đặc tính của dữ liệu nhằm mục đích rút ra các quy luật chi phối các hiện tượng đang quan sát và đưa ra một quyết định. Cơ sở của lý thuyết thống kê là lý thuyết xác suất và thống kê toán.
Hiện nay thống kê được ứng dụng rộng rãi trong nhiều lĩnh vực như: thống kê dân số, thống kê xã hội, thống kê trong kinh doanh, thống kê trong y học, thống kê trong giáo dục,.2 NGUỒN GỐC VÀ SỰ PHÁT TRIỂN CỦA THỐNG KÊ HỌC Về mặt lịch sử môn thống kê ra đời và phát triển được nhờ hai hiện tượng riêng lẻ: a. Nhu cầu của nhà nước về các số liệu thống kê Thời cổ đại: Thống kê để nhà nước nắm được nhân lực và tài lực nhằm chiêu mộ quân sĩ và thu thuế (Ai cập, Hy Lạp, La mã…) Thời trung cổ: các cơ sở của Giáo hội (Thiên chúa…) ghi chép và lưu trữ hồ sơ về hộ tịch… Ngày nay: các dữ liệu được tập hợp, phân loại, lưu trữ, truy tìm bằng các hệ thống thông tin, được khai thác có hiệu quả bằng các phương pháp thống kê và phân tích dữ liệu. Các lãnh vực khoa học khác nhau đều sử dụng các phương pháp thống kê: vật lý, hoá học, di truyền học, khí tượng học, kinh tế học, xã hội học… b. Sự phát triển của lý thuyết xác suất trong Toán học: Thế kỷ XVI và XVII: Các bài toán về các trò chơi may rủi đặt ra cho các nhà toán học thời đó: Pascal, Fermat, Leibnitz.
Thế kỷ XVIII: De Moivre, Gauss, Laplace: nghiên cứu về luật phân phối chuẩn. Thế kỷ XIX: Francis Galton, Karl Pearson: nghiên cứu về lý thuyết hồi quy và tương phản. Thế kỷ XX: Gosset: nghiên cứu phân phối t; Fischer: nghiên cứu phân phối F 2.3 CHỨC NĂNG CỦA THỐNG KÊ Thống kê có 2 chức năng cơ bản sau: - Thống kê mô tả (Descriptive Statistics) là các phương pháp sử dụng để tóm tắt hoặc mô tả một tập hợp dữ liệu. Đó là các phương pháp: thu thập dữ liệu, sắp xếp dữ liệu, trình bày tóm tắt dữ liệu, phân tích dữ liệu.
14 Thống kê máy tính - Thống kê suy luận (Inferential Statistics) là các phương pháp mô hình hóa trên các dữ liệu quan sát để giải thích những biến thiên có tính ngẫu nhiên và không chắc chắn nhằm rút ra các suy diễn về quá trình, hay các đặc trưng của các đối tượng nghiên cứu. Đó là các phương pháp: ước lượng thống kê, kiểm định giả thuyết thống kê, phân tích phương sai, hồi qui tương quan, dự báo thống kê.4 MỘT SỐ KHÁI NIỆM CƠ BẢN TRONG THỐNG KÊ Quần thể/ Tổng thể (Population) là tập hợp các đơn vị (hay các phần tử) thuộc hiện tượng nghiên cứu, cần được quan sát, thu thập và phân tích theo một số đặc trưng nào đó. Mỗi đơn vị (hay phần tử) tạo thành quần thể thống kê gọi là đơn vị quần thể. Trong một số tài liệu thuật ngữ quần thể còn gọi là: tổng thể, dân số, đám đông.
Ví dụ: Để nghiên cứu chỉ số IQ của sinh viên Đại học Nha Trang, quần thể cần nghiên cứu là toàn bộ sinh viên Đại học Nha Trang. Tùy theo đặc điểm của đối tượng nghiên cứu mà người ta phân loại quần thể thành các loại: o Quần thể bộc lộ: là các quần thể mà ta có thể quan sát trực tiếp hay nhận biết được các đơn vị của quần thể (ví dụ như quần thể sinh viên 1 trường Đại học, quần thể các ngân hàng thương mại.) o Quần thể tiềm ẩn: là quần thể mà ta không thể trực tiếp quan sát các đơn vị của quần thể (ví dụ: quần thể những người thích đi du lịch, quần thể những người nghiện thuốc lá.) o Quần thể hữu hạn: số lượng đơn vị của quần thể là hữu hạn. o Quần thể vô hạn: số lượng đơn vị của quần thể là vô hạn. o Quần thể đồng chất: các đơn vị của quần thể giống nhau một số đặc điểm liên quan trực tiếp đến mục đích nghiên cứu.
o Quần thể không đồng chất: các đơn vị của quần thể không giống nhau một số đặc điểm liên quan trực tiếp đến mục đích nghiên cứu. Mẫu (Sample): là một số đối tượng được chọn ra từ quần thể theo một phương pháp nào đó. Các đặc trưng của mẫu được dùng để suy lý các đặc trưng của quần thể. Quan sát (Observation): là các đối tượng cơ sở cần thu thập dữ liệu nhằm phản ảnh hiện tượng nghiên cứu.
Người ta gọi 1 đơn vị của mẫu là một quan sát. Đặc điểm thống kê (Characteristic): là các tính chất quan trọng liên quan đến nội dung nghiên cứu được thể hiện trên các đơn vị quần thể (khái niệm này là khái niệm thuộc tính trong CSDLQH). Có 2 loại đặc điểm thống kê: Chương 2 - Thống kê học 15 o Đặc điểm định tính: là đặc điểm không thể biểu diễn trực tiếp bằng giá trị số (ví dụ: tôn giáo, dân tộc, loại hình doanh nghiệp.) o Đặc điểm định lượng: là các đặc điểm có thể biểu diễn trực tiếp bằng giá trị số còn gọi là lượng biến (ví dụ: mức lương, tuổi, quy mô vốn của doanh nghiệp,. Các lượng biến số này có thể rời rạc hay liên tục Lượng biến rời rạc: là các giá trị số đếm được (ví dụ: số nhân khẩu trong gia đình; số môn thi lại của một sinh viên,.) Lượng biến liên tục: là các giá trị không đếm được, các giá trị của lượng biến có thể chiếm 1 đoạn/khoảng trên trục số (ví dụ: trọng lượng, chiều cao của sinh viên.) Chỉ tiêu thống kê: là biểu hiện khái quát đặc điểm về mặt lượng của toàn bộ quần thể trong điều kiện không gian, thời gian nhất định.
Có 2 loại chỉ tiêu thống kê: o Chỉ tiêu khối lượng: phản ánh qui mô của quần thể (ví dụ: tổng dân số của một quốc gia, tổng quy lương của một xí nghiệp, số sản phẩm của một công ty…) o Chỉ tiêu chất lượng: phản ánh về khái quát đặc điểm về tính chất, trình độ phổ biến, quan hệ so sánh trong quần thể. Chỉ tiêu này thường mang ý nghĩa phân tích và là kết quả so sánh giữa các chỉ tiêu khối lượng (ví dụ: năng suất lao động trung bình của một công nhân, tỷ lệ hộ nghèo của một địa phương, năng suất thu hoạch của một giống cây trồng.) Kiểu dữ liệu: Có nhiều kiểu dữ liệu dùng để biểu diễn các thuộc tính của các đối tượng, Có thể liệt kê sáu loại dữ liệu phổ biến: Kiểu dữ liệu Ý nghĩa Định danh là tập các nhãn dùng để mô tả, phân loại (categories) các đối (Nominal data) tượng. Ví dụ: tên màu, mã nhân viên Nhị phân (Binary là một trường hợp đặc biệt của kiểu dữ liệu định danh, các dữ data) liệu thuộc kiểu này chỉ mang một trong 2 giá trị. Ví dụ: kiểu boolean (true, false), giới tính(nam,nữ) Thứ tự (Ordinary là tập các phần tử chỉ định một thứ tự được sắp.
Ví dụ: data) Xếp_loại (Kém, Trung bình, Khá, Giỏi) Số nguyên là tập các số nguyên. Các phần tử thuộc kiểu này có thể chịu (Integer) tác động của các phép toán số học để kết xuất phần tử mới. Ví dụ: Nhiệt độ được đo theo độ C; Tỷ lệ-khoảng Tương tự kiểu dữ liệu khoảng, điểm khác biệt là các phần tử (Ratio-scaled thuộc kiệu dữ liệu này có thể so sánh như là bội số với nhau. data) Dữ liệu kiểu tỷ lệ có thể thực hiện các phép nhân, chia.
Ví dụ: Trọng lượng, 10kg là hai lần 5kg; Sự khác biệt giữa 1 và 2 tương tự như khác biệt giữa 3 và 4 16 Thống kê máy tính Các thuộc tính được phân thành hai loại dựa vào kiểu dữ liệu của chúng: Phân loại (categorical): các thuộc tính có dữ liệu thuộc kiểu Định danh, Nhị phân, Thứ tự Liên tục (continuous): các thuộc tính có dữ liệu thuộc kiểu Số nguyên, Khoảng, Tỷ lệ-khoảng 2.5 QUÁ TRÌNH NGHIÊN CỨU THỐNG KÊ Quá trình nghiên cứu thống kê thường được thực hiện theo mô hình gồm các bước: Xác định vấn đề nghiên cứu, mục tiêu, nội dung, đối tượng nghiên cứu Xây dựng hệ thống các khái niệm, Các chỉ tiêu thông kê Thu thập dữ liệu thống kê Xử lý số liệu: Kiểm tra, chỉnh lý, sắp xếp Phân tích, thống kê sơ bộ Phân tích thống kê thích hợp Phân tích & giải thích kết quả Trình bày các kết quả nghiên cứu.6 CÁC KỸ THUẬT LẤY MẪU Lấy mẫu nhằm rút trích các quan sát mang tính đại diện cho các quan sát tổng thể. Mục tiêu của việc chọn mẫu phải phản ánh trung thực, đại diện quần thể. Các kỹ thuật lấy mẫu đúng đắn sẽ giúp người xử lý đạt được mục tiêu này. Có 2 nhóm kỹ thuật lấy mẫu là kỹ thuật lấy mẫu xác suất và kỹ thuật lấy mẫu phi xác suất.