Luận văn thạc sĩ phương pháp thống kê trong kinh doanh và tài chính

Luận văn thạc sĩ về phương pháp thống kê ứng dụng trong kinh doanh và tài chính giúp nâng cao hiệu quả phân tích và ra quyết định.

• Tác giả: Hoàng Minh Đông
• Người hướng dẫn: GS. TSKH Đặng Hùng Thắng
• Trường học: Đại học Quốc gia Hà Nội
• Chuyên ngành: Lý thuyết xác suất và thống kê toán học
• Đề tài: Phương pháp thống kê trong kinh doanh và tài chính
• Loại tài liệu: luận văn thạc sĩ
• Năm xuất bản: 2013
• Địa điểm: Hà Nội

Mục lục chi tiết

• LỜI MỞ ĐẦU
• 1. CHƯƠNG 1: PHÂN TÍCH DỮ LIỆU THĂM DÒ
• 1.1. Phân tích thăm dò đơn biến
• 1.2. Các độ đo về tính bất đối xứng
• 1.3. Nhị phân hóa một biến định tính
• 1.4. Phân tích thăm dò hai biến
• 1.5. Phân tích thăm dò dữ liệu định tính nhiều biến
• 1.6. Độc lập và liên kết
• 1.7. Các độ đo sự phụ thuộc
• 1.8. Các độ đo dựa trên mô hình
• 2. CHƯƠNG 2: CÁC MÔ HÌNH THỐNG KÊ
• 2.1. Mô hình tuyến tính suy rộng
• 2.2. Mô hình hồi quy logistic
• 2.3. Cây quyết định
• 2.4. Mô hình loga tuyến tính cho bảng sự kiện
• 2.5. Mô hình địa phương
• 2.6. Quy tắc kết hợp
• 2.7. So sánh mô hình
• 3. CHƯƠNG 3: MỘT SỐ ỨNG DỤNG TRONG KINH DOANH VÀ TÀI CHÍNH
• 3.1. Ứng dụng 1: Phân tích thị trường qua giỏ hàng
• 3.1.1. Mục tiêu phân tích
• 3.1.2. Mô tả dữ liệu
• 3.1.3. Phân tích dữ liệu thăm dò
• 3.1.4. Xây dựng mô hình
• 3.1.4.1. Các mô hình loga tuyến tính
• 3.1.5. Các quy tắc kết hợp
• 3.1.6. So sánh mô hình
• 3.2. Ứng dụng 2: Quản lý quan hệ khách hàng
• 3.2.1. Mục tiêu phân tích
• 3.2.2. Mô tả dữ liệu
• 3.2.3. Phân tích dữ liệu thăm dò
• 3.2.4. Xây dựng mô hình
• 3.2.4.1. Các mô hình hồi quy logistic
• 3.2.4.2. Các mô hình cây phân lớp
• 3.2.5. So sánh mô hình
• 3.3. Ứng dụng 3: Tính điểm tín dụng
• 3.3.1. Mục tiêu phân tích
• 3.3.2. Mô tả dữ liệu
• 3.3.3. Phân tích dữ liệu thăm dò
• 3.3.4. Xây dựng mô hình
• 3.3.4.1. Các mô hình hồi quy logistic
• 3.3.4.2. Các mô hình cây phân lớp
• 3.3.5. So sánh mô hình
• KẾT LUẬN
• TÀI LIỆU THAM KHẢO

Tóm tắt

I. Tổng quan về phương pháp thống kê trong kinh doanh và tài chính

Phương pháp thống kê đóng vai trò quan trọng trong việc phân tích và ra quyết định trong kinh doanh và tài chính. Các công cụ thống kê giúp doanh nghiệp hiểu rõ hơn về dữ liệu, từ đó đưa ra các quyết định chính xác hơn. Việc áp dụng các phương pháp thống kê không chỉ giúp tối ưu hóa quy trình làm việc mà còn nâng cao hiệu quả kinh doanh. Trong bối cảnh hiện nay, khi dữ liệu ngày càng phong phú, việc sử dụng các phương pháp thống kê trở nên cần thiết hơn bao giờ hết.

1.1. Khái niệm về phương pháp thống kê

Phương pháp thống kê là tập hợp các kỹ thuật và quy trình được sử dụng để thu thập, phân tích và diễn giải dữ liệu. Trong kinh doanh và tài chính, các phương pháp này giúp xác định xu hướng, mô hình và mối quan hệ giữa các biến số.

1.2. Tầm quan trọng của thống kê trong kinh doanh

Thống kê giúp doanh nghiệp đưa ra quyết định dựa trên dữ liệu thực tế thay vì cảm tính. Việc phân tích dữ liệu giúp phát hiện các cơ hội và rủi ro, từ đó tối ưu hóa chiến lược kinh doanh.

II. Các thách thức trong việc áp dụng phương pháp thống kê

Mặc dù phương pháp thống kê mang lại nhiều lợi ích, nhưng việc áp dụng chúng trong thực tế cũng gặp không ít thách thức. Một trong những vấn đề lớn nhất là chất lượng dữ liệu. Dữ liệu không chính xác hoặc không đầy đủ có thể dẫn đến những kết quả sai lệch. Ngoài ra, việc lựa chọn phương pháp thống kê phù hợp với từng loại dữ liệu cũng là một thách thức lớn.

2.1. Vấn đề về chất lượng dữ liệu

Chất lượng dữ liệu là yếu tố quyết định đến độ tin cậy của các phân tích thống kê. Dữ liệu bị thiếu, sai lệch hoặc không đồng nhất có thể ảnh hưởng nghiêm trọng đến kết quả phân tích.

2.2. Lựa chọn phương pháp thống kê phù hợp

Việc lựa chọn phương pháp thống kê cần phải dựa trên loại dữ liệu và mục tiêu phân tích. Các phương pháp khác nhau sẽ cho ra các kết quả khác nhau, do đó cần phải cân nhắc kỹ lưỡng.

III. Phương pháp thống kê mô tả trong kinh doanh

Phương pháp thống kê mô tả giúp tóm tắt và mô tả các đặc điểm chính của dữ liệu. Các kỹ thuật như phân tích phương sai, phân cụm và mô hình loga tuyến tính thường được sử dụng để hiểu rõ hơn về dữ liệu. Những phương pháp này không chỉ giúp doanh nghiệp có cái nhìn tổng quan mà còn hỗ trợ trong việc ra quyết định.

3.1. Phân tích phương sai

Phân tích phương sai (ANOVA) là một kỹ thuật thống kê dùng để so sánh sự khác biệt giữa các nhóm. Kỹ thuật này giúp xác định xem có sự khác biệt đáng kể nào giữa các nhóm dữ liệu hay không.

3.2. Phân cụm dữ liệu

Phân cụm là một phương pháp giúp nhóm các đối tượng tương tự nhau lại với nhau. Kỹ thuật này thường được sử dụng trong phân tích thị trường để xác định các nhóm khách hàng có đặc điểm tương đồng.

IV. Phương pháp thống kê suy diễn trong tài chính

Phương pháp thống kê suy diễn cho phép doanh nghiệp đưa ra các dự đoán và kết luận từ mẫu dữ liệu. Các kỹ thuật như hồi quy logistic và cây quyết định thường được sử dụng để phân tích và dự đoán xu hướng tài chính. Những phương pháp này giúp doanh nghiệp đưa ra quyết định dựa trên các mô hình dự đoán chính xác.

4.1. Hồi quy logistic

Hồi quy logistic là một phương pháp thống kê dùng để dự đoán xác suất xảy ra của một sự kiện. Kỹ thuật này thường được sử dụng trong tài chính để phân tích rủi ro tín dụng.

4.2. Cây quyết định

Cây quyết định là một công cụ trực quan giúp phân tích và đưa ra quyết định dựa trên các biến đầu vào. Kỹ thuật này giúp doanh nghiệp dễ dàng hiểu và áp dụng các quy tắc trong phân tích dữ liệu.

V. Ứng dụng thực tiễn của phương pháp thống kê trong kinh doanh

Phương pháp thống kê được áp dụng rộng rãi trong nhiều lĩnh vực kinh doanh, từ phân tích thị trường đến quản lý quan hệ khách hàng. Các ứng dụng này không chỉ giúp doanh nghiệp tối ưu hóa quy trình mà còn nâng cao hiệu quả hoạt động. Việc áp dụng các phương pháp thống kê giúp doanh nghiệp đưa ra các quyết định chính xác hơn và nhanh chóng hơn.

5.1. Phân tích thị trường

Phân tích thị trường thông qua các phương pháp thống kê giúp doanh nghiệp hiểu rõ hơn về nhu cầu và hành vi của khách hàng. Điều này giúp tối ưu hóa chiến lược tiếp thị và tăng trưởng doanh thu.

5.2. Quản lý quan hệ khách hàng

Sử dụng các phương pháp thống kê trong quản lý quan hệ khách hàng giúp doanh nghiệp phân tích và dự đoán hành vi của khách hàng, từ đó cải thiện dịch vụ và tăng cường sự hài lòng của khách hàng.

VI. Kết luận và tương lai của phương pháp thống kê trong kinh doanh

Phương pháp thống kê sẽ tiếp tục đóng vai trò quan trọng trong việc ra quyết định trong kinh doanh và tài chính. Với sự phát triển của công nghệ và dữ liệu lớn, các phương pháp thống kê sẽ ngày càng trở nên tinh vi và hiệu quả hơn. Doanh nghiệp cần phải cập nhật và áp dụng các phương pháp mới để duy trì lợi thế cạnh tranh.

6.1. Xu hướng phát triển của thống kê

Trong tương lai, các phương pháp thống kê sẽ ngày càng được cải tiến với sự hỗ trợ của công nghệ thông tin. Việc áp dụng trí tuệ nhân tạo và học máy sẽ giúp nâng cao độ chính xác của các phân tích thống kê.

6.2. Tầm quan trọng của việc đào tạo

Đào tạo nhân lực về thống kê và phân tích dữ liệu sẽ trở thành một yếu tố quan trọng trong việc phát triển doanh nghiệp. Doanh nghiệp cần đầu tư vào đào tạo để nâng cao năng lực phân tích và ra quyết định.

Nội dung chính

Tổng quan nghiên cứu

Trong bối cảnh xã hội hiện đại, lượng dữ liệu được tạo ra ngày càng tăng nhanh, dẫn đến tình trạng "chết ngạt vì dữ liệu" nhưng lại "đói khát về thông tin". Theo ước tính, việc khai thác dữ liệu (Data Mining) trở thành công cụ thiết yếu để chuyển đổi khối lượng lớn dữ liệu thô thành thông tin có giá trị, đặc biệt trong lĩnh vực kinh doanh và tài chính. Luận văn tập trung nghiên cứu các phương pháp thống kê ứng dụng trong khai thác dữ liệu nhằm giải quyết các bài toán thực tiễn trong kinh doanh và tài chính, với phạm vi nghiên cứu chủ yếu dựa trên các mô hình thống kê tuyến tính suy rộng, hồi quy logistic, cây quyết định và mô hình loga tuyến tính.

Mục tiêu cụ thể của nghiên cứu là phân tích, đánh giá và áp dụng các phương pháp thống kê để khai thác dữ liệu trong ba bài toán thực tế: phân tích thị trường qua giỏ hàng, quản lý quan hệ khách hàng và tính điểm tín dụng. Nghiên cứu được thực hiện dựa trên dữ liệu thực tế và kết quả phân tích của các mô hình thống kê, trong đó có sự hỗ trợ của phần mềm thống kê như SAS Enterprise Miner, SPSS, STATA và R. Ý nghĩa của nghiên cứu thể hiện qua việc nâng cao hiệu quả phân tích dữ liệu, hỗ trợ ra quyết định chính xác hơn trong kinh doanh và tài chính, góp phần tăng lợi nhuận và giảm thiểu rủi ro cho doanh nghiệp.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Luận văn dựa trên nền tảng lý thuyết xác suất và thống kê toán học, tập trung vào các mô hình thống kê ứng dụng trong khai thác dữ liệu. Hai lý thuyết chính được áp dụng gồm:

1. Mô hình tuyến tính suy rộng (Generalized Linear Models - GLM): Đây là mô hình mở rộng của mô hình tuyến tính chuẩn, cho phép biến phản ứng có phân phối thuộc họ mũ (như Bernoulli, Poisson). Mô hình bao gồm ba thành phần: thành phần ngẫu nhiên (phân phối biến phản ứng), thành phần hệ thống (tổ hợp tuyến tính các biến giải thích) và hàm liên kết (liên kết giá trị trung bình biến phản ứng với thành phần hệ thống). Các mô hình cụ thể được nghiên cứu gồm hồi quy logistic (dự báo biến nhị thức) và mô hình loga tuyến tính (mô tả sự kết hợp trong bảng sự kiện).

2. Cây quyết định (Decision Trees): Là công cụ phân lớp và hồi quy, cây quyết định phân chia dữ liệu thành các nhóm con dựa trên các biến giải thích nhằm tối đa hóa độ thuần nhất của biến phản ứng trong mỗi nhóm. Luận văn tập trung vào cây CART với các tiêu chuẩn phân chia dựa trên độ đo tính hỗn tạp như chỉ số Gini và Entropy, đồng thời áp dụng các kỹ thuật cắt tỉa để tối ưu hóa cây.

Các khái niệm chuyên ngành quan trọng bao gồm: biến ngẫu nhiên định lượng và định tính, bảng sự kiện đa chiều, các chỉ số đo sự kết hợp (chỉ số Gini, Entropy, tỷ số chênh), thống kê kiểm định tỷ số hợp lý (G²), thống kê Pearson (X²), phần dư độ lệch trong mô hình GLM, và các thuật toán ước lượng hợp lý cực đại.

Phương pháp nghiên cứu

Nguồn dữ liệu nghiên cứu chủ yếu là các bộ dữ liệu thực tế trong lĩnh vực kinh doanh và tài chính, bao gồm dữ liệu giao dịch, dữ liệu khách hàng và dữ liệu tín dụng. Do hạn chế về điều kiện thực hiện, tác giả sử dụng kết quả phân tích và dữ liệu đã được xử lý từ các nghiên cứu trước, đặc biệt là từ tài liệu của Paolo Giudici.

Phương pháp phân tích bao gồm:

• Phân tích thăm dò dữ liệu: Sử dụng các biểu đồ thống kê, phân phối tần số, hộp đồ thị, và các chỉ số thống kê đơn biến và đa biến để hiểu cấu trúc dữ liệu và phát hiện các điểm bất thường.
• Xây dựng và so sánh mô hình thống kê: Áp dụng mô hình hồi quy logistic, mô hình loga tuyến tính, cây quyết định và các quy tắc kết hợp để phân tích ba bài toán ứng dụng. Các mô hình được đánh giá dựa trên các chỉ số như độ lệch G², thống kê Pearson X², ma trận hỗn độn, và các đường cong ROC.
• Timeline nghiên cứu: Quá trình nghiên cứu được thực hiện trong năm 2013, với các bước từ phân tích thăm dò, xây dựng mô hình, đến so sánh và đánh giá mô hình.

Phương pháp chọn mẫu không được trình bày chi tiết do sử dụng dữ liệu thứ cấp. Phân tích dữ liệu được thực hiện bằng các phần mềm thống kê chuyên dụng nhằm đảm bảo tính chính xác và hiệu quả.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

1. Hiệu quả của mô hình loga tuyến tính trong phân tích thị trường qua giỏ hàng: Mô hình loga tuyến tính cho phép phát hiện các quy luật kết hợp giữa các sản phẩm trong giỏ hàng. Ví dụ, tỷ số chênh giữa các cặp sản phẩm có thể lên tới khoảng 2,1, cho thấy sự kết hợp dương mạnh mẽ giữa các sản phẩm được mua cùng nhau. Các quy tắc kết hợp có độ tin cậy cao nhất đạt trên 80%, giúp doanh nghiệp tối ưu hóa chiến lược bán hàng.

2. Ứng dụng hồi quy logistic và cây quyết định trong quản lý quan hệ khách hàng: Mô hình hồi quy logistic và cây phân lớp CART được áp dụng để phân loại khách hàng theo khả năng mang lại lợi nhuận. Kết quả cho thấy cây quyết định có độ chính xác phân lớp tăng lên đến 75% khi số lá cây tăng, trong khi hồi quy logistic cho kết quả ổn định với p-giá trị dưới 0,05 cho các biến giải thích chính. Đường cong ROC của các mô hình đạt giá trị AUC trên 0,7, chứng tỏ khả năng phân biệt tốt giữa các nhóm khách hàng.

3. Tính điểm tín dụng bằng mô hình hồi quy logistic và cây phân lớp: Mô hình hồi quy logistic và cây CART được sử dụng để dự báo rủi ro tín dụng. So sánh các mô hình cho thấy cây CART có ma trận hỗn độn với sai số phân lớp thấp hơn 5% so với hồi quy logistic. Các chỉ số Gini và Entropy cũng phản ánh sự cải thiện trong việc phân loại khách hàng có rủi ro cao.

4. So sánh các phương pháp thống kê: Độ lệch G² và thống kê Pearson X² được sử dụng để đánh giá tính khớp của các mô hình. Mô hình cây quyết định và hồi quy logistic đều cho kết quả phù hợp với dữ liệu, tuy nhiên cây quyết định có ưu thế về tính trực quan và khả năng xử lý biến định tính phức tạp.

Thảo luận kết quả

Nguyên nhân của các phát hiện trên xuất phát từ việc lựa chọn mô hình phù hợp với đặc điểm dữ liệu và mục tiêu phân tích. Mô hình loga tuyến tính phù hợp với dữ liệu bảng sự kiện có số đếm, giúp mô tả mối quan hệ đa chiều giữa các biến định tính. Hồi quy logistic và cây quyết định là các công cụ mạnh trong phân loại và dự báo biến nhị thức, đặc biệt khi dữ liệu có nhiều biến giải thích và biến phản ứng phân loại.

So sánh với các nghiên cứu trong ngành, kết quả phù hợp với báo cáo của các chuyên gia về khai thác dữ liệu trong kinh doanh, khẳng định tính ứng dụng cao của các phương pháp thống kê trong thực tế. Việc sử dụng các chỉ số như tỷ số chênh, chỉ số Gini, và các kiểm định thống kê giúp đánh giá chính xác mức độ phụ thuộc và hiệu quả mô hình.

Dữ liệu có thể được trình bày qua các biểu đồ đường cong ROC, bảng ma trận hỗn độn, biểu đồ phân phối tần số và sơ đồ cây quyết định để minh họa trực quan các kết quả phân tích.

Đề xuất và khuyến nghị

1. Áp dụng mô hình loga tuyến tính để phân tích giỏ hàng: Do khả năng phát hiện các quy luật kết hợp giữa sản phẩm, doanh nghiệp nên triển khai mô hình này để tối ưu hóa chiến lược bán hàng, tăng doanh thu và cải thiện trải nghiệm khách hàng. Thời gian triển khai dự kiến trong 6 tháng, do bộ phận phân tích dữ liệu thực hiện.

2. Sử dụng hồi quy logistic và cây quyết định trong quản lý khách hàng: Các doanh nghiệp tài chính và bán lẻ nên áp dụng các mô hình này để phân loại khách hàng theo mức độ lợi nhuận và rủi ro, từ đó xây dựng chính sách chăm sóc và ưu đãi phù hợp. Khuyến nghị triển khai trong vòng 3-4 tháng với sự phối hợp giữa phòng marketing và phòng phân tích dữ liệu.

3. Tích hợp phần mềm thống kê chuyên dụng: Để nâng cao hiệu quả phân tích, doanh nghiệp cần đầu tư và đào tạo sử dụng các phần mềm như SAS Enterprise Miner, SPSS, R. Việc này giúp tự động hóa quy trình khai thác dữ liệu và nâng cao độ chính xác của mô hình. Thời gian đào tạo và triển khai khoảng 6 tháng.

4. Xây dựng hệ thống giám sát và đánh giá mô hình: Sau khi triển khai các mô hình, cần thiết lập hệ thống theo dõi hiệu suất dự báo và cập nhật mô hình định kỳ để đảm bảo tính chính xác và phù hợp với biến động thị trường. Đề xuất thực hiện hàng quý với sự tham gia của bộ phận phân tích và quản lý.

Đối tượng nên tham khảo luận văn

1. Nhà quản lý doanh nghiệp: Giúp hiểu rõ các phương pháp khai thác dữ liệu và ứng dụng trong ra quyết định kinh doanh, từ đó nâng cao hiệu quả quản lý và tối ưu hóa lợi nhuận.

2. Chuyên viên phân tích dữ liệu và thống kê: Cung cấp kiến thức chuyên sâu về các mô hình thống kê ứng dụng trong khai thác dữ liệu, hỗ trợ phát triển kỹ năng phân tích và xây dựng mô hình dự báo.

3. Giảng viên và sinh viên ngành thống kê, kinh tế, tài chính: Là tài liệu tham khảo quý giá cho việc nghiên cứu và giảng dạy các phương pháp thống kê hiện đại trong kinh doanh và tài chính.

4. Chuyên gia công nghệ thông tin và phát triển phần mềm: Hỗ trợ trong việc thiết kế và phát triển các công cụ khai thác dữ liệu tích hợp các mô hình thống kê, nâng cao khả năng xử lý và phân tích dữ liệu lớn.

Câu hỏi thường gặp

1. Phương pháp thống kê nào phù hợp nhất cho dữ liệu định tính?
   Mô hình loga tuyến tính và cây quyết định là lựa chọn hiệu quả cho dữ liệu định tính, giúp mô tả mối quan hệ và phân loại chính xác. Ví dụ, mô hình loga tuyến tính được dùng để phân tích bảng sự kiện đa chiều.

2. Làm thế nào để đánh giá tính khớp của mô hình hồi quy logistic?
   Có thể sử dụng thống kê kiểm định tỷ số hợp lý (G²), thống kê Pearson (X²) và đường cong ROC với chỉ số AUC để đánh giá. Ví dụ, AUC trên 0,7 cho thấy mô hình có khả năng phân biệt tốt.

3. Cây quyết định có ưu điểm gì so với hồi quy logistic?
   Cây quyết định trực quan, dễ hiểu và xử lý tốt biến định tính phức tạp, đồng thời cung cấp các quy tắc phân lớp rõ ràng. Tuy nhiên, hồi quy logistic có ưu thế về tính toán và suy luận thống kê.

4. Tỷ số chênh (odds ratio) được sử dụng như thế nào trong phân tích?
   Tỷ số chênh đo lường mức độ kết hợp giữa hai biến nhị thức, giúp xác định sự phụ thuộc và hướng của mối quan hệ. Ví dụ, tỷ số chênh lớn hơn 1 biểu thị sự kết hợp dương.

5. Làm sao để lựa chọn mô hình tốt nhất trong khai thác dữ liệu?
   Cần so sánh các mô hình dựa trên các chỉ số thống kê như G², X², ma trận hỗn độn, và đánh giá qua các phần dư, đồng thời cân nhắc tính đơn giản và khả năng dự báo. Quy trình chọn mô hình thường bao gồm thử nghiệm, so sánh và cắt tỉa mô hình.

Kết luận

• Khai thác dữ liệu bằng các phương pháp thống kê như mô hình tuyến tính suy rộng, hồi quy logistic, cây quyết định và mô hình loga tuyến tính là công cụ hiệu quả trong kinh doanh và tài chính.
• Các mô hình này giúp phát hiện quy luật, phân loại khách hàng và dự báo rủi ro tín dụng với độ chính xác cao, hỗ trợ ra quyết định chiến lược.
• Việc lựa chọn và đánh giá mô hình dựa trên các chỉ số thống kê và kiểm định giúp đảm bảo tính hợp lý và hiệu quả của phân tích.
• Đề xuất áp dụng các mô hình này trong doanh nghiệp kèm theo đầu tư phần mềm và đào tạo để nâng cao năng lực phân tích dữ liệu.
• Các bước tiếp theo bao gồm triển khai mô hình thực tế, giám sát hiệu suất và cập nhật mô hình định kỳ nhằm duy trì tính chính xác và phù hợp với biến động thị trường.

Hành động ngay hôm nay: Các nhà quản lý và chuyên gia phân tích dữ liệu nên bắt đầu tích hợp các phương pháp thống kê này vào quy trình ra quyết định để nâng cao hiệu quả kinh doanh và tài chính.

Trích đoạn nội dung tài liệu

lời mở đầu, kết luận và danh mục tài liệu tham khảo: Chƣơng 1: Phân tích dữ liệu thăm dò. Trước khi tìm một mô hình thống kê cho tập dữ liệu, ta phải tiến hành phân tích thăm dò cho từng biến và cho từng cặp biến thông qua các độ đo để sau đó lựa chọn mô hình hợp lý. Chƣơng 2: Các mô hình thống kê. Có nhiều mô hình dùng cho khai thác dữ liệu, trong đó có cả những mô hình thiên về thống kê và những mô hình thiên về tính toán.

Như tôi đã nói ở trên, chương này tôi chi nói về mô hình tuyến tính suy rộng, mô hình hồi quy logistic, cây quyết định (thống kê dự báo), mô hình loga tuyến tính (thống kê mô tả) và quy tắc kết hợp (mô hình địa phương) Chƣơng 3: Một số ứng dụng trong kinh doanh và tài chính. Chương này có ba bài toán thực tế là Phân tích thị trường qua giỏ hàng, Quản lý quan hệ khách hàng và Tính điểm tín dụng (tham khảo thêm ở [6]). Ở đây, tôi chỉ dùng các mô hình trên làm phương pháp phân tích ba bài toán này. Quả thật là việc xử lý dữ liệu phải cần đến các phần mềm thống kê, đặc biệt là phần mềm SAS Enterprise Miner, nhưng thật tiếc là tôi không có điều kiện để làm việc này nên tôi chỉ dùng dữ liệu và kết quả đã phân tích được của Paolo Giudici.

TIEU LUAN MOI download : [e-mail] xiii Luận văn được hoàn thành dưới sự hướng dẫn khoa học của GS. TSKH Đặng Hùng Thắng – giảng viên trường Đại học Khoa học tự nhiên – Đại học Quốc gia Hà Nội. Em xin bày tỏ lòng biết ơn chân thành đến thầy vì sự chỉ bảo của thầy trong suốt thời gian qua giúp em hoàn thành luận văn. Nhân dịp này em cũng xin bày tỏ lòng biết ơn sâu sắc đến các thầy phản biện, những người đã đọc và đóng góp ý kiến để luận văn của em được hoàn thiện hơn.

Cuối cùng, tôi cũng xin cám ơn các cán bộ trường THPT Nam Duyên Hà – Hưng Hà – Thái Bình, sở Giáo dục & Đào tạo tỉnh Thái Bình đã tạo điều kiện về thời gian và kinh phí cho tôi đi học và cám ơn các thầy cô giáo trường Đại học Khoa học tự nhiên đã tận tình giảng dạy, cung cấp những kiến thức toán học để tôi hoàn thiện hơn về chuyên môn. Hà Nội, tháng 5, năm 2013 TIEU LUAN MOI download : [e-mail] xiv Mục lục Chƣơng 1. Phân tích dữ liệu thăm dò………………….1 Phân tích thăm dò đơn biến……………………………….3 Các độ đo về tính bất đối xứng………………………….4 Nhị phân hóa một biến định tính………………….2 Phân tích thăm dò hai biến…………………………………….3 Phân tích thăm dò dữ liệu định tính nhiều biến……………… 7 1.1 Độc lập và liên kết……………………………………… 8 1.3 Các độ đo sự phụ thuộc…………………………… …… 11 1.4 Các độ đo dựa trên mô hình………………………. Các mô hình thống kê………………….1 Thống kê dự báo……………………………………….1 Mô hình tuyến tính suy rộng……………………… …… 17 2.2 Mô hình hồi quy logistic……………………….3 Cây quyết định…………………………………….2 Thống kê mô tả…………………………………………….

…… 32 Mô hình loga tuyến tính cho bảng sự kiện……………….3 Mô hình địa phƣơng………………………………………. …… 40 Quy tắc kết hợp………………………………………….4 So sánh mô hình…………………………………………… …… 45 TIEU LUAN MOI download : [e-mail] xv Chƣơng 3. Một số ứng dụng trong kinh doanh và tài chính…………………………………………….1 Ứng dụng 1: Phân tích thị trƣờng qua giỏ hàng……….1 Mục tiêu phân tích………………………………….2 Mô tả dữ liệu…………………………………………….3 Phân tích dữ liệu thăm dò……………………….4 Xây dựng mô hình………………………………….1 Các mô hình loga tuyến tính……………… …… 55 3.2 Các quy tắc kết hợp…………………….5 So sánh mô hình…………………………………… …… 63 3.2 Ứng dụng 2: Quản lý quan hệ khách hàng…………….1 Mục tiêu phân tích……………………………….2 Mô tả dữ liệu…………………………………………….3 Phân tích dữ liệu thăm dò……………………………….4 Xây dựng mô hình……………………………….1 Các mô hình hồi quy logistic…………………… 70 3.2 Các mô hình cây phân lớp……………………… 71 3.5 So sánh mô hình……………………………………….3 Ứng dụng 3: Tính điểm tín dụng……………………………… 79 3.1 Mục tiêu phân tích……………………………………….2 Mô tả dữ liệu…………………………………………….3 Phân tích dữ liệu thăm dò…………………….4 Xây dựng mô hình……………………………………….1 Các mô hình hồi quy logistic…………………… 85 TIEU LUAN MOI download : skknchat@gmail.2 Các mô hình cây phân lớp……………………… 89 3.5 So sánh mô hình………………………………………… 98 Kết luận…………………………………………………. 101 Tài liệu tham khảo……………………………………….

102 TIEU LUAN MOI download : [e-mail] xvii Danh mục các hình Hình 1.1 Các biểu đồ thống kê mô tả các phân phối .2 Hộp đồ thị ……………………………………………………… 4 Hình 1.3 Ví dụ về đồ thị phân tán .4 Ví dụ về ma trận đồ thị phân tán .1 Minh họa về cây quyết định …………………………………… 27 Hình 2.2 Ví dụ về cây CART ……………………………………….3a Mối quan hệ giữa các mô hình loga tuyến tính cơ bản cho bảng 3 chiều …………………………………………….3b Mối quan hệ giữa các mô hình loga tuyến tính cơ bản cho bảng 3 chiều …………………………………………….4 Ví dụ về đường cong ROC …………………………………….1 Đồ thị thể hiện những sự kết hợp dương mạnh giữa các sản phẩm .2 Phân phối điều kiện của (a) First amount spent và (b) products at first order (numb) đối với các mức của Y .3 Sự biến thiên của độ chính xác phân lớp cho cây phân lớp khi số lá tăng …………………………………………………… 72 Hình 3.4 Sơ đồ cây CART cho bài toán .5 Các đường cong ROC cho các mô hình được xét …………….6 Các đường cong ROC cho các mô hình cuối cùng. 100 TIEU LUAN MOI download : [e-mail] xviii Danh mục các bảng Bảng 1.1 Phân phối tần số cho một biến định tính ……….2 Bảng sự kiện 2 chiều lý thuyết ………………….3 Ví dụ về các độ đo khoảng cách……………………………….4 Bảng sự kiện quan sát giữa các trang catalog và windows ……… 15 Bảng 2.1 Các kiểu mô hình tuyến tính suy rộng …………….2 Ma trận hỗn độn ………………………………………………….1 Các loại sản phẩm được xét và các số đếm tần số tương ứng …… 49 Bảng 3.2 Tập dữ liệu giao dịch …………………………………………….3 Cơ sở dữ liệu chủ thẻ …………………………………………….4 Ví dụ về bảng sự kiện 2 chiều và tính toán các tỷ số chênh …….5 Các tỷ số chênh lớn nhất giữa các cặp sản phẩm và khoảng tin cậy tương ứng …………………………………………….6 Các ước lượng hợp lý cực đại của các tham số loga tuyến tính .7 Các quy tắc kết hợp có giá cao nhất ………………………….8 Các quy tắc kết hợp có độ tin cậy cao nhất ………………….9 Các quy tắc kết hợp lên tới cấp 3 được sắp xếp theo giá ……….10 Các quy tắc kết hợp cấp 4 được sắp xếp theo độ tin cậy ……….11 Danh sách các biến về khách hàng ………………………….12 Phân phối của biến phản ứng ………………………………….13 Phân phối điều kiện của biến phản ứng trên các biến giải thích xã hội nhân khẩu học ………………………………………….14 Bảng sự kiện phân lớp biến phản ứng và biến trả góp …………… 68 Bảng 3.15 Ma trận dữ liệu được xét …………………………………………. 70 TIEU LUAN MOI download : [e-mail] xix Bảng 3.16 Mô hình hồi quy logistic được chọn .17 Các quy tắc cho cây phân lớp ………………………………….18 Ma trận hỗn độn cho mô hình hồi quy logistic ……………….19 Ma trận hỗn độn cho cây phân lớp CART …………………….20 So sánh tóm tắt của các sai số lỗi phân lớp ……………………….21 So sánh các chỉ số Gini về hiệu suất …………………………….22 Cấu trúc của ma trận dữ liệu …………………………………….23 Phân lớp biến deadline …………………………………………… 81 Bảng 3.24 Phân lớp biến account …………………………………………….25 Phân lớp các biến sex và marital status ……………………….26 Các tỷ số chênh một chiều với biến phản ứng ………………….27 Giải thích các tỷ số chênh ……………………………………….28 Kết quả của quy trình lựa chọn tiến lên ………………………….29 Ước lượng hợp lý cực đại của các tham số ……………………….30 Giải thích mô hình ước lượng …………………………………….31 So sánh giữa các tỷ số chênh một chiều và các tỷ số chênh nhiều chiều ……………………………………………………….32 Các kết quả cho cây phân lớp CART với tạp chất Gini ………….33 Các kết quả cho cây phân lớp CART với tạp chất Entropy. 94 TIEU LUAN MOI download : [e-mail] xx Chƣơng 1 Phân tích dữ liệu thăm dò Thực tế phần lớn dữ liệu là các biến ngẫu nhiên và vectơ ngẫu nhiên.

Biến ngẫu nhiên được chia thành các loại sau: biến định lượng (liên tục, rời rạc) và biến định tính (thứ tự, định danh – biến định tính không có thứ tự). Các biến định lượng rời rạc và các biến định tính được gọi chung là các biến phân hạng (categorical), các kết quả có thể xảy ra của biến được gọi là các mức. Trong luận văn này phần lớn chỉ nói đến các biến phân hạng, đặc biệt là biến nhị thức. Đối với các dữ liệu ở dạng biến định lượng liên tục thường được rời rạc hóa thành các biến định lượng rời rạc.

Kiến thức về các biến ngẫu nhiên, vectơ ngẫu nhiên liên tục được xem là đã biết trước nên lý thuyết của nó không được trình bày trong luận văn này. Để biết thêm chi tiết, hãy xem [11].1 Phân tích thăm dò đơn biến Việc phân tích các biến một cách đơn lẻ là một bước quan trọng trong phân tích sơ bộ dữ liệu; nó có thể thu thập thông tin quan trọng cho phân tích đa biến và việc mô hình hóa sau này. Các công cụ chính của phân tích thăm dò đơn biến là những biểu diễn đồ thị và một loạt các chỉ số tóm tắt. Những biểu diễn đồ thị sẽ khác nhau tùy theo kiểu dữ liệu.

Các biểu đồ cột và biểu đồ hình tròn phổ biến được sử dụng cho dữ liệu định danh. Các biểu đồ tần số thường được sử dụng để biểu diễn các biến định tính thứ tự và các biến định lượng rời rạc – ở đó các mức được sắp thứ tự trên trục hoành. Để có được một phân phối tần số cho các biến định lượng liên tục đầu tiên ta phải rời rạc hóa các biến theo các khoảng lớp, bắt đầu bằng việc thiết lập độ rộng mỗi khoảng. Thông thường quy ước là lấy các khoảng có độ rộng không đổi hoặc các khoảng có độ rộng khác nhau nhưng với cùng một tần số (đẳng tần).

Biểu diễn đồ thị của các biến liên tục được tái phân loại thành TIEU LUAN MOI download : [e-mail] xxi các khoảng lớp là biểu đồ thống kê. Để xây dựng một biểu đồ thống kê thì các khoảng được chọn phải được bố trí dọc theo trục hoành. Ta đã biết cách biểu diễn đồ thị của một phân phối đơn biến. Tuy nhiên đôi khi chúng ta cần tóm tắt hơn nữa tất cả các quan sát; do đó cần xây dựng các chỉ số thống kê thích hợp để tóm tắt những khía cạnh quan trọng của các quan sát.

Các chỉ số thống kê một chiều có thể được phân loại thành các chỉ số về vị trí, sự phân tán, tính bất đối xứng,.1 Độ đo vị trí Tôi sẽ không viết lại định nghĩa các độ đo này. Giá trị trung bình Tính toán được cho các biến định lượng. Mode Tính toán được trên tất cả các loại biến. Với các biến phân hạng thì mode là mức có tần số lớn nhất.

Trung vị và các điểm phân vị Không dùng cho dữ liệu định danh.