Phân Tích và Dự Đoán Thu Nhập Cá Nhân Qua Dữ Liệu Adult

Đồ án nghiên cứu đồ án học phần khoa học dữ liệu đề tài phân tích và dự báo bộ dữ liệu adult trên ứng dụng orange, thiết kế chi tiết, tính toán kỹ thuật theo tiêu chuẩn, đánh giá

Chuyên ngành

Kinh Tế

Người đăng

Ẩn danh

Thể loại

Đề Tài Tốt Nghiệp

2023

78
6
0

Phí lưu trữ

30 Point

Mục lục chi tiết

1. CHƯƠNG 1: GIỚI THIỆU ĐỀ TÀI

1.1. LÝ DO CHỌN ĐỀ TÀI

1.2. THU NHẬP LÀ GÌ?

1.3. MỤC TIÊU NGHIÊN CỨU

2. CHƯƠNG 2: TỔNG QUAN VỀ CHƯƠNG TRÌNH SỬ DỤNG VÀ CÁC PHƯƠNG PHÁP SỬ DỤNG

2.1. CÁC PHƯƠNG PHÁP CỦA EXCEL DÙNG ĐỂ KHAI THÁC DỮ

2.1.1. Phương pháp thống kê mô tả

2.1.2. Phương pháp về phân tích dự báo

2.1.3. Phương pháp phân tích tối ưu

2.2. CÁC PHƯƠNG PHÁP TRONG PHẦN MỀM

2.2.1. Phương pháp phân cụm dữ liệu

2.2.2. Phương pháp phân lớp dữ liệu

2.2.3. Các phương nhận đánh giá mô hình phân lớp

3. CHƯƠNG 3: ỨNG DỤNG PHƯƠNG PHÁP VÀO BÀI TOÁN THỰC TẾ

3.1. PHÂN TÍCH DỮ LIỆU EMPLOYEE ATTRITION

3.1.1. Tiền xử lý dữ liệu

3.1.2. Mô tả dữ liệu Employee Attrition

3.1.3. Thống kê mô tả dữ liệu

3.2. PHÂN CỤM DỮ LIỆU

3.2.1. Một số phương pháp phân cụm

3.2.2. Kết quả xây dựng mô hình

3.2.3. Trích xuất dữ liệu và So sánh với nhãn hiện có

3.3. PHÂN LỚP DỮ LIỆU

3.3.1. Một số phương pháp phân lớp

3.3.2. Kết quả xây dựng mô hình

3.4. ĐÁNH GIÁ KẾT QUẢ MÔ HÌNH

4. CHƯƠNG 4: KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN

4.1. NHỮNG CÔNG VIỆC ĐÃ THỰC HIỆN

4.2. HƯỚNG PHÁT TRIỂN

TÀI LIỆU THAM KHẢO

Tóm tắt

I. Giới thiệu về Phân Tích và Dự Đoán Thu Nhập Cá Nhân

Phân tích và dự đoán thu nhập cá nhân là một lĩnh vực quan trọng trong nghiên cứu kinh tế và xã hội. Bộ dữ liệu Adult cung cấp thông tin quý giá để hiểu rõ hơn về các yếu tố ảnh hưởng đến thu nhập của cá nhân. Việc phân tích này không chỉ giúp xác định mức thu nhập mà còn chỉ ra các yếu tố quyết định như trình độ học vấn, nghề nghiệp và vị trí địa lý.

1.1. Tầm quan trọng của việc phân tích thu nhập cá nhân

Phân tích thu nhập cá nhân giúp nhận diện sự chênh lệch thu nhập trong xã hội. Điều này có thể ảnh hưởng đến các chính sách kinh tế và xã hội, từ đó cải thiện chất lượng cuộc sống cho người dân.

1.2. Mục tiêu nghiên cứu với dữ liệu Adult

Mục tiêu chính là xác định các yếu tố ảnh hưởng đến khả năng kiếm được trên 50 nghìn đô la một năm. Nghiên cứu này sẽ cung cấp cái nhìn sâu sắc về sự phân bố thu nhập trong xã hội.

II. Vấn đề và Thách thức trong Phân Tích Thu Nhập

Một trong những thách thức lớn trong phân tích thu nhập cá nhân là sự thiếu hụt dữ liệu và độ chính xác của các thông tin thu thập được. Các yếu tố như độ tuổi, giới tính và trình độ học vấn có thể không được ghi nhận đầy đủ, dẫn đến kết quả phân tích không chính xác.

2.1. Thiếu hụt dữ liệu trong bộ dữ liệu Adult

Bộ dữ liệu Adult có thể chứa các giá trị thiếu, điều này ảnh hưởng đến độ tin cậy của các mô hình phân tích. Việc xử lý dữ liệu thiếu là rất cần thiết để đảm bảo kết quả chính xác.

2.2. Độ chính xác của các yếu tố ảnh hưởng

Các yếu tố như nghề nghiệp và trình độ học vấn có thể không phản ánh đúng thực tế. Cần có các phương pháp phân tích mạnh mẽ để xác định chính xác các yếu tố này.

III. Phương Pháp Phân Tích Dữ Liệu Hiệu Quả

Để phân tích thu nhập cá nhân, có nhiều phương pháp khác nhau có thể được áp dụng. Các phương pháp này bao gồm hồi quy, phân cụm và phân lớp, mỗi phương pháp đều có ưu điểm và nhược điểm riêng.

3.1. Phương pháp hồi quy trong phân tích thu nhập

Hồi quy là một trong những phương pháp phổ biến nhất để dự đoán thu nhập. Nó giúp xác định mối quan hệ giữa thu nhập và các yếu tố khác như trình độ học vấn và kinh nghiệm làm việc.

3.2. Phân cụm dữ liệu để nhận diện nhóm người có thu nhập cao

Phân cụm giúp nhóm các cá nhân có đặc điểm tương tự nhau, từ đó dễ dàng nhận diện các nhóm có khả năng kiếm thu nhập cao hơn.

3.3. Phân lớp dữ liệu để dự đoán thu nhập

Phân lớp sử dụng các thuật toán như cây quyết định và hồi quy logistic để phân loại cá nhân vào các nhóm thu nhập khác nhau, giúp dự đoán chính xác hơn.

IV. Ứng Dụng Thực Tiễn của Phân Tích Thu Nhập

Kết quả từ phân tích thu nhập cá nhân có thể được ứng dụng trong nhiều lĩnh vực khác nhau, từ chính sách kinh tế đến giáo dục và y tế. Việc hiểu rõ các yếu tố ảnh hưởng đến thu nhập giúp xây dựng các chương trình hỗ trợ hiệu quả hơn.

4.1. Ứng dụng trong chính sách kinh tế

Các chính sách thuế và hỗ trợ xã hội có thể được điều chỉnh dựa trên kết quả phân tích thu nhập, nhằm giảm thiểu sự chênh lệch thu nhập trong xã hội.

4.2. Ứng dụng trong giáo dục và đào tạo

Phân tích thu nhập giúp xác định các nhóm cần được hỗ trợ trong giáo dục, từ đó cải thiện cơ hội việc làm và thu nhập cho họ.

V. Kết Luận và Hướng Phát Triển Tương Lai

Phân tích và dự đoán thu nhập cá nhân là một lĩnh vực nghiên cứu quan trọng, có thể giúp cải thiện chất lượng cuộc sống cho nhiều người. Hướng phát triển tương lai có thể bao gồm việc áp dụng công nghệ mới và các phương pháp phân tích tiên tiến hơn.

5.1. Tương lai của phân tích thu nhập cá nhân

Với sự phát triển của công nghệ, việc phân tích thu nhập cá nhân sẽ trở nên chính xác và hiệu quả hơn, giúp đưa ra các quyết định chính sách tốt hơn.

5.2. Các nghiên cứu tiếp theo cần thực hiện

Cần có thêm nhiều nghiên cứu để hiểu rõ hơn về các yếu tố ảnh hưởng đến thu nhập, từ đó phát triển các giải pháp hỗ trợ hiệu quả hơn cho các nhóm yếu thế trong xã hội.

10/07/2025
Báo cáo đồ án học phần khoa học dữ liệu đề tài phân tích và dự báo bộ dữ liệu adult trên ứng dụng orange

Trích đoạn nội dung tài liệu

CHƯƠNG 1: GIỚI THIỆU ĐỀ TÀI 1.1 Lý do chọn đề tài Tự đánh giá tình hình thu nhập cá nhân là một khía cạnh quan trọng trong cuộc sống, và bộ dữ liệu Adult trong phần mềm Orange nghiên cứu xem một người có kiếm được trên 50 nghìn đô la một năm hay không đã đem lại cơ hội thú vị để nghiên cứu và đo lường sự phân bố thu nhập trong xã hội. Điều này không chỉ giúp chúng ta hiểu rõ hơn về sự chênh lệch thu nhập giữa các cá nhân mà còn có thể hiểu rõ hơn các yếu tố ảnh hưởng đến sự đạt được mức thu nhập cao hơn. Thu nhập không chỉ đơn thuần là số tiền mà một người kiếm được, mà còn là một chỉ số quan trọng thể hiện khả năng kinh tế và cơ hội trong cuộc sống. Việc xác định xem một người có kiếm được trên 50 nghìn đô la một năm hay không ảnh hưởng đến quyền lợi của họ, ví dụ như khả năng tiếp cận giáo dục chất lượng cao, chăm sóc sức khỏe tốt hơn, và có một chất lượng cuộc sống tốt hơn nói chung.

Điều này làm cho đề tài này trở nên quan trọng hơn bao giờ hết trong bối cảnh của sự phân bố thu nhập ngày càng không cân đối. Ngoài ra, việc nghiên cứu về thu nhập cũng có thể giúp xác định các vấn đề liên quan đến chính trị và chính sách kinh tế. Các quyết định về thuế thu nhập, bảo hiểm xã hội, và các biện pháp hỗ trợ xã hội dựa trên những thông tin được thu thập từ bộ dữ liệu này có thể có tác động sâu rộng đến cuộc sống của người dân. Cuối cùng, việc sử dụng công nghệ và phân tích dữ liệu để nghiên cứu về thu nhập cá nhân có thể đem lại cái nhìn toàn diện hơn về những thách thức và cơ hội trong xã hội hiện đại.

Điều này sẽ giúp chúng ta tạo ra các giải pháp tốt hơn để xây dựng một xã hội công bằng và cải thiện cuộc sống cho tất cả mọi người. 5 Nhận thức được tính cấp thiết của thu nhập trong cuộc sống, nhóm chúng em đã chọn bộ dữ liệu Adult trong phần mềm Orange là đề tài nghiên cứu của dự án kết thúc học phần.2 Thu nhập là gì? Thu nhập là tổng giá trị của các tài sản, tiền bạc, hoặc giá trị kinh tế mà một người hoặc một hộ gia đình kiếm được trong một khoảng thời gian nhất định, thường tính bằng tiền mặt hoặc giá trị tương đương. Thu nhập có thể bao gồm nhiều nguồn khác nhau, và nó thường được sử dụng để đánh giá khả năng kinh tế của cá nhân hoặc hộ gia đình.3 Mục tiêu nghiên cứu ● Nghiên cứu các yếu tố ảnh hưởng đến thu nhập ● Những yếu tố có tác động đáng kể đến thu nhập ● Đưa ra kết luận và hướng giải quyết phù hợp để tăng thu nhập. CHƯƠNG 2: TỔNG QUAN VỀ CHƯƠNG TRÌNH SỬ DỤNG VÀ CÁC PHƯƠNG PHÁP SỬ DỤNG 2.1 CÁC PHƯƠNG PHÁP CỦA EXCEL DÙNG ĐỂ KHAI THÁC DỮ 2.1 Phương pháp thống kê mô tả 2.1 Thống kê bằng phương pháp Descriptive Statistics Cách thực hiện: Bước 1: Chuẩn bị bảng số liệu cần thống kê Bước 2: Chọn lệnh Data ➔ Data Analysis ➔ Descriptive Statistics, xuất hiện hộp thoại Descriptive Statistics.

Bước 3: Nhập các thông số Input và lựa chọn các thông số Output Options. Ví dụ: Thống kê mô tả số lượng thịt heo (kg) bán được trong tháng 03 tại siêu thị ABC. 6 Bảng 1: Thống kê mô tả cho lượng thịt heo trong tháng 03 tại siêu thị ABC và hộp thoại Descriptive Statistics Sau khi hộp thoại Descriptive Statistics xuất hiện, nhập vào Input Range là cột chứa dữ liệu về số lượng của Thịt heo (kg), ở ô Output Range chọn ô xuất kết quả dữ liệu, tích vào ô Summary Statistics và Confidence Level là 95%. Sau đó nhấn OK.

Ta được kết quả như hình 1 gồm các giá trị như Mean: giá trị trung bình, Standard Error: sai số chuẩn, Median: trung vị,… 7 Hình 1: Bảng kết quả thống kê bằng công cụ Descriptive Statistics 2.2 Báo cáo tổng hợp nhóm với Subtotal - Chức năng của Subtotal:  Cho phép hợp nhất nhóm từng nhóm dữ liệu của các cột kiểu số trong cơ sở dữ liệu như: tìm nhóm, tìm số lớn nhất, số nhỏ nhất, số trung bình.  Kết quả tổng hợp được đặt trên hoặc dưới mỗi nhóm. - Cách thực hiện: Bước l: Sắp xếp data theo cột gom nhóm Bước 2: Chọn toàn bộ cơ sở dữ liệu Bước 3: Chọn data  Outline  Subtotal, xuất hiện hộp thoại Subtotal Ví dụ: Cần thống kê tổng số tiền mà mỗi nhân viên thực hiện 8 Hình 2: Bảng dữ liệu của nhân viên Hình 3: Hộp thoại Subtotal 9 Trong hộp thoại Subtotal, chọn cột cần gom nhóm (At each change in) là Salesperson, chọn hàm thống kê Use function là Sum, chon cột thống kê giá trị Add Subtotal to là Order Amount. Sau đó ta được kết quả bảng tổng hợp số tiền mà mỗi nhân viên thực hiện Hình 4: Bảng tổng hợp số tiền mà mỗi nhân viên thực hiện 2.3 Hợp nhất dữ liệu với Consolidate Chức năng: Cho phép cập nhật dữ liệu từ những bảng dữ liệu khác nhau.

consolidate có thể hợp nhất dữ liệu dưới 2 hình thức  Tổng hợp theo vị trí: Các bảng dữ liệu giống nhau về cấu trúc.  Tổng hợp theo hạng mục (theo hàng và cột): Các bảng dữ liệu khác nhau về cấu trúc. Cách thực hiện :  Bước 1 : Chọn vùng sẽ chứa dữ liệu được hợp nhất.  Bước 2: Chon Data-> Data Tools -> Consolidate, xuật hiện hộp thoại Consolidate.

Ví dụ: Hợp nhất doanh thu của 3 cửa hàng 10 Hình 5: Doanh thu của 3 cửa hàng Hình 6: Hộp thoại của Consolidate 11 Hình 7: Hợp nhất doanh thu của 3 cửa hàng 2.4 Tổng hợp đa chiều với Pivot Table Chức năng: Pivot Table giúp tổng hợp và phân tích dữ liệu với nhiếu góc độ và nhiều cấp độ khác nhau. Cách thưc hiện Bước 1: Click vào ô bất kỳ trên cơ sở dữ liệu Buớc 2: Chọn lệnh Insert -> PivotTable Bước 3: Xuất hiện họp thoại Create Pivot table. Chọn dữ liệu nguồn và nơi chứa Pivot Table, click nút Ok. Bước 4: Drag các tên Field từ PivotTable Fields vào 4 khu vực Filters, Rows, Columns Values.

Ví dụ: Hình 8: Hộp thoại Create Pivot Table 12 Chú thích các chức năng trong hộp thoại Create PivotTable: Ở phần Select a table or range:  Table/Range: vùng dữ liệu muốn thống kê Ở phần Choose where you want the PivotTable to be placed:  New Worksheet: kết quả sẽ xuất hiện ở một trang tính mới  Existing Worksheet: kết quả xuất hiện ở trang tính đang làm việc  Location: vị trí muốn tạo bảng PivotTable Hình 9: Kết quả tổng hợp đa chiều với Pivot Table 13 Hình 10: PivotTable Fields” Hình 11: Kết quả tổng hợp đa chiều với PivotTable 2.2 Phương pháp về phân tích dự báo 2.1 Phương pháp trung bình trượt (Moving Average) Cách thực hiện 14 Bước l: Chuẩn bị bảng số liệu cần báo Bước 2: Select command Data -> Data Analysis -> Moving Average Bước 3: Khai báo các tùy chọn đầu vào và đầu ra Ví dụ: Dự báo số liệu bán thịt bò của siêu thị ABC Hình 12: Số liệu bán hàng và hộp thoại Moving Average 2.2 Phương pháp san bằng mũ Cách thực hiện: Bước l : Chuẩn bi bảng số liệu có thể báo cáo Bước 2: Chọn lệnh Data -> Data Analysis -> Exponential Smoothing, xuất hiện hộp thoại Exponential Smoothing Bước 3: Khai báo các thông số Input và Output Options Ví dụ: Dự báo số liệu thịt bò tại siêu thi ABC có hệ số điều chỉnh bằng 0,3 15 Hình 13: Số liệu bán thịt bò và hộp thoại Exponential Smoothing Input Range la cột dữ liệu cần dự báo. Hệ số cân bằng Damping Factor hoặc là a=0. Ta có hệ số điều chỉnh là 0,3, ngày 17 lượng thịt bò là 29,8kg 2.3 Phương pháp hồi quy Regression - Phân tích hồi quy là nghiên cứu sự phụ thuộc của một biến (biến phụ thuộc hay còn gọi là biến được giải thích) vào một hay nhiều biến khác (biến độc lập hay còn gọi là biến giải thích) - Phương trình hồi quy có dạng tổng quát: Y = f(X1,X2,…,Xn) Trong đó: Y: là biến phụ thuộc (dependent variable) Xi: là các biến độc lập (independent variable) Cách thực hiện bằng Excel: Bước l: Cho bảng số liệu cần dự báo Bước 2: Chọn lệnh Data -> Data Analysis ->Regression. Xuất hiện hộp thoại Regression Bước 3: Khai báo các thông số Input và Output Options.

16 Ví dụ: Tác động của chi phí lên doanh thu Hình 14: Hộp thoại của Regression Input Y Range là cột Doanh thu , Input Y Range là cột Chi phí. Độ tin cậy hồi quy Confidence Level là 95%.813 17 Hình 15: Bảng kết quả hồi quy 2.3 Phương pháp phân tích tối ưu Ví dụ: Một nhà quản lý Dự án nông nghiệp muốn lựa chọn phương án trồng trọt bao nhiêu tân lúa mì và lúa gạo để tối đa hóa lợi nhuận của dự án trên các số liệu sau: Số liệu đầu vào đối với Loại sản phẩm Khả năng lớn nhất của một đơn vị sản phẩm Lúa gạo Lúa mì nguồn tài nguyên sẵn có Diện tích đất (ha/tấn) 2 3 50 ha Lượng nước (�� /�ấ�) 6 4 90 m3 Nhân công (người/ tấn) 15 12 250 người Lợi nhuận (USD/tấn) 18 21 Bảng 2: Bảng số liệu của dự án Các bước thiết lập mô hình: Bước 1: Xác định các biến quyết định Gọi x1, x2 lần lượt là lượng lúa gạo và lúa mì (tấn) cần sản xuất Bước 2: Xác định hàm mục tiêu 18 Mục tiêu của bài toán là tối đa hóa lợi nhuận, ta có: P= P(lúa gạo) + P(lúa mì) = 18x1 +21x2 tối đa Bước 3: Xác định ràng buộc ràng buộc hệ thống Ràng buộc tài nguyên sừ dụng: Về diện tích đất: 2x1 + 3x2 <= 50 Về nước tưới : 6x1 + 4x2 < 90 Về lao động: 15x1 + 12x2 <=250 Ràng buộc tự nhiên: x1, x2 >=0 Công cụ Solver để giải mô hình kinh tế Bước 1: Thiết lập bảng tính Hình 16: Thiết lập bảng tính Giả định biển xl, x2 bằng 1, nhập các hệ thống buộc phải tương ứng với phép đo lường, định mức, nhân công. Sau đó, sử dụng hàm SUMPRODUCT đê tính các giá trị để khởi động lại quá trình khởi động. Bước 2: Chọn lệnh Data -> Data Analysis -> Solver 19 Hình 17: Hộp thoại Slover Parameter Nhập ô chứa mục tiêu Set Objective là ô sẽ chứa lợi nhuận tối đa E5.

Đến Max vì đây là bài toán tối đa hóa lợi nhuận. By Changing Variable Cells, nhập ô chứa các biên quyết định, trong trường hợp này là C4 và D4. Nhập các ràng buộc buộc cách nhập Add in Subject to the Constraints.

Nội dung được bảo vệ bản quyền — Tải xuống đầy đủ

Tài liệu Phân Tích và Dự Đoán Thu Nhập Cá Nhân Qua Dữ Liệu Adult là một nghiên cứu điển hình về ứng dụng học máy để giải quyết bài toán xã hội học, cụ thể là dự báo mức thu nhập. Người đọc sẽ hiểu rõ quy trình từ xử lý dữ liệu, lựa chọn mô hình đến đánh giá hiệu quả, qua đó nắm bắt được cách biến dữ liệu thô thành những dự đoán có giá trị, một kỹ năng cốt lõi trong lĩnh vực khoa học dữ liệu.

Việc phân tích dữ liệu không chỉ dừng lại ở dự đoán. Để có cái nhìn toàn diện hơn về lĩnh vực này, bạn có thể tìm hiểu sâu hơn về các kỹ thuật khai phá dữ liệu khác. Ví dụ, nghiên cứu Luận văn thạc sĩ khoa học máy tính nghiên cứu cải tiến các thuật toán gom cụm mờ và xây dựng ứng dụng khai phá dữ liệu trong cơ sở dữ liệu erp doanh nghiệp dược phẩm sẽ cho bạn thấy cách các thuật toán gom cụm được áp dụng để phân nhóm đối tượng trong một bối cảnh thực tế là quản trị doanh nghiệp. Bên cạnh đó, để khám phá các mối liên hệ ẩn trong dữ liệu, chẳng hạn như thói quen mua sắm, công trình Luận văn nghiên cứu tập mục thường xuyên và luật kết hợp sẽ là một tài liệu tham khảo tuyệt vời, giúp bạn hiểu rõ về luật kết hợp – một trong những kỹ thuật khai phá dữ liệu quan trọng nhất. Mỗi tài liệu này mở ra một hướng tiếp cận khác nhau, giúp bạn xây dựng một nền tảng kiến thức vững chắc và đa dạng hơn.