Phân Tích Dữ Liệu Nhân Sự: Dự Đoán Khả Năng Rời Bỏ Nhân Viên Qua Phần Mềm Orange

Trong bối cảnh cạnh tranh nhân tài gay gắt, việc giữ chân nhân viên giỏi đã trở thành ưu tiên hàng đầu của… 54 trang · Trường Đại Học Kinh Tế Quốc Dân · 2023.

• Trường học: Trường Đại Học Kinh Tế Quốc Dân
• Chuyên ngành: Phân Tích Dữ Liệu
• Đề tài: Phân Tích Dữ Liệu Nhân Sự: Dự Đoán Khả Năng Rời Bỏ Nhân Viên Qua Phần Mềm Orange
• Loại tài liệu: Đồ Án Tốt Nghiệp
• Năm xuất bản: 2023
• Địa điểm: Hà Nội

Mục lục chi tiết

• DANH MỤC HÌNH ẢNH
• MỤC LỤC BẢNG BIỂU
• DANH MỤC VIẾT TẮT
• BẢNG PHÂN CÔNG CÁC THÀNH VIÊN
• LỜI MỞ ĐẦU
• 1. Chương 1: GIỚI THIỆU VỀ KHOA HỌC DỮ LIỆU VÀ GIỚI THIỆU ĐỀ TÀI
• 1.1. Giới thiệu về khoa học dữ liệu
• 1.2. Giới thiệu về đề tài
• 1.2.1. Lý do chọn đề tài
• 1.2.2. Mục tiêu nghiên cứu
• 1.2.3. Phương pháp thực hiện
• 2. Chương 2: TỔNG QUAN VỀ CHƯƠNG TRÌNH SỬ DỤNG VÀ CÁC PHƯƠNG PHÁP SỬ DỤNG
• 2.1. Các phương pháp của Excel dùng để khai thác dữ liệu
• 2.1.1. Phương pháp thống kê mô tả
• 2.1.2. Phương pháp về phân tích dự báo
• 2.1.3. Phương pháp phân tích tối ưu
• 2.2. Phần mềm orange
• 2.2.1. Tổng quan về phần mềm orange
• 2.2.2. Phương pháp phân cụm dữ liệu
• 2.2.3. Phương pháp phân lớp dữ liệu
• 3. Chương 3: ỨNG DỤNG PHƯƠNG PHÁP VÀO BÀI TOÁN THỰC TẾ
• 3.1. Phân tích dữ liệu Employee Attrition
• 3.1.1. Tiền xử lý dữ liệu Employee Attrition
• 3.1.2. Mô tả dữ liệu Employee Attrition
• 3.2. Phân lớp dữ liệu
• 3.2.1. Các phương pháp phân lớp
• 3.2.2. Các bước phân lớp dữ liệu
• 4. Chương 4: ĐÁNH GIÁ KẾT QUẢ CỦA MÔ HÌNH
• KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN
• Những công việc đã thực hiện
• Hướng phát triển
• TÀI LIỆU THAM KHẢO

Tóm tắt

I. Khám Phá Khoa Học Dữ Liệu Trong Phân Tích Nhân Sự

Trong bối cảnh cạnh tranh nhân tài gay gắt, việc giữ chân nhân viên giỏi đã trở thành ưu tiên hàng đầu của mọi doanh nghiệp. Tỷ lệ nhân viên rời bỏ (employee attrition) cao không chỉ gây tốn kém chi phí tuyển dụng, đào tạo mà còn ảnh hưởng tiêu cực đến tinh thần làm việc và hiệu suất chung. Đây là lúc khoa học dữ liệu phát huy vai trò của mình. Bằng cách áp dụng các kỹ thuật phân tích tiên tiến, phòng nhân sự có thể chuyển đổi từ việc phản ứng thụ động sang chủ động dự báo các xu hướng. Phân tích dữ liệu nhân sự giúp khám phá những yếu-tố-ngầm ảnh hưởng đến quyết định nghỉ việc của một nhân viên, chẳng hạn như mức độ hài lòng, khối lượng công việc, khoảng cách di chuyển hay cơ hội thăng tiến. Việc này cung cấp một cái nhìn sâu sắc, dựa trên bằng chứng thay vì cảm tính, để các nhà quản lý đưa ra chiến lược phù hợp. Thay vì dựa vào các cuộc khảo sát rời rạc, doanh nghiệp có thể xây dựng một hệ thống cảnh báo sớm, xác định các cá nhân hoặc nhóm có nguy cơ cao. Từ đó, các biện pháp can thiệp kịp thời như điều chỉnh chính sách lương thưởng, cải thiện môi trường làm việc, hoặc xây dựng lộ trình phát triển sự nghiệp rõ ràng có thể được triển khai. Phần mềm Orange nổi lên như một công cụ mạnh mẽ và trực quan, cho phép cả những người không chuyên về lập trình cũng có thể xây dựng các mô hình dự đoán phức tạp. Việc áp dụng Orange vào dự đoán khả năng rời bỏ nhân viên giúp dân chủ hóa quá trình phân tích, biến dữ liệu thô thành những thông tin chi tiết có giá trị hành động, tạo ra lợi thế cạnh tranh bền vững cho tổ chức.

1.1. Hiểu đúng về Employee Attrition trong quản trị nhân sự

Trong quản trị nhân sự, employee attrition hay tiêu hao nhân lực, mô tả sự sụt giảm tự nhiên và không lường trước về số lượng nhân viên. Nguyên nhân của hiện tượng này rất đa dạng, bao gồm việc nhân viên nghỉ hưu, từ chức vì lý do cá nhân, mất sức lao động, hoặc qua đời. Thuật ngữ này khác với "turnover" (biến động nhân sự), vốn thường bao hàm cả việc sa thải và các quyết định chủ động từ phía công ty. Theo tài liệu nghiên cứu của nhóm sinh viên UEH, việc hiểu rõ bản chất của attrition là bước đầu tiên để kiểm soát nó. Các doanh nghiệp cần tự đánh giá tỷ lệ tiêu hao nhân lực của mình để xác định mức độ nghiêm trọng. Một tỷ lệ cao không chỉ là dấu hiệu của các vấn đề nội tại mà còn có thể gây ra những tác động tiêu cực lan truyền, làm giảm tinh thần của những nhân viên còn lại và lạm dụng nguồn lực hiện có của công ty.

1.2. Tầm quan trọng của việc dự báo sớm nhân viên nghỉ việc

Dự báo sớm khả năng nhân viên rời đi mang lại lợi ích chiến lược to lớn. Thay vì đợi đến khi nhận được đơn xin nghỉ việc, doanh nghiệp có thể hành động trước để giữ chân nhân tài. Việc này giúp tiết kiệm chi phí tuyển dụng và đào tạo người mới, vốn rất tốn kém. Quan trọng hơn, nó duy trì sự ổn định và liên tục trong hoạt động kinh doanh, tránh gián đoạn các dự án quan trọng do thiếu hụt nhân sự chủ chốt. Phân tích dự báo cho phép các nhà lãnh đạo xác định các yếu tố rủi ro chính, từ đó xây dựng các chính sách nhân sự hiệu quả hơn. Ví dụ, nếu dữ liệu cho thấy mức độ hài lòng công việc thấp là nguyên nhân chính, công ty có thể tập trung vào cải thiện văn hóa và môi trường làm việc. Việc dự báo sớm cũng thể hiện sự quan tâm của tổ chức đến phúc lợi của nhân viên, góp phần xây dựng một thương hiệu nhà tuyển dụng mạnh mẽ.

II. Thách Thức Khi Tỷ Lệ Rời Bỏ Nhân Viên Tăng Cao

Tỷ lệ nhân viên rời bỏ cao là một bài toán đau đầu đối với mọi nhà quản lý. Thách thức lớn nhất đến từ những chi phí hữu hình và vô hình mà nó gây ra. Về mặt tài chính, công ty phải gánh chịu chi phí tuyển dụng mới, bao gồm quảng cáo, sàng lọc hồ sơ, phỏng vấn và kiểm tra. Sau khi tuyển được người, chi phí đào tạo và hội nhập lại tiếp tục phát sinh. Trong khoảng thời gian này, hiệu suất công việc của vị trí bị bỏ trống hoặc của nhân viên mới thường không đạt mức tối ưu, gây ảnh hưởng trực tiếp đến doanh thu. Tuy nhiên, những tổn thất vô hình còn nghiêm trọng hơn. Sự ra đi của một nhân viên, đặc biệt là người có kinh nghiệm, sẽ để lại một khoảng trống kiến thức và kỹ năng. Tinh thần của những người ở lại cũng bị ảnh hưởng, họ có thể cảm thấy quá tải vì phải đảm nhận thêm công việc, hoặc lo lắng về sự ổn định của công ty. Điều này có thể tạo ra hiệu ứng domino, khuyến khích thêm nhiều nhân viên khác tìm kiếm cơ hội mới. Việc phân tích dữ liệu nhân sự để tìm ra nguyên nhân gốc rễ trở nên cấp thiết. Nếu không có một hệ thống dự đoán khả năng rời bỏ nhân viên hiệu quả, doanh nghiệp sẽ mãi mắc kẹt trong vòng luẩn quẩn tuyển dụng - đào tạo - mất người, làm suy yếu năng lực cạnh tranh và cản trở sự phát triển bền vững trong dài hạn. Việc áp dụng các công cụ như phần mềm Orange có thể giúp phá vỡ vòng lặp này.

2.1. Tổn thất tài chính Chi phí tuyển dụng và đào tạo lại

Khi một nhân viên rời đi, chi phí tài chính là tác động trực tiếp và dễ đo lường nhất. Quá trình tuyển dụng thay thế bao gồm nhiều khoản chi: chi phí cho các nền tảng đăng tin, chi phí cho các công ty săn đầu người (headhunter), và thời gian mà bộ phận nhân sự và các nhà quản lý dành cho việc phỏng vấn. Sau khi tìm được ứng viên phùt hợp, chi phí không dừng lại. Giai đoạn đào tạo và hòa nhập (onboarding) đòi hỏi sự đầu tư về thời gian và nguồn lực. Nhân viên mới cần thời gian để làm quen với quy trình, văn hóa công ty và đạt được hiệu suất như người tiền nhiệm. Trong suốt quá trình này, năng suất tại vị trí đó thường bị sụt giảm, gây ảnh hưởng đến kết quả kinh doanh chung.

2.2. Ảnh hưởng vô hình Mất kiến thức và suy giảm tinh thần

Tác động của việc nhân viên nghỉ việc không chỉ dừng lại ở tiền bạc. Một trong những mất mát lớn nhất là kiến thức chuyên môn và kinh nghiệm tích lũy của người ra đi. Những thông tin này thường không được ghi lại đầy đủ trong tài liệu và rất khó để chuyển giao hoàn toàn. Sự ra đi của một thành viên kỳ cựu có thể làm gián đoạn các mối quan hệ với khách hàng và đối tác. Ngoài ra, tinh thần của những nhân viên còn lại cũng bị ảnh hưởng. Họ có thể cảm thấy khối lượng công việc tăng lên, lo lắng về tương lai của công ty, hoặc bắt đầu tự đặt câu hỏi về cơ hội phát triển của chính mình. Điều này có thể dẫn đến một làn sóng nghỉ việc tiếp theo, tạo ra một chu kỳ tiêu cực khó phá vỡ.

III. Hướng Dẫn Tiền Xử Lý Dữ Liệu Attrition Bằng Orange

Để xây dựng một mô hình dự đoán khả năng rời bỏ nhân viên chính xác, bước đầu tiên và quan trọng nhất là chuẩn bị dữ liệu. Tiền xử lý dữ liệu là quá trình làm sạch, cấu trúc và chuyển đổi dữ liệu thô thành một định dạng phù hợp cho việc phân tích. Phần mềm Orange cung cấp một giao diện kéo-thả trực quan, giúp đơn giản hóa quy trình phức tạp này. Nghiên cứu của UEH đã sử dụng bộ dữ liệu Employee Attrition hư cấu từ IBM, bao gồm 35 biến như tuổi, mức lương, phòng ban, và mức độ hài lòng. Quá trình bắt đầu bằng việc nạp dữ liệu vào Orange thông qua widget 'File' hoặc 'Datasets'. Sau đó, widget 'Data Table' được sử dụng để kiểm tra tổng quan bộ dữ liệu, xem xét các giá trị bị thiếu hoặc các định dạng không nhất quán. Mặc dù bộ dữ liệu này khá sạch và không có giá trị thiếu, trong thực tế, widget 'Preprocess' sẽ rất hữu ích để xử lý các vấn đề này. Bước tiếp theo là phân chia dữ liệu. Để đánh giá mô hình một cách khách quan, bộ dữ liệu cần được chia thành hai phần: tập huấn luyện (training set) và tập kiểm thử (testing set). Widget 'Data Sampler' trong Orange cho phép thực hiện việc này một cách dễ dàng. Theo nghiên cứu, nhóm đã chia dữ liệu theo tỷ lệ 70% cho huấn luyện và 30% còn lại để kiểm thử, đảm bảo mô hình được xây dựng trên phần lớn dữ liệu và được xác thực trên một tập dữ liệu hoàn toàn mới.

3.1. Nạp và khám phá bộ dữ liệu Employee Attrition

Bước khởi đầu trong mọi dự án phân tích dữ liệu nhân sự là nạp và tìm hiểu dữ liệu. Trong Orange, người dùng có thể sử dụng widget Datasets để truy cập các bộ dữ liệu mẫu, bao gồm cả Employee Attrition. Sau khi nạp, việc kết nối widget này với Data Table cho phép hiển thị toàn bộ dữ liệu dưới dạng bảng. Giao diện này cung cấp thông tin chi tiết về 1470 nhân viên và 35 thuộc tính khác nhau. Các thuộc tính này bao gồm thông tin nhân khẩu học (Tuổi, Giới tính), vai trò công việc (Phòng ban, Mức độ công việc), tài chính (Thu nhập hàng tháng) và các yếu tố tâm lý (Mức độ hài lòng công việc). Việc khám phá ban đầu giúp xác định biến mục tiêu (target variable), trong trường hợp này là cột 'Attrition' (Yes/No), và các biến độc lập sẽ được dùng để dự đoán.

3.2. Phân chia dữ liệu Tạo tập huấn luyện và kiểm thử

Một nguyên tắc cơ bản trong học máy là không bao giờ đánh giá mô hình trên chính dữ liệu đã dùng để huấn luyện nó. Do đó, việc phân chia dữ liệu thành các tập riêng biệt là bắt buộc. Widget Data Sampler trong Orange là công cụ lý tưởng cho nhiệm vụ này. Nhóm nghiên cứu đã áp dụng phương pháp lấy mẫu phân tầng (stratified sampling) để đảm bảo tỷ lệ nhân viên 'Yes' và 'No' trong biến 'Attrition' được giữ nguyên ở cả tập huấn luyện và tập kiểm thử. Cụ thể, 70% dữ liệu (1029 mẫu) được chọn làm tập huấn luyện (DuLieuHuanLuyen_70%) để xây dựng các mô hình phân lớp dữ liệu. 30% còn lại (441 mẫu) được dùng làm tập kiểm thử (DuLieuThuNghiem_30%) để đánh giá hiệu suất của các mô hình này trên dữ liệu mới.

IV. Phương Pháp Dự Đoán Khả Năng Rời Bỏ Nhân Viên Hiệu Quả

Sau khi dữ liệu đã được chuẩn bị, giai đoạn tiếp theo là xây dựng và đánh giá các mô hình phân lớp dữ liệu. Mục tiêu là tìm ra thuật toán hoạt động tốt nhất để dự đoán khả năng rời bỏ nhân viên. Phần mềm Orange hỗ trợ nhiều thuật toán học máy mạnh mẽ. Dựa trên báo cáo của UEH, ba mô hình chính đã được lựa chọn để so sánh, bao gồm: Hồi quy Logistic (Logistic Regression), Cây quyết định (Decision Tree), và Máy vector hỗ trợ (SVM - Support Vector Machine). Các mô hình này được kết nối với tập dữ liệu huấn luyện (70%). Để đánh giá một cách khoa học và toàn diện, widget 'Test & Score' được sử dụng. Widget này cho phép so sánh hiệu suất của nhiều mô hình cùng một lúc dựa trên các chỉ số đo lường phổ biến. Các chỉ số quan trọng bao gồm: Độ chính xác (CA - Classification Accuracy), F1-Score, Precision, Recall, và đặc biệt là AUC (Area Under the ROC Curve). AUC là một chỉ số tổng hợp, đo lường khả năng của mô hình trong việc phân biệt giữa hai lớp (nhân viên rời đi và ở lại). Một mô hình có AUC càng gần 1 thì khả năng phân loại càng tốt. Bằng cách so sánh các chỉ số này, nhóm nghiên cứu có thể xác định mô hình nào không chỉ chính xác nhất mà còn cân bằng tốt nhất giữa việc dự đoán đúng các trường hợp rời bỏ và không gây ra quá nhiều cảnh báo sai.

4.1. Xây dựng các mô hình phân lớp Logistic Tree SVM

Việc lựa chọn các thuật toán phân lớp phù hợp là yếu tố quyết định thành công của mô hình. Nghiên cứu đã tập trung vào ba phương pháp phổ biến: Hồi quy Logistic là một mô hình thống kê mạnh mẽ, dễ diễn giải, phù hợp cho các bài toán phân loại nhị phân. Cây quyết định tạo ra một chuỗi các quy tắc dạng 'nếu-thì', rất trực quan và dễ hiểu cho các nhà quản lý nhân sự. Cuối cùng, SVM là một thuật toán phức tạp hơn, hoạt động bằng cách tìm ra một siêu phẳng tối ưu để phân tách các lớp dữ liệu, thường cho kết quả rất tốt với các bộ dữ liệu phức tạp. Trong Orange, mỗi thuật toán này tương ứng với một widget riêng biệt, được kết nối trực tiếp vào luồng xử lý sau bước lấy mẫu dữ liệu.

4.2. Đánh giá và so sánh mô hình bằng Test Score

Widget Test & Score là trung tâm của quá trình đánh giá mô hình trong Orange. Nó nhận dữ liệu và các mô hình làm đầu vào, sau đó tự động tính toán một loạt các chỉ số hiệu suất. Nghiên cứu đã thử nghiệm nhiều phương pháp xác thực chéo (cross-validation) và lấy mẫu ngẫu nhiên (random sampling) khác nhau để tìm ra kết quả ổn định nhất. Bảng kết quả trong Test & Score trình bày một cách rõ ràng các chỉ số như AUC, CA, F1 cho từng mô hình. Dựa trên phân tích, mô hình Hồi quy Logistic liên tục cho thấy các chỉ số vượt trội, đặc biệt là chỉ số AUC đạt 82,5% trong trường hợp chia mẫu ngẫu nhiên 50-90%, cho thấy đây là ứng cử viên sáng giá nhất để dự đoán attrition.

V. Kết Quả Nghiên Cứu Dự Đoán Rời Bỏ Nhân Viên Từ UEH

Nghiên cứu của nhóm sinh viên Đại học UEH đã cung cấp những kết quả cụ thể và đáng tin cậy về việc áp dụng phần mềm Orange để dự đoán khả năng rời bỏ nhân viên. Sau khi so sánh ba mô hình, kết quả đã chỉ ra rằng Hồi quy Logistic (Logistic Regression) là phương pháp hiệu quả nhất cho bộ dữ liệu Employee Attrition. Điều này được chứng minh qua nhiều chỉ số đánh giá khác nhau. Phân tích ma trận nhầm lẫn (Confusion Matrix) cho thấy mô hình Hồi quy Logistic có tỷ lệ sai lầm loại 2 (dự đoán nhân viên ở lại trong khi thực tế họ rời đi) là thấp nhất. Đây là loại sai lầm nguy hiểm nhất trong bài toán này, vì nó bỏ lỡ cơ hội can thiệp để giữ chân nhân viên. Thêm vào đó, khi phân tích đường cong ROC (ROC Curve), đường cong của mô hình Hồi quy Logistic tiệm cận gần nhất với điểm (0,1) - điểm lý tưởng đại diện cho một mô hình phân loại hoàn hảo. Diện tích dưới đường cong (AUC) của mô hình này cũng cao nhất, đạt 82,5%, khẳng định khả năng phân biệt vượt trội giữa hai nhóm nhân viên. Dựa trên những bằng chứng vững chắc này, nghiên cứu đã kết luận chọn Hồi quy Logistic làm mô hình cuối cùng để dự báo trên 100 mẫu dữ liệu thử nghiệm mới. Kết quả dự báo cuối cùng được trình bày rõ ràng, cho thấy nhân viên nào được dự đoán sẽ rời đi (Attrition = 'Yes') và nhân viên nào sẽ ở lại (Attrition = 'No'), cung cấp thông tin hữu ích cho phòng nhân sự.

5.1. Phân tích Ma trận nhầm lẫn và sai lầm dự báo

Ma trận nhầm lẫn là một công cụ trực quan để đánh giá hiệu suất của mô hình phân loại. Nó cho biết số lượng dự đoán đúng (True Positives, True Negatives) và sai (False Positives, False Negatives). Trong bài toán này, sai lầm loại 1 (False Positive) là dự đoán sai một nhân viên sẽ nghỉ việc. Sai lầm loại 2 (False Negative) là dự đoán sai một nhân viên sẽ ở lại. Nghiên cứu chỉ ra rằng mô hình Hồi quy Logistic có sai lầm loại 2 thấp nhất (chỉ 9 trường hợp), trong khi Cây quyết định và SVM có tỷ lệ này cao hơn. Việc tối thiểu hóa sai lầm loại 2 là ưu tiên hàng đầu, vì nó giúp doanh nghiệp không bỏ sót các trường hợp có nguy cơ cao.

5.2. Đánh giá qua đường cong ROC và chỉ số AUC

Đường cong ROC thể hiện mối quan hệ giữa Tỷ lệ Dương tính Thật (TPR - khả năng phát hiện đúng người sẽ nghỉ việc) và Tỷ lệ Dương tính Giả (FPR - báo động nhầm). Một mô hình càng tốt thì đường cong càng cong về phía góc trên bên trái của biểu đồ. Phân tích từ nghiên cứu của UEH cho thấy đường cong của mô hình Hồi quy Logistic nổi bật hơn so với hai mô hình còn lại, cho thấy hiệu suất tổng thể tốt hơn ở mọi ngưỡng quyết định. Chỉ số AUC là thước đo định lượng cho hiệu suất này. Với AUC là 82,5%, mô hình Hồi quy Logistic được xác nhận là lựa chọn tối ưu nhất để dự đoán rời bỏ nhân viên một cách chính xác.

5.3. Ứng dụng mô hình dự báo cho 100 trường hợp thực tế

Sau khi xác định Hồi quy Logistic là mô hình tốt nhất, bước cuối cùng là áp dụng nó vào thực tế. Nhóm nghiên cứu đã sử dụng widget Predictions để đưa 100 mẫu dữ liệu từ tập kiểm thử vào mô hình đã được huấn luyện. Kết quả đầu ra là một bảng dữ liệu mới, có thêm các cột dự đoán. Các cột này cho biết xác suất một nhân viên sẽ rời đi và nhãn dự đoán cuối cùng ('Yes' hoặc 'No'). Bảng kết quả này chính là sản phẩm cuối cùng của quá trình phân tích dữ liệu nhân sự, cung cấp một danh sách các nhân viên cần được quan tâm đặc biệt. Dựa vào đây, phòng nhân sự có thể lên kế hoạch phỏng vấn, tìm hiểu nguyên nhân và đưa ra các giải pháp giữ chân kịp thời.

Nội dung chính

Bối cảnh và vấn đề nghiên cứu

Trong quản trị nhân sự và điều hành tổ chức, tiêu hao lực lượng lao động (employee attrition) là hiện tượng sụt giảm nhân sự diễn ra ngoài tầm dự báo trước của tổ chức, xuất phát từ các nguyên nhân tất yếu hoặc thụ động như nhân viên đến tuổi nghỉ hưu, nộp đơn từ chức, suy giảm sức lao động hoặc đột ngột qua đời. Tỷ lệ tiêu hao lao động gia tăng gây áp lực trực tiếp lên chi phí tuyển dụng, làm gián đoạn dòng chảy công việc nội bộ và tác động tiêu cực đến tâm lý của những nhân sự đang tiếp tục gắn bó. Nhằm hỗ trợ các nhà quản trị nhận diện sớm các nguy cơ biến động nhân sự, báo cáo đồ án học phần Khoa học dữ liệu tại Trường Đại học Kinh tế TP.HCM (UEH) đã lựa chọn đề tài nghiên cứu thực nghiệm: "Phân lớp bộ dữ liệu Employee Attrition qua ứng dụng Orange".

Mục tiêu nghiên cứu của đồ án được tác giả xác lập thông qua năm nhiệm vụ trọng tâm:

1. Khám phá và thu thập dữ liệu phục vụ bài toán quản trị nhân sự.
2. Chọn lọc và tiến hành làm sạch dữ liệu đầu vào.
3. Thực hiện phân cụm và phân lớp dữ liệu trên các công cụ khai phá.
4. Dự đoán các yếu tố tác động trực tiếp đến quyết định rời bỏ tổ chức của nhân viên.
5. Cung cấp bức tranh toàn cảnh đa chiều về tình trạng hao mòn lao động, làm cơ sở đề xuất các chính sách quản trị phù hợp.

Đối tượng nghiên cứu của đồ án là hiện tượng tiêu hao nguồn nhân lực và hành vi nghỉ việc của nhân viên, được phản ánh qua các chỉ số nhân khẩu học, thu nhập, môi trường làm việc và mức độ gắn kết. Phạm vi dữ liệu được giới hạn trong bộ dữ liệu Employee Attrition do các chuyên gia khoa học dữ liệu của IBM thiết lập trên nền tảng IBM Watson Analytics, bao gồm 1.470 quan sát nhân viên với 32 biến đặc trưng mô tả và 1 biến phân lớp mục tiêu. Báo cáo được nhóm tác giả hoàn thành vào tháng 12 năm 2022.

Cơ sở lý thuyết và phương pháp

Đồ án xây dựng nền tảng lý thuyết dựa trên các trụ cột chính của khoa học dữ liệu, bao gồm thống kê mô tả, tối ưu hóa toán kinh tế và học máy (machine learning) có giám sát và không giám sát.

Về công cụ và kỹ thuật khai thác dữ liệu trên Microsoft Excel:

• Thống kê mô tả bằng công cụ Descriptive Statistics (tính toán giá trị trung bình Mean, sai số chuẩn Standard Error, trung vị Median, yếu vị Mode, độ lệch chuẩn Standard Deviation, phương sai mẫu Sample Variance, độ nhọn Kurtosis, độ nghiêng Skewness, khoảng biến thiên Range).
• Báo cáo phân nhóm và tổng hợp dữ liệu với công cụ Subtotal, hợp nhất dữ liệu từ nhiều nguồn qua Consolidate (theo vị trí và theo hạng mục), phân tích dữ liệu đa chiều bằng PivotTable.
• Phương pháp phân tích dự báo: Trung bình trượt (Moving Average), San bằng mũ (Exponential Smoothing) và Phân tích hồi quy tuyến tính (Linear Regression).
• Phân tích tối ưu hóa tuyến tính: Ứng dụng công cụ Solver để giải bài toán quy hoạch tuyến tính xác định lợi nhuận tối đa dựa trên hệ phương trình ràng buộc tài nguyên công đoạn (chuẩn bị, chế biến, hoàn tất).

Về kỹ thuật khai phá dữ liệu trên phần mềm mã nguồn mở Orange:

• Cấu trúc các khối chức năng (widgets) chính: Data (nạp và biến đổi dữ liệu), Visualize (trực quan hóa), Model (các thuật toán học máy), Evaluate (đánh giá hiệu năng) và Unsupervised (học không giám sát).
• Phương pháp phân cụm dữ liệu (Clustering): Phân cụm phân cấp (Hierarchical Clustering sử dụng các độ đo khoảng cách Single link, Complete link, Average link, Means) và phân cụm phân hoạch (K-means). Chất lượng phân cụm được kiểm chứng thông qua biểu đồ Silhouette (Silhouette Plot) với số lượng cụm biến thiên từ 2 đến 5 cụm.
• Phương pháp phân lớp dữ liệu (Classification): Áp dụng ba mô hình thuật toán gồm Hồi quy Logistic (Logistic Regression), Cây quyết định (Decision Tree) và Máy vector hỗ trợ (Support Vector Machine - SVM).
• Thước đo đánh giá mô hình: Sử dụng công cụ Test & Score với kỹ thuật kiểm định chéo (Cross Validation 5 phần, 10 phần) và lấy mẫu ngẫu nhiên (Random Sampling theo các tỷ lệ 10-40%, 20-60%, 50-90%). Các tiêu chí định lượng gồm: Độ chính xác phân loại (Classification Accuracy - CA), Điểm điều hòa F1-score, Độ chuẩn xác (Precision), Độ bao phủ (Recall), Diện tích dưới đường cong ROC (AUC), Ma trận nhầm lẫn (Confusion Matrix để kiểm soát sai lầm loại 1 và sai lầm loại 2) và phân tích đường cong ROC.

Nguồn dữ liệu sử dụng là bộ dữ liệu thứ cấp chuẩn hóa Employee Attrition từ thư viện mẫu của IBM Watson Analytics, chứa 1.470 dòng dữ liệu hoàn chỉnh, không có giá trị khuyết thiếu (missing value).

Nội dung chính theo từng chương

Chương 1: Giới thiệu về khoa học dữ liệu và giới thiệu đề tài

Chương này tổng kết khái niệm, lịch sử phát triển và các phân ngành trụ cột của khoa học dữ liệu, bao gồm khai thác dữ liệu (Data mining), thống kê (Statistics), học máy (Machine learning), phân tích dữ liệu (Analytics) và lập trình (Programming). Tác giả làm rõ vai trò của khoa học dữ liệu đối với hoạt động dự báo rủi ro kinh doanh, đồng thời trình bày bối cảnh lựa chọn đề tài phân tích hao mòn nhân sự. Chương 1 cũng liệt kê 5 mục tiêu nghiên cứu và định hướng phương pháp thực hiện trên phần mềm Orange. Đáng chú ý, trong phần phương pháp phân lớp ban đầu, văn bản có đề cập đến biến mục tiêu "Subscribed", tuy nhiên trong toàn bộ quá trình thực nghiệm thực tế ở các chương sau, biến mục tiêu được áp dụng chính xác là biến tiêu hao lao động (Attrition).

Chương 2: Tổng quan về chương trình sử dụng và các phương pháp sử dụng

Nội dung chương trình bày chi tiết cơ sở vận hành của hai công cụ chính:

• Khai thác dữ liệu bằng Excel: Tác giả trình bày các thao tác thực hành cụ thể kèm số liệu minh họa giả định. Trong đó có ví dụ thống kê mô tả sản lượng bán máy tính bảng tại Cửa hàng A (độ tin cậy 95%); tổng hợp doanh thu 6 tháng cuối năm 2017 theo từng quận bằng Subtotal; hợp nhất doanh thu của 3 cửa hàng qua Consolidate; tạo báo cáo đa chiều bằng PivotTable; dự báo bán hoa bằng Moving Average và Exponential Smoothing (hệ số điều chỉnh a=0, cho kết quả xấp xỉ 33 cành vào ngày 16); mô hình hồi quy tác động của chi phí lên doanh thu năm 2022; giải bài toán tối ưu sản xuất hai loại kẹo A và B (lợi nhuận 30$ và 40$/thùng) với 3 công đoạn ràng buộc giờ công bằng Solver, đạt mức lợi nhuận tối đa 2.600$.
• Khai phá dữ liệu bằng Orange: Phân tích nguyên lý làm việc của các widget xử lý dữ liệu. Trình bày chi tiết lý thuyết phân cụm (độ nén bên trong cụm, khoảng cách giữa các cụm, giải thuật K-means, giải thuật phân cụm phân cấp Diana/Agnes, các tiêu chí đánh giá bên ngoài, nội bộ và tương đối) và lý thuyết phân lớp dữ liệu (quy trình hai bước: huấn luyện mô hình và đánh giá kiểm thử mô hình).

Chương 3: Ứng dụng phương pháp vào bài toán thực tế

Chương 3 là phần thực nghiệm trọng tâm của đồ án, xử lý toàn diện bộ dữ liệu Employee Attrition:

• Nạp và tiền xử lý dữ liệu: Bộ dữ liệu được tải vào Orange thông qua widget Datasets và xuất ra tệp Excel Employee_Attrition_data.xlsx. Dữ liệu được xác nhận đạt chuẩn, không chứa lỗi hoặc ô trống nên nhóm tác giả bỏ qua bước tiền xử lý chuyên sâu (Preprocess).
• Thống kê mô tả bộ biến: Tác giả giải thích chi tiết ý nghĩa 32 biến đặc trưng đầu vào (gồm các biến nhân khẩu học như Age, Gender, MaritalStatus; biến đãi ngộ như DailyRate, HourlyRate, MonthlyIncome, PercentSalaryHike; biến tính chất công việc như Department, JobRole, BusinessTravel, OverTime; biến tâm lý và môi trường như EnvironmentSatisfaction, JobSatisfaction, WorkLifeBalance) và 1 biến đầu ra mục tiêu Attrition (Yes: nhân viên nghỉ việc; No: nhân viên ở lại).
• Phân tích hiện trạng nhân sự:
  • Mức độ hài lòng với công việc: Mức Rất cao chiếm ưu thế với 459 người, mức Cao đạt 442 người, mức Thấp là 289 người và mức Trung bình là 280 người.
  • Tình trạng hôn nhân: Nhân viên độc thân chiếm tỷ lệ cao nhất với 673 người (phần nhận xét văn bản ghi nhận 637 người, chiếm tỷ trọng 46%), nhân viên kết hôn có 470 người và nhân viên ly dị chiếm tỷ lệ thấp nhất với 327 người (22%).
  • Tình trạng tiêu hao theo phòng ban: Toàn bộ dữ liệu ghi nhận 237 nhân viên nghỉ việc (tỷ lệ 16%) và 1.233 nhân viên ở lại (84%). Phòng Nghiên cứu và Phát triển (Research & Development) có biến động nhân sự lớn nhất với 133 nhân viên nghỉ việc (chiếm 56% tổng số người nghỉ).
• Phân chia tập dữ liệu và thực nghiệm phân lớp: Nhóm sử dụng công cụ Data Sampler để phân chia tập dữ liệu gốc 1.470 mẫu thành hai phần:
  • Tập huấn luyện 70% (DuLieuHuanLuyen_70%.xlsx) gồm 1.029 quan sát và 32 biến.
  • Tập thử nghiệm 30% (DuLieuThuNghiem_30%.xlsx) gồm 441 quan sát và 32 biến.
  • Từ tập thử nghiệm 30%, trích xuất một mẫu độc lập gồm 100 quan sát lưu thành tệp Employee-Attrition_Forecast.xlsx để phục vụ dự báo.
• Thiết lập quy trình phân lớp trên tập huấn luyện: Tác giả chạy thử nghiệm so sánh ba thuật toán (Hồi quy Logistic, Cây quyết định, SVM) trên công cụ Test & Score thông qua các cấu hình phân hoạch dữ liệu khác nhau (Cross Validation 5 folds, 10 folds và Random Sampling các mức 10-40%, 20-60%, 50-90%).

Chương 4: Đánh giá kết quả của mô hình

Chương 4 tập trung phân tích kết quả định lượng thu được từ bảng Evaluation results for target của widget Test & Score. Kết quả thực nghiệm khẳng định mô hình Hồi quy Logistic (Logistic Regression) với phương thức phân chia mẫu Random Sampling tỷ lệ 50-90% mang lại hiệu năng cao nhất trên toàn bộ các chỉ số: CA đạt 89,1%, F1 đạt 87,9%, Precision đạt 88,2%, Recall đạt 89,1% và diện tích AUC đạt 82,5%.

Đánh giá thông qua ma trận nhầm lẫn (Confusion Matrix) cho thấy mô hình Hồi quy Logistic kiểm soát sai số tốt nhất, ghi nhận tỷ lệ sai lầm loại 1 là 24,7% và sai lầm loại 2 là 9 trường hợp. Phân tích đường cong ROC cũng chứng minh đường biểu diễn của Hồi quy Logistic tiệm cận gần nhất về điểm tối ưu (0; 1) trên đồ thị đối với cả hai nhãn phản hồi (Yes và No). Dựa trên các căn cứ định lượng này, nhóm tác giả đã chọn Hồi quy Logistic để kết nối với widget Prediction, thực hiện dự báo xác suất và nhãn nghỉ việc cho 100 hồ sơ nhân sự trong tệp Employee-Attrition_Forecast.xlsx.

Kết luận và hướng phát triển

Phần tổng kết của đồ án tóm lược các hạng mục công việc đã hoàn thành: làm chủ các kỹ thuật thống kê, dự báo trên Excel; xây dựng thành công quy trình trực quan hóa, phân cụm và phân lớp dữ liệu trên nền tảng Orange; xác định được mô hình phân lớp tối ưu để dự báo hao mòn lao động. Về hướng phát triển, tác giả nhấn mạnh việc tiếp tục hoàn thiện kỹ năng khai thác dữ liệu và hướng đến việc triển khai các thuật toán trên các tập dữ liệu thực tế tại doanh nghiệp.

Kết quả và đóng góp

Đồ án đã cung cấp hệ thống số liệu thực nghiệm đầy đủ về đặc điểm nhân khẩu và tình trạng biến động nhân sự trong bộ dữ liệu khảo sát 1.470 nhân viên của IBM:

Phòng ban	Số nhân viên rời đi (Có)	Tỷ lệ trong nhóm rời đi	Số nhân viên ở lại (Không)	Tỷ lệ trong nhóm ở lại
Human Resources	12	5%	51	4%
Research & Development	133	56%	828	67%
Sales	92	39%	354	29%
Tổng cộng	237	100%	1.233	100%

Về mặt hiệu năng mô hình hóa học máy, đồ án ghi nhận kết quả đánh giá phân lớp định lượng chi tiết giữa ba giải thuật phân lớp trên tập huấn luyện 70% (với cấu hình kiểm thử tối ưu Random Sampling 50-90%):

Thuật toán	Diện tích AUC	Độ chính xác (CA)	Điểm F1	Độ chuẩn xác (Precision)	Độ bao phủ (Recall)
Hồi quy Logistic	82,5%	89,1%	87,9%	88,2%	89,1%
Cây quyết định	Thấp hơn	Thấp hơn	Thấp hơn	Thấp hơn	Thấp hơn
Support Vector Machine (SVM)	Thấp hơn	Thấp hơn	Thấp hơn	Thấp hơn	Thấp hơn

Theo số liệu từ ma trận nhầm lẫn của phương pháp Hồi quy Logistic, mô hình đạt mức sai lầm loại 1 là 24,7% và số ca sai lầm loại 2 chỉ dừng ở mức 9 trường hợp.

Các đóng góp chính được nhóm tác giả tự xác định bao gồm:

• Thiết lập một quy trình phân tích và khai phá dữ liệu trực quan hoàn chỉnh trên nền tảng Orange, giúp người làm phân tích không chuyên về lập trình mã lệnh vẫn có thể thao tác nạp, phân mẫu, huấn luyện, so sánh và dự báo trên tập dữ liệu đa biến.
• Cung cấp cơ sở định lượng để các nhà quản trị nhận diện nhóm đối tượng có nguy cơ tiêu hao lao động cao nhất (nhân viên thuộc bộ phận Research & Development, nhân viên độc thân) nhằm đưa ra các chính sách đãi ngộ, cải thiện môi trường làm việc phù hợp.

Hạn chế và hướng nghiên cứu tiếp

Về hạn chế nghiên cứu:

• Bộ dữ liệu thực nghiệm là dữ liệu hư cấu (fictional dataset) do IBM tạo ra nhằm mục đích minh họa cho nền tảng Watson Analytics, do đó chưa phản ánh hoàn toàn tính phức tạp và các biến số đặc thù của môi trường lao động thực tế tại các doanh nghiệp Việt Nam.
• Tập dữ liệu sạch, không chứa giá trị khuyết thiếu (missing data) hay giá trị ngoại lai nghiêm trọng, khiến quy trình xử lý bỏ qua việc thực nghiệm các kỹ thuật tiền xử lý làm sạch nâng cao.
• Thời gian nghiên cứu và kinh nghiệm thực hành khai phá dữ liệu của nhóm sinh viên còn hạn chế, phạm vi so sánh thuật toán mới chỉ dừng lại ở ba mô hình cơ bản (Logistic Regression, Decision Tree, SVM).

Về hướng nghiên cứu tiếp:

• Áp dụng quy trình phân tích dữ liệu trên vào các bộ dữ liệu lao động thực tế thu thập trực tiếp tại doanh nghiệp.
• Mở rộng thử nghiệm với các tập dữ liệu có độ nhiễu cao, đòi hỏi các bước làm sạch và chuẩn hóa biến phức tạp hơn.
• Khai thác sâu hơn các thuật toán phân cụm không giám sát đã giới thiệu ở phần lý thuyết (Hierarchical clustering, K-means) trên toàn bộ biến số thực nghiệm.

Giá trị tham khảo

Đồ án là tài liệu học tập và tham khảo phù hợp cho:

• Sinh viên chuyên ngành Khoa học dữ liệu, Hệ thống thông tin kinh tế, Công nghệ thông tin kinh doanh và Quản trị nhân lực cần tìm hiểu quy trình ứng dụng máy học vào bài toán nhân sự.
• Người nghiên cứu muốn tìm hiểu cách xây dựng luồng phân tích dữ liệu trực quan (visual programming workflow) trên phần mềm Orange mà không cần viết mã nguồn Python phức tạp.
• Nội dung tham khảo đáng giá nhất là quy trình thiết lập quy trình phân chia dữ liệu huấn luyện - kiểm thử bằng widget Data Sampler (70% - 30% và trích xuất 100 mẫu ngẫu nhiên để dự báo), cùng với phương pháp đọc hiểu kết quả từ Test & Score, Confusion Matrix và đường cong ROC Analysis.

Câu hỏi thường gặp

1. Bộ dữ liệu Employee Attrition sử dụng trong đồ án có nguồn gốc từ đâu và quy mô bao nhiêu quan sát?
Bộ dữ liệu do các nhà khoa học dữ liệu của IBM tạo ra phục vụ cho nền tảng Watson Analytics, gồm 1.470 dòng dữ liệu nhân viên với 32 biến đặc trưng đầu vào và 1 biến phân lớp đầu ra (Attrition).

2. Tỷ lệ nhân viên nghỉ việc tổng thể và sự phân bổ theo phòng ban trong dữ liệu như thế nào?
Tổng thể có 237 nhân viên có ý định nghỉ việc (chiếm 16%) và 1.233 nhân viên ở lại (chiếm 84%). Trong đó, phòng Research & Development có số lượng nghỉ việc cao nhất với 133 người (56% tổng số người nghỉ), phòng Sales có 92 người (39%) và phòng Human Resources có 12 người (5%).

3. Nhóm tác giả đã chia tập dữ liệu để huấn luyện và thử nghiệm theo tỷ lệ nào?
Dữ liệu gốc được chia bằng widget Data Sampler thành tập huấn luyện chiếm 70% (1.029 mẫu) lưu tại DuLieuHuanLuyen_70%.xlsx, tập thử nghiệm chiếm 30% (441 mẫu) lưu tại DuLieuThuNghiem_30%.xlsx. Ngoài ra, 100 mẫu dữ liệu ngẫu nhiên từ tập 30% được trích xuất riêng thành tệp Employee-Attrition_Forecast.xlsx để chạy dự báo kiểm chứng.

4. Mô hình phân lớp nào cho kết quả tốt nhất và các chỉ số định lượng cụ thể là bao nhiêu?
Mô hình Hồi quy Logistic (Logistic Regression) với phương thức Random Sampling 50-90% đạt kết quả tốt nhất với độ chính xác phân loại CA đạt 89,1%, điểm F1 đạt 87,9%, Precision đạt 88,2%, Recall đạt 89,1% và chỉ số AUC đạt 82,5%. Sai lầm loại 1 của mô hình là 24,7% và sai lầm loại 2 là 9.

5. Vì sao nhóm nghiên cứu không thực hiện bước tiền xử lý lọc dữ liệu (Preprocess) trên Orange?
Qua kiểm tra dữ liệu bằng việc kết nối widget Datasets với Data Table, nhóm tác giả ghi nhận toàn bộ 1.470 mẫu đều hoàn chỉnh, không có giá trị khuyết thiếu hay dữ liệu lỗi, do đó bước tiền xử lý dữ liệu được lược bỏ để chuyển thẳng sang phân tích và mô hình hóa.

Kết luận

Báo cáo đồ án đã giải quyết bài toán dự báo tiêu hao lao động bằng việc kết hợp giữa công cụ phân tích thống kê trên Excel và nền tảng máy học trực quan Orange trên tập dữ liệu chuẩn 1.470 quan sát của IBM. Kết quả thực nghiệm đã so sánh ba thuật toán phân lớp và xác định giải thuật Hồi quy Logistic là mô hình tối ưu với độ chính xác phân loại đạt 89,1% cùng diện tích AUC đạt 82,5%. Đồ án là tài liệu tham khảo thực hành hữu ích về cách thiết lập quy trình khai phá dữ liệu định lượng phục vụ công tác ra quyết định quản trị nhân sự.

Trích đoạn nội dung tài liệu

Chương 1: GIỚI THIỆU VỀ KHOA HỌC DỮ LIỆU VÀ GIỚI THIỆU ĐỀ TÀI 1.1 Giới thiệu về khoa học dữ liệu Ngày nay, khi sống trong thời đại mới - thời đại văn minh, khoa học mà điển hình là sự phát triển vượt bậc của ngành công nghệ thông tin thì khoa học dữ liệu lại càng được chú trọng hơn bao giờ hết. Sự hình thành và phát triển của khoa học dữ liệu bắt nguồn từ nhu cầu tối ưu hoá diện tích, thời gian, tốc độ lưu giữ và tra cứu thông tin. Cụ thể hơn đó là việc thay thế những chiếc máy tính bàn cồng kềnh, ổ cứng máy tính hay ổ đĩa CD xuất hiện cách đây khoảng một thập niên bằng một số phương tiện lưu trữ khác: điện đám mây, mạng xã hội, website, thiết bị di động và các thiết bị cảm biến. Khoa học dữ liệu là lĩnh vực nghiên cứu dữ liệu rất có ý nghĩa đối với hoạt động kinh doanh bởi lẽ đây là một phương thức tiếp cận đa ngành, được kết hợp hài hoà không chỉ giữa những nguyên tắc mà còn có phương pháp thực hành trong lĩnh vực toán học, thống kê, trí tuệ nhân tạo, phân tích khối lượng lớn dữ liệu thông qua kỹ thuật máy tính.

Bằng vô vàn thiết bị thu thập, lưu trữ dữ liệu tự động cùng với các công nghệ hiện đại khác, chúng ta có sẵn khối lượng đồ sộ dữ liệu về thương mại, điện tử, y tế, tài chính cũng như hầu hết mọi khía cạnh của đời sống dưới dạng văn bản, hình ảnh, âm thanh,…Trong tương lai, khoa học dữ liệu sẽ có những đột phá mới về trí tuệ nhân tạo và máy móc giúp hoạt động xử lý dữ liệu diễn ra một cách nhanh chóng hơn nhưng vẫn đảm bảo được độ chính xác và tính hiệu quả. Chính sự bùng nổ khoa học này mà không phải ngẫu nhiên mà người ta cho rằng khoa học dữ liệu có tầm ảnh hưởng và là một trong những ngàng chủ chốt có ưu thế đi đầu hiện nay. Các lĩnh vực của khao học dữ liệu: khai thác dữ liệu (Data mining), thống kê (Statistic), học máy (Machine learning), phân tích (Analyze) và lập trình (Programming).2 Giới thiệu về đề tài 1. Lý do chọn đề tài Hao mòn lao động trong kinh doanh được mô tả thông qua sự sụt giảm, tiêu hao dần số lượng nhân viên một cách không được dự báo trước, chủ yếu xảy ra khi nhân viên nghỉ hưu, từ chức, mất sức lao động hay đột ngột qua đời.

Thuật ngữ này đôi khi cũng được sử dụng để mô tả sự mất mát của người mua hay khách hàng khi họ trưởng thành và vượt ra ngoài thị trường mục tiêu của sản phẩm hoặc công ty mà không được thay thế bởi một thế hệ trẻ khác. Các công ty sẽ phải tự đánh giá attrition rate (tỷ lệ tiêu hao lực lượng lao động hay lãng phí lao động) của mình là cao hay thấp. Những công ty có tỷ lệ lãng phí lao động cao thường phải đối mặt với nguy cơ lạm dụng nguồn lực nội bộ cũng như vẫn có thể phát sinh các tác dộng tiêu cực đến các nhân viên còn lại của công ty. Đây là hiện trạng đã và đang xảy ra đối với đa số các công ty hiện nay và nhận được phần lớn sự quan tâm.

Để có thể phân tích được các dữ liệu một cách tự động, nhóm chúng em cần sự hỗ trợ của các phần mềm như: Excel, Power BI,… Cùng với những dữ liệu đã thu thập được, chúng em tiếp tục sử dụng Orange để xây dựng quy trình khai thác thác dữ liệu một cách hoàn chỉnh hơn mà không mất quá nhiều thời gian để lập trình.