Đồ án: Phân lớp và dự báo Employee Attrition bằng phần mềm Orange

Hướng dẫn chi tiết phân lớp và dự báo Employee Attrition bằng phần mềm Orange. Báo cáo ứng dụng các thuật toán SVM, Tree, Logistic Regression.

Trường đại học

Đại Học Ueh - Trường Công Nghệ Và Thiết Kế - Khoa Công Nghệ Thông Tin

Chuyên ngành

Khoa Học Dữ Liệu

Người đăng

Ẩn danh

Thể loại

Báo Cáo Đồ Án Học Phần

2022

60
0
0

Phí lưu trữ

30 Point

Tóm tắt

I. Giới thiệu về Employee Attrition và Khoa học Dữ liệu

Employee Attrition (tỉ lệ churn nhân viên) là một thách thức lớn trong quản lý nguồn nhân lực hiện đại. Hiện tượng này xảy ra khi nhân viên rời khỏi tổ chức, gây ảnh hưởng đến năng suất và chi phí kinh doanh. Khoa học dữ liệu cung cấp những công cụ mạnh mẽ để phân tích và dự báo hiện tượng này. Bài viết này sẽ hướng dẫn bạn sử dụng phần mềm Orange để xây dựng các mô hình phân lớp và dự báo nhân viên có khả năng rời công ty. Orange là một công cụ khai phá dữ liệu trực quan, cho phép các chuyên gia và người mới bắt đầu áp dụng machine learning mà không cần kỹ năng lập trình cao.

1.1. Khái niệm Employee Attrition

Employee Attrition là hiện tượng nhân viên tự nguyện hoặc bị buộc rời khỏi công ty. Nguyên nhân có thể bao gồm: mức lương thấp, môi trường làm việc không thuận lợi, thiếu cơ hội phát triển, hoặc xung đột cá nhân. Việc dự báo sớm những nhân viên có nguy cơ rời đi giúp các nhà quản lý thực hiện biện pháp can thiệp kịp thời, tiết kiệm chi phí tuyển dụng và đào tạo.

1.2. Tầm quan trọng của Phân lớp và Dự báo

Phân lớp dữ liệu (Classification) là phương pháp supervised learning giúp dự đoán danh mục (Yes/No) cho từng nhân viên. Sử dụng các thuật toán như Decision Tree, Logistic Regression, SVM, mô hình có thể xác định những nhân viên nguy hiểm nhất. Dự báo chính xác cho phép công ty chủ động xây dựng chiến lược giữ chân nhân tài, từ đó cải thiện hiệu suất kinh doanh và giảm chi phí nhân sự.

II. Giới thiệu Phần mềm Orange và các Phương pháp Phân lớp

Orange Data Mining là một công cụ open-source phổ biến trong khoa học dữ liệu, hỗ trợ visual programming thông qua giao diện kéo-thả trực quan. Phần mềm này tích hợp nhiều thuật toán machine learning hiên đại và cho phép người dùng thử nghiệm nhanh các mô hình khác nhau. Orange cung cấp các widget (khối xử lý) để nạp dữ liệu, tiền xử lý, huấn luyện mô hình, và đánh giá kết quả. Với giao diện thân thiện, Orange phù hợp cho cả người mới bắt đầu và các chuyên gia dữ liệu muốn tăng tốc độ phân tích dữ liệu.

2.1. Các Phương pháp Phân lớp trong Orange

Orange cung cấp ba phương pháp phân lớp chính: Logistic Regression (phân lớp tuyến tính), Decision Tree (cây quyết định - dễ diễn giải), và SVM - Support Vector Machine (tối ưu hóa biên phân cách). Mỗi phương pháp có ưu nhược điểm riêng. Decision Tree phù hợp cho dữ liệu phi tuyến, SVM mạnh với dữ liệu phức tạp, còn Logistic Regression nhanh và dễ hiểu.

2.2. Quy trình Xây dựng Mô hình trong Orange

Quy trình gồm các bước: (1) Nạp dữ liệu từ file CSV hoặc Datasets; (2) Khám phá dữ liệu với Data Table và visualization; (3) Chia dữ liệu thành tập huấn luyện (training) và kiểm tra (testing) theo tỷ lệ 70:30 hoặc 80:20; (4) Huấn luyện mô hình với các thuật toán khác nhau; (5) Đánh giá hiệu suất bằng ma trận nhầm lẫnConfusion Matrix.

III. Hướng dẫn Thực hiện Phân lớp Employee Attrition với Orange

Bước đầu tiên là tải bộ dữ liệu Employee Attrition từ Datasets có sẵn trong Orange. Dữ liệu này chứa thông tin về: độ tuổi, chức vụ, lương, thời gian làm việc, tình trạng hôn nhân, mức độ hài lòng công việc, và biến mục tiêu là Attrition (Yes/No). Sau khi nạp dữ liệu, sử dụng Data Table để xem chi tiết. Thực hiện phân tích thống kê mô tả để hiểu phân bố dữ liệu. Tiếp theo, chia dữ liệu thành tập huấn luyện và kiểm tra. Kết nối các widget: Datasets → Data Table → Select Columns → Train Test Split → các mô hình phân lớp (Tree, SVM, Logistic Regression) → Confusion Matrix.

3.1. Bước chuẩn bị và Khám phá Dữ liệu

Sau khi nạp dữ liệu, dùng Data Table để xem các biến. Sử dụng Distributions widget để vẽ biểu đồ phân phối độ tuổi, lương, thời gian làm việc. Dùng Scatter Plot để tìm mối quan hệ giữa các biến định lượng. Kiểm tra giá trị thiếu (missing values) và outliers (giá trị ngoại lệ). Thực hiện Select Columns để chọn các biến dự đoán (features) phù hợp, loại bỏ cột ID không cần thiết.

3.2. Huấn luyện Mô hình và Đánh giá Kết quả

Sử dụng Test & Score widget để so sánh cùng lúc nhiều thuật toán. Kết nối dữ liệu đã chia thành các mô hình Tree, SVM, Logistic Regression. Widget này tự động tính toán Accuracy, Precision, Recall, F1-Score, AUC. Xem Confusion Matrix để hiểu số lượng True Positive, False Positive, True Negative, False Negative. Dùng ROC Curve để so sánh hiệu suất các mô hình, mô hình có diện tích AUC lớn nhất là tốt nhất.

IV. Kết quả và Ứng dụng Thực tiễn của Mô hình

Sau khi huấn luyện và đánh giá, kết quả cho thấy Decision Tree thường đạt độ chính xác cao (trên 85%) với dữ liệu Employee Attrition. Mô hình có thể xác định các yếu tố chính ảnh hưởng đến quyết định rời khỏi công ty, chẳng hạn như: mức lương thấp, số năm làm việc ngắn, mức độ hài lòng công việc thấp. Các công ty có thể dùng mô hình này để: (1) Phát hiện sớm nhân viên có nguy cơ cao rời đi; (2) Tối ưu hóa chiến lược giữ chân nhân tài (tăng lương, cung cấp đào tạo); (3) Dự báo chi phí nhân sự; (4) Cải thiện môi trường làm việc dựa trên các yếu tố được xác định.

4.1. Diễn giải Kết quả Mô hình

Accuracy (độ chính xác) tổng thể của mô hình Decision Tree đạt ~86%, nghĩa là mô hình dự đoán đúng 86% các trường hợp. Tuy nhiên, cần xem xét Precision (độ chính xác khi dự đoán Attrition=Yes) để biết trong những người được đánh dấu sẽ rời đi, bao nhiêu % thực sự rời. Recall (độ nhạy) cho biết tỉ lệ nhân viên sẽ rời đi mà mô hình phát hiện được. F1-Score là cân bằng giữa Precision và Recall, giúp đánh giá tổng thể.

4.2. Khuyến nghị và Hướng Phát triển

Các công ty nên áp dụng mô hình này thường xuyên, cập nhật dữ liệu mới để đảm bảo độ chính xác. Có thể kết hợp mô hình với phương pháp phân cụm (K-Means, Hierarchical) để phân nhóm nhân viên theo mức độ rủi ro. Trong tương lai, có thể tích hợp thêm dữ liệu về điều kiện kinh tế vĩ mô, biến động thị trường lao động để nâng cao độ chính xác dự báo.

28/12/2025

Trích đoạn nội dung tài liệu

chương 1 mà nhóm làm là giới thiệu tổng quát về dữ liệu, khoa học dữ liệu và giới thiệu đề tài mà nhóm đã chọn là “Phân lớp và dự báo bộ dữ liệu Employee Attrition”.1 GIỚI THIỆU VỀ KHOA HỌC DỮ LIỆU 1.1 Dữ liệu Dữ liệu (Data) là một tập hợp các thông tin bao gồm chữ, số, hình ảnh,. Qua đó nó có thể giúp cho chúng ta hình dung được tổng quát sự việc. Dữ liệu được dùng để ứng dụng nhiều trong các ngành như công nghệ, kỹ thuật và khoa học. Ngoài ra, dữ liệu còn được dùng trong chế tạo điện thoại thông minh, giúp lưu trữ tất cả các video, văn bản, và những thanh âm đa dạng.

Dữ liệu được chia ra làm 2 loại: Dữ liệu có cấu trúc (Structured Data) và dữ liệu không có cấu trúc (Unstructured Data). - Dữ liệu có cấu trúc (Structured Data) được xác định là nhóm dữ liệu mà nó hoạt động chính chủ yếu với vai trò là lưu trữ thông tin và truyền đạt những thông tin theo một cấu trúc được xác định. Dữ liệu có cấu trúc có các đặc trưng sau: • Ta có thể gọi với tên khác là dữ liệu định lượng. • Đưa ra các dữ liệu và số liệu một cách khách quan.

• Biểu thị chủ yếu dưới dạng số hoặc chữ. • Chủ yếu lưu trữ trong các công cụ như Google Sheet, SQL, Excel. • Thu thập, truy xuất, sắp xếp thông tin một cách dễ dàng. • Thông tin được trích xuất một cách đơn giản.

Ví dụ: Địa chỉ giao dịch, ngày tháng giao dịch, họ và tên của người giao dịch, mã giao dịch,. - Dữ liệu không có cấu trúc (Unstructured Data) được biết đến chính là dữ liệu tập hợp các cấu trúc dữ liệu phức tạp, khó nhận biết và chưa được sắp đặt và tổ chức đúng theo một trình tự cho sẵn. Dữ liệu phi cấu trúc có các đặc trưng sau: • Dữ liệu định tính là tên gọi khác của dữ liệu không có cấu trúc. • Thường ở dưới dạng văn bản thể hiện quan điểm, ý kiến hoặc đánh giá thương hiệu.

• Những công cụ dùng để lưu trữ là Solr, Elasticsearch và Word. • Khó thu thập, khó truy xuất, lưu trữ và sắp xếp thông tin. • Dữ liệu phi có cấu trúc không thể được tìm kiếm bởi các công cụ phân tích dữ liệu. Ví dụ: Những phản hồi, ý kiến của khách hàng trên các trang mạng xã hội hoặc Email.

Sự cần thiết của Data với doanh nghiệp: • Định hướng quyết định cho doanh nghiệp • Cập nhật thường xuyên • Cải thiện hoạt động nội bộ • Cải thiện quản lý tài chính Big Data là sự tập hợp của tất cả các dữ liệu có quy mô cực kỳ lớn, mang tính đa dạng và biến động nhanh. Tính đến thời điểm hiện tại, không có một công cụ quản lý dữ liệu truyền thống nào quản lý Big Data. 9 Báo cáo đồ án học phần Khoa học dữ liệu (DS) Downloaded by vu ga (vuchinhhp2@gmail.com) lOMoARcPSD|18034504 Trong một xã hội ngày càng phát triển, con người nói chung và nền kinh tế nói riêng đều phải cần đến sự ứng dụng của công nghệ. Mà công nghệ lại gắn liền, đi đôi với việc thu nhập thông tin.

Thông qua các thông tin đã được thu thập, các tổ chức đa kênh mới có cơ hội thuận lợi để có thể tạo nên được những đột phá mang tính cách mạng, thúc đẩy sự gia tăng năng suất của doanh nghiệp, công ty. Thông thường, Big Data được ứng dụng nhiều trong các ngành nghề như là thương mại, y tế, marketing, ngân hàng, … Nhiệm vụ chính của Big Data trong các ngành nghề đó chính là làm công cụ phân tích, đánh giá nhận xét, lưu trữ thông tin, chẩn đoán và bảo đảm an ninh,. Thời điểm mà các doanh nghiệp làm chủ được tập hệ thống dữ liệu lớn này mới chính là thời điểm thật sự thành công của doanh nghiệp trong chiến trường làm ăn đầy cạnh tranh này. Trong kinh doanh, Big Data được các doanh nghiệp sử dụng trong nhiều lĩnh vực, bao gồm: • Nâng cao trải nghiệm của khách hàng bằng cách kiểm tra và quản lý tất cả những thông tin, dữ liệu liên quan đến khách hàng.

Từ đó mà có thể đưa ra những giải pháp, phương hướng để giữ chân khách hàng. • Nâng cao hiệu suất làm việc, vận hành có tổ chức và hiệu quả hơn nhờ vào quá trình phân tích các hoạt động doanh nghiệp của Big Data. • Những rủi ro trong làm ăn sẽ được giảm thiểu đi nhờ vào phân tích, quản lý và phát hiện các hành động gian lận. • Giá cả và doanh thu được tối ưu hoá.

Như vậy, Big Data có thể được coi là chìa khóa để mở lối đi đến thành công dành cho các doanh nghiệp lớn trong thời đại ngày nay, thời đại công nghiệp hóa, hiện đại hóa.2 Tổng quan về Khoa học dữ liệu Nhiều doanh nghiệp hiện nay đều dựa vào việc thu thập và phân tích dữ liệu để có thể nắm bắt được những đặc điểm của khách hàng bởi vì trong thời đại ngày nay, khi mà tất cả mọi thứ đang dần số hóa đi, thì đó cũng chính là lúc mà khách hàng càng có nhiều sự tương tác với mạng Internet. Chính vì vậy mà từ đó doanh nghiệp có thể nắm bắt lấy cơ hội để đổi mình và phát triển, để từ đó có thể rút ngắn quá trình đổi mới. Khoa học dữ liệu ra đời với sứ mệnh để giúp chúng ta có thể dễ dàng hơn trong việc khai thác được giá trị thật sự của dữ liệu. Việc chúng ta thu thập dữ liệu không phải là một vấn đề khó, nhưng để thực sự có thể biến những dữ liệu đó trở nên có giá trị thì mới là vấn đề quan trọng, việc này đòi hỏi nhiều kỹ năng của người dùng.

Vì vậy, sự có mặt của KHOA HỌC DỮ LIỆU là vô cùng quan trọng, giúp biến những chữ viết thô, những con số thành những kế hoạch, ý tưởng, sản phẩm, dịch vụ có ích và có ý nghĩa. Khoa học dữ liệu (Data Science) là lĩnh vực nghiên cứu dữ liệu nhằm mục đích khai thác những thông tin chuyên sâu có ý nghĩa đối với hoạt động kinh doanh.”Đây là một phương thức tiếp cận đa ngành, kết hợp những nguyên tắc và phương pháp thực hành của các lĩnh vực toán học, thống kê, trí tuệ nhân tạo và kỹ thuật máy tính để phân tích khối lượng lớn dữ liệu.“Nội dung phân tích này sẽ giúp các nhà khoa học dữ liệu đặt ra và trả lời những câu hỏi như sự kiện gì đã xảy ra, tại sao nó xảy ra, sự kiện gì sẽ xảy ra và có thể sử dụng kết quả thu được cho mục đích gì.”” Khoa học dữ liệu (Data science) bao gồm 3 phần chính: • Tạo và quản trị dữ liệu. 10 Báo cáo đồ án học phần Khoa học dữ liệu (DS) Downloaded by vu ga (vuchinhhp2@gmail.com) lOMoARcPSD|18034504 • Phân tích dữ liệu: toán học (thống kê toán học – Mathematical Statistics), công nghệ thông tin (máy học – Machine Learning) và tri thức của lĩnh vực ứng dụng cụ thể. • Áp dụng kết quả phân tích thành những hành động có giá trị.

Khoa học dữ liệu được sử dụng để nghiên cứu dữ liệu theo 4 phương pháp chính:” • Phân tích mô tả • Phân tích chẩn đoán • Phân tích dự đoán • Phân tích đề xuất Hệ thống máy tính chính là công cụ chính để giúp các chuyên gia khoa học dữ liệu giám sát quy trình khoa học dữ liệu. Các nhà khoa học dữ liệu sử dụng những kỹ thuật chính là:”” • Phân loại • Hồi quy • Phân nhóm Các công nghệ phức tạp mà các nhà khoa học dữ liệu cũng đã sử dụng như: • Trí tuệ nhân tạo (AI) • Điện toán đám mây • Internet vạn vật • Máy tính lượng tử Vai trò của khoa học dữ liệu: - Hỗ trợ đưa ra quyết định: Khoa học dữ liệu giúp cho con người phân tích, mô tả, chẩn đoán, dự đoán dựa trên những dữ liệu đã có. Từ đó có thể dễ dàng đưa ra đề xuất những hành động và những quyết định mang tính hiệu quả cao. - Áp dụng vào doanh nghiệp: Khoa học dữ liệu giúp cho doanh nghiệp phân tích kinh doanh dựa trên số liệu đã thu thập được ở các bảng phân tích như phân tích khuyến cáo, phân tích dự báo và phân tích mô tả.

Từ đó doanh nghiệp có thể dễ dàng hơn trong việc quản lý nhân sự, nắm bắt tâm lý khách hàng và xem xét rõ hơn để đưa ra quyết định nên đầu tư hay tài trợ vào thị trường. - 6 bài toán của doanh nghiệp: Khoa học dữ liệu thể hiện rõ nhất vai trò của mình trong lĩnh vực kinh tế thông qua 6 bài toán doanh nghiệp như tài chính, khách hàng, bán hàng, thị trường, nhân sự và cuối cùng là vận hành sản xuất.3 Ứng dụng thực tế của Khoa học dữ liệu - Trong y tế: Hệ thống trợ lý ảo được xây dựng để chăm sóc sức khoẻ ảo trên máy điện thoại như Iphone, … - Trong thương mại điện tử và dịch vụ số: Mua sắm online trên Shopee, Lazada và các sàn thương mại điện tử khác. - Trong tìm kiếm thông tin: Google, … 1.2 GIỚI THIỆU ĐỀ TÀI PHÂN LỚP VÀ DỰ BÁO BỘ DỮ LIỆU EMPLOYEE ATTRITION DỰA TRÊN ỨNG DỤNG ORANGE 1.1 Lý do chọn đề tài Ngày nay, vấn đề nhân sự ở các doanh nghiệp đang là điều được mọi người quan tâm. Nhân sự chính là nguồn lực để quyết định sự thành công hay thất bại của một doanh nghiệp, vì vậy công tác quản lý nhân sự là một điều hết sức quan trọng đối với một doanh nghiệp.

Trong bộ dữ liệu Employee Attrition nghiên cứu về các thuộc tính của nhân sự, chọn lọc ra những thông tin, những đặc điểm hữu ích nhất liên quan đến nhân 11 Báo cáo đồ án học phần Khoa học dữ liệu (DS) Downloaded by vu ga (vuchinhhp2@gmail.com) lOMoARcPSD|18034504 viên. Từ đó rút ra những kinh nghiệm, giúp cho doanh nghiệp sửa chữa những khuyết điểm và phát huy những ưu điểm để thu hút nhân viên tiếp tục làm việc, phát triển nhân sự ở mức tối đa.2 Khái niệm employee attrition Attrition trong tiếng Anh có nghĩa là sự tiêu hao. Ở đây, ta hiểu “Employee Attrtion” trong nền kinh tế có nghĩa là sự hao mòn nhân viên, sự tiêu hao dần lực lượng lao động khi mà doanh nghiệp có nhân viên nghỉ việc hoặc nghỉ hưu. Các doanh nghiệp để tính toán Employee Attrition thường dựa vào Attrition Rate (tỷ lệ tiêu hao lực lượng lao động).

Attrition Rate càng thấp đồng nghĩa với việc nhân viên hài lòng với rất nhiều yếu tố như mức lương, các khoản đãi ngộ, công việc, … của doanh nghiệp.

Nội dung được bảo vệ bản quyền — Tải xuống đầy đủ