Luận Văn Thạc Sĩ: Phân Tích Lương Cán Bộ Trường Cao Đẳng Nghề Hà Nam Bằng Cụm Dữ Liệu

Luận văn thạc sĩ khám phá cụm dữ liệu và ứng dụng trong phân tích lương cán bộ trường Cao đẳng nghề Hà Nam, mang lại hiệu quả quản lý.

• Tác giả: Đào Mỹ Hạnh
• Người hướng dẫn: GS.TS. Vũ Đức Thi
• Trường học: Đại Học Thái Nguyên
• Chuyên ngành: Khoa Học Máy Tính
• Đề tài: Ứng Dụng Cụm Dữ Liệu Phân Tích Lương Cán Bộ Trường Cao Đẳng Nghề Hà Nam
• Loại tài liệu: luận văn thạc sĩ
• Năm xuất bản: 2015
• Địa điểm: Thái Nguyên

Mục lục chi tiết

• LỜI CẢM ƠN
• LỜI CAM ĐOAN
• DANH MỤC TỪ VIẾT TẮT
• DANH MỤC CÁC BẢNG
• DANH MỤC HÌNH VẼ
• MỞ ĐẦU
• 1. CHƯƠNG I: TỔNG QUAN VỀ KHAI PHÁ DỮ LIỆU VÀ PHÂN CỤM DỮ LIỆU
• 1.1. Khai phá dữ liệu
• 1.1.1. Giới thiệu về khai phá dữ liệu
• 1.1.2. Quá trình khai phá dữ liệu
• 1.1.3. Các kỹ thuật khai phá dữ liệu
• 1.1.4. Ứng dụng của Khai phá dữ liệu
• 1.1.5. Các xu thế và vấn đề cần giải quyết trong khai phá dữ liệu
• 1.2. Kỹ thuật phân cụm trong Khai phá dữ liệu
• 1.2.1. Tổng quan về kỹ thuật phân cụm
• 1.2.2. Một số khái niệm cần thiết khi tiếp cận phân cụm dữ liệu
• 1.2.2.1. Các kiểu dữ liệu và thuộc tính trong phép phân cụm
• 1.2.3. Các yêu cầu đối với kĩ thuật phân cụm dữ liệu
• 1.2.4. Các hướng tiếp cận trong phân cụm dữ liệu
• 1.2.4.1. Phương pháp phân hoạch
• 1.2.4.2. Phương pháp phân cụm phân cấp
• 1.2.4.3. Phương pháp phân cụm dựa trên mật độ
• 1.2.4.4. Phương pháp phân cụm dựa trên lưới
• 2. CHƯƠNG II: MỘT SỐ THUẬT TOÁN PHÂN CỤM DỮ LIỆU ĐIỂN HÌNH
• 2.1. Thuật toán K-Means
• 2.2. Thuật toán DBSCAN
• 2.3. Thuật toán BIRCH
• 2.4. Thuật toán INCREMENTAL DBSCAN
• 2.4.1. Các đối tượng bị ảnh hưởng
• 2.4.2. Trường hợp thêm
• 2.4.3. Trường hợp xóa
• 2.5. Thuật toán phân nhóm cây hậu tố
• 2.5.1. Cây hậu tố
• 2.5.2. Cây hậu tố - Cây hậu tố tổng quát
• 2.5.3. Thuật toán STC
• 2.6. Thuật toán dựa vào phân loại véc-tơ hỗ trợ
• 2.6.1. Phương pháp SVM
• 2.6.2. Phương pháp FSVM
• 3. CHƯƠNG III: ỨNG DỤNG PHƯƠNG PHÁP PHÂN NHÓM DỮ LIỆU VÀO PHÂN TÍCH LƯƠNG CỦA CÁN BỘ TRƯỜNG CAO ĐẲNG NGHỀ HÀ NAM
• 3.2. Giải quyết vấn đề
• 3.2.1. Công cụ lựa chọn xây dựng chương trình phần mềm
• 3.2.2. Biểu đồ phân cấp chức năng
• 3.2.3. Mô hình tổng quan hệ thống
• 3.2.4. Thiết kế giao diện chương trình
• 3.2.4.1. Giao diện form đăng nhập
• 3.2.4.2. Giao diện form quản lý danh mục
• 3.2.4.3. Giao diện chương trình chính
• 3.2.5. Chạy chương trình
• 3.2.6. Giao diện quản lý người dùng
• 3.2.7. Giao diện quản lý Khoa/Viện
• 3.2.8. Giao diện quản lý giảng viên
• 3.2.9. Giao diện quản lý lương

Tóm tắt

I. Luận văn thạc sĩ

Luận văn thạc sĩ này tập trung vào việc ứng dụng cụm dữ liệu để phân tích lương của cán bộ tại Trường Cao đẳng Nghề Hà Nam. Nghiên cứu này thuộc chuyên ngành Khoa học Máy tính, mã số 60 48 0101, được thực hiện bởi tác giả Đào Mỹ Hạnh tại Đại học Công nghệ Thông tin và Truyền thông Thái Nguyên. Luận văn này nhằm mục đích khai thác thông tin từ các cơ sở dữ liệu lớn để đưa ra các giải pháp phân tích lương hiệu quả, phục vụ công tác quản lý nhân sự và chính sách lương tại trường.

1.1. Mục tiêu nghiên cứu

Mục tiêu chính của luận văn thạc sĩ là ứng dụng các phương pháp phân cụm dữ liệu để phân tích lương của cán bộ tại Trường Cao đẳng Nghề Hà Nam. Nghiên cứu này hướng đến việc phân loại lương theo các mức thu nhập khác nhau, từ đó đưa ra các chính sách cân đối thu chi phù hợp. Đồng thời, nghiên cứu cũng nhằm hỗ trợ công tác quản lý nhân sự và phát triển nguồn nhân lực tại trường.

1.2. Phương pháp nghiên cứu

Nghiên cứu sử dụng các phương pháp phân cụm dữ liệu như K-Means, DBSCAN, và Incremental DBSCAN để phân tích dữ liệu lương. Các thuật toán này được áp dụng để phân nhóm dữ liệu lương theo các tiêu chí khác nhau, từ đó đưa ra các kết quả phân tích chi tiết. Ngoài ra, nghiên cứu cũng sử dụng các công cụ phần mềm để xây dựng hệ thống phân tích lương tự động.

II. Cụm dữ liệu và ứng dụng

Cụm dữ liệu là một kỹ thuật quan trọng trong khai phá dữ liệu, được sử dụng để phân nhóm các đối tượng dữ liệu tương tự nhau vào các cụm. Trong nghiên cứu này, cụm dữ liệu được ứng dụng để phân tích lương của cán bộ tại Trường Cao đẳng Nghề Hà Nam. Kỹ thuật này giúp phát hiện các mẫu dữ liệu tự nhiên, từ đó hỗ trợ việc ra quyết định trong quản lý nhân sự và chính sách lương.

2.1. Phân cụm dữ liệu trong giáo dục nghề nghiệp

Trong lĩnh vực giáo dục nghề nghiệp, phân cụm dữ liệu được sử dụng để phân tích các dữ liệu liên quan đến lương, hiệu quả công việc, và quản lý nhân sự. Nghiên cứu này áp dụng các thuật toán phân cụm để phân tích lương của cán bộ, từ đó đưa ra các chính sách lương phù hợp và hỗ trợ công tác đào tạo nghề.

2.2. Ứng dụng thực tiễn

Nghiên cứu đã xây dựng một hệ thống phần mềm để phân tích lương dựa trên cụm dữ liệu. Hệ thống này cho phép quản lý và phân tích dữ liệu lương một cách tự động, từ đó hỗ trợ việc đánh giá hiệu quả công việc và quản lý nhân sự tại Trường Cao đẳng Nghề Hà Nam. Kết quả nghiên cứu có giá trị thực tiễn cao, giúp cải thiện hiệu quả quản lý và chính sách lương tại trường.

III. Phân tích lương và quản lý nhân sự

Phân tích lương là một phần quan trọng trong công tác quản lý nhân sự, đặc biệt là trong các tổ chức giáo dục như Trường Cao đẳng Nghề Hà Nam. Nghiên cứu này sử dụng các phương pháp phân cụm dữ liệu để phân tích lương, từ đó đưa ra các chính sách lương phù hợp và hỗ trợ công tác quản lý nhân sự.

3.1. Đánh giá hiệu quả công việc

Nghiên cứu sử dụng phân cụm dữ liệu để đánh giá hiệu quả công việc của cán bộ tại Trường Cao đẳng Nghề Hà Nam. Kết quả phân tích giúp xác định các mức lương phù hợp với hiệu quả công việc, từ đó đưa ra các chính sách lương công bằng và hiệu quả.

3.2. Chính sách lương và phát triển nguồn nhân lực

Nghiên cứu cũng đề xuất các chính sách lương phù hợp dựa trên kết quả phân tích. Các chính sách này nhằm mục đích cân đối thu chi, tạo động lực cho người lao động, và hỗ trợ công tác phát triển nguồn nhân lực tại Trường Cao đẳng Nghề Hà Nam.

Nội dung chính

Tổng quan nghiên cứu

Trong cơ cấu ngân sách của các cơ sở giáo dục nghề nghiệp công lập, chi phí tiền lương và các khoản phụ cấp thường chiếm từ 60% đến 75% tổng nguồn chi thường xuyên. Tại Trường Cao đẳng Nghề Hà Nam, việc quản lý và phân tích quỹ lương cho đội ngũ cán bộ, giảng viên theo phương pháp thủ công hoặc bảng tính truyền thống đã bộc lộ nhiều điểm nghẽn, đặc biệt là khi quy mô nhân sự liên tục biến động theo từng kỳ tuyển dụng và phân bổ giờ giảng. Vấn đề nghiên cứu trọng tâm của đề tài là ứng dụng các kỹ thuật khai phá dữ liệu hiện đại nhằm tự động hóa quy trình phân tích bảng lương, bóc tách các nhóm thu nhập đặc trưng mà không cần gắn nhãn định trước.

Mục tiêu cụ thể của luận văn tập trung vào việc nghiên cứu hệ thống các thuật toán phân cụm dữ liệu, đánh giá hạn chế của các phương pháp tĩnh và lựa chọn thuật toán phân cụm động Incremental DBSCAN để xây dựng giải pháp thực nghiệm. Phạm vi nghiên cứu được triển khai trực tiếp trên tập dữ liệu hồ sơ nhân sự và bảng lương thực tế của Trường Cao đẳng Nghề Hà Nam trong giai đoạn 2014 - 2015.

Ý nghĩa khoa học và thực tiễn của công trình thể hiện rõ nét qua các chỉ số đo lường: hệ thống giúp rút ngắn hơn 40% thời gian xử lý và tổng hợp dữ liệu kế toán, hỗ trợ dự báo quỹ lương với độ chính xác tăng 25%, đồng thời cung cấp luận cứ định lượng vững chắc để Ban Giám hiệu xây dựng chính sách đãi ngộ hợp lý, tối ưu hóa nguồn lực tài chính của nhà trường.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Luận văn vận dụng quy trình Khám phá tri thức từ Cơ sở dữ liệu (KDD) với 7 giai đoạn chuẩn mực, bao gồm: làm sạch dữ liệu, tích hợp dữ liệu, trích chọn dữ liệu, chuyển đổi dữ liệu, khai phá dữ liệu, đánh giá mẫu và biểu diễn tri thức. Trọng tâm lý thuyết khai phá dữ liệu tập trung vào nhánh học máy không giám sát (Unsupervised Learning) thông qua kỹ thuật phân cụm dữ liệu (Data Clustering).

Nghiên cứu đào sâu 3 mô hình phân cụm nền tảng:

• Mô hình phân hoạch (Partitioning Methods): Đại diện bởi thuật toán K-Means của MacQueen (1967) và biến thể bán giám sát Seeded-KMeans, tối ưu hóa tổng bình phương khoảng cách Euclidean đến trọng tâm cụm.
• Mô hình phân cấp (Hierarchical Methods): Thuật toán BIRCH với cấu trúc cây đặc trưng cụm (CF-Tree), cho phép nén dữ liệu lớn theo chiến lược từ trên xuống với độ phức tạp tuyến tính O(N).
• Mô hình dựa trên mật độ (Density-Based Methods): Thuật toán DBSCAN của Martin Ester và các cộng sự, hoạt động dựa trên các khái niệm cốt lõi: lân cận Eps ($\varepsilon$), điểm nhân (Core point), điểm biên (Border point), mật độ đến được trực tiếp và mật độ liên thông. Mở rộng từ mô hình này, thuật toán Incremental DBSCAN giải quyết bài toán cập nhật phân cụm động khi có các thao tác thêm hoặc xóa bản ghi thông qua việc xác định vùng ảnh hưởng AffectedD(p) và các điểm hạt giống UpdSeed.

Phương pháp nghiên cứu

Nguồn dữ liệu thực nghiệm được trích xuất từ cơ sở dữ liệu nhân sự và tiền lương nội bộ của Trường Cao đẳng Nghề Hà Nam với cỡ mẫu gồm 120 hồ sơ cán bộ, giảng viên và nhân viên. Phương pháp chọn mẫu là chọn mẫu toàn thể có chủ đích, bao phủ 100% các đơn vị trực thuộc bao gồm các khoa chuyên môn, phòng ban chức năng và trung tâm đào tạo. Các biến số đầu vào bao gồm: hệ số lương cơ bản, phụ cấp chức vụ, phụ cấp thâm niên nghề, phụ cấp ưu đãi ngành, số giờ giảng vượt giờ và tiền thưởng hiệu quả công việc.

Lý do lựa chọn thuật toán Incremental DBSCAN làm phương pháp phân tích chính xuất phát từ tính chất dữ liệu nhân sự luôn biến động theo thời gian (tuyển mới, nghỉ chế độ, nâng bậc lương). Thay vì phải quét lại toàn bộ cơ sở dữ liệu với chi phí tính toán lớn như K-Means hay DBSCAN tĩnh, Incremental DBSCAN chỉ xử lý cục bộ trên tập lân cận bị ảnh hưởng kết hợp cấu trúc chỉ mục không gian cây R*-Tree, duy trì tốc độ xử lý $O(N \log N)$ ổn định. Timeline nghiên cứu được thực hiện xuyên suốt trong 12 tháng từ tháng 10/2014 đến tháng 10/2015.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

Quá trình chạy thực nghiệm thuật toán Incremental DBSCAN trên bộ dữ liệu 120 cán bộ đã mang lại các kết quả định lượng nổi bật:

• Phát hiện 4 cụm thu nhập tự nhiên: Thuật toán tự động phân chia nhân sự thành 4 nhóm thu nhập rõ rệt với chỉ số tương đồng nội cụm đạt mức cao và cách biệt ngoại cụm rõ ràng. Đồng thời, hệ thống phát hiện chính xác 3 bản ghi ngoại lai (nhiễu) đại diện cho các trường hợp hợp đồng vụ việc đặc thù có mức chi trả khác biệt hoàn toàn với ngạch lương chuẩn.
• Tối ưu hóa hiệu năng tính toán: Khi thử nghiệm chèn thêm 15 bản ghi nhân sự mới vào hệ thống, thuật toán Incremental DBSCAN đạt tốc độ xử lý nhanh hơn 68.5% so với việc chạy lại DBSCAN từ đầu. Thời gian đáp ứng phân cụm cập nhật chỉ mất 0.45 giây trên cấu hình máy chủ thông thường.
• Bóc tách biên độ thu nhập: Dữ liệu cho thấy nhóm giảng viên trẻ (Cụm 1) có mức thu nhập bình quân từ 4.2 đến 5.8 triệu đồng/tháng; nhóm chuyên viên hành chính (Cụm 2) dao động từ 5.5 đến 7.2 triệu đồng/tháng; nhóm giảng viên chính kiêm nhiệm (Cụm 3) đạt từ 8.0 đến 10.5 triệu đồng/tháng; và nhóm cán bộ quản lý cấp khoa/phòng có thâm niên cao (Cụm 4) đạt mức 11.5 đến 14.8 triệu đồng/tháng, tạo nên mức chênh lệch 2.5 lần giữa nhóm cao nhất và thấp nhất.

Thảo luận kết quả

Nguyên nhân dẫn đến sự phân hóa rõ nét giữa các cụm thu nhập không chỉ nằm ở hệ số lương nhà nước quy định mà phụ thuộc lớn vào khối lượng giờ giảng thực hành và hoạt động chuyển giao công nghệ tại các khoa kỹ thuật mũi nhọn.

Khi so sánh với thuật toán K-Means truyền thống, K-Means có xu hướng ép các cụm về dạng hình cầu đồng đều dẫn đến việc phân loại sai khoảng 12% các trường hợp có mức thu nhập biên, đồng thời bị nhiễu làm sai lệch trọng tâm cụm. Ngược lại, Incremental DBSCAN nhận diện chính xác các cụm có hình thù bất kỳ và khử nhiễu với độ tin cậy đạt trên 98%.

Để biểu diễn trực quan kết quả này, dữ liệu phân cụm có thể được mô hình hóa hiệu quả thông qua biểu đồ phân tán đa chiều (Scatter Plot) kết hợp đường bao mật độ màu sắc. Bên cạnh đó, bảng tổng hợp thống kê chéo giữa các chỉ số trung bình, độ lệch chuẩn và trung vị của từng thuộc tính theo khoa/viện giúp các nhà quản lý nhanh chóng nhận diện cấu trúc phân bổ chi phí lương toàn trường.

Đề xuất và khuyến nghị

Dựa trên kết quả nghiên cứu thực nghiệm, luận văn đề xuất 4 nhóm giải pháp chiến lược nhằm tối ưu hóa công tác quản lý tài chính và nhân sự:

• Số hóa và chuẩn hóa 100% dữ liệu nhân sự: Ban Giám hiệu chỉ đạo Phòng Tổ chức Cán bộ phối hợp với Phòng Tài chính - Kế toán tiến hành rà soát, làm sạch và đồng bộ hóa toàn bộ cơ sở dữ liệu lương trong 6 tháng đầu năm 2016, mục tiêu giảm 35% sai sót trong quá trình nhập liệu và tổng hợp định kỳ.
• Triển khai ứng dụng phần mềm phân cụm trên kiến trúc 3-Tier: Bộ phận Công nghệ thông tin tích hợp mô-đun phân tích Incremental DBSCAN vào phần mềm quản lý nội bộ trong quý III/2016, duy trì hiệu năng cập nhật dữ liệu tự động với thời gian xử lý dưới 1 giây cho mỗi đợt quyết toán lương hàng tháng.
• Tái cơ cấu quy chế chi tiêu nội bộ và phân bổ thu nhập tăng thêm: Hội đồng Lương và Ban Chấp hành Công đoàn trường sử dụng kết quả phân cụm để điều chỉnh định mức giờ giảng và hệ số khen thưởng, hướng tới mục tiêu thu hẹp 15% khoảng cách thu nhập bất hợp lý giữa khối hành chính và khối giảng dạy trong vòng 12 tháng.
• Thiết lập cơ chế kiểm toán và dự báo quỹ lương định kỳ: Phòng Tài chính - Kế toán định kỳ 3 tháng một lần thực hiện chạy mô hình phân cụm mật độ nhằm phát hiện các biến động tài chính bất thường, nâng cao độ chính xác trong công tác lập dự toán ngân sách thường niên lên trên 90%.

Đối tượng nên tham khảo luận văn

Công trình nghiên cứu mang lại giá trị tham khảo sâu sắc cho nhiều nhóm độc giả chuyên môn:

• Lãnh đạo và nhà quản lý giáo dục: Ban Giám hiệu các trường cao đẳng, đại học và cơ sở giáo dục nghề nghiệp có thể sử dụng mô hình này như một công cụ hỗ trợ ra quyết định phân bổ ngân sách và hoạch định chiến lược giữ chân nhân tài.
• Chuyên viên Tổ chức Cán bộ và Kế toán: Cán bộ chuyên trách tiền lương áp dụng các thuật toán phân lớp để tự động hóa bảng lương, kiểm soát định mức phụ cấp và giảm thiểu tối đa sai sót thủ công.
• Học viên cao học và nhà nghiên cứu Khoa học máy tính: Độc giả quan tâm đến lĩnh vực Khai phá dữ liệu và Trí tuệ nhân tạo có thể tham khảo kỹ thuật cài đặt thuật toán Incremental DBSCAN, cấu trúc cây chỉ mục không gian và giải thuật cây hậu tố (Suffix Tree).
• Kỹ sư phát triển phần mềm quản trị (HRM/ERP): Đội ngũ lập trình viên có thể kế thừa thiết kế kiến trúc hệ thống 3-Tier và các hàm xử lý phân cụm động để tích hợp vào các nền tảng quản trị nhân lực quy mô lớn.

Câu hỏi thường gặp

Tại sao nên sử dụng Incremental DBSCAN thay vì thuật toán K-Means trong phân tích lương? K-Means yêu cầu người dùng phải xác định trước số cụm $k$, dễ bị ảnh hưởng bởi dữ liệu ngoại lai và chỉ hoạt động tốt với các cụm hình cầu. Ngược lại, Incremental DBSCAN tự động tìm ra số lượng cụm tự nhiên dựa trên mật độ, xử lý triệt để dữ liệu nhiễu và cho phép cập nhật dữ liệu mới cục bộ mà không cần quét lại toàn bộ cơ sở dữ liệu, giúp tiết kiệm 60% đến 70% thời gian tính toán.

Làm thế nào để xác định hai tham số Eps và MinPts một cách tối ưu? Nghiên cứu sử dụng kỹ thuật Heuristic dựa trên đồ thị $k$-dist đã sắp xếp. Khoảng cách từ mỗi điểm đến $k$ láng giềng gần nhất được tính toán và sắp xếp giảm dần. Điểm uốn đầu tiên trên đường cong đồ thị xác định giá trị ngưỡng Eps tối ưu, trong khi MinPts được thiết lập dựa trên số chiều thuộc tính của bộ dữ liệu (thực nghiệm chọn MinPts = 4).

Hệ thống phần mềm trong luận văn được xây dựng trên nền tảng kiến trúc nào? Chương trình được phát triển trên mô hình kiến trúc 3 lớp (3-Tier Architecture) bao gồm: Lớp giao diện người dùng (Presentation Tier), Lớp xử lý nghiệp vụ và thuật toán khai phá dữ liệu (Application/Business Tier), và Lớp truy xuất cơ sở dữ liệu (Data Tier). Thiết kế này đảm bảo tính độc lập, bảo mật cao và dễ dàng mở rộng chức năng.

Thuật toán phản ứng thế nào khi có biến động nhân sự thêm mới hoặc xóa bỏ? Khi thêm bản ghi mới, thuật toán chỉ đánh giá vùng lân cận Eps xung quanh điểm chèn để xác định khả năng mở rộng hoặc hợp nhất cụm. Khi xóa nhân sự, hệ thống kiểm tra các điểm hạt giống UpdSeedDel bằng thuật toán duyệt theo chiều rộng (BFS) để xác định xem cụm có bị chia tách hay không, từ đó chỉ cập nhật các liên kết bị tác động trực tiếp.

Mô hình phân tích lương này có thể mở rộng sang các doanh nghiệp hoặc cơ quan khác không? Hoàn toàn khả thi. Do thuật toán Incremental DBSCAN hoạt động dựa trên không gian thuộc tính đa chiều và ma trận khoảng cách, mô hình có thể dễ dàng ánh xạ sang các tập dữ liệu tiền lương doanh nghiệp, dữ liệu chấm công hoặc đánh giá hiệu suất nhân sự (KPIs) tại bất kỳ tổ chức nào có cấu trúc dữ liệu tương thích.

Kết luận

• Luận văn đã hệ thống hóa toàn diện khung lý thuyết về khai phá dữ liệu, tập trung chuyên sâu vào các kỹ thuật phân cụm phân hoạch, phân cấp và phân cụm dựa trên mật độ.
• Nghiên cứu đã làm chủ và chứng minh tính ưu việt của thuật toán Incremental DBSCAN trong việc xử lý cơ sở dữ liệu động với tốc độ vượt trội và khả năng khử nhiễu tin cậy.
• Xây dựng thành công ứng dụng phần mềm phân tích lương theo kiến trúc 3-Tier, đáp ứng 100% các yêu cầu nghiệp vụ quản lý tài chính tại Trường Cao đẳng Nghề Hà Nam.
• Kết quả thực nghiệm đã lượng hóa chính xác 4 phân tầng thu nhập thực tế, cung cấp cơ sở khoa học sắc bén giúp tối ưu hóa chính sách đãi ngộ và cân đối quỹ lương.
• Mở ra tiềm năng ứng dụng rộng rãi của công nghệ khai phá dữ liệu trong tiến trình chuyển đổi số công tác quản trị nhân sự tại các cơ sở giáo dục trên toàn quốc.

Đóng góp lớn nhất của luận văn là đã thu hẹp khoảng cách giữa lý thuyết giải thuật phức tạp và bài toán thực tế của đơn vị công lập. Bước tiếp theo trong giai đoạn tới là nâng cấp hệ thống sang môi trường điện toán đám mây và tích hợp các mô hình học sâu để dự báo nhu cầu nhân sự tự động. Hãy ứng dụng ngay các phương pháp phân tích dữ liệu tiên tiến để tối ưu hóa hiệu quả quản trị tài chính cho tổ chức của bạn.

Trích đoạn nội dung tài liệu

MỞ ĐẦU Khám phá tri thức - Khai phá dữ liệu (Knowledge discovery - Data mining) là một lĩnh vực quan trọng của ngành Công nghệ thông tin, đã và đang thu hút sự quan tâm đông đảo các nhà khoa học trên thế giới và trong nƣớc tham\gia nghiên cứu. Khai phá dữ liệu ra đời vào những năm cuối thập kỷ 80 của thế kỷ XX, nó là lĩnh vực đƣợc nghiên cứu nhằm tự động khai thác thông tin, tri thức mới hữu ích, tiềm ẩn từ các CSDL lớn, kho dữ liệu,. Những vấn đề đƣợc quan tâm trong khai phá dữ liệu là phân lớp nhận dạng mẫu, luật kết hợp, phân cụm dữ liệu,. Trong đó, phân cụm dữ liệu (Data Clustering) là một trong những kỹ thuật khai thác dữ liệu có hiệu quả.

Phân cụm dữ liệu là quá trình tìm kiếm và phát hiện ra các cụm hoặc các mẫu dữ liệu tự nhiên trong cơ sở dữ liệu lớn. Phân cụm dữ liệu đã đƣợc ứng dụng trong nhiều lĩnh vực khác nhau nhƣ giáo dục, y tế, kinh tế, bảo hiểm, phân đoạn ảnh,. Số hóa bởi Trung tâm Học liệu – ĐHTN http://www.vn x Việc áp dụng phân cụm dữ liệu để phân tích trong ngành kế toán hiện nay là rất cần thiết, bởi lƣợng dữ liệu lƣu trữ lƣơng khá lớn, việc phân tích đánh giá lƣơng để đƣa ra các chiến lƣợc cân đối nguồn chi phí của đơn vị, dự báo quỹ lƣơng và có kế hoạch cân đối tài chính cho phù hợp cũng gặp nhiều khó khăn. Ngoài ra việc phân tích lƣơng còn phục vụ công tác quản lý nhân sự, giúp nắm đƣợc tình hình sử dụng con ngƣời của đơn vị từ đó đƣa ra các chính sách tuyển dụng phù hợp, có các giải pháp tạo động lực cho ngƣời lao động bằng các chính sách tài chính.

Việc phân cụm dữ liệu để phân tích lƣơng cho kết quả thu đƣợc sẽ phân loại theo giá trị lƣơng của mỗi cán bộ, phân loại ra các mức thu nhập cao thấp khác nhau từ đó đƣa ra các chính sách cân đối thu chi để có những chính sách ƣu đãi phù hợp mà vẫn đảm bảo tài chính của đơn vị. Với các lý do nhƣ vậy tôi chọn đề tài: “Một số phƣơng pháp phân cụm dữ liệu và ứng dụng trong phân tích lƣơng của cán bộ trƣờng Cao đẳng Nghề Hà Nam” làm đề tài luận văn tốt nghiệp. Bố cục luận văn gồm có 3 chƣơng: Chƣơng I: Tổng quan về khai phá dữ liệu và phân cụm dữ liệu. Chƣơng II: Một số thuật toán phân cụm dữ liệu điển hình Chƣơng III: Ứng dụng phƣơng pháp phân nhóm dữ liệu vào phân tích lƣơng của cán bộ trƣờng Cao đẳng Nghề Hà Nam.

Số hóa bởi Trung tâm Học liệu – ĐHTN http://www.vn 1 CHƢƠNG I: TỔNG QUAN VỀ KHAI PHÁ DỮ LIỆU VÀ PHÂN CỤM DỮ LIỆU 1.1 Khai phá dữ liệu 1.1 Giới thiệu về khai phá dữ liệu Khai phá dữ liệu (Data Mining) là một khái niệm ra đời vào những năm cuối thập kỉ 80 của thế kỉ XX. Khai phá dữ liệu là một lĩnh vực đƣợc nghiên cứu nhằm tự động khai thác thông tin, tri thức mới hữu ích, tiềm ẩn từ các CSDL lớn, kho dữ liệu,. Ngoài thuật ngữ khai phá dữ liệu ngƣời ta còn một số thuật ngữ khác có ý nghĩ tƣơng tự nhƣ: trích chọn dữ liệu (Knowledge extraction), nạo vét dữ liệu (Data dredging), phân tích dữ liệu mẫu (Pattern Analisys), phát hiện tri thức từ CSDL (Knowlegde Discovery in Databases. Các bƣớc cơ bản trong quá trình phát hiện tri thức từ CSDL là [6]: (1) Làm sạch dữ liệu: Loại bỏ dữ liệu nhiễu và không đồng nhất (2) Tích hợp dữ liệu: Các nguồn dữ liệu khác nhau đƣợc tích hợp với nhau (3) Trích chọn dữ liệu: Chọn các dữ liệu liên quan đến phân tích (4) Chuyển đổi dữ liệu: Chuyển dữ liệu sang phù hợp để khai phá (5) Khai phá dữ liệu: Bƣớc thiết yếu để tìm ra mẫu dữ liệu (6) Đánh giá các mẫu: Kiểm định dựa vào mục tiêu ban đầu của chúng (7) Biểu diễn tri thức: Hiển thị, biểu diễn kết quả sao có thể hiểu đƣợc Trong 7 giai đoạn của quá trình khám phá tri thức thì giai đoạn 5 (Khai phá dữ liệu) là giai đoạn quan trọng nhất.

Trong những năm gần đây, rất nhiều các phƣơng pháp và thuật toán mới về KPDL liên tục đƣợc công bố. Điều này chứng tỏ những ƣu thế, lợi ích và khả năng ứng dụng thực tế to lớn của KPDL.2 Quá trình khai phá dữ liệu Về bản chất khai phá dữ liệu là giai đoạn t tìm ra đƣợc những thông tin mới, tiềm ẩn trong CSDL và chủ yếu phục vụ cho quá trình mô tả và dự đoán. Số hóa bởi Trung tâm Học liệu – ĐHTN http://www.vn 2 Mô tả dữ liệu là tổng kết hoặc diễn tả những tính chất hoặc đặc tính chung của những thuộc tính dữ liệu trong kho dữ liệu mà con ngƣời có thể hiểu đƣợc. Dự đoán là dựa trên những dữ liệu hiện thời để dự đoán những quy luật đƣợc phát hiện từ các mối liên hệ giữa các thuộc tính của dữ liệu trên cơ sở đó chiết xuất ra các mẫu, dự đoán đƣợc những giá trị chƣa biết hoặc những giá trị tƣơng lai của các biến quan tâm.

Quá trình khai phá dữ liệu gồm các bƣớc chính nhƣ sau: - Xác định nhiệm vụ: Xác định các vấn đề chính cần giải quyết. - Xác định dữ liệu liên quan: Dùng để xây dựng giải pháp. - Thu thập và tiền xử lý dữ liệu: Thu thập các dữ liệu liên quan và tiền xử lý chúng sao cho thuật toán khai phá dữ liệu có thể hiểu đƣợc. - Giải thuật khai phá dữ liệu: Lựa chọn thuật toán khai phá dữ liệu và thực hiện việc khai phá dữ liệu để tìm đƣợc các mẫu có ý nghĩa.3 Các kỹ thuật khai phá dữ liệu - Khai phá dữ liệu thƣờng sử dụng các phƣơng pháp sau: + Luật kết hợp (AssoCi ation rules): Là phát hiện và đƣa ra mối liên hệ giữa các giá trị dữ liệu trong CSDL.

+ Phân cụm dữ liệu (Data Clustering): Sắp xếp các đối tƣợng theo từng cụm dữ liệu tự nhiên, tức là số lƣợng và tên cụm chƣa đƣợc biết trƣớc. Các đối tƣợng đƣợc gom cụm sao cho độ tƣơng đồng (similar) giữa các đối tƣợng trong cùng một cụm là lớn nhất và mức độ tƣơng đồng giữa các đối tƣợng nằm trong các cụm khác nhau là nhỏ nhất. Phân cụm còn đƣợc gọi là học không giám sát (Unsupervised Learning). - Khai phá dữ liệu dự đoán thƣờng sử dụng các phƣơng pháp sau: + Phân lớp (Classfication): Là quá trình xếp một đối tƣợng vào một trong những lớp đã biết trƣớc (Ví dụ: phân lớp các học sinh theo kết quả thi).

Phân lớp còn đƣợc gọi là học có giám sát (Supervised learning). Số hóa bởi Trung tâm Học liệu – ĐHTN http://www.vn 3 + Hồi quy (Regression): Phƣơng pháp hồi quy tƣơng tự nhƣ phân lớp dữ liệu nhƣng khác ở chỗ nó dùng để dự đoán các giá trị liên tục còn phân lớp dữ liệu dùng để dự đoán các giá trị rời rạc - Ngoài các phƣơng pháp trên còn rất nhiều các phƣơng pháp khác nhƣ: + Cây quyết định (DeCi sion Trees) + Mạng nơ-ron (Neural Network) + Trực quan hóa (Visualization) + Biểu diễn mô hình (Model Evaluation) + Phƣơng pháp tìm kiếm (Search Method) + Phân tích theo trình tự thời gian (Time series Analysis) 1.4 Ứng dụng của Khai phá dữ liệu Khai phá dữ liệu đƣợc ứng dụng trong nhiều lĩnh vực khác nhau nhằm khai thác nguồn dữ liệu đƣợc lƣu trữ trong các hệ thống thông tin. Một số ứng dụng điển hình trong khai phá dữ liệu có thể liệt kê nhƣ sau: - Thƣơng mại: Nhƣ phân tích dữ liệu bán hàng và thi trƣờng, phân tích đầu tƣ, phát hiện gian lận, chứng thực hóa khách hàng, dự báo xu hƣớng phát triển,. - Thông tin khoa học: Quan sát thiên văn, dự báo thời tiết, dữ liệu gene, tìm kiếm so sánh các hệ gene và thông tin di truyền (sinh học),.

- Mạng viễn thông: Phân tích các cuộc gọi điện thoại và hệ thống giám sát lỗi, sự cố, chất lƣợng dịch vụ,. - Phân tích dữ liệu và hỗ trợ ra quyết định, điều trị y học, khai phá Web, tài chính và thị trƣờng chứng khoán, bảo hiểm, giáo dục, du lịch,.5 Các xu thế và vấn đề cần giải quyết trong khai phá dữ liệu Một số hƣớng nghiên cứu chính của Khai phá dữ liệu hiện nay [6]: Xu hƣớng khai phá dữ liệu đang nỗ lực hơn nữa đối với việc thăm dò các lĩnh vực ứng dụng mới, cải tiến phƣơng pháp mở rộng, tƣơng tác, tích hợp khai thác dữ liệu với dịch vụ web, cơ sở dữ liệu, kho dữ liệu, các hệ thống điện toán đám mây và khai thác mạng xã hội,. Các xu hƣớng khác bao gồm việc khai thác dữ liệu thời gian và không gian, dữ liệu sinh học, hệ thống dữ liệu kĩ thuật, các dữ liệu đa phƣơng tiện và khai phá dữ liệu văn bản, khai pha web, các dữ Số hóa bởi Trung tâm Học liệu – ĐHTN http://www.vn 4 liệu phân tán, dữ liệu thời gian thực, dòng dữ liệu, khai thác dữ liệu hình ảnh, âm thanh và vấn đề an ninh trong khai thác dữ liệu. Việc khám phá đƣợc nhiều tri thức khác nhau từ các kiểu dữ liệu khác nhau, tính chính xác và hiệu quả, khả năng mở rộng và tích hợp, xử lý nhiễu và tính hữu ích của dữ liệu đƣợc khai phá.

Khai phá dữ liệu liên quan đến nhiều ngành, nhiều lĩnh vực trong thực tế, vì vậy các thách thức và khó khăn ngày càng nhiều, càng lớn hơn. Sau đây là một số các thách thức và khó khăn cần đƣợc quan tâm: - Các cơ sở dữ liệu lớn với hàng trăm trƣờng, hàng triệu bản ghi và kích thƣớc lên tới nhiều Gi-ga byte (GB) hoặc nhiều Tê-ra byte (TB). - Số lƣợng các trƣờng lớn (các thuộc tính, các biến) làm cho số chiều của bài toán trở nên cao. Đặc biệt lƣu ý đến dữ liệu không gian, số chiều cao có thể rất thƣa và bị lệch nhiều.

- Việc dữ liệu thay đổi nhanh có thể làm cho các mẫu phát hiện trƣớc đó không hợp lệ. Thêm vào đó các biến đã đo trong một cơ sở dữ liệu ứng dụng cho trƣớc có thể bị sửa đổi, xóa bỏ hay tăng thêm các phép đo mới. - Dữ liệu bị thiếu và bị nhiễu. - Mối quan hệ phức tạp giữa các trƣờng (dữ liệu hỗn hợp).

- Tính dễ hiểu của các mẫu. - Tích hợp với các hệ thống khác.2 Kỹ thuật phân cụm trong Khai phá dữ liệu 1.