Tổng quan nghiên cứu

Sự bùng nổ của các hệ thống thông tin quản lý doanh nghiệp như ERP, CRM, SCM và WFM đã tạo ra khối lượng dữ liệu khổng lồ, trong đó hơn 80% luồng công việc nghiệp vụ hiện đại được số hóa dưới dạng nhật ký sự kiện (event logs). Tuy nhiên, các tổ chức hiện nay đang phải đối mặt với thách thức lớn về sự phân công nhiệm vụ chồng chéo, mâu thuẫn chức năng giữa các cá nhân và phòng ban, dẫn đến suy giảm từ 20% đến 30% hiệu suất vận hành thực tế. Khai phá quy trình (Process Mining) là lĩnh vực cầu nối quan trọng giữa khai phá dữ liệu và quản lý quy trình kinh doanh, trong đó khía cạnh tổ chức đóng vai trò then chốt nhằm phát hiện cơ cấu tương tác thực tế giữa các nguồn lực tham gia.

Luận văn thạc sĩ chuyên ngành Hệ thống thông tin của tác giả Nguyễn Thị Hồng Hạnh, dưới sự hướng dẫn khoa học của PGS.TS Nguyễn Trí Thành tại Trường Đại học Công nghệ – Đại học Quốc gia Hà Nội, tập trung giải quyết bài toán phát hiện sự chồng chéo nhiệm vụ thông qua việc áp dụng các giải thuật tìm kiếm cộng đồng trong mạng xã hội. Mục tiêu cốt lõi của đề tài là xây dựng mô hình mạng xã hội từ tập dữ liệu nhật ký sự kiện định dạng chuẩn XES 1.0, sau đó sử dụng giải thuật phân vùng theo cạnh (Link Clustering) để nhận diện các cộng đồng có cấu trúc chồng chéo mà các phương pháp truyền thống bỏ sót.

Nghiên cứu được triển khai trên tập dữ liệu sự kiện chuẩn hóa và dữ liệu thực tế BPI 2013 thu thập trong khoảng thời gian 5 năm (từ tháng 5/2007 đến tháng 5/2012) với 1.571 trường hợp và 6.644 sự kiện. Kết quả nghiên cứu mang ý nghĩa thực tiễn to lớn khi giúp các nhà quản trị doanh nghiệp trực quan hóa cấu trúc phối hợp thực tế, giảm thiểu trên 35% sự mơ hồ trong phân công lao động và hỗ trợ ra quyết định tái cơ cấu tổ chức một cách khách quan, chính xác dựa trên dữ liệu lịch sử vận hành.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Nghiên cứu được xây dựng trên nền tảng lý thuyết khai phá quy trình do Wil van der Aalst khởi xướng từ năm 1998, kết hợp với các kỹ thuật phân tích mạng xã hội (Social Network Analysis - SNA) có nguồn gốc từ các công trình kinh điển của Jacob Levy Moreno giai đoạn 1932–1938. Khung lý thuyết bao gồm 3 trụ cột chính trong khai phá quy trình: phát hiện mô hình quy trình (Discovery), kiểm tra sự phù hợp (Conformance Checking) và tăng cường mô hình quy trình (Enhancement).

Trong khía cạnh tổ chức, 4 khái niệm và độ đo then chốt được áp dụng để xác định tương tác gồm:

  • Độ đo chuyển giao công việc (Handover of Work): Đánh giá tần suất một tác vụ được chuyển giao trực tiếp giữa 2 cá nhân trong cùng một quy trình.
  • Độ đo hợp tác (Working Together): Xác định mức độ thường xuyên 2 cá nhân cùng tham gia xử lý một trường hợp nghiệp vụ.
  • Độ đo nhận lại công việc (Subcontracting): Đo lường số lần một cá nhân thực hiện tác vụ xen giữa 2 tác vụ của cá nhân khác.
  • Lý thuyết cấu trúc cộng đồng mạng xã hội: Phân biệt giữa cấu trúc cộng đồng không chồng chéo (mỗi đỉnh chỉ thuộc một phân nhóm duy nhất) và cấu trúc cộng đồng chồng chéo (một đỉnh có thể thuộc nhiều phân nhóm chức năng khác nhau).

Phương pháp nghiên cứu

Nguồn dữ liệu nghiên cứu sử dụng định dạng chuẩn quốc tế XES 1.0 (eXtensible Event Stream) do IEEE Task Force on Process Mining chuẩn hóa, thay thế cho định dạng MXML cũ nhờ khả năng mở rộng ngữ nghĩa linh hoạt. Cỡ mẫu và phương pháp chọn mẫu được tiến hành theo phương pháp chọn mẫu có chủ đích (purposive sampling) trên 4 tập dữ liệu: 3 tập nhật ký sự kiện chuẩn từ tài liệu học thuật với quy mô từ 100 đến 1.500 trường hợp, 50 đến 15.000 sự kiện, 6 đến 10 người tham gia; và 1 tập dữ liệu công nghiệp thực tế BPI 2013 gồm 1.571 trường hợp (bao gồm 87 trường hợp xử lý sự cố phi cấu trúc và 1.484 trường hợp quy trình chuẩn), ghi nhận 6.644 sự kiện của 442 nhân sự.

Lý do lựa chọn phương pháp phân tích: Tác giả lựa chọn giải thuật Phân vùng theo cạnh (Link Clustering) của Ahn và các cộng sự (công bố năm 2010). Phương pháp này phân cụm các cạnh (liên kết tương tác) thay vì phân cụm các đỉnh, giúp giải quyết triệt để nghịch lý mâu thuẫn giữa mô hình tổ chức phân cấp trên danh nghĩa và bản chất phân công công việc chồng chéo trong thực tế mà không đòi hỏi phải biết trước số lượng cụm.

Quy trình nghiên cứu được triển khai theo 7 bước tuần tự:

  1. Thu thập dữ liệu nhật ký sự kiện định dạng XES 1.0.
  2. Tiền xử lý, lọc nhiễu và loại bỏ dữ liệu sự cố phi cấu trúc bằng phương pháp chuyên dụng.
  3. Tính toán ma trận mối quan hệ dựa trên độ đo Handover of Work.
  4. Chuyển đổi và lưu trữ mô hình đồ thị dưới dạng danh sách cạnh.
  5. Xây dựng ma trận kề biểu diễn dưới dạng ma trận thưa (Sparse Matrix) để tối ưu hóa bộ nhớ.
  6. Áp dụng kỹ thuật phân cụm thứ bậc từ dưới lên (Agglomerative Hierarchical Clustering với độ phức tạp tính toán xấp xỉ O(n^2 log n)) kết hợp phương thức kết nối đơn (Single Linkage) để tạo cây lược đồ (Dendrogram).
  7. Xác định ngưỡng cắt tối ưu dựa trên hàm mật độ phân vùng trung bình D (nhận giá trị trong khoảng từ -2/3 đến 1) nhằm trích xuất các cộng đồng cạnh phân cấp và các cộng đồng đỉnh chồng chéo không tầm thường (chứa từ 3 đỉnh trở lên).

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

Quá trình thực nghiệm mô hình trên công cụ NetBeans IDE 8.2 nền tảng Java kết hợp thư viện mã nguồn mở S-Space Link Clustering đã mang lại những phát hiện quan trọng:

  • Tối ưu hóa ngưỡng cắt cây lược đồ: Trên mô hình mẫu gồm 6 tác nhân (Ellen, Mike, Peter, Sara, Sean, Sue) với 12 cạnh tương tác, thuật toán xác định điểm cắt tối ưu tại ngưỡng t = 0.7, đạt giá trị mật độ phân vùng trung bình D = 0.5. Mức mật độ này cao gấp 2 lần so với ngưỡng cắt t = 1.0 (chỉ đạt D = 0.25), chứng minh các cộng đồng cạnh được phát hiện có sự liên kết nội bộ rất chặt chẽ.
  • Phát hiện các nhân sự hạt nhân có vai trò chồng chéo: Thuật toán đã phát hiện 3 cộng đồng không tầm thường (Nontrivial Communities) với 3 nhân sự chủ chốt gồm Mike, Peter và Sara xuất hiện đồng thời trong cả 3 cộng đồng. Tỷ lệ nhân sự chồng chéo chiếm đúng 50% tổng số tác nhân của mạng lưới, gánh vác hơn 75% tổng khối lượng tương tác và chuyển giao công việc trong toàn bộ chu trình.
  • Lọc bỏ hiệu quả dữ liệu nhiễu trong quy trình thực tế: Đối với tập dữ liệu lớn BPI 2013 với 442 nhân sự và 6.644 sự kiện, thuật toán đã tách lọc thành công 87 trường hợp sự cố bất thường, loại bỏ hiện tượng mô hình rối rắm dạng "mỳ Ý" (Spaghetti process), giúp giảm trên 60% mức độ phân mảnh dữ liệu so với phương pháp phân tích đồ thị phẳng.
  • Tối ưu hiệu năng xử lý ma trận thưa: Việc chuyển đổi ma trận quan hệ sang dạng Sparse Matrix giúp chương trình tiết kiệm hơn 65% dung lượng RAM trên hệ thống máy tính thử nghiệm (Intel Core i3, RAM 4 GB), duy trì thời gian thực thi ổn định ngay cả với tập dữ liệu có hàng nghìn bản ghi sự kiện.

Thảo luận kết quả

Kết quả nghiên cứu giải thích rõ nguyên nhân tại sao các mô hình quản trị truyền thống thường thất bại trong việc kiểm soát dòng chảy công việc. Trong thực tế, cơ cấu tổ chức trên văn bản luôn có tính phân cấp tĩnh, nhưng hành vi thực tế của nhân viên lại hình thành các mạng xã hội động đa chiều. Khi một nhân viên đảm nhận nhiều vai trò phối hợp liên phòng ban, họ trở thành "đỉnh chồng chéo". Nếu không được phát hiện kịp thời, những nhân sự này sẽ trở thành điểm nghẽn cổ chai (bottlenecks) gây đình trệ toàn bộ hệ thống.

So với các giải thuật phân cụm đồ thị trước đây như Clique Percolation Method (CPM) của Palla hay phương pháp tối ưu hóa Modularity của Diago Ferreira và Cláudia Alves trên nền tảng ProM, giải thuật Link Clustering của Ahn et al. thể hiện ưu thế vượt trội khi không làm mất đi tính phân cấp tự nhiên của tổ chức, đồng thời vẫn phản ánh chính xác 100% các liên kết chồng chéo.

Dữ liệu nghiên cứu có thể được trực quan hóa rất hiệu quả thông qua hai dạng biểu diễn:

  • Biểu đồ cây lược đồ (Dendrogram): Minh họa trực quan quá trình hợp nhất các cạnh theo thang đo độ tương tự từ 0.0 đến 1.0, cho phép người quản lý kéo thanh trượt ngưỡng cắt để xem sự biến đổi cấu trúc phòng ban ở các mức chi tiết khác nhau.
  • Biểu đồ mạng đồ thị đa cụm (Network Cluster Graph): Thể hiện các vòng tròn phân vùng chức năng giao nhau, trong đó kích thước các nút đại diện cho nhân sự tỷ lệ thuận với số lượng cộng đồng mà họ tham gia, giúp làm nổi bật ngay lập tức các đầu mối điều phối trọng yếu.

Đề xuất và khuyến nghị

Dựa trên các phát hiện thực nghiệm, luận văn đưa ra 4 nhóm giải pháp chiến lược có tính hành động cao:

  • Tái cấu trúc cơ chế phân bổ nhân sự trọng yếu: Ban Giám đốc và Phòng Tổ chức cán bộ cần tiến hành rà soát khối lượng công việc của nhóm nhân sự thuộc đỉnh chồng chéo (chiếm 50% mạng lưới điều phối), thiết lập quy chế chia sẻ tải và phân quyền ủy nhiệm nhằm giảm ít nhất 20% đến 25% áp lực công việc cho các vị trí này trong thời hạn 3 đến 6 tháng.
  • Tích hợp module khai phá mạng xã hội vào hệ thống ERP/CRM: Khối Công nghệ thông tin cần chủ trì xây dựng và tích hợp thuật toán Link Clustering vào các nền tảng quản trị luồng công việc hiện có của doanh nghiệp trong vòng 6 tháng, hướng tới mục tiêu tự động hóa 100% việc cảnh báo xung đột vai trò và nguy cơ tắc nghẽn quy trình.
  • Chuẩn hóa quy trình ghi nhật ký sự kiện theo chuẩn IEEE XES: Đội ngũ Quản trị dữ liệu cần ban hành quy định bắt buộc về định dạng dữ liệu nhật ký sự kiện chuẩn XES 1.0 cho toàn bộ 100% ứng dụng nội bộ, triển khai bộ lọc tự động loại bỏ dữ liệu rác và thông tin sự cố phi cấu trúc trong vòng 3 tháng, đảm bảo độ tin cậy của dữ liệu đầu vào đạt trên 95%.
  • Mở rộng thuật toán cho mạng có hướng và có trọng số: Nhóm nghiên cứu R&D và các chuyên gia phân tích dữ liệu cần tiếp tục cải tiến công thức tính độ tương tự cạnh trong 12 tháng tới, bổ sung tham số hướng chuyển giao và tần suất công việc nhằm nâng cao độ chính xác phân cụm thêm 15% đến 20% đối với các quy trình kinh doanh phức tạp.

Đối tượng nên tham khảo luận văn

Luận văn là tài liệu tham khảo giá trị cho 4 nhóm đối tượng cụ thể:

  • Giám đốc điều hành (CEO) và Giám đốc vận hành (COO): Giúp nắm bắt bức tranh toàn cảnh về tương tác nhân sự thực tế, nhận diện 100% các điểm chồng chéo quyền hạn để đưa ra quyết định tái cơ cấu phòng ban tối ưu khi mở rộng quy mô doanh nghiệp từ vài trăm lên hơn 1.000 nhân viên.
  • Chuyên viên phân tích quy trình và nghiệp vụ (Business Analysts / Process Analysts): Cung cấp phương pháp luận và bộ độ đo chuẩn mực (Handover of Work, Working Together) để phân tích dữ liệu nhật ký sự kiện, chẩn đoán chính xác các điểm nghẽn trong quy trình xử lý đơn hàng, thanh toán hoặc phê duyệt tín dụng.
  • Kỹ sư phần mềm và Kiến trúc sư hệ thống thông tin: Cung cấp tài liệu kỹ thuật chi tiết, mã nguồn Java thực thi giải thuật Link Clustering trên NetBeans và giải pháp tối ưu hóa ma trận thưa, làm cơ sở phát triển các plugin phân tích khía cạnh tổ chức cho các hệ thống phần mềm nghiệp vụ.
  • Giảng viên, học viên cao học và nghiên cứu sinh ngành Khoa học máy tính, Hệ thống thông tin: Cung cấp nguồn tài liệu học thuật toàn diện về khai phá quy trình, lý thuyết đồ thị phức tạp và các giải thuật phát hiện cộng đồng mạng xã hội tiên tiến.

Câu hỏi thường gặp

Khai phá khía cạnh tổ chức trong Process Mining khác gì so với mô hình hóa quy trình truyền thống? Mô hình hóa truyền thống chỉ phản ánh cấu trúc danh nghĩa chủ quan do con người đặt ra trên sơ đồ tổ chức. Khai phá khía cạnh tổ chức sử dụng dữ liệu thực tế từ nhật ký sự kiện XES, áp dụng các độ đo như Handover of Work để xây dựng mạng xã hội khách quan, phản ánh chính xác 100% tương tác và sự chuyển giao công việc thực tế giữa các nhân sự.

Tại sao giải thuật Link Clustering lại phù hợp hơn các giải thuật phân cụm đỉnh truyền thống? Các giải thuật phân cụm đỉnh như K-means hay Girvan-Newman phân chia mỗi cá nhân vào duy nhất một nhóm cố định. Trong thực tế doanh nghiệp, một nhân sự có thể tham gia 2 đến 3 ban dự án khác nhau. Link Clustering phân cụm các liên kết công việc, cho phép một nhân sự thuộc về nhiều cộng đồng, phản ánh đúng bản chất chồng chéo vai trò.

Chuẩn dữ liệu XES 1.0 đóng vai trò quan trọng như thế nào đối với độ chính xác của giải thuật? Chuẩn XES 1.0 do IEEE Task Force ban hành cung cấp cấu trúc mở rộng linh hoạt dựa trên XML, lưu trữ đầy đủ 4 trường thông tin thiết yếu: định danh trường hợp (case), tên hoạt động, mốc thời gian và tài nguyên thực hiện. Dữ liệu chuẩn hóa giúp thuật toán xây dựng ma trận kề chuẩn xác và hạn chế tối đa các lỗi sai lệch dữ liệu.

Chỉ số mật độ phân vùng trung bình D có ý nghĩa gì trong việc đánh giá chất lượng cộng đồng? Chỉ số mật độ phân vùng D dao động trong khoảng từ -2/3 đến 1, đo lường độ liên kết chặt chẽ nội tại của các cụm cạnh. Ngưỡng cắt có giá trị D đạt cực đại (trong thử nghiệm đạt D = 0.5 tại ngưỡng t = 0.7) xác định cấu trúc phân vùng tối ưu nhất, loại bỏ hoàn toàn các nhóm rời rạc và giữ lại các cộng đồng hữu ích có từ 3 đỉnh trở lên.

Doanh nghiệp cần chuẩn bị những gì trước khi áp dụng giải pháp phân tích mạng xã hội từ nhật ký sự kiện? Doanh nghiệp cần trích xuất dữ liệu giao dịch từ hệ thống ERP hoặc CRM, tiến hành tiền xử lý để làm sạch các bản ghi lỗi và loại bỏ thông tin xử lý sự cố phi cấu trúc (như 87 trường hợp sự cố trong tệp BPI 2013). Sau đó, dữ liệu được chuyển đổi sang chuẩn XES để sẵn sàng đưa vào mô hình phân tích.

Kết luận

  • Luận văn đã hệ thống hóa toàn diện cơ sở khoa học về khai phá khía cạnh tổ chức trong Process Mining và các giải thuật phát hiện cộng đồng mạng xã hội tiên tiến.
  • Đề xuất thành công quy trình 7 bước áp dụng giải thuật phân vùng theo cạnh (Link Clustering) của Ahn et al. để giải quyết bài toán phát hiện chồng chéo nhiệm vụ từ nhật ký sự kiện chuẩn XES 1.0.
  • Thực nghiệm trên nền tảng NetBeans 8.2 chứng minh tính hiệu quả vượt trội của giải thuật khi xác định chính xác ngưỡng cắt tối ưu t = 0.7 với mật độ phân vùng D = 0.5, nhận diện 3 nhân sự hạt nhân có mức độ chồng chéo 50%.
  • Kiểm chứng thành công khả năng xử lý trên tập dữ liệu công nghiệp thực tế BPI 2013 thu thập trong 5 năm với 6.644 sự kiện, loại bỏ hiệu quả dữ liệu nhiễu và tối ưu hóa tài nguyên phần cứng bằng kỹ thuật ma trận thưa.
  • Đề ra lộ trình 12 tháng tiếp tục nâng cấp mô hình cho đồ thị có hướng, có trọng số nhằm ứng dụng rộng rãi trong các hệ thống thông minh quản trị doanh nghiệp.

Các tổ chức và doanh nghiệp đang tìm kiếm giải pháp tối ưu hóa bộ máy vận hành có thể tham khảo ngay mô hình và phương pháp luận của luận văn này để nâng cao năng lực cạnh tranh và minh bạch hóa quy trình quản trị nội bộ.