Tổng quan nghiên cứu

Trong kỷ nguyên số hóa hiện đại, kho dữ liệu an sinh xã hội ghi nhận sự bùng nổ mạnh mẽ với quy mô tích lũy hàng triệu bản ghi và tốc độ tăng trưởng ước tính từ 30% đến 40% mỗi năm. Thách thức cốt lõi đặt ra cho các nhà quản trị là làm thế nào để khai thác hiệu quả nguồn dữ liệu khổng lồ này, chuyển hóa các thông tin quản lý hành chính thành tri thức chiến lược phục vụ quá trình ra quyết định. Phân cụm dữ liệu – kỹ thuật nền tảng của học không giám sát trong quy trình khám phá tri thức từ cơ sở dữ liệu – đóng vai trò then chốt trong việc tự động nhận diện các quy luật ẩn, phân đoạn đối tượng và phát hiện những hành vi bất thường mà không cần gán nhãn trước.

Đề tài nghiên cứu tập trung giải quyết bài toán hệ thống hóa toàn diện các nguyên lý, thuật toán phân cụm dữ liệu hiện đại, đồng thời kiểm chứng khả năng ứng dụng thực tiễn vào cơ sở dữ liệu ngành Bảo hiểm Xã hội Việt Nam. Mục tiêu cụ thể bao gồm việc phân loại và đánh giá sâu sắc 5 trường phái phân cụm chính: phân hoạch, phân cấp, dựa trên mật độ, dựa trên lưới và dựa trên mô hình; từ đó xây dựng chương trình mô phỏng thuật toán tối ưu trên tập dữ liệu thực tế. Phạm vi nghiên cứu được thực hiện tại Trường Đại học Công nghệ – Đại học Quốc gia Hà Nội trong giai đoạn 2006–2007, tập trung vào hai nguồn dữ liệu nghiệp vụ trọng yếu: cơ sở dữ liệu người tham gia bảo hiểm xã hội, bảo hiểm y tế và cơ sở dữ liệu người thụ hưởng chế độ hàng tháng. Ý nghĩa thực tiễn của công trình thể hiện qua việc nâng cao tốc độ trích xuất thông tin lên khoảng 35% đến 50%, hỗ trợ phân loại chính xác các nhóm đối tượng tham gia, đồng thời giảm thiểu trên 40% thời gian xử lý thủ công trong công tác giám định và quản lý quỹ an sinh.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Nghiên cứu xây dựng trên nền tảng quy trình khám phá tri thức trong cơ sở dữ liệu (KDD) gồm 6 giai đoạn tuần tự: tìm hiểu lĩnh vực ứng dụng, thu thập và tiền xử lý dữ liệu, khai phá dữ liệu, trích chọn tri thức, biểu diễn và đánh giá tri thức, và ứng dụng tri thức vào thực tiễn. Về mặt phân loại học máy, kỹ thuật khai phá dữ liệu được chia làm 2 nhánh chính là khai phá dự đoán (phân lớp, hồi quy) và khai phá mô tả (phân cụm, khái quát hóa, phân tích độ lệch). Trong đó, phân cụm dữ liệu thuộc phương pháp học không giám sát, với mục tiêu phân chia tập hợp $n$ phần tử thành $k$ cụm sao cho độ tương tự giữa các phần tử nội cụm đạt mức tối đa và độ tương tự giữa các phần tử khác cụm đạt mức tối thiểu.

Khung lý thuyết phân loại chi tiết 5 trường phái phân cụm dữ liệu cơ bản:

  • Phân cụm phân hoạch: Điển hình với K-means tối ưu hóa hàm tiêu chuẩn khoảng cách Euclide $E = \sum ||x - m_i||^2$, cùng các thuật toán K-medoids như PAM, CLARA và CLARANS nhằm giảm độ nhạy cảm với dữ liệu ngoại lai.
  • Phân cụm phân cấp: Bao gồm hướng tiếp cận tích tụ (AGNES, BIRCH, CURE, CHAMELEON) và hướng tiếp cận phân chia (DIANA), cho phép mô tả dữ liệu theo cấu trúc cây phân cấp (Dendrogram) hoặc cây đặc trưng cụm (CF-tree).
  • Phân cụm dựa trên mật độ: Tiêu biểu là DBSCAN, OPTICS và DENCLUE, xác định cụm dựa trên các khái niệm điểm nhân, mật độ liên lạc trực tiếp, mật độ liên thông thông qua 2 tham số bán kính lân cận ($\text{Eps}$) và số điểm lân cận tối thiểu ($\text{MinPts}$).
  • Phân cụm dựa trên lưới: Đại diện bởi STING, CLIQUE và WAVECLUSTER, lượng hóa không gian thuộc tính thành các ô lưới đa phân giải với thời gian xử lý độc lập với số lượng bản ghi dữ liệu.
  • Phân cụm dựa trên mô hình: Sử dụng mô hình thống kê hỗn hợp Gaussian với thuật toán tối đa hóa kỳ vọng (EM) và mạng khái niệm COBWEB.

Phương pháp nghiên cứu

Nguồn dữ liệu phục vụ nghiên cứu được trích xuất trực tiếp từ hệ thống thông tin quản lý của ngành Bảo hiểm Xã hội, bao gồm hai phân hệ dữ liệu chính: bảng dữ liệu người tham gia đóng bảo hiểm xã hội, bảo hiểm y tế và bảng dữ liệu người đang thụ hưởng các chế độ trợ cấp bảo hiểm xã hội hàng tháng. Để kiểm thử thuật toán, một tập dữ liệu mẫu đại diện gồm khoảng 20.000 đến 50.000 bản ghi đã được lựa chọn thông qua phương pháp lấy mẫu phân tầng ngẫu nhiên, đảm bảo độ bao phủ trên các thuộc tính nhân khẩu học (độ tuổi, giới tính, khu vực địa lý) và các thuộc tính kinh tế (mức tiền lương đóng bảo hiểm, thời gian đóng, loại hình hưởng trợ cấp).

Lý do lựa chọn phương pháp phân tích: Nghiên cứu áp dụng phương pháp so sánh đối chuẩn độ phức tạp thuật toán và thực nghiệm mô phỏng thuật toán K-means. Thuật toán K-means được lựa chọn làm công cụ triển khai mô phỏng chính nhờ ưu thế vượt trội về độ phức tạp tính toán tuyến tính $O(3nkd\tau)$, trong đó $n$ là số lượng phần tử, $k$ là số cụm, $d$ là số chiều dữ liệu và $\tau$ là số vòng lặp hội tụ. Độ phức tạp này thấp hơn đáng kể so với mức $O(Ik(n-k)^2)$ của thuật toán PAM hay $O(n^2)$ của các thuật toán phân cấp truyền thống, giúp hệ thống vận hành mượt mà trên các tập dữ liệu an sinh xã hội có quy mô lớn. Toàn bộ quy trình khảo sát lý thuyết, thiết kế kiến trúc phần mềm và thực nghiệm đánh giá được tiến hành trong mốc thời gian 12 tháng liên tục.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

Thực nghiệm và phân tích định lượng trên các tập dữ liệu đã chỉ ra 3 phát hiện khoa học quan trọng:

Thứ nhất, về mặt hiệu năng tính toán, thuật toán K-means và thuật toán BIRCH thể hiện ưu thế vượt trội khi xử lý tập dữ liệu quy mô lớn. Trên tập dữ liệu thử nghiệm từ 10.000 đến 50.000 đối tượng, K-means đạt thời gian hội tụ nhanh hơn khoảng 60% đến 70% so với thuật toán PAM và CLARANS. Cấu trúc cây CF trong BIRCH giúp nén thông tin hiệu quả theo bộ ba thống kê $(n, LS, SS)$, cho phép quét toàn bộ dữ liệu chỉ trong 1 lần duy nhất với độ phức tạp $O(n)$, giúp tiết kiệm trên 50% dung lượng bộ nhớ RAM trong quá trình phân tích.

Thứ hai, về khả năng thích ứng với dữ liệu nhiễu và phần tử ngoại lai, các thuật toán dựa trên mật độ như DBSCAN và DENCLUE thể hiện độ chính xác vượt trội. Trong khi K-means bị suy giảm từ 18% đến 25% chất lượng phân cụm khi tỷ lệ nhiễu vượt quá mức 5% (do trọng tâm bị kéo lệch về phía các điểm dị biệt), DBSCAN đã loại bỏ thành công khoảng 85% đến 90% các phần tử ngoại lai thông qua việc kiểm soát ngưỡng $\text{Eps}$ và $\text{MinPts}$, đồng thời nhận diện chính xác các cụm có hình thù hình học phức tạp, phi cầu.

Thứ ba, khi áp dụng trực tiếp thuật toán K-means trên cơ sở dữ liệu Bảo hiểm Xã hội, hệ thống đã phân tách thành công đối tượng thành 4 phân cụm tự nhiên rõ rệt: cụm lao động trẻ có mức đóng thấp và biến động cao (chiếm khoảng 42% tổng mẫu), cụm lao động trung niên có thu nhập ổn định và thời gian đóng dài (chiếm 33%), cụm hưu trí hưởng lương bảo hiểm tiêu chuẩn (chiếm 18%) và cụm đối tượng hưởng trợ cấp đặc thù ngắn hạn (chiếm 7%). Việc phân nhóm tự động này giúp tăng độ chính xác trong công tác phân đoạn khách hàng lên 32% so với các truy vấn lọc điều kiện tĩnh truyền thống.

Thảo luận kết quả

Nguyên nhân dẫn đến sự khác biệt về hiệu năng giữa các nhóm thuật toán xuất phát từ chiến lược tối ưu hóa nền tảng. Nhóm phân cụm phân hoạch như K-means sử dụng chiến lược tìm kiếm tham lam cục bộ để tối thiểu hóa sai số bình phương, dẫn đến tốc độ hội tụ nhanh nhưng dễ rơi vào điểm cực tiểu cục bộ nếu việc khởi tạo $k$ tâm ban đầu không hợp lý. Ngược lại, thuật toán CURE và CHAMELEON áp dụng mô hình động và biểu diễn đa điểm đại diện, giúp nâng cao chỉ số đánh giá độ tương đồng cụm thêm 25% đến 30% so với K-means khi đối mặt với dữ liệu có mật độ biến thiên, nhưng phải đánh đổi bằng chi phí tính toán lên tới $O(n^2)$.

Các kết quả thực nghiệm được biểu diễn trực quan thông qua đồ thị phân bố không gian đa chiều (Scatter Plot) với ranh giới Voronoi phân định rõ ràng giữa các cụm, kết hợp bảng thống kê chi tiết sự biến thiên của hàm tiêu chuẩn $E$ theo từng chu kỳ lặp. Khi đối chiếu với các công bố học thuật trong cùng giai đoạn, mô hình thử nghiệm của luận văn đã chứng minh rằng đối với các hệ thống cơ sở dữ liệu hành chính công có cấu trúc bảng số liệu rõ ràng như Bảo hiểm Xã hội, việc kết hợp tiền xử lý lọc nhiễu theo kỹ thuật mẫu ngẫu nhiên của CLARA cùng thuật toán phân hoạch K-means mang lại sự cân bằng tối ưu giữa độ chính xác phân loại (đạt trên 88%) và thời gian phản hồi hệ thống (giảm dưới 3 giây cho mỗi truy vấn khối lớn).

Đề xuất và khuyến nghị

Dựa trên kết quả nghiên cứu và phân tích thực nghiệm, 4 nhóm giải pháp công nghệ trọng tâm được đề xuất nhằm nâng cao hiệu quả ứng dụng khai phá dữ liệu trong ngành an sinh xã hội:

Thứ nhất, triển khai kiến trúc phân cụm lai (Hybrid Clustering Pipeline) kết hợp giữa cây đặc trưng CF của thuật toán BIRCH và phân cụm phân hoạch K-means. Giải pháp này cho phép hệ thống nén dữ liệu lớn hàng triệu bản ghi thành cấu trúc cây tóm tắt trong bộ nhớ trước khi tiến hành phân cụm, hướng tới mục tiêu giảm 45% thời gian xử lý tính toán trên toàn hệ sinh thái dữ liệu. Lộ trình thực hiện dự kiến trong 6 tháng, do Trung tâm Công nghệ Thông tin thuộc Bảo hiểm Xã hội chủ trì xây dựng.

Thứ hai, tích hợp thuật toán phân cụm dựa trên mật độ DBSCAN vào phân hệ giám sát chi trả Bảo hiểm Y tế và Bảo hiểm Xã hội tự động. Việc áp dụng mô hình liên thông mật độ sẽ giúp tự động khoanh vùng và phát hiện các điểm ngoại lai bất thường trong lịch sử khám chữa bệnh và thanh quyết toán chế độ, đặt mục tiêu nâng tỷ lệ nhận diện các giao dịch nghi vấn trục lợi quỹ lên trên 80%. Thời gian triển khai thử nghiệm là 9 tháng, do Ban Kiểm tra - Giám định phối hợp cùng đội ngũ kỹ sư dữ liệu thực hiện.

Thứ ba, chuẩn hóa quy trình làm sạch và tiền xử lý dữ liệu đa chiều (Data Cleaning Framework) tại tất cả các điểm tiếp nhận hồ sơ địa phương. Thiết lập các bộ quy tắc tự động xử lý giá trị khuyết thiếu và chuẩn hóa thang đo khoảng cách Euclide cho các thuộc tính hỗn hợp, nhằm hạ tỷ lệ bản ghi lỗi hoặc thiếu thông tin từ mức khoảng 10% xuống dưới 2%. Thời gian áp dụng định kỳ liên tục trong 12 tháng, do Phòng Quản trị Cơ sở dữ liệu đảm nhiệm.

Thứ tư, xây dựng mô-đun phần mềm tự động xác định tham số tối ưu (như hệ số $k$, bán kính $\text{Eps}$, ngưỡng $\text{MinPts}$) dựa trên phương pháp đường gấp khúc (Elbow method) và hệ số Silhouette. Mô-đun này giúp các chuyên viên nghiệp vụ không chuyên về công nghệ thông tin vẫn có thể vận hành phân cụm chính xác, cải thiện độ tin cậy của các báo cáo phân tích thêm 28%. Thời gian phát triển và đóng gói giải pháp trong 3 tháng, do Nhóm Nghiên cứu và Phát triển phần mềm thực hiện.

Đối tượng nên tham khảo luận văn

Công trình nghiên cứu mang giá trị học thuật và ứng dụng thực tiễn cao, đặc biệt hữu ích cho 4 nhóm đối tượng sau:

  • Kỹ sư dữ liệu và chuyên viên phân tích nghiệp vụ (Data Scientists & Data Analysts): Tiếp cận bức tranh toàn cảnh về 5 phương pháp phân cụm kinh điển; nắm vững công thức toán học, cấu trúc dữ liệu cây CF, hàm ảnh hưởng mật độ Gaussian và đánh giá độ phức tạp tính toán để lựa chọn thuật toán tối ưu cho các dự án khai phá dữ liệu thực tế.
  • Lãnh đạo và cán bộ quản lý ngành An sinh Xã hội, Bảo hiểm Y tế: Nắm bắt phương pháp luận khoa học trong việc phân đoạn đối tượng tham gia, dự báo xu hướng biến động quỹ, từ đó hoạch định các chính sách hỗ trợ đóng và chi trả chế độ an sinh phù hợp với từng phân khúc dân cư.
  • Học viên cao học, nghiên cứu sinh và giảng viên ngành Công nghệ Thông tin: Sử dụng luận văn như một tài liệu tham khảo chuẩn mực về cấu trúc nghiên cứu, phương pháp đối chuẩn thuật toán khai phá dữ liệu, và cách thức hiện thực hóa các mô hình toán học trừu tượng thành phần mềm ứng dụng.
  • Kiến trúc sư giải pháp phần mềm doanh nghiệp: Tham khảo thiết kế kiến trúc xử lý dữ liệu lớn, quy trình trích xuất KDD 6 bước và kỹ thuật kết hợp các mô hình phân cụm nhằm giải quyết bài toán tối ưu hóa tài nguyên phần cứng trong các hệ thống thông tin quy mô lớn.

Câu hỏi thường gặp

Thuật toán K-means có ưu và nhược điểm gì khi triển khai trên dữ liệu lớn?

K-means sở hữu ưu điểm vượt trội về tốc độ xử lý nhanh với độ phức tạp tính toán tuyến tính $O(3nkd\tau)$, dễ cài đặt và đạt độ hội tụ cao trên dữ liệu số quy mô trên 100.000 bản ghi. Tuy nhiên, nhược điểm lớn của K-means là rất nhạy cảm với các điểm dữ liệu nhiễu ngoại lai, chỉ phát hiện tốt các cụm dạng hình cầu và phụ thuộc lớn vào việc lựa chọn $k$ trọng tâm ngẫu nhiên ban đầu.

Sự khác biệt cốt lõi giữa thuật toán PAM, CLARA và CLARANS là gì?

PAM tối ưu hóa vị trí đại diện dựa trên đối tượng trung tâm thực tế (medoid) giúp chống nhiễu tốt nhưng độ phức tạp cao $O(Ik(n-k)^2)$. Để khắc phục hạn chế thời gian trên tập dữ liệu lớn, CLARA trích xuất nhiều tập mẫu ngẫu nhiên kích thước $40+2k$ để chạy PAM. Trong khi đó, CLARANS kết hợp tìm kiếm ngẫu nhiên trên đồ thị láng giềng, mở rộng không gian tìm kiếm linh hoạt hơn CLARA và mang lại chất lượng cụm cao hơn.

Thuật toán phân cụm dựa trên mật độ DBSCAN xử lý nhiễu như thế nào?

DBSCAN phân biệt dữ liệu thành điểm nhân, điểm biên và điểm nhiễu dựa trên 2 tham số $\text{Eps}$ và $\text{MinPts}$. Nếu một điểm dữ liệu không có đủ tối thiểu $\text{MinPts}$ điểm lân cận trong bán kính $\text{Eps}$ và không thuộc vùng lân cận của bất kỳ điểm nhân nào, thuật toán sẽ tự động cô lập điểm đó thành phần tử nhiễu ngoại lai, loại trừ khỏi cấu trúc cụm chính.

Cây đặc trưng cụm (CF-tree) trong thuật toán BIRCH hoạt động ra sao?

Cây CF là một cây cân bằng lưu trữ thông tin tóm tắt của các cụm con dưới dạng bộ ba thống kê $(n, LS, SS)$, trong đó $n$ là số điểm, $LS$ là tổng tọa độ véc-tơ tuyến tính và $SS$ là tổng bình phương tọa độ. Nhờ cấu trúc này, BIRCH thực hiện gom cụm nhanh chóng trực tiếp trên các véc-tơ đại diện mà không cần nạp lại toàn bộ tập dữ liệu gốc vào bộ nhớ.

Làm thế nào để áp dụng phân cụm dữ liệu trong phát hiện trục lợi bảo hiểm?

Hệ thống sử dụng các thuật toán mật độ hoặc phân tích độ lệch để gom nhóm lịch sử khám chữa bệnh, tần suất thanh toán thuốc và mức hưởng trợ cấp. Các hồ sơ có hành vi bất thường, cách xa trọng tâm của các cụm tiêu chuẩn với khoảng cách thống kê vượt ngưỡng 3 độ lệch chuẩn, sẽ được tự động gắn nhãn cảnh báo để cơ quan chức năng tiến hành thanh tra chuyên sâu.

Kết luận

  • Luận văn đã hệ thống hóa toàn diện và sâu sắc 5 phương pháp phân cụm dữ liệu nền tảng gồm phân hoạch, phân cấp, dựa trên mật độ, dựa trên lưới và dựa trên mô hình, phân tích chi tiết ưu nhược điểm và độ phức tạp của hơn 15 thuật toán tiêu biểu.
  • Đã kiểm chứng và làm rõ bản chất toán học của các thuật toán kinh điển như K-means, PAM, BIRCH, CURE, DBSCAN, DENCLUE và STING trong việc xử lý các kiểu dữ liệu không gian, dữ liệu đa chiều và cấu trúc cụm phức tạp.
  • Đã xây dựng thành công chương trình mô phỏng thuật toán K-means, chứng minh tính khả thi và độ chính xác khi áp dụng vào việc phân đoạn cơ sở dữ liệu ngành Bảo hiểm Xã hội Việt Nam với quy mô hàng chục nghìn bản ghi.
  • Đóng góp giải pháp khoa học giúp nâng cao hiệu suất xử lý dữ liệu quản lý an sinh xã hội từ 35% đến 50%, tạo tiền đề vững chắc cho việc tự động hóa công tác giám định, phân loại đối tượng và phát hiện sai phạm.
  • Đề xuất lộ trình công nghệ tiếp theo trong 6 đến 12 tháng nhằm mở rộng tích hợp các thuật toán học sâu, mô hình phân cụm lai đa phân giải và xử lý dữ liệu lớn theo thời gian thực trên nền tảng điện toán đám mây.

Quý độc giả, các nhà nghiên cứu và đội ngũ kỹ sư dữ liệu quan tâm có thể tiếp tục ứng dụng các phát hiện từ công trình này để tối ưu hóa quy trình khai phá dữ liệu an sinh xã hội, xây dựng các hệ thống hỗ trợ ra quyết định thông minh và thúc đẩy tiến trình chuyển đổi số toàn diện trong quản trị công.