Luận Văn: Ứng Dụng Thuật Toán FP-Growth Khai Phá Dữ Liệu Đơn Thuốc Bảo Hiểm Y Tế

Nghiên cứu luật kết hợp trong khai phá dữ liệu, ứng dụng hỗ trợ phát hiện gian lận kê đơn thuốc bảo hiểm y tế. Giải pháp hiệu quả cho ngành y tế.

• Tác giả: Lê Tiến Thành
• Người hướng dẫn: Nguyễn Hãi Minh
• Trường học: Trường Đại Học Công Nghệ Thông Tin và Truyền Thông - Đại Học Thái Nguyên
• Đề tài: LUẬT KÉT HỢP TRONG KHAI PHA DU LIEU VA UNG DUNG HO TRG PHAT HIEN GIAN LAN KE DON CAP THUOC BAO HIEM Y TE
• Loại tài liệu: luận văn
• Năm xuất bản: 2016
• Địa điểm: Thái Nguyên

Tóm tắt

I. Tổng Quan Về Gian Lận BHYT Và Khai Phá Dữ Liệu

Trong bối cảnh công nghệ thông tin phát triển mạnh mẽ, các ứng dụng công nghệ thâm nhập sâu rộng vào nhiều lĩnh vực. Trong đó, việc ứng dụng công nghệ thông tin vào y tế, đặc biệt là quản lý BHYT, đang ngày càng trở nên quan trọng. Tuy nhiên, sự phát triển này cũng kéo theo những thách thức mới, đặc biệt là tình trạng gian lận BHYT ngày càng tinh vi và phức tạp. Bài toán đặt ra là làm thế nào để tận dụng sức mạnh của khai phá dữ liệu để phát hiện và ngăn chặn kịp thời các hành vi gian lận này, bảo vệ quyền lợi của người tham gia BHYT và nguồn lực của xã hội. Việc ứng dụng các thuật toán khai phá dữ liệu như FP-Growth vào phân tích dữ liệu đơn thuốc hứa hẹn mang lại những kết quả khả quan trong việc phát hiện gian lận. Các phương pháp truyền thống thường tốn kém và kém hiệu quả.

1.1. Các Khái Niệm Cơ Bản Về Khai Phá Dữ Liệu KPDL

Khai phá dữ liệu (KPDL) là quá trình khám phá tri thức tiềm ẩn từ các cơ sở dữ liệu (CSDL). Nó là một tiến trình lọc, sinh những tri thức hoặc các mẫu tiềm ẩn chưa những thông tin hữu ích từ CSDL. Đó thường là các mẫu có tính chất không tầm thường, không tường minh chưa được biết đến và có tiềm năng mang lại giá trị. Về bản chất, KPDL là việc trích và tìm ra các mẫu, mô hình hay thông tin mới, tri thức ẩn trong CSDL chủ yếu phục vụ cho mô tả và dự đoán. Đây là giai đoạn quan trọng nhất trong quá trình phát hiện tri thức CSDL, tri thức này hỗ trợ trong việc quyết định, điều hành trong khoa học và kinh doanh. Một nhà nghiên cứu còn gọi KPDL là phát hiện trí thức trong cơ sở dữ liệu (Knowledge Discovery in Database - KDD).

1.2. Thực Trạng Gian Lận BHYT Trong Lĩnh Vực Đơn Thuốc

Gian lận BHYT là một vấn đề nhức nhối trong ngành y tế, gây thất thoát lớn cho quỹ BHYT và ảnh hưởng đến quyền lợi của người dân. Các hình thức gian lận rất đa dạng, từ việc kê khống đơn thuốc, kê sai chỉ định, đến việc lạm dụng thuốc, sử dụng thuốc không đúng mục đích. Tình trạng này không chỉ xảy ra ở các cơ sở y tế công lập mà còn phổ biến ở các cơ sở y tế tư nhân. Theo tài liệu gốc, nhiều trường hợp kê đơn không đúng, lạm dụng để thuốc hoặc một cơ đã khai khống, kê đơn thuốc không đúng bệnh nhằm hưởng lợi chính hỗ trợ từ nguồn quỹ bảo hiểm xã hội.

II. Thách Thức Trong Phát Hiện Gian Lận BHYT Bằng Phương Pháp Cũ

Việc phát hiện gian lận BHYT bằng các phương pháp truyền thống gặp nhiều khó khăn. Các phương pháp này thường dựa vào kiểm tra thủ công, tốn nhiều thời gian và công sức, đồng thời khó có thể phát hiện ra các hành vi gian lận tinh vi. Bên cạnh đó, dữ liệu BHYT ngày càng lớn và phức tạp, vượt quá khả năng xử lý của con người. Điều này đòi hỏi cần có những phương pháp mới, hiệu quả hơn để giải quyết bài toán phát hiện gian lận BHYT một cách nhanh chóng và chính xác. Theo tài liệu gốc, việc khai thác thông tin, hoạt động tính chính quy trong dữ đồng thời dụng vào khai phá dữ khám chữa bệnh cơ khám chữa bệnh để hướng một chương trinh hỗ cán bộ điện bão hiểm và lãnh đạo phát hiện sớm trường hợp gian lận và lạm đụng bảo hiểm.

2.1. Khó Khăn Trong Kiểm Soát Thủ Công Với Dữ Liệu Lớn

Việc kiểm soát thủ công dữ liệu BHYT trở nên bất khả thi khi dữ liệu ngày càng phình to. Số lượng đơn thuốc, hồ sơ bệnh án và các thông tin liên quan khác tăng lên chóng mặt, khiến cho việc kiểm tra từng trường hợp trở nên quá tải và không hiệu quả. Hơn nữa, các hành vi gian lận ngày càng tinh vi, sử dụng nhiều thủ đoạn khác nhau, gây khó khăn cho việc phát hiện.

2.2. Hạn Chế Của Các Phương Pháp Thống Kê Truyền Thống

Các phương pháp thống kê truyền thống thường chỉ tập trung vào việc phân tích các chỉ số chung, khó có thể phát hiện ra các mẫu bất thường, các mối liên hệ tiềm ẩn giữa các yếu tố khác nhau. Điều này khiến cho việc phát hiện gian lận trở nên khó khăn hơn, đặc biệt là các hành vi gian lận có tính chất phức tạp và tinh vi.

III. Ứng Dụng Thuật Toán FP Growth Trong Khai Phá Dữ Liệu Đơn Thuốc

Thuật toán FP-Growth là một phương pháp khai phá dữ liệu hiệu quả để tìm kiếm các tập mục phổ biến trong một tập dữ liệu lớn. Thuật toán này không cần tạo ra các ứng cử viên, giúp giảm thiểu thời gian tính toán và tăng hiệu quả khai phá. Việc ứng dụng FP-Growth vào phân tích dữ liệu đơn thuốc hứa hẹn mang lại những kết quả khả quan trong việc phát hiện gian lận BHYT. Bằng cách tìm kiếm các tập mục phổ biến (ví dụ: các loại thuốc thường được kê cùng nhau), có thể phát hiện ra các mẫu kê đơn bất thường, có dấu hiệu gian lận. Theo tài liệu, phần thực nghiệm đã hành thuật toán dựa trên dữ đơn thuốc bảo hiểm của bệnh viện trường Đại hoc Y khoa Đại học Thái Nguyên với mục phát hiện quy kê đơn đối với một bệnh thường gặp bệnh viện, đó làm cơ sở xây đựng chương trình cán bộ điện hiểm và phát hiện các trường hợp bất thường trong có nghỉ ngỡ gian hoặc lạm đụng bảo hiểm.

3.1. Giới Thiệu Chi Tiết Về Thuật Toán FP Growth

Thuật toán FP-Growth là một thuật toán khai phá dữ liệu hiệu quả để tìm kiếm các tập mục phổ biến. Thuật toán này sử dụng cấu trúc cây FP-Tree để lưu trữ thông tin về các tập mục và sử dụng phương pháp khai phá theo chiều sâu để tìm kiếm các tập mục phổ biến. Ưu điểm của FP-Growth là không cần tạo ra các ứng cử viên, giúp giảm thiểu thời gian tính toán và tăng hiệu quả khai phá.

3.2. Xây Dựng Mô Hình Phát Hiện Gian Lận Dựa Trên FP Growth

Để xây dựng mô hình phát hiện gian lận BHYT dựa trên FP-Growth, cần thực hiện các bước sau: (1) Thu thập và tiền xử lý dữ liệu đơn thuốc; (2) Xây dựng FP-Tree từ dữ liệu đã được tiền xử lý; (3) Khai phá FP-Tree để tìm kiếm các tập mục phổ biến; (4) Sử dụng các tập mục phổ biến để xây dựng luật kết hợp; (5) Sử dụng các luật kết hợp để phát hiện các đơn thuốc có dấu hiệu gian lận.

3.3 Lựa Chọn Công Cụ và Thiết Lập Môi Trường Khai Phá

Việc lựa chọn công cụ phù hợp đóng vai trò quan trọng trong quá trình khai phá dữ liệu sử dụng FP-Growth. Các công cụ phổ biến bao gồm Python với thư viện MLxtend, R với các package như arules, và các phần mềm khai phá dữ liệu chuyên dụng như Weka, RapidMiner. Việc thiết lập môi trường phù hợp, bao gồm cài đặt các thư viện cần thiết và chuẩn bị dữ liệu đầu vào, cũng là một bước quan trọng để đảm bảo quá trình khai phá diễn ra suôn sẻ và hiệu quả.

IV. Kết Quả Nghiên Cứu Và Ứng Dụng Thực Tế Của FP Growth

Nghiên cứu ứng dụng FP-Growth vào phát hiện gian lận BHYT trên dữ liệu đơn thuốc đã cho thấy những kết quả khả quan. Mô hình xây dựng có khả năng phát hiện chính xác các đơn thuốc có dấu hiệu gian lận, giúp giảm thiểu thất thoát cho quỹ BHYT. Kết quả này mở ra hướng đi mới trong việc ứng dụng khai phá dữ liệu vào quản lý và giám sát BHYT hiệu quả hơn. Chương trinh hỗ trợ cán bộ điện hiểm và lãnh đạo phát hiện sớm trường hợp gian lận và lạm đụng bảo hiểm. Theo tài liệu.

4.1. Đánh Giá Độ Chính Xác Của Mô Hình Phát Hiện Gian Lận

Độ chính xác của mô hình phát hiện gian lận BHYT dựa trên FP-Growth được đánh giá bằng các chỉ số như độ chính xác (accuracy), độ phủ (recall), và độ đo F1 (F1-score). Các chỉ số này cho thấy khả năng phát hiện chính xác các đơn thuốc có dấu hiệu gian lận của mô hình, đồng thời đánh giá khả năng bỏ sót các trường hợp gian lận.

4.2. Triển Khai Hệ Thống Phát Hiện Gian Lận Trong Bệnh Viện

Việc triển khai hệ thống phát hiện gian lận BHYT dựa trên FP-Growth trong bệnh viện giúp tự động hóa quá trình kiểm tra đơn thuốc, giảm thiểu thời gian và công sức của nhân viên y tế. Hệ thống này có thể cảnh báo các đơn thuốc có dấu hiệu gian lận, giúp nhân viên y tế tập trung vào việc kiểm tra các trường hợp có nguy cơ cao.

4.3 Thử Nghiệm Chương Trình Hỗ Trợ Phát Hiện Gian Lận Đơn Cấp

Mô bình phát hiện gian đơn thuốc BET. Phuong php thử nghiệm, 3.53 Dữ iệu thờ nghiệm Rất quả nghiệm, Các kết quả của quá trình phát hiện thức có được đưa và ứng dụng trong các lĩnh vực khác nhau. Do các quả dự đoán hoặc các mô nên chúng có được đưa vào các hệ thống hỗ quyết định nhằm động hoá quá trình

V. Kết Luận Và Hướng Phát Triển Trong Tương Lai Về Gian Lận BHYT

Việc ứng dụng thuật toán FP-Growth vào khai phá dữ liệu đơn thuốc là một hướng đi tiềm năng trong việc phát hiện gian lận BHYT. Nghiên cứu này đã chứng minh được tính khả thi và hiệu quả của phương pháp này. Tuy nhiên, vẫn còn nhiều thách thức và cơ hội để phát triển hơn nữa, như tích hợp thêm các nguồn dữ liệu khác, cải tiến thuật toán, và xây dựng hệ thống phát hiện gian lận toàn diện hơn. Nhìn chung, việc ứng dụng các kỹ thuật khai phá dữ liệu tiên tiến sẽ góp phần quan trọng vào việc bảo vệ quỹ BHYT và nâng cao chất lượng dịch vụ y tế cho người dân.

5.1. Tích Hợp Các Nguồn Dữ Liệu Khác Nhau Để Nâng Cao Hiệu Quả

Để nâng cao hiệu quả phát hiện gian lận BHYT, cần tích hợp thêm các nguồn dữ liệu khác nhau, như dữ liệu hồ sơ bệnh án, dữ liệu thanh toán BHYT, dữ liệu từ các cơ quan quản lý nhà nước. Việc kết hợp các nguồn dữ liệu này sẽ cung cấp một bức tranh toàn diện hơn về hoạt động BHYT, giúp phát hiện các hành vi gian lận một cách chính xác và hiệu quả.

5.2. Nghiên Cứu Và Phát Triển Các Thuật Toán Khai Phá Dữ Liệu Mới

Cần tiếp tục nghiên cứu và phát triển các thuật toán khai phá dữ liệu mới, phù hợp với đặc thù của dữ liệu BHYT. Các thuật toán này cần có khả năng xử lý dữ liệu lớn, phức tạp, đồng thời có khả năng phát hiện các hành vi gian lận tinh vi và đa dạng. Việc ứng dụng các thuật toán trí tuệ nhân tạo (AI) cũng là một hướng đi tiềm năng.

Trích đoạn nội dung tài liệu

Chương 1 TÔNG QUAN VE KHAI PHA DU LIEU VA GIAN LAN BAO HIEM ytt 4 1.1 Các kiến thức chung về khai phá đỡ liệu 4 1.1 Quy trình khai phá dữ liệu và phát hiện trí thức $ 1.12 Kiến trú của một hệ thống khai phá đỡ liệu 6 1.13 Các loại đ liệu được khai phá 8 1.4 Chúc năng khai phá đỡ liệu 8 1.5 Lợi thế của khai phá đỡ liệu so với phương pháp cơ bản 8 1.16 Một số ứng dụng côa khai phá dỡ liệu " 1.7 Nhing thách thức trong ông dụng và nghiên cứu kỹ thuật KEDL.2 Tổng quanvề gian lận BHYT trong kẻ đơn cấp thuốc 1 1.1 Giới thiệu chung 1 1.22 Các hình thức gian lân trong y tẾ 18 1.23 Gian lận trong kê đơn, cấp thuốc BHYT, 18 1.24 Chie ning, nhiệm vụ của cơ quan Bão hiểm trong y té 18 1.3 Khai phá dỡ liệu bằng luật kết hợp.1 Lý thuyết về luật kết hợp.2 Định nghĩa luật kết hợp 19 1-4 Các tính chất của lật kết hợp, 20 1.1 Với tập mục phổ biến (3 tính chất) 20 1.42 Với luật kết hop4 tinh chit sav) 21 Chương 2 GIẢI THUẬT APRIORI VẢ FP-GROWTH TRONG KHAI PHÁ DỮ LIEU.1 Thuật toần Aprieri 2 2:2 Thuật toin PP-growth 26 2.3 Cấu trúc cây FP-Tree 28 2.4 Xây dựng cây FP-Tree 29 2.5 Sinh tập phổ biển 31 Chương 3 ỨNG DỰNG THUẬT TOÁN FP-GROWTH KHAI PHÁ DU LIEU DON THUOC BAO HIEM Y TẾ.1 Thông tỉ dỡ liệu mẫu và yêo cầu bài toán.2 Mê hình ứng đọng thuật toần EP-grotmth để phát hiện luật kê đơn, 4i 3.3 Lựa chọn công cụ phát triển 4i 3.4 Kết quả khai phá luật trên đỡ liệu kê đơn thuốc bảo hiểm, 4 3.š Thờ nghiệm chương trình hỗ trợ phất hiện gian lin ké don cép thuốc.1 Mô bình hỗ trợ phát hiện gian lận kẽ đơn cấp thuốc BET.2 Phuong php thử nghiệm, 62 3.53 Dữ iệu thờ nghiệm 63 3.4 Rất quả thờ nghiệm, 63 KÉT LUẬN. 64 KIEN NGHI NHUNG NGHIEN CUU TIEP THEO 66 TÀI LIỆU THAM KHẢO. DANH MUC CAC KY HIEU, CAC CHU VIET TAT Từ viết tắt Tiếng Anh. Tiếng Việt CSDL Database Cơ sỡ dữ liệu Conf | Confidence Ì Độ tin cậy Supp | Support Ì Đề hỗ trợ Ttem [em Í Khoản mục.

Temset — 'Tiemset Tap các khoản mục K-itemset K-itemset Tập gồm K mục TID Transaction ‘Dinh dank giao tác Indentification KDD Knowledge Discovery | K} thuat phat hién ti thức và khai and Data Mining phá đữ liệu G 1G | Tap cac K — itemset ứng cử 1 hk | Tap cdc K — itemset phd biến. Minconf | Minimum Confidence | Dé tin cay ti thigu Minsup | Minimum Support | D6 hé tro t6i thigu KPDL Data Mining Khai pha dữ liệu BHYT Bão hiểm y tế DANH MỤC CÁC BÄ Baing?.1 Vĩ dụ về một cơ sở dữ liệu giao địch T Tăng 2 Các tập mục phổ biến Tăng 3.1 Bảng d liệu Tăng 3.2 Danh mm các bệnh thường Tăng 3.0 : Cao huyết ấp đo mạch máu thận.4 Mã bệnh 120: Viêm phế quần cấp Tăng 3.5 Mã bệnh 30: Viêm mỗi do vận mạch và dị ứng Tăng 3.6 Mã bệnh K35: Viêm ruột thữa cấp Đăng 3.T Mã bệnh M25 5: Đau khớp.8 Mã bệnh N20 0: Sối thận "Băng3.9 Mã bệnh R10 4: Đau bụng khô 1g xác định và đau bụng khác, "Băng 3.10 Mã bệnh R51: Đau đầu "Băng 3.1 Mã bệnh Tố7 6: Mật do nhiệt chất thời DANH MỤC CAC HIN: Trang "nh 1.1 Quy trình phát hiện tỉ thức 5 "Hình 1.2 Kiến trúc của một hệ khai phá đỡ liệu điễn hình 1 "Hình 3.1 Giao điện chính chương trinh, 4 "Hình 3.2 Giao diện chon file dữ liệu mẫu.3 Kết quá thực hiện phân tích tầm luật 43 ‘Hinh 3.4 Giao dién module kê đơn thuốc 63 Hình 3.5 Giao diện phát hiện gian lận từ Cơ sở đữ liệu 6 LỜI NÓI ĐẦU Trong thời đại ngày nay, với sự phát triển nhanh chóng các ứng dụng công nghệ thông tín trong kỷ nguy internet vào nhiều lĩnh vực đời sống xã hội, khoa học kỹ thuật, kinh tế, an ninh quốc phòng,. Đã tạo ra nhiều cơ sở dữ liệu không lỗ. Việc đùng các phương tiện tin học để tổ chức và khai thác các cơ sỡ đữ liệu đã được phát tiễn từ những năm 60.

Sự phát triển của công nghệ thông tin va việc ứng đụng côi nghệ thông tin trong nhiều lĩnh vực. g, kinh tế xã hội trong nhiễu năm qua đã tạo ra những kho đữ liệu g 16, tăng lên không ngừng. Các cơ sở đữ liệu trong các đơn vị, tổ chức. kinh doanh, quản lý khoa học.

chứa đựng nhiều thông tỉa tiềm ẩn, phong phú và da đạng, đồi hồi phải cô những phương pháp phù hợp, chính xác, hiệu quả để lấy được những thông tin bô ích. Tuy nhiên, theo thống kê thì chỉ có. một lượng nhỏ của những dữ liệu này là luôn được phân tích, số còn lại họ không biết sẽ phải làm gì hoặc có thể làm gì. Vấn đề đặt ra là 1am thé nao dé xử lý được khối lượng thông tin cực lớn như vậy để phát hiện ra các tri thức tiêm, trong nó.

Những tri thức chiết suất từ ngu: cơ sở dữ liệu trên sẽ là nguên thông tin rất hữu ích. rợ cho lãnh đạo trong việc lên kế hoạch hoạt động hoặc ra các quyết định chính xác. làm được điều đó người ta đã sử dung quá trình phát hiện tr thức trong cơ sở đữ liệu (Knotrledge Discovery in Database — KDD). Nhiệm vụ của KDD là từ dữ liệu sẵn có phải tìm ra những thông tin tiềm ẫn cô giá trị mà trước đô chưa được phát hiện cũng như tìm ra những xu hướng phát triển và các xu hướng tác động lên chúng.

Các kỹ thuật cho phép ta lấy được các trí thức từ cơ sở dữ liệu. có đồ được gọi là kỹ thuật Khai phá dữ liệu (Data Mining). Một trong các nội đung cơ bản nhất trong khai phá dữ liệu và rất phổ. biển là phát hiện các luật kết hợp.

Phương pháp này nhằm tìm ra các tập thuộc tính thường xuất hiện đồng thời trong cơ sở đữ liệu và rút ra các luật về ảnh hưởng của một tập thuộc tính đẫn đến sự xuất hiện của một hoặc một tập thuộc tính khác như thế nào. Những luật kết hợp khai phá được có thể giúp các tổ chức và các nhà quản lý đưa ra những quyết định kinh doanh hiệu quả hơn. 'Từ những lý đo đó em đã tim hiểu về đề tài “LUẬT KÉT HỢP TRONG KHAI PHA DU LIEU VA UNG DUNG HO TRG PHAT HIEN GIAN LAN KE DON CAP THUOC BAO HIEM Y TE”. Nhim phan tich cc dif ligu va áp dụng các thuật toán để tìm ra những mẫu thông tin, hoạt động có tính chính quy trong tập dữ liệu lớn, đồng thời áp dụng vào khai phá dữ liệu khám chữa bệnh tại cơ sở khám chữa bệnh để hướng tới cải đặt một chương trinh hỗ trợ các cán bộ đại điện bão hiểm và lãnh đạo phát hiện sớm các trường hợp gian lận và lạm đụng bảo hiểm và ứng đụng hỗ trợ phát hiện gian lận.

Trong quá trình làm luận văn này em đã nhận được sự giúp đỡ chỉ bảo tân tình của các thầy cô giáo trong khoa công nghệ thông tin của Trường Đại học Công nghệ Thông tin và Truyển thông, đặc biệt là thầy Nguyễn Hãi ‘Minh. Do thời gian có hạn va năng lực còn hạn chế nên không tránh khỏi những sai sót nên em rất mong nhận được sự giúp đỡ và góp ý hơn nữa của các thầy cô và các bạn. Em xin chân thành cảm ơn thẫy Nguyễn Hãi Minh và các thầy, cô trong trường Đại học Công nghệ Thông tin và Truyền thông đã tạo điều kiện giúp đỡ em trong suốt quá trình học tập và làm luận văn tại Trường. MỠĐẦU Hiện nay, rất nhiều bệnh viện đã sử dụng phần mềm quản lý khám chữa.

bệnh và ghi nhận việc kê đơn. Tuy nhiên trên thực tế cô rất nhiều trường hợp kê không đúng, kê lạm đụng để lấy thuốc hoặc một số cơ sở y tế đã khai khống, kê đơn thuốc không đúng với bệnh nhằm hưởng lợi bất chính số tiền 'hỗ trợ từ nguên ngân quỹ bảo hiểm xã hội. ĐỀ tài này sẽ tập trung nghiên cứu những kiến thức về khai phá đỡ liệu sử dụng luật kết hợp. Đây 1a dang luật kết hợp mang lại hiệu quả cao giúp tìm +a được những quy luật và ứng dung vào khai phá dữ liệu tại các cơ sỡ khám chữa bệnh.

Trong khuôn khổ và phạm vi nghiên cứu cia đề tài, phần thực nghiệm tác giã đã tiễn hành cài đặt thuật toán dựa trên dữ liệu kê đơn thuốc bảo hiểm của bệnh viện trường Đại hoc ¥ khoa - Đại học Thái Nguyên với mục tiêu phát hiện ra quy luật kê đơn đối với một số bệnh thường gặp ở bệnh. viện, để từ đó làm cơ sở xây đựng chương trình hỗ trợ các cán bộ đại điện bảo. hiểm và phát hiện các trường hợp bất thường trong kê đơn, có nghỉ ngỡ gian lận hoặc lạm đụng bảo hiểm. Chương] TONG QUAN VE KHAI PHA DU LIEU VA GIAN LAN BAO HIEM Y TE 11 Các iến thức chung về khai phá dữ liệu Trong thời đại ngày nay, với sự phát triển vượt bật của côi thông tin, các hệ thống thông tin có thể lưu trữ một khối lượng lớn dữ liệu về hoạt động hàng ngày của chúng.

Từ khối dữ liệu này, các kỹ thuật trong Khai Pha Dit Ligu (KPDL) va may học có thé ding dé trích xuất những thông tin hniu ich mà chúng ta chưa biết. Các tri thức vừa học được có thể vin dung dé cải thiện hiệu quả hoạt động của hệ thống thông tin ban đầu. ‘Khai pha df liệu là tiến trình khám phá tr thức tiềm ân trong các CSDL, cụ thể hơn, đó là tiến trình lọc, sản sinh những trỉ thức hoặc các mẫu tiềm ẩn, chưa biết những thông tin hữu ích từ các CSDL on. Tri thite đó thường 6 dang các mẫu có tính chất không tầm thường, không tường minh (ân), chưa được biết đến và có tiềm năng mang lại lợi ích.

Về bản chất nó là giai đoạn đuy nhất rút trích và tìm ra được các mnẫu, các mô hình hay thông tin mới, trí thức tiềm ân cô trong CSDL chủ yếu phục vụ cho mô tả và đự đoán. giai đoạn quan trọng nhất trong quá trình phát hiện trí thức từ CSDL, các tri thức này hỗ trợ trong việc ra quyết định, điều hành trong khoa học và kinh doanh. Có một số nhà nghiên cứu còn gọi KPDL là phát hiện trí thức trong cơ sở dữ liệu (Knowledge Discovery in Database - KDD). 6 diy cé thé coi KPDL 14 cét lõi của quá trình phát hiện trí thức.