MỞ ĐẦU Đề tài tìm hiểu các phƣơng pháp phân cụm dữ liệu, đánh giá ƣu nhƣợc điểm của mỗi phƣơng pháp để tìm ra phƣơng pháp phù hợp áp dụng trên tập dữ liệu mẫu. Kết quả sẽ đƣợc dùng để xây dựng bản đồ phân bố bệnh trên địa bàn tỉnh Thái Nguyên nhằm hỗ trợ công tác lên kế hoạch dự trù cơ sở vật chất, thuốc và các trang thiết bị khác cho các trung tâm y tế của Tỉnh. Thái Nguyên là một tỉnh trung du miền núi thuộc vùng Đông Bắc của Việt Nam với diện tích hơn 3500 km2 và dân số khoảng hơn một triệu ngƣời; bao gồm 9 đơn vị hành chính: Thành phố Thái Nguyên; Thị xã Sông Công và 7 huyện: Phổ Yên, Phú Bình, Đồng Hỷ, Võ Nhai, Định Hóa, Đại Từ, Phú Lƣơng. Trong đó, tổng số gồm 180 xã, trong đó có 125 xã vùng cao và miền núi, còn lại là các xã đồng bằng và trung du.Tỉnh Thái Nguyên có nhiều dân tộc anh em sinh sống.
Tuy nhiên, dân cƣ phân bố không đều, vùng cao và vùng núi dân cƣ rất thƣa thớt, trong khi đó ở thành thị và đồng bằng dân cƣ lại dày đặc. Mật độ dân số thấp nhất là huyện Võ Nhai 72 ngƣời/ km2, cao nhất là Thành phố Thái Nguyên với mật độ 1.260 ngƣời/ km2. Do sự khác biệt lớn trong cơ cấu dân số, lối sống, trình độ dân trí nên có những sự khác biệt đáng kể trong các hình thức bệnh trong các khu vực hành chính khác nhau. Nếu các thông tin về hình thức bệnh và các vấn đề sức khỏe trong mỗi khu vực hành chính đƣợc thu thập đầy đủ, nó sẽ có thể sẽ giúp việc phân bổ nguồn lực hiệu quả để phát triển các chính sách y tế công cộng cho các khu vực khác nhau.
Luận văn sử dụng các kỹ thuật khai thác dữ liệu để phân tích dữ liệu y tế thuộc Đại học Y Dƣợc Thái Nguyên trongbốn tháng đầu năm 2015. Hy vọng rằng việc sử dụng các công cụ này một cách hiệu quả có thể phân tích và điều tra hình thức bệnh trong khu vực hành chính khác nhau của Thái Nguyên để tiếp tục xây dựng một bản đồ y tế cho tỉnh Thái Nguyên. Số hóa bởi Trung tâm Học liệu – ĐHTN http://www.vn 2 MỘT SỐ KẾT QUẢ NGHIÊN CƢ́U KHÁC Ching-Kuo Wei et al. [2] Nghiên cứu này sử dụng các kỹ thuật khai phá dữ liệu điều tra các loại bệnh trong các khu vực hành chính khác nhau và phân tích sự khác nhau giữa các khu vực hành chính để tiếp tục xây dựng một bản đồ phân bố bệnh.
Nghiên cứu hy vọng sẽ giúp xây dựng trong tƣơng lai các chiến lƣợc y tế và phân bố các nguồn lực một cách thích hợp. Tầm quan trọng của thông dịch các kết quả phân tích dữ liệu là thảo luận và minh họa trên các ứng dụng y tế đã chọn. Lavrac et al. [5] đề xuất một phƣơng pháp khai thác dữ liệu và công nghệ trực quan đƣợc sử dụng để hỗ trợ việc ra quyết định liên quan đến sức khỏe cộng đồng tại Slovenia.Mục đích nhằm khai thác cơ sở dữ liệu y tế công cộng để xác định khả năng đáp ứng của các dịch vụ y tế công cộng đối với các khu vực.
Các kết quả có thể sử dụng để phát triển các chính sách chăm sóc sức khỏe cơ quan y tế. Số hóa bởi Trung tâm Học liệu – ĐHTN http://www.vn 3 CHƢƠNG I. KHAI PHÁ DỮ LIỆU 1. Tổng quan khai phá dữ liệu Cùng với sự phát triển mạnh mẽ của công nghệthông tin,lƣợng thông tin của nhân loại đƣợclƣu trữ trên các thiết bị điện tử, các hệ thống thông tin ngày một tăng.
Việc ứng dựng công nghệ thông tin mạnh mẽ, sâu rộng trong nhiều lĩnh vực: khoa học, kinh doanh, chứng khoán, thƣơng mại, giao dịch,… đã tích lũy nên nguồn dữ liệu khổng lồ.Sự bùng nổ này đãdẫn tới một yêu cầu cấp thiết là cần có những kỹ thuật và công cụ mới để tựđộng chuyển đổi lƣợng dữ liệu khổng lồ kia thành các tri thức có ích. Do đó, khai phá dữ liệu (Data Mining) và các kỹ thuật phai phá dữ liệu ra đời đã phần nào giải quyết đƣợc đƣợc yêu cầu trên. Trithức đƣợc xem nhƣ là các thông tin tích hợp, bao gồm các sự kiện và mốiquan hệ giữa chúng, đã đƣợc nhận thức, khám phá, hoặc nghiên cứu. Nói cáchkhác, tri thức có thể đƣợc coi là dữ liệu ở mức độ cao của sự trừu tƣợng vàtổng quát.
Khám phá tri thức là quá trình tìm ra những tri thức, đó là những mẫu tìm ẩn, trƣớc đó chƣa biết và là thông tin hữu ích đáng tin cậy.Khai phá dữ liệu là một bƣớc trong quá trình khám phá tri thức, gồmcác thuật toán khai thác dữ liệu chuyên dùng dƣới một số qui định về hiệu quảtính toán chấp nhận đƣợc để tìm ra các mẫu hoặc các mô hình trong dữ liệu.Nói cách khác, mục tiêu của khai phá dữ liệu là tìm kiếm các mẫu hoặc môhình tồn tại trong cơ sở dữ liệu (CSDL) nhƣng ẩn trong khối lƣợng lớn dữ liệu. Khám phá tri thức từ CSDL là một quá trình sử dụng các phƣơng pháp và công cụ tin học để khám phá,lựa chọn đƣợc tập con dữ liệu tốt, từ đó phát hiện các mẫu phù hợp với mục tiêu đề ra. Đó chính là tri thức, đƣợc rút ra từ CSDL, thƣờng để phục vụ cho việc giải quyết một loạt nhiệm vụ nhất định trong một lĩnh vực nhất định. Quá trình khám phá tri thức vàkhai phá dữ liệu 1.
Quá trình khám phá tri thức Số hóa bởi Trung tâm Học liệu – ĐHTN http://www.vn 4 Quá trình khám phá tri thức là một quá trình bao gồm nhiều giai đoạnvới nhiều hoạt động tƣơng tác giữa con ngƣời và CSDL thông qua việc hỗ trợ của các phƣơng pháp, thuật toán cũng nhƣ các công cụ tin học. Tri thức đƣợc rút ra từ các CSDL để phục vụ cho việc giải quyết một loạt nhiệm vụ nhất định trong một lĩnh vực nào đó. Do đó quá trình khám phá tri thức cũng mang tính chất hƣớng nhiệm vụ, không phải phát hiện mọi tri thức đƣợc bất kỳ mà phát hiện tri thức nhằm giải quyết tốt vấn đề đặt ra.1: Các giai đoạn trong quá trình khám phá tri thức Quá trình khám phá tri thức gồm sáu giai đoạn[1] nhƣ hình 1. Bắt đầu của quá trình là kho dữ liệu thô và kết thúc với tri thức đƣợcchiết xuất ra.
Đây là một quátrình rất khó khăn gặp phải rất nhiều vƣớng mắc: quản lý các tập dữ liệu,phải lặp đi lặp lại toàn bộ quá trình,. Gom dữ liệu: Tập hợp dữ liệu là bƣớc đầu tiên trong quá trìnhkhai phá dữ liệu. Đây là bƣớc đƣợc khai thác trong một cơ sở dữliệu, một kho dữ liệu nguồn thông tin Internet. Trích lọc dữ liệu : Ở giai đoa ̣ n này dữ liệu đƣợc lựa chọn hoặcphân chia theomột số tiêu chuẩn nào đó phục vụ mục đích khaithác.
Làm sạch, tiền xử lý và chuẩn bị trƣớc dữ liệu: Dữ liệu cần đƣợc làm sạch để khắc phục đối với trƣờng dữ liệu rỗng, dƣ thừa hoặc dữ liệu không hợp lệ. Giai Số hóa bởi Trung tâm Học liệu – ĐHTN http://www.vn 5 đoạn này là một bƣớc rấtquan trọng trong quá trình khai phá dữ liệu. Một số lỗi thƣờngmắc phải trong khi gom dữ liệu là tính không đủ chặt chẽ.Vì vậy, dữ liệu thƣờng chứa các giá trị vô nghĩa và không có khảnăng kết nối dữ liệu. Giai đoạnnày sẽ tiến hành xử lý những dạng dữ liệu không chặt chẽ nóitrên.
Những dữ liệu dạng đƣợc xem nhƣ thông tin dƣ thừa,không có giá trị sẽ đƣợc loại bỏ. Dữ liệu này nếu không đƣợc “làm sạch - tiền xử lý - chuẩn bịtrƣớc” thì sẽ gây nên những kết quả sai lệch nghiêm trọng. Các công việc tiền xử lý dữ liệu bao gồm: - Xử lý dữ liệu bị mất, thiếu: Các dữ liệu thiếu sẽ đƣợc thay thế bằng các giá trị thích hợp. - Khử bỏ trùng lặp: các đối tƣợng dữ liệu trùng lặp sẽ bị loại bỏ.
- Giảm nhiễu: dữ liệu nhiễu và các đối tƣợng tách rời khỏi phân bố chung sẽ bị loại bỏ khỏi tập dữ liệu. - Chuẩn hóa: thông thƣờng là chuẩn hóa miền giá trị của dữ liệu cho phù hợp. - Rời rạc hóa: chính là việc biến đổi dữ liệu dạng số về dữ liệu với các giá trị rời rạc. - Trích rút và xây dựng các đặc trƣng mới từ các thuộc tính đã có.
- Giảm chiều không gian thuộc tính: là loại bỏ bớt các thuộc tính có chứa ít thông tin. Chuyển đổi dữ liệu: Tiếp theo là giai đoạn chuyển đổi dữ liệu, dữliệu đƣa ra có thể sử dụng và điều khiển đƣợc bởi việc tổ chức lạinó, tức là dữ liệu sẽ đƣợc chuyển đổi về dạng phù hợp với mục đíchkhai phá dữ liệu. Khai phá dữ liệu (KPDL): Đây là bƣớc quan trọng nhất trong tiến trình phát hiện tri thức, là bƣớc mang tính tƣ duy trong khai phádữ liệu. Ở giai đoạn này nhiều thuật toán khác nhau đã đƣợc sử dụng để trích ra các mẫu từ dữ liệu.
Thuật toán thƣờng dùng làm nguyên tắc phân loại, nguyên tắc liên kết,. Kết quả quả giai đoạn này là trích chọn đƣợc các mẫu hoặc các mô hình ẩn dƣới một khối lƣợng lớn dữ liệu. Đánh giá các luật và biểu diễn tri thức: Ở giai đoạn này, các mẫu dữ liệu đƣợc chiết xuất ra bởi phần mềm KPDL. Không phải bất cứ mẫu dữ liệu nào cũng đều hữu ích, đôi khi nó còn bị sai lệch.
Vì vậy, cần phải ƣu tiên những tiêu chuẩn Số hóa bởi Trung tâm Học liệu – ĐHTN http://www.vn 6 đánh giá để chiết xuất ra các tri thức (Knowlege) cần chiết xuất ra. Đánh giá sự hữu ích của các mẫu biểu diễn tri thức dựa trên một số phép đo. Sau đó sử dụng các kỹ thuật trình diễn và trực quan hoá dữ liệu để biểu diễn tri thức khai phá đƣợc cho ngƣời sử dụng. Biểu diễn tri thức bao bao gồm việc hiển thị kết quả hoặc dịch kế t quả để hiểu và trình diễn.
Trong bƣớc này các tri thức vừa mới khám phá sẽ đƣợc củng cố, kết hợp lại thành một hệ thống, đồng thời giải quyết các xung đột tiềm năng trong các tri thức trƣớc đó. Các mô hình rút ra đƣợc đƣa vào những hệ thống thông tin thực tế dƣới dạng các mô-đun hỗ trợ việc đƣa ra quyết định. Các giai đoạn (bƣớc) của quá trình phát triển tri thức có mỗi quan hệ chặt chẽ với nhau trong bối cảnh chung của hệ thống. Các kỹ thuật trong bƣớc trƣớc có thể ảnh hƣởng đến hiệu quả của các giải thuật trong nhƣỡng bƣớc tiếp theo.