Luận văn ThS: Ứng dụng Khai phá dữ liệu trong Y tế dự phòng - ĐH Công nghệ

Luận văn thạc sĩ khai phá dữ liệu trong y tế dự phòng. Tìm hiểu ứng dụng công nghệ thông tin, mã 84802. Download luận văn thạc sĩ IT chất lượng cao!

• Tác giả: Hoàng Văn Tiến
• Người hướng dẫn: TS. Đặng Thanh Hải
• Trường học: Trường Đại Học Công Nghệ - Đại Học Quốc Gia Hà Nội
• Chuyên ngành: Công nghệ thông tin
• Đề tài: Khai phá dữ liệu và ứng dụng trong y tế dự phòng
• Loại tài liệu: Luận văn thạc sĩ
• Năm xuất bản: 2018
• Địa điểm: Hà Nội

Mục lục chi tiết

• LỜI CAM ĐOAN
• TÓM TẮT NỘI DUNG
• MỞ ĐẦU
• MỤC LỤC
• DANH MỤC CÁC HÌNH VẼ
• DANH MỤC CÁC BẢNG BIỂU
• DANH MỤC VIẾT TẮT
• DANH SÁCH CÁC THUẬT NGỮ
• 1. CHƯƠNG 1: GIỚI THIỆU VỀ LĨNH VỰC Y TẾ DỰ PHÒNG
• 1.1. Giới thiệu về y tế dự phòng
• 1.2. Lịch sử phát triển của y tế dự phòng
• 1.3. Những vai trò của lĩnh vực y tế dự phòng
• 1.4. Dự báo dịch bệnh trong lĩnh vực y tế dự phòng
• 1.5. Thực trạng nghiên cứu dự báo trong y tế dự phòng
• 1.6. Mục tiêu nghiên cứu
• 1.7. Tóm tắt Chương 1
• 2. CHƯƠNG 2: CÁC PHƯƠNG PHÁP VÀ CÔNG CỤ KHAI PHÁ DỮ LIỆU
• 2.1. Khai phá dữ liệu
• 2.2. Ưu điểm của khai phá dữ liệu với các phương pháp khác
• 2.3. Những khó khăn trong khai phá dữ liệu
• 2.4. Các kỹ thuật khai phá dữ liệu
• 2.5. Dữ liệu chuỗi thời gian (time series data)
• 2.6. Các công cụ, phần mềm hỗ trợ khai phá dữ liệu
• 2.7. Phân tích số liệu bằng phần mềm Weka
• 2.8. Giới thiệu về SPSS (Statistical Product and Services Solutions)
• 2.9. Phân tích số liệu bằng R
• 2.10. Tóm tắt chương 2
• 3. PHƯƠNG PHÁP PHÂN TÍCH VÀ DỰ BÁO
• 3.1. VỚI CHUỖI DỮ LIỆU THỜI GIAN
• 3.2. Dữ liệu chuỗi thời gian
• 3.3. Tính dừng của dữ liệu chuỗi thời gian
• 3.4. Kiểm tra tính dừng chuỗi thời gian
• 3.5. Biến đổi chuỗi không dừng thành chuỗi dừng
• 3.6. Mô hình ARIMA
• 3.7. Mô hình tự hồi quy AR (Autoregressive process)
• 3.8. Mô hình trung bình trượt MA (Moving Average)
• 3.9. Mô hình trung bình trượt và tự hồi quy ARMA (Autoregressive Moving Average)
• 3.10. Mô hình trung bình trượt tự hồi quy ARIMA (Autoregressive Intergrated Moving Average)
• 3.11. Dự báo dữ liệu chuỗi thời gian
• 3.12. Tóm tắt chương 3
• 4. THỰC NGHIỆM VÀ ĐÁNH GIÁ
• 4.1. Mô hình thực nghiệm
• 4.2. Mục đích thực nghiệm
• 4.3. Tập dữ liệu Google Flu Trends
• 4.4. Môi trường, cấu hình hệ thống và công cụ
• 4.5. Cấu hình phần cứng
• 4.6. Các công cụ phần mềm sử dụng
• 4.7. Kết quả thực nghiệm
• 4.8. Lựa chọn và xử lý dữ liệu
• 4.9. Phân tách dữ liệu
• 4.10. Đánh giá kết quả
• 4.11. Tóm tắt chương 4
• Các kết quả đạt được
• Hướng nghiên cứu tiếp theo
• TÀI LIỆU THAM KHẢO

Tóm tắt

I. Tổng Quan Luận Văn Thạc Sĩ Khai Phá Dữ Liệu Y Tế Dự Phòng

Luận văn thạc sĩ "Khai phá dữ liệu và ứng dụng trong y tế dự phòng" là một nghiên cứu quan trọng trong bối cảnh dịch bệnh ngày càng diễn biến phức tạp. Luận văn tập trung vào việc ứng dụng các kỹ thuật khai phá dữ liệu để phân tích và dự báo dịch bệnh, từ đó hỗ trợ công tác phòng ngừa và kiểm soát dịch bệnh hiệu quả hơn. Luận văn này của học viên Hoàng Văn Tiến là một đóng góp nhỏ bé nhưng có ý nghĩa cho lĩnh vực y tế dự phòng, cung cấp các giải pháp phân tích và dự báo hiệu quả, nâng cao ứng dụng công nghệ thông tin trong lĩnh vực y tế, đặc biệt là y tế dự phòng. Phân tích và dự báo, từ lâu đã được ứng dụng rộng rãi trong nhiều lĩnh vực nhằm đưa ra định hướng và chiến lược phát triển. Ngành y tế cũng không ngoại lệ, đặc biệt là dự báo dịch bệnh truyền nhiễm đã được các nhà khoa học quan tâm và ngày càng phát triển. Phân tích và dự báo dịch bệnh truyền nhiễm được quan tâm bởi những lợi ích to lớn trong công tác phòng ngừa dịch bệnh. Việc xác định chu kỳ diễn biến của dịch bệnh truyền nhiễm dựa trên các yếu tố như thời gian, khí hậu và vùng địa lý có ý nghĩa quan trọng. Nắm bắt chu kỳ, đưa ra dự báo và lên phương án ứng phó, khoanh vùng dập dịch nhanh chóng là hết sức quan trọng để hạn chế tối đa hậu quả của dịch bệnh. Luận văn trước hết tìm hiểu kiến thức nền tảng về khai phá dữ liệu, sau đó tìm hiểu sâu các kỹ thuật khai phá dữ liệu tiên tiến, qua đó đề xuất vận dụng phương pháp và công cụ khai phá dữ liệu phù hợp với tập dữ liệu dịch cúm do Google Flu Trends công bố. Luận văn đề xuất lựa chọn phương pháp khai phá dữ liệu phù hợp trên tập dữ liệu dịch bệnh cúm, tìm ra chu kỳ diễn biến của dịch, đưa ra các dự báo và hỗ trợ định hướng hoạt động y tế dự phòng theo từng thời điểm trong năm, nhằm có những chính sách và biện pháp phù hợp để hạn chế thiệt hại.

1.1. Vai trò và tầm quan trọng của y tế dự phòng hiện nay

Trong bối cảnh dịch bệnh lây nhiễm bùng phát nhanh chóng, đặc biệt là các dịch bệnh nguy hiểm như Ebola và MERS-CoV, vai trò của y tế dự phòng trở nên vô cùng quan trọng. Sự phát triển của dịch bệnh không chỉ gia tăng về phạm vi mà còn đa dạng về chủng loại. Thực tế này đòi hỏi công tác y tế dự phòng cần được đẩy mạnh, nâng cao khả năng khoanh vùng và hạn chế sự lây lan. Công tác giám sát dịch bệnh lây nhiễm, phân tích và dự báo phục vụ ra quyết định ngày càng trở nên cấp thiết. Câu hỏi đặt ra là làm thế nào để ứng dụng khai phá dữ liệu hiệu quả trong bối cảnh này? Các biện pháp kỹ thuật cần được cải thiện để đáp ứng nhu cầu chăm sóc sức khỏe cộng đồng.

1.2. Tổng quan về khai phá dữ liệu trong lĩnh vực y tế

Khai phá dữ liệu là quá trình trích xuất thông tin hữu ích từ lượng lớn dữ liệu thô. Trong y tế, khai phá dữ liệu có thể giúp phát hiện các mẫu bệnh, dự đoán nguy cơ mắc bệnh và tối ưu hóa phương pháp điều trị. Luận văn này khai thác các kỹ thuật khai phá dữ liệu như machine learning và phân tích dữ liệu y tế để dự báo diễn biến dịch bệnh cúm. Ứng dụng các mô hình phân tích và mô hình hóa dữ liệu y tế góp phần tăng cường năng lực dự báo trong lĩnh vực y tế dự phòng và góp phần nâng cao ứng dụng công nghệ thông tin trong lĩnh vực y tế. Việc sử dụng các thuật toán khai phá dữ liệu phù hợp, đặc biệt là với big data trong y tế dự phòng có thể giúp đưa ra các quyết định chăm sóc sức khỏe kịp thời và hiệu quả.

II. Thách Thức Vấn Đề Dự Báo Dịch Bệnh Cúm với Dữ Liệu Lớn

Một trong những thách thức lớn nhất trong y tế dự phòng là dự báo chính xác diễn biến dịch bệnh. Các yếu tố như biến đổi khí hậu, sự di chuyển dân cư và sự xuất hiện của các chủng virus mới khiến việc dự báo trở nên khó khăn hơn bao giờ hết. Luận văn này nhằm giải quyết vấn đề này bằng cách sử dụng các kỹ thuật khai phá dữ liệu để phân tích dữ liệu dịch tễ và xây dựng mô hình dự báo chính xác. Việc dự đoán bệnh tật sớm và chính xác đóng vai trò quan trọng trong việc triển khai các biện pháp phòng ngừa và kiểm soát dịch bệnh hiệu quả. Do điều kiện tự nhiên như biến đổi khí hậu, môi trường, nhiều bệnh dịch truyền nhiễm trước đây đã được đầy lùi, nay lại bùng phát mạnh mẽ với nhiều biến thể và chủng loại mới, đặc biệt tại các vùng có điều kiện khí hậu khắc nghiệt. Bên cạnh việc nghiên cứu để tìm ra nguyên nhân và yếu tố gây nên sự bùng phát của dịch bệnh, cần phải ứng dụng các kỹ thuật dự báo khác nhau để xây dựng mô hình dự báo dịch bệnh, dựa trên tác động của các yếu tố điều kiện tự nhiên, khí hậu, môi trường., nhằm đưa ra cảnh báo sớm diễn biến dịch bệnh trong tương lai, chủ động triển khai các công tác nghiệp vụ, qua đó giúp giảm thiểu nguy cơ và thiệt hại của dịch bệnh đến con người.

2.1. Hạn chế của các phương pháp dự báo dịch bệnh truyền thống

Các phương pháp dự báo dịch bệnh truyền thống thường dựa vào các mô hình thống kê đơn giản và kinh nghiệm của các chuyên gia. Tuy nhiên, những phương pháp này có thể không đủ mạnh để xử lý lượng dữ liệu lớn và phức tạp hiện nay. Việc sử dụng các phương pháp truyền thống có thể dẫn đến dự báo không chính xác, gây khó khăn cho công tác phòng ngừa và kiểm soát dịch bệnh. Khai phá dữ liệu cung cấp các công cụ và kỹ thuật tiên tiến để vượt qua những hạn chế này.

2.2. Vai trò của Big Data trong dự báo dịch bệnh y tế dự phòng

Big data đóng vai trò quan trọng trong việc cải thiện khả năng dự báo dịch bệnh. Dữ liệu từ nhiều nguồn khác nhau như bệnh viện, phòng khám, mạng xã hội và các thiết bị đeo thông minh có thể được thu thập và phân tích để phát hiện các xu hướng và mô hình dịch bệnh. Khai phá dữ liệu cho phép chúng ta khai thác tối đa tiềm năng của big data để dự đoán bệnh tật và đưa ra các biện pháp ứng phó kịp thời. Cùng với sự phát triển bùng nổ của Internet làm gia tăng các nguồn dữ liệu, trong đó có dữ liệu dịch bệnh, khí hậu, thời tiết,… được thu thập thường xuyên từ khắp nơi trên thế giới, đó là một điều kiện lý tưởng cho công tác dự báo, bên cạnh đó sự phát triển của các phương pháp và kỹ thuật dự báo đem lại cơ hội mới cho sự bùng nổ hoạt động phân tích và dự báo dịch bệnh trong lĩnh vực y tế.

III. Phương Pháp Khai Phá Dữ Liệu Mô Hình ARIMA Ứng Dụng

Luận văn sử dụng mô hình ARIMA (Autoregressive Integrated Moving Average) để phân tích chuỗi thời gian và dự báo diễn biến dịch cúm. ARIMA là một mô hình thống kê mạnh mẽ, có khả năng xử lý dữ liệu chuỗi thời gian không ổn định và dự báo các giá trị tương lai dựa trên các giá trị quá khứ. Mô hình ARIMA phổ biến và linh hoạt trong lĩnh vực dự đoán bằng việc sử dụng những thông tin trong quá khứ để đưa ra dự đoán. Loại mô hình này là kỹ thuật dự đoán cơ bản mà có thể được sử dụng giống như một nền tảng cho những mô hình hoàn thiện hơn. Việc lựa chọn mô hình ARIMA phù hợp với đặc điểm của dữ liệu dịch cúm là một yếu tố quan trọng để đảm bảo tính chính xác của dự báo.

3.1. Ưu điểm của mô hình ARIMA trong dự báo chuỗi thời gian y tế

Mô hình ARIMA có nhiều ưu điểm trong dự báo chuỗi thời gian y tế, bao gồm khả năng xử lý dữ liệu không ổn định, khả năng dự báo các giá trị tương lai dựa trên các giá trị quá khứ và khả năng kết hợp với các yếu tố bên ngoài khác. Mô hình ARIMA cũng là một mô hình tương đối đơn giản và dễ hiểu, giúp các nhà nghiên cứu và chuyên gia y tế dễ dàng áp dụng và đánh giá kết quả.

3.2. Quy trình xây dựng và đánh giá mô hình ARIMA hiệu quả

Quy trình xây dựng và đánh giá mô hình ARIMA bao gồm các bước sau: thu thập và chuẩn bị dữ liệu, xác định các tham số của mô hình, ước lượng các tham số, kiểm tra tính phù hợp của mô hình và dự báo các giá trị tương lai. Việc đánh giá mô hình ARIMA cần dựa trên các tiêu chí như độ chính xác, độ tin cậy và tính ổn định. Thống kê, báo cáo, xây dựng và quản lý cơ sở dữ liệu về bệnh không lây nhiễm, bệnh xã hội; [1]

IV. Thực Nghiệm và Đánh Giá Dự Báo Dịch Cúm tại Argentina

Luận văn thực hiện thực nghiệm trên dữ liệu dịch cúm tại Argentina từ năm 2003 đến 2015, sử dụng phần mềm R và mô hình ARIMA. Kết quả thực nghiệm cho thấy mô hình ARIMA có khả năng dự báo diễn biến dịch cúm khá chính xác, đặc biệt là trong việc xác định các đỉnh dịch và các chu kỳ dịch bệnh. Tuy nhiên, mô hình cũng có một số hạn chế trong việc dự báo các biến động bất thường và các yếu tố bên ngoài. Dữ liệu của Google Flu Trends được tổng hợp theo thời gian thực và sẽ được đối chiếu lại với số liệu của những trung tâm kiểm soát dịch bệnh trên thế giới.

4.1. Thu thập và xử lý dữ liệu dịch cúm từ Google Flu Trends

Dữ liệu dịch cúm từ Google Flu Trends được thu thập và xử lý theo quy trình sau: tải dữ liệu từ trang web của Google Flu Trends, làm sạch dữ liệu (loại bỏ các giá trị thiếu và các giá trị ngoại lệ), chuyển đổi dữ liệu sang định dạng phù hợp với mô hình ARIMA và chia dữ liệu thành hai tập: tập huấn luyện và tập kiểm tra. Việc thu thập và xử lý dữ liệu cần được thực hiện cẩn thận để đảm bảo chất lượng và tính chính xác của dữ liệu.

4.2. Đánh giá hiệu quả mô hình ARIMA bằng các độ đo thống kê

Hiệu quả của mô hình ARIMA được đánh giá bằng các độ đo thống kê như Mean Absolute Error (MAE), Root Mean Squared Error (RMSE) và Mean Absolute Percentage Error (MAPE). Các độ đo này cho phép đánh giá độ chính xác của mô hình trong việc dự báo các giá trị thực tế. Ngoài ra, cần đánh giá tính ổn định của mô hình bằng cách kiểm tra xem mô hình có hoạt động tốt trong các giai đoạn khác nhau hay không.

V. Ứng Dụng Thực Tế Định Hướng Y Tế Dự Phòng Dựa Trên Dự Báo

Kết quả dự báo từ mô hình ARIMA có thể được sử dụng để định hướng các hoạt động y tế dự phòng, như lên kế hoạch tiêm chủng, phân bổ nguồn lực và triển khai các biện pháp phòng ngừa dịch bệnh. Việc dự báo chính xác diễn biến dịch bệnh giúp các nhà quản lý và chuyên gia y tế đưa ra các quyết định kịp thời và hiệu quả, giảm thiểu tác động tiêu cực của dịch bệnh đến sức khỏe cộng đồng. Công tác giám sát dịch bệnh lây nhiễm, phân tích và dự báo phục vụ ra quyết định ngày càng trở nên quan trọng và cần được đẩy mạnh.

5.1. Lập kế hoạch tiêm chủng hiệu quả dựa trên dự báo dịch bệnh

Dự báo chính xác thời điểm và cường độ của các đợt dịch cúm giúp các nhà quản lý y tế lên kế hoạch tiêm chủng hiệu quả, đảm bảo đủ vắc-xin cho những người có nguy cơ cao và giảm thiểu tình trạng thiếu vắc-xin. Việc tiêm chủng kịp thời và đầy đủ là một trong những biện pháp phòng ngừa dịch bệnh hiệu quả nhất.

5.2. Phân bổ nguồn lực y tế hợp lý dựa trên dự báo diễn biến dịch

Dự báo diễn biến dịch bệnh cho phép phân bổ nguồn lực y tế (nhân lực, thuốc men, trang thiết bị) hợp lý, đảm bảo đáp ứng nhu cầu khám chữa bệnh trong các đợt dịch. Việc phân bổ nguồn lực hợp lý giúp giảm thiểu tình trạng quá tải bệnh viện và nâng cao chất lượng chăm sóc sức khỏe cho người dân.

VI. Kết Luận và Hướng Phát Triển Khai Phá Dữ Liệu Y Tế Tương Lai

Luận văn đã thành công trong việc ứng dụng mô hình ARIMA để dự báo diễn biến dịch cúm tại Argentina, chứng minh tiềm năng của khai phá dữ liệu trong lĩnh vực y tế dự phòng. Trong tương lai, nghiên cứu có thể được mở rộng bằng cách kết hợp với các mô hình khác, sử dụng dữ liệu từ nhiều nguồn khác nhau và phát triển các ứng dụng thực tế để hỗ trợ công tác phòng ngừa và kiểm soát dịch bệnh. Bên cạnh đó, cũng đề cập hiện trạng và phương pháp nghiên cứu ứng dụng phân tích, dự báo trong lĩnh vực y tế đặc biệt là mảng y tế dự phòng.

6.1. Đánh giá các kết quả đạt được và những hạn chế của luận văn

Luận văn đã đạt được một số kết quả quan trọng, bao gồm xây dựng và đánh giá mô hình ARIMA để dự báo diễn biến dịch cúm, chứng minh tiềm năng của khai phá dữ liệu trong y tế dự phòng và đề xuất các ứng dụng thực tế của mô hình trong việc định hướng các hoạt động y tế. Tuy nhiên, luận văn cũng có một số hạn chế, như chỉ sử dụng dữ liệu từ Google Flu Trends, chưa kết hợp với các mô hình khác và chưa phát triển các ứng dụng thực tế.

6.2. Đề xuất các hướng nghiên cứu tiếp theo để nâng cao tính ứng dụng

Trong tương lai, nghiên cứu có thể được mở rộng bằng cách kết hợp với các mô hình khác (như machine learning), sử dụng dữ liệu từ nhiều nguồn khác nhau (như mạng xã hội, bệnh viện) và phát triển các ứng dụng thực tế để hỗ trợ công tác phòng ngừa và kiểm soát dịch bệnh. Ngoài ra, cần nghiên cứu các yếu tố bên ngoài có thể ảnh hưởng đến diễn biến dịch bệnh (như biến đổi khí hậu, sự di chuyển dân cư) để cải thiện độ chính xác của mô hình.

Trích đoạn nội dung tài liệu

Chương 1 đã giới thiệu tổng quan các vấn đề của dịch bệnh truyền nhiễm, lịch sử hình thành, phát triển của y tế dự phòng và thực trạng diễn biến dịch bệnh truyền nhiễm hiện nay. Qua thực trạng đó, để thấy được tính cấp thiết trong việc ứng dụng công nghệ thông tin trong phân tích, dự báo qua đó hỗ trợ công tác quản lý, định hướng chính sách y tế để phòng ngừa và ngăn chặn diễn biến dịch bệnh. Bên cạnh đó, cũng đề cập hiện trạng và phương pháp nghiên cứu ứng dụng phân tích, dự báo trong lĩnh vực y tế đặc biệt là mảng y tế dự phòng. 6 TIEU LUAN MOI download : [e-mail] Chương 2 của luận văn sẽ trình bày các phương pháp và công cụ phổ biến hiện nay phục vụ khai thác dữ liệu, đề xuất lựa chọn một phương pháp phù hợp nhằm xử lý, phân tích và dự báo tập dữ liệu về dịch bệnh cúm do Google Flu Trends cung cấp.

7 TIEU LUAN MOI download : [e-mail] CHƯƠNG 2: CÁC PHƯƠNG PHÁP VÀ CÔNG CỤ KHAI PHÁ DỮ LIỆU Với sự phát triển mạnh mẽ của Internet, dữ liệu được tạo ra ngày càng nhiều về số lượng, khối lượng và phát triển mạnh về quy mô làm cho việc phân loại, lựa chọn, khai thác, sử dụng gặp nhiều khó khăn. Khai phá dữ liệu là một trong những thuật ngữ mới xuất hiện từ những năm 1990, nó là hệ quả của sự bùng nổ Internet. Theo một công bố của Intel vào tháng 9/2013 cứ 11 giây trôi qua chúng ta có thêm 1 Petabybe dữ liệu, nó tương đương với một video chất lượng HD dài 13 năm. Và để khai phá, trích xuất nó thì khai phá dữ liệu ra đời.

Về kỹ thuật của khai phá dữ liệu thì có thể có nhiều kỹ thuật được áp dụng và việc áp dụng kỹ thuật khai phá dữ liệu nào còn tùy thuộc vào bài toán và dữ liệu cần khai phá. Khai phá dữ liệu 2. Khái niệm Khai phá dữ liệu là quá trình trích xuất thông tin bên trong bộ dữ liệu lớn để xác định các mẫu và thiết lập các mối quan hệ để giải quyết các vấn đề thông qua phân tích dữ liệu [6]. Công cụ khai thác dữ liệu cho phép chúng ta dự đoán xu hướng trong tương lai dựa trên bộ dữ liệu đang có.

Bên cạnh cái tên khai phá dữ liệu người ta còn dùng một số tên gọi khác như: khai phá tri thức từ cơ sở dữ liệu, phân tích dữ liệu, trích lọc dữ liệu,…. Khai phá dữ liệu bao gồm 5 bước sau: Hình 2. Các bước khai phá dữ liệu Bước 1) Lựa chọn: tại bước này, những dữ liệu trực tiếp liên quan đến yêu cầu sẽ được thu thập từ các tập dữ liệu gốc ban đầu. Bước 2) Tiền xử lý: dữ liệu tại bước này được làm sạch (xử lý tập dữ liệu không đầy đủ, dữ liệu có nhiễu, dữ liệu không nhất quán,…), kết quả của bước này ta sẽ có một tập dữ liệu nhất quán, đầy đủ, được rút gọn.

Bước 3) Đổi dạng: chuyển dữ liệu về dạng phù hợp cho việc khai phá, dữ liệu sau khi làm sạch tại bước tiền xử lý thậm chí không phải là đã sẵn sàng cho khai thác, khi 8 TIEU LUAN MOI download : [e-mail] đó chúng ta cần phải biến đổi chúng thành các hình thức thích hợp. Bước 4) Khai phá dữ liệu: đây là giai đoạn chính, trong đó các phương pháp phân tích dữ liệu phù hợp sẽ được áp dụng để trích xuất ra các mẫu dữ liệu dựa vào các tập dữ liệu ban đầu. Bước 5) Trình diễn: sử dụng các kỹ thuật, công cụ để biểu diễn trực quan hoá dữ liệu được khai phá cho người sử dụng. Ưu điểm của khai phá dữ liệu với các phương pháp khác 2.

Học máy (machine learning) Phương pháp học máy đã có nhiều cải tiến để phù hợp hơn với khai phá dữ liệu, tuy nhiên sự khác biệt giữa thiết kế, các đặc điểm của cơ sở dữ liệu làm cho học máy trở nên không phù hợp, mặc dù hiện nay đa phần các phương pháp khai phá dữ liệu vẫn dựa trên nền tảng của phương pháp học máy. Các phương pháp trong máy học cần được phát triển để phù hợp với các yêu cầu và thách thức của khai phá dữ liệu. Đầu tiên là tập dữ liệu có độ nhiễu cao, yêu cầu đặt ra cho một giải thuật đối với tập dữ liệu bị nhiễu trở nên quan trọng hơn. Thứ hai là kích thước lớn của các tập dữ liệu cần xử lý, các tập dữ liệu trong khai phá dữ liệu thường có kích thước lớn.

Trong thực tế, kích thước của các tập dữ liệu trong khai phá dữ liệu thường ở mức Tera-byte. Với kích thước như thế, thời gian xử lý thường cực kỳ dài. Vì vậy, việc vận dụng các kỹ thuật nhằm cải tiến các giải thuật để tạo ra các phiên bản phù hợp với những yêu cầu mới của khai phá dữ liệu trở nên quan trọng. Trong hệ quản trị cơ sở dữ liệu, một cơ sở dữ liệu là một tập hợp dữ liệu được liên kết logic với nhau, lưu trữ dữ liệu trong một hay nhiều file và được tổ chức lưu trữ, sửa đổi và truy xuất thông tin hiệu quả và dễ dàng.

Trong học máy, thuật ngữ cơ sở dữ liệu là nói tới một tập các mẫu dữ liệu được lưu trong một tệp. Một thuật toán sẽ sử dụng tập dữ liệu và thông tin đi kèm tập dữ liệu đó làm đầu vào và kết quả đầu ra cho việc học. Với đặc điểm của cơ sở dữ liệu trong học máy được đề cập, có thể thấy học máy có khả năng áp dụng trên tệp các bản ghi của cơ sở dữ liệu. Tuy nhiên, quá trình phát hiện tri thức trong cơ sở dữ liệu (knowledge discovery in database – KDD) làm tăng thêm các khó khăn vốn đã là điển hình trong học máy và vượt quá khả năng của học máy.

Trong thực tế, cơ sở dữ liệu thường động, không đầy đủ, bị nhiễu và lớn hơn nhiều so với các tập dữ liệu học máy, điều này làm cho đa phần các thuật toán học máy hầu hết không hiệu quả. Do vậy, trong khai phá dữ liệu cần tập trung xử lý những vấn đề này trong cơ sở dữ liệu. Phương pháp hệ chuyên gia Các hệ chuyên gia sẽ nắm bắt các tri thức trong một bài toán cụ thể. Các kỹ thuật thu thập giúp các chuyên gia trong việc khai thác tri thức, mỗi phương pháp là kỹ thuật 9 TIEU LUAN MOI download : [e-mail] xây dựng các tập luật.

Các ví dụ chuyên gia đưa ra có giá trị cao hơn nhiều so với dữ liệu trong cơ sở dữ liệu. Hơn nữa, các chuyên gia sẽ xác nhận giá trị và sự hữu dụng của các mẫu được phát hiện. Ở phương pháp này đòi hỏi có sự tham gia của con người mà cụ thể là các chuyên gia với kinh nghiệm của mình trong việc phát hiện tri thức. Những khó khăn trong khai phá dữ liệu Khi khai phá dữ liệu gặp phải những thách thức sau đây: - Cơ sở dữ liệu lớn: Kích thước của cơ sở dữ liệu được xác định thông qua số lượng các mẫu tin, các thuộc tính (hay các biến) và các bảng, số lượng có thể là hàng trăm thuộc tính và bảng, hàng triệu các mẫu tin.

Như vậy, kích thước của cơ sở dữ liệu tính bằng terabyte đã bắt đầu xuất hiện. Dữ liệu với số chiều cao (tương ứng với thuộc tính khi biểu diễn qua không gian các mẫu dữ liệu) làm gia tăng kích thước không gian tìm kiếm trong mô hình quy nạp. Khi xây dựng mô hình chỉ một tập con trong cơ sở dữ liệu tham gia, do vậy trong các thuật toán khai phá là các mẫu dữ liệu tìm được đôi khi không có giá trị đại diện chung cho toàn bộ cơ sở dữ liệu. Một giải pháp cho vấn đề này là giảm bớt số chiều của bài toán và sử dụng tri thức trước (prior knowledge) để nhận biết các biến ít liên quan.

- Vấn đề over-fitting: Khi thuật toán khai phá tìm kiếm với các tham số tốt nhất cho một mô hình đặc biệt và một giới hạn của tập dữ liệu, mô hình ấy có thể over-fitting trên tập dữ liệu ấy nhưng lại thi hành không chính xác trên tập dữ liệu được kiểm tra. Một giải pháp thường được sử dụng là thẩm định chéo. - Dữ liệu và tri thức được cập nhật, thay đổi: Dữ liệu thay đổi nhanh chóng theo thời gian dẫn đến những mẫu dữ liệu đã được khai phá trước đây không còn giá trị. Thêm vào đó, các biến đã được đo trong cơ sở dữ liệu bị thay đổi, bị xóa hoặc đã tăng lên với một độ đo mới.

Điều này có thể được thực hiện bằng cách gia tăng các phương thức cập nhật mẫu và xem xét các thay đổi cho việc khám phá bằng việc sử dụng nó để xử lý thích hợp việc tìm kiếm các mẫu chỉ với sự thay đổi. - Dữ liệu thiếu và nhiễu: Đây là vấn đề rất được quan tâm trong khai phá dữ liệu, việc dữ liệu thiếu và nhiễu thường dẫn đến việc dự đoán thiếu chính xác. - Tích hợp với hệ thống: Hệ thống khai phá dữ liệu thực sự là hữu ích khi phải được tích hợp với cơ sở dữ liệu thông qua các giao diện như truy vấn, bảng tính và các công cụ trực quan khác. Hơn nữa, phải tạo ra một môi trường thuận lợi cho việc tương tác với người dùng.

Các kỹ thuật khai phá dữ liệu Các nhiệm vụ của khai phá dữ liệu gồm hai phần: dự đoán (predictive) được sử dụng để dự đoán các giá trị tương lai của cùng hoặc một tính năng khác và mô tả (descriptive) tìm các mô hình thú vị và dễ diễn giải của con người [6]. Trong nội dung luận văn, học viên sẽ đề cập đến bốn kỹ thuật khai thác dữ liệu: Hồi quy (regression); 10 TIEU LUAN MOI download : [e-mail] kết hợp (association); phân lớp (classification); phân cụm (clustering). Hồi quy (Regression) Phân tích hồi quy được sử dụng để mô hình hóa mối quan hệ giữa một biến độc lập và biến phụ thuộc. Phương pháp này cho phép chúng ta thu được những kết quả tốt nhất về mối quan hệ chân thực giữa các biến số.

Từ phương trình ước lượng này, có thể dự báo về giá trị của biến phụ thuộc (chưa biết trước giá trị) dựa vào giá trị cho trước của biến độc lập (đã biết trước giá trị). Dưới đây là một số ví dụ: - Dự đoán doanh thu của một sản phẩm mới dựa trên các sản phẩm bổ sung; - Dự đoán ung thư dựa trên số lượng thuốc lá tiêu thụ, thực phẩm bị tiêu hao, độ tuổi; - Dự đoán chuỗi thời gian của thị trường chứng khoán và các chỉ số.