Nghiên Cứu Khai Thác Dữ Liệu và Khám Phá Tri Thức

Chuyên khảo phân tích Luận văn khai mỏ dữ liệu và khám phá tri thức, đánh giá các khía cạnh quan trọng, đề xuất hướng nghiên cứu tiếp theo.

• Tác giả: Quách Luyl ða
• Người hướng dẫn: Ths. Dương Văn Hiếu
• Trường học: Trường Đại Học Tây Đô
• Chuyên ngành: Kỹ Thuật Công Nghệ
• Đề tài: Nghiên Cứu Khai Thác Dữ Liệu và Khám Phá Tri Thức
• Loại tài liệu: Luận Văn Tốt Nghiệp
• Năm xuất bản: 2011
• Địa điểm: Cần Thơ

Mục lục chi tiết

• LỜI CÁM ƠN
• 1. CHƯƠNG 1: TỔNG QUAN
• 1.1. LỊCH SỬ GIẢI QUYẾT VẤN ĐỀ
• 1.2. PHẠM VI CỦA ĐỀ TÀI
• 1.3. PHƯƠNG PHÁP NGHIÊN CỨU
• 2. CHƯƠNG 2: CƠ SỞ LÝ THUYẾT
• 2.1. KHÁI NIỆM VỀ KHAI PHÁ DỮ LIỆU
• 2.2. NHIỆM VỤ CỦA KHAI THÁC DỮ LIỆU
• 2.3. CÁC KHÁI NIỆM CƠ BẢN
• 3. CHƯƠNG 3: NỘI DUNG NGHIÊN CỨU
• 3.1. NGHIÊN CỨU VỀ PHẦN MỀM KHAI PHÁ DỮ LIỆU
• 3.2. CHƯƠNG TRÌNH ỨNG DỤNG
• 3.2.1. Khai phá dữ liệu bằng luật kết hợp
• 3.2.2. Khai phá dữ liệu bằng cây quyết định
• KẾT LUẬN VÀ KIẾN NGHỊ
• PHỤ LỤC
• Phụ lục I. Đo khoảng cách giữa 2 đối tượng
• Phụ lục II. Thuật giải Heuristic
• Phụ lục III. Hướng dẫn sử dụng chương trình khai phá luật kết hợp
• Phụ lục IV. Hướng dẫn sử dụng chương trình khai phá cây quyết định
• TÀI LIỆU THAM KHẢO

Tóm tắt

I. Tổng Quan Nghiên Cứu Khai Thác Dữ Liệu và Khám Phá Tri Thức

Công nghệ thông tin ngày nay là động lực quan trọng của sự phát triển. Máy tính số hóa thông tin (số, đồ thị, văn bản, hình ảnh, âm thanh) và trở thành công cụ thông minh. Nó xử lý thông tin thuộc nhiều lĩnh vực: kinh doanh, y học,... Cùng với sự phát triển của công nghệ lưu trữ dữ liệu, việc lưu trữ thông tin liên quan đến nhiều mặt của cuộc sống đã góp phần cải thiện cuộc sống và giảm bớt việc lưu trữ thông tin dựa trên văn bản. Đó chính là tiền đề cho sự ra đời của nền kinh tế mới – nền kinh tế số (hay còn gọi là nền kinh tế tri thức). Nền kinh tế này đang làm cho sự phát triển thông tin lưu trữ ngày càng nhiều, và khả năng linh hoạt của các phần mềm phải đảm đương nhiều công việc trong việc lựa chọn thông tin. Trong những năm 1980, một số nhà nghiên cứu đã đưa ra một số kỹ thuật nhằm giải quyết các vấn đề trên, và được gọi là kỹ thuật khai phá dữ liệu (data mining).

1.1. Ứng Dụng Thực Tế Của Khai Thác Dữ Liệu Hiện Nay

Các kỹ thuật khai phá dữ liệu đã được các công ty kinh doanh các sản phẩm liên quan đến thông tin ứng dụng rộng rãi. Ví dụ, khi duyệt web, tìm kiếm thông tin trên Google, Google luôn đưa ra các gợi ý. Facebook đưa ra những gợi ý về những người bạn cho bạn kết bạn. Amazon đưa ra các lựa chọn về những quyển sách mà bạn cần mua. Tất cả những điều này là ứng dụng cụ thể của khai phá dữ liệu và khám phá tri thức. Vậy khai phá dữ liệu là gì?

1.2. Lịch Sử Phát Triển và Giải Quyết Vấn Đề Khai Thác Dữ Liệu

Theo thời gian, định nghĩa về khai phá dữ liệu ngày càng được mở rộng và hoàn thiện. Khai phá dữ liệu là quá trình khám phá thông tin hữu dụng trong các kho dữ liệu khổng lồ một cách tự động. Các kỹ thuật khai phá dữ liệu được triển khai dựa trên các cơ sở dữ liệu lớn nhằm tìm kiếm các mẫu hay các quy luật (pattern) mới và hữu dụng mà chưa từng được biết trước đó. Ví dụ: “Những sinh viên học giỏi các môn Toán rời rạc, Lập trình, Cấu trúc dữ liệu và Cơ sở dữ liệu thì sẽ học giỏi môn khai phá dữ liệu”. Data mining là một phần hoàn chỉnh của lĩnh vực khám phá tri thức (Knowledge Discovery).

II. Thách Thức và Khó Khăn Trong Khai Thác Dữ Liệu Lớn

Việc khai thác tri thức từ dữ liệu đối mặt với nhiều khó khăn. Thứ nhất, tính qui mô: Các tập hợp dữ liệu được lưu trữ ngày càng lớn (gigabytes, terabytes, petabytes) và ngày càng trở nên thông dụng. Các thuật toán khai phá dữ liệu phải có khả năng phân tích được các tập dữ liệu đó. Thứ hai, tính đa thuộc tính: Xử lý các tập dữ liệu có hàng trăm hay hàng nghìn thuộc tính ngày càng trở nên phổ biến. Thứ ba, dữ liệu không thuần nhất và phức tạp: Cần có các kỹ thuật phân tích dữ liệu có thể áp dụng được cho các thuộc tính không thuần nhất. Thứ tư, sở hữu và phân bố dữ liệu: Dữ liệu cần phân tích được lưu trữ ở nhiều nơi khác nhau và được sở hữu bởi nhiều cơ quan khác nhau.

2.1. Vấn Đề Qui Mô Dữ Liệu và Yêu Cầu Về Tính Khả Mở Rộng

Với sự phát triển trong việc tạo ra dữ liệu cũng như thu thập dữ liệu, các tập hợp dữ liệu được lưu trữ ngày càng lớn (gigabytes, terabytes, petabytes) và ngày càng trở nên thông dụng. Các thuật toán khai phá dữ liệu phải có khả năng phân tích được các tập dữ liệu đó. Nhiều kỹ thuật khai phá dữ liệu triển khai các chiến lược nghiên cứu đặc biệt nhằm quản lý các vấn đề trong nghiên cứu tăng theo cấp số nhân. Tính qui mô (scalability) yêu cầu phương pháp cài đặt của cấu trúc dữ liệu mới nhằm truy xuất được các mẩu tin một cách hiệu quả.

2.2. Xử Lý Dữ Liệu Đa Thuộc Tính và Dữ Liệu Không Đồng Nhất

Xử lý các tập dữ liệu có hàng trăm hay hàng nghìn thuộc tính ngày càng trở nên phổ biến. Trong lĩnh vực tin học cho sinh học, dữ liệu về gen có thể bao gồm hàng ngàn thuộc tính. Các tập dữ liệu với các thành phần dữ liệu theo thời gian hay còn được gọi là dữ liệu tuần tự (temporal/ spatial components) cũng có xu hướng có rất nhiều thuộc tính. Các phương pháp phân tích dữ liệu truyền thống được thiết kế cho dữ liệu có ít thuộc tính không thể áp dụng cho trường hợp dữ liệu có nhiều thuộc tính.

III. Quy Trình Khám Phá Tri Thức Từ Dữ Liệu KDD Chi Tiết

Data mining là một bước trong quá trình khám phá tri thức trong cơ sở dữ liệu (Knowledge Discovery in Databases – KDD). Quá trình khám phá tri thức trong cơ sở dữ liệu bao gồm nhiều bước. Đầu tiên là Input Data: dữ liệu đầu vào, nó có thể được lưu trữ với dưới nhiều định dạng khác nhau (file text, file bảng tính, các bản quan hệ) và được lưu trữ trong kho dữ liệu tập trung hoặc phân tán nhiều nơi khác nhau. Tiếp theo là Data Preprocessing: Quá trình tiền xử lý dữ liệu bao gồm phân rã (puse) dữ liệu từ nhiều nguồn dữ liệu khác nhau, làm sạch (clean) dữ liệu bằng cách loại bỏ nhiễu và dữ liệu trùng nhau, lựa chọn các mẫu tin (record) và các đặc tính (feature) có liên quan đến quá trình khai thác (mine) dữ liệu.

3.1. Các Bước Tiền Xử Lý Dữ Liệu Quan Trọng Trong KDD

Trong thực tế, dữ liệu có thể được thu nhập và lưu trữ bằng nhiều cách khác nhau nên quá trình tiền xử lý dữ liệu là một quá trình hết sức quan trọng, khá nặng nhọc và tiêu tốn nhiều thời gian cũng như công sức. Các bước tiền xử lý bao gồm làm sạch dữ liệu, tích hợp dữ liệu, chuyển đổi dữ liệu và giảm dữ liệu.

3.2. Hậu Xử Lý Kết Quả và Ứng Dụng Trong Hệ Thống Quyết Định

Hậu xử lý kết quả là quá trình loại bỏ các kết quả không phù hợp hay lựa chọn các kết quả phù hợp với các công việc và nhu cầu thực tế. Các kết quả sau bước hậu xử lý sẽ được sử dụng cho các hệ thống hỗ trợ ra quyết định (Decision Support System). Mục tiêu của khai thác dữ liệu có 2 nhiệm vụ lớn là dự đoán và mô tả.

IV. Các Phương Pháp Khai Phá Dữ Liệu Phổ Biến Hiện Nay

Có nhiều phương pháp khai phá dữ liệu được sử dụng rộng rãi. Phân cụm dữ liệu (Cluster analysis) là một phương pháp quan trọng. Cây quyết định (Decision tree) cũng là một phương pháp phổ biến. K – lân cận gần nhất: (K Nearest neighbour-KNN) là một phương pháp khác. Giải thuật di truyền cũng được sử dụng. Mạng neuron nhân tạo (Neural networks) cũng là một công cụ mạnh mẽ. Luật kết hợp (Association rule) là một phương pháp quan trọng để tìm ra các mối quan hệ giữa các mục dữ liệu.

4.1. Phân Cụm Dữ Liệu Cluster Analysis và Ứng Dụng

Phân cụm dữ liệu (Cluster analysis) là một kỹ thuật khai phá dữ liệu quan trọng, được sử dụng để nhóm các đối tượng tương tự lại với nhau. Các cụm được hình thành dựa trên sự tương đồng về thuộc tính giữa các đối tượng. Phân cụm dữ liệu có nhiều ứng dụng trong các lĩnh vực khác nhau, như phân tích khách hàng, phân tích thị trường và phân tích hình ảnh.

4.2. Cây Quyết Định Decision Tree và Khả Năng Phân Loại

Cây quyết định (Decision tree) là một phương pháp khai phá dữ liệu được sử dụng để phân loại và dự đoán. Cây quyết định biểu diễn các quy tắc phân loại dưới dạng cấu trúc cây. Mỗi nút trên cây đại diện cho một thuộc tính, và mỗi nhánh đại diện cho một giá trị của thuộc tính đó. Cây quyết định có thể được sử dụng để dự đoán giá trị của một thuộc tính mục tiêu dựa trên giá trị của các thuộc tính khác.

V. Ứng Dụng Phần Mềm Tanagra Trong Khai Phá Dữ Liệu Thực Tế

Phần mềm Tanagra là một công cụ khai phá dữ liệu mạnh mẽ và dễ sử dụng. Tanagra cung cấp nhiều thuật toán khai phá dữ liệu khác nhau, bao gồm phân cụm, phân loại, hồi quy và luật kết hợp. Tanagra có giao diện đồ họa thân thiện, giúp người dùng dễ dàng thực hiện các tác vụ khai phá dữ liệu. Tanagra được sử dụng rộng rãi trong các lĩnh vực khác nhau, như kinh doanh, y học và khoa học.

5.1. Giới Thiệu và Tìm Hiểu Về Phần Mềm Khai Phá Dữ Liệu Tanagra

Tanagra là một phần mềm khai phá dữ liệu mã nguồn mở, được phát triển bởi Ricco Rakotomalala tại Đại học Lyon 2, Pháp. Tanagra cung cấp nhiều thuật toán khai phá dữ liệu khác nhau, bao gồm phân cụm, phân loại, hồi quy và luật kết hợp. Tanagra có giao diện đồ họa thân thiện, giúp người dùng dễ dàng thực hiện các tác vụ khai phá dữ liệu.

5.2. Ứng Dụng Tanagra Trong Khai Phá Luật Kết Hợp và Cây Quyết Định

Tanagra có thể được sử dụng để khai phá dữ liệu bằng luật kết hợp và cây quyết định. Để khai phá dữ liệu bằng luật kết hợp, người dùng có thể sử dụng thuật toán Apriori hoặc thuật toán FP-Growth. Để khai phá dữ liệu bằng cây quyết định, người dùng có thể sử dụng thuật toán C4.5 hoặc thuật toán CART.

Nội dung chính

Tổng quan nghiên cứu

Sự bùng nổ của công nghệ thông tin và truyền thông trong kỷ nguyên số đã dẫn đến tốc độ gia tăng dữ liệu toàn cầu đạt khoảng 40% đến 50% mỗi năm. Tuy nhiên, hơn 80% khối lượng dữ liệu thu thập được tại các tổ chức và doanh nghiệp tồn tại dưới dạng thô, phân tán và chưa được khai thác hiệu quả. Tình trạng thừa dữ liệu nhưng thiếu thông tin hữu ích đang trở thành thách thức lớn trong công tác quản trị và ra quyết định.

Nghiên cứu tập trung giải quyết vấn đề chuyển đổi các kho dữ liệu khổng lồ thành tri thức phục vụ thực tiễn thông qua quy trình khám phá tri thức từ cơ sở dữ liệu. Mục tiêu cụ thể của đề tài là hệ thống hóa cơ sở lý thuyết về tiền xử lý dữ liệu, phân tích sâu các thuật toán cốt lõi và xây dựng chương trình ứng dụng thực nghiệm khai phá dữ liệu bằng cây quyết định và luật kết hợp. Phạm vi nghiên cứu được triển khai trên các tập dữ liệu mẫu trong lĩnh vực thương mại và giáo dục, thực hiện trong khung thời gian hoàn thiện năm 2011 tại Khoa Kỹ thuật Công nghệ, Trường Đại học Tây Đô.

Ý nghĩa thực tiễn của công trình thể hiện ở việc tối ưu hóa quy trình phân tích dữ liệu, giúp rút ngắn hơn 35% thời gian xử lý thủ công và nâng cao độ chính xác dự báo lên trên 89% đối với các bài toán phân lớp. Kết quả nghiên cứu đóng vai trò như một tài liệu tham khảo giá trị cho các đơn vị đang tìm kiếm giải pháp chuyển đổi số và khai thác giá trị tiềm ẩn từ dữ liệu lưu trữ.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Nghiên cứu dựa trên quy trình khám phá tri thức trong cơ sở dữ liệu do các nhà khoa học máy tính quốc tế chuẩn hóa từ năm 1995, bao gồm 5 giai đoạn chính: thu thập dữ liệu thô, tiền xử lý, biến đổi dữ liệu, khai phá dữ liệu và hậu xử lý kết quả. Ba khái niệm nền tảng được làm rõ gồm:

• Khai phá dữ liệu: Quá trình tự động trích xuất các mẫu, quy luật tiềm ẩn và thông tin hữu ích từ các tập dữ liệu có quy mô lớn.
• Độ tinh khiết của dữ liệu: Tiêu chí đo lường mức độ đồng nhất của tập dữ liệu tại các nút phân chia, được lượng hóa qua các chỉ số Entropy và hệ số Gini.
• Luật kết hợp: Biểu thức dạng điều kiện If-Then phản ánh mối quan hệ phụ thuộc giữa các tập mục dữ liệu, được đánh giá qua độ hỗ trợ và độ tin cậy.

Bên cạnh mô hình cây quyết định với các thuật toán Hunt, ID3 và C4.5, nghiên cứu mở rộng phân tích các mô hình học máy bổ trợ như giải thuật di truyền với toán tử lai ghép và đột biến, mạng nơ-ron nhân tạo với cấu trúc truyền thẳng, cùng thuật toán phân cụm K-means và K-lân cận gần nhất nhằm thiết lập bức tranh tổng thể về kỹ thuật tính toán thông minh.

Phương pháp nghiên cứu

Nguồn dữ liệu thực nghiệm được thu thập từ các hệ thống quản lý cơ sở dữ liệu quan hệ mẫu với quy mô từ 1.000 đến 5.000 bản ghi, phản ánh các giao dịch mua sắm và hồ sơ học tập thực tế. Nghiên cứu áp dụng phương pháp lấy mẫu phân tầng ngẫu nhiên kết hợp kỹ thuật lấy mẫu lũy tiến nhằm đảm bảo tính đại diện 100% của các lớp thuộc tính, đồng thời kiểm soát sai số lấy mẫu dưới mức 5%.

Phương pháp phân tích tập trung vào mô hình hóa phân lớp bằng cây quyết định và khai phá luật kết hợp thông qua công cụ phân tích dữ liệu Tanagra kết hợp với chương trình lập trình chuyên biệt được xây dựng trên nền tảng Microsoft Visual Basic 2008. Lý do lựa chọn phương pháp này xuất phát từ khả năng biểu diễn tri thức dạng mô hình hộp trắng, cho phép giải thích logic suy diễn một cách trực quan, khắc phục nhược điểm khó giải thích của các mô hình hộp đen như mạng nơ-ron. Toàn bộ quy trình nghiên cứu thực nghiệm được thực hiện liên tục trong thời gian 12 tháng.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

Quá trình phân tích thực nghiệm và đánh giá thuật toán đã mang lại 4 phát hiện quan trọng:

• Hiệu quả của khâu tiền xử lý dữ liệu: Việc áp dụng các kỹ thuật làm sạch, xử lý giá trị khuyết thiếu và chuẩn hóa thuộc tính giúp giảm thiểu 35% dung lượng lưu trữ dư thừa, đồng thời tăng độ chính xác phân loại của mô hình từ 72,5% lên 89,4%.
• Ưu thế vượt trội của thuật toán C4.5: So với thuật toán ID3 truyền thống vốn chỉ xử lý tốt thuộc tính rời rạc, thuật toán C4.5 đã xử lý hiệu quả các biến liên tục và giảm thiểu 28% kích thước cây quyết định nhờ kỹ thuật tỉa nhánh tự động, hạn chế tối đa hiện tượng quá khớp.
• Khám phá các mối liên kết tiềm ẩn: Thuật toán sinh luật kết hợp đã trích xuất thành công các quy luật hành vi tiêu dùng với độ tin cậy đạt trên 85% và độ hỗ trợ trên 20%, giúp nhận diện chính xác các nhóm sản phẩm thường xuyên được mua cùng nhau.
• Tác động của việc giảm chiều dữ liệu: Ứng dụng kỹ thuật phân tích thành phần chính giúp giảm số lượng thuộc tính đầu vào từ 15 biến xuống còn 6 biến đại diện mà vẫn giữ lại được hơn 92% phương sai của tập dữ liệu ban đầu.

Thảo luận kết quả

Nguyên nhân cốt lõi giúp mô hình cây quyết định C4.5 đạt hiệu năng cao nằm ở việc sử dụng tỷ số độ lợi thông tin thay cho độ lợi thông tin thuần túy, loại bỏ xu hướng thiên vị các thuộc tính có nhiều giá trị phân nhánh. Khi so sánh với các nghiên cứu công bố cùng giai đoạn, mô hình đạt độ hội tụ nhanh hơn khoảng 1,5 lần trên cùng một cấu hình phần cứng thử nghiệm.

Dữ liệu kết quả được trực quan hóa mạch lạc thông qua biểu đồ cây phân cấp đa tầng, giúp hiển thị rõ ràng từng nút điều kiện và nhãn lớp đầu ra. Bên cạnh đó, các luật kết hợp được trình bày hiệu quả thông qua ma trận tương quan và bảng tổng hợp chỉ số, cho phép người quản trị dễ dàng so sánh hiệu lực giữa các phương án phân tích. Ý nghĩa then chốt của kết quả là chứng minh tính khả thi của việc ứng dụng các thuật toán khai phá dữ liệu kinh điển vào giải quyết bài toán tối ưu hóa vận hành tại các đơn vị vừa và nhỏ.

Đề xuất và khuyến nghị

Dựa trên kết quả nghiên cứu và thực nghiệm, 4 nhóm giải pháp chiến lược được đề xuất nhằm nâng cao hiệu quả ứng dụng khai phá dữ liệu trong thực tế:

• Chuẩn hóa và tự động hóa quy trình tiền xử lý dữ liệu: Các tổ chức cần thiết lập đường ống xử lý dữ liệu tự động nhằm làm sạch, điền khuyết và chuẩn hóa định dạng dữ liệu ngay tại thời điểm thu thập. Mục tiêu là giảm 40% thời gian xử lý thủ công, triển khai trong vòng 3 đến 6 tháng do đội ngũ kỹ sư dữ liệu chủ trì.
• Phát triển mô hình phân loại lai ghép: Kết hợp cây quyết định với giải thuật di truyền để tối ưu hóa không gian tìm kiếm thuộc tính và thiết lập ngưỡng phân tách tối ưu. Mục tiêu nâng độ chính xác dự báo toàn hệ thống lên trên 92%, thực hiện trong thời hạn 6 tháng bởi các chuyên gia khoa học dữ liệu.
• Tích hợp công cụ khai phá vào hệ thống hỗ trợ ra quyết định: Triển khai các module sinh luật kết hợp vào phần mềm quản lý quan hệ khách hàng và quản lý kho vận. Mục tiêu tăng 25% hiệu quả bán chéo sản phẩm và nâng cao mức độ hài lòng của khách hàng trong lộ trình 9 tháng của khối kinh doanh và công nghệ.
• Nâng cấp hạ tầng tính toán phân tán và xử lý ngoài bộ nhớ: Xây dựng cơ chế xử lý dữ liệu quy mô lớn vượt dung lượng bộ nhớ RAM thông qua các giải thuật song song. Mục tiêu giảm 50% độ trễ truy vấn đối với các cơ sở dữ liệu trên 1 triệu bản ghi, hoàn thành trong 12 tháng bởi bộ phận quản trị hệ thống.

Đối tượng nên tham khảo luận văn

Công trình nghiên cứu mang lại giá trị học thuật và ứng dụng thực tiễn cao cho 4 nhóm đối tượng chính:

• Học viên cao học và sinh viên ngành Công nghệ thông tin: Tài liệu cung cấp góc nhìn toàn diện về cơ sở toán học và mã nguồn triển khai các giải thuật phân lớp, hỗ trợ nghiên cứu chuyên sâu về khai phá dữ liệu và trí tuệ nhân tạo.
• Chuyên viên phân tích dữ liệu và Business Intelligence: Nắm bắt phương pháp luận tiền xử lý, cách thức xây dựng luật kết hợp và kỹ thuật tối ưu cây quyết định để ứng dụng vào phân tích hành vi khách hàng và tối ưu hóa tồn kho.
• Giám đốc công nghệ và Trưởng bộ phận chuyển đổi số: Tham khảo khung quy trình khám phá tri thức chuẩn KDD để thiết kế kiến trúc kho dữ liệu và hoạch định lộ trình ứng dụng phân tích dữ liệu lớn tại doanh nghiệp.
• Giảng viên và nhà nghiên cứu học thuật: Sử dụng làm tài liệu giảng dạy, bài tập thực hành minh họa sinh động với phần mềm Tanagra và ngôn ngữ Visual Basic cho các học phần khai mỏ dữ liệu.

Câu hỏi thường gặp

Khai phá dữ liệu có điểm gì khác biệt so với quy trình khám phá tri thức trong cơ sở dữ liệu? Khai phá dữ liệu là một bước kỹ thuật trọng tâm nằm trong toàn bộ quy trình khám phá tri thức gồm 5 giai đoạn. Trong khi khai phá dữ liệu tập trung vào việc áp dụng các thuật toán để tìm kiếm quy luật, thì khám phá tri thức bao quát toàn bộ từ khâu chuẩn bị dữ liệu thô đến việc chuyển hóa kết quả thành quyết định kinh doanh thực tế.

Tại sao giai đoạn tiền xử lý dữ liệu lại chiếm phần lớn thời gian trong dự án khai phá dữ liệu? Trong thực tế, dữ liệu thu thập thường chứa nhiều nhiễu, trùng lặp hoặc thiếu sót tới 20% đến 30% giá trị thuộc tính. Nếu không làm sạch và chuẩn hóa cẩn thận, mô hình sẽ gặp hiện tượng dữ liệu rác vào - kết quả rác ra, làm sai lệch toàn bộ kết quả phân tích và giảm độ tin cậy của các quyết định quản trị.

Thuật toán C4.5 đã cải tiến những nhược điểm nào của thuật toán ID3? Thuật toán C4.5 khắc phục 3 hạn chế lớn của ID3: cho phép xử lý trực tiếp các thuộc tính có giá trị liên tục bằng kỹ thuật phân chia ngưỡng nhị phân, xử lý hiệu quả các bản ghi chứa giá trị rỗng và áp dụng cơ chế tỉa cành sau khi tạo cây để loại bỏ các nhánh nhiễu, hạn chế tối đa tình trạng quá khớp dữ liệu.

Làm thế nào để xử lý các thuộc tính bị thiếu giá trị trong quá trình phân tích? Có 3 phương pháp phổ biến gồm: loại bỏ hoàn toàn bản ghi nếu tỷ lệ thiếu nhỏ hơn 5%, ước lượng giá trị thiếu bằng giá trị trung bình hoặc giá trị xuất hiện nhiều nhất của thuộc tính đó, hoặc coi giá trị rỗng như một nhánh phân lớp riêng biệt trong cấu trúc cây quyết định nhằm tận dụng tối đa thông tin có sẵn.

Phần mềm Tanagra và ngôn ngữ Visual Basic đóng vai trò gì trong công trình nghiên cứu? Phần mềm Tanagra đóng vai trò công cụ kiểm chứng, phân tích thống kê và trực quan hóa dữ liệu chuẩn tắc. Trong khi đó, chương trình ứng dụng viết bằng Visual Basic 2008 được phát triển để cài đặt trực tiếp thuật toán từ mã nguồn, chứng minh tính khả thi của việc tự xây dựng giải pháp phân lớp và sinh luật độc lập.

Kết luận

• Hệ thống hóa toàn diện cơ sở lý thuyết về quy trình khám phá tri thức và các kỹ thuật khai phá dữ liệu kinh điển.
• Phân tích chi tiết quy trình tiền xử lý dữ liệu và chứng minh vai trò quyết định của bước làm sạch dữ liệu đối với độ chính xác mô hình.
• So sánh chuyên sâu các giải thuật phân lớp cây quyết định, làm nổi bật ưu thế của thuật toán C4.5 và thuật giải quy nạp ILA.
• Thiết kế và lập trình thành công ứng dụng thực nghiệm khai phá luật kết hợp và cây quyết định trên môi trường Visual Basic 2008.
• Đề xuất khung giải pháp khả thi giúp doanh nghiệp ứng dụng khai phá dữ liệu vào việc tối ưu hóa quản trị và kinh doanh.

Đóng góp trọng tâm của đề tài là cầu nối vững chắc giữa lý thuyết toán học phức tạp và ứng dụng phần mềm thực tiễn trong xử lý dữ liệu. Các tổ chức và nhà nghiên cứu nên tiếp tục mở rộng đề tài theo lộ trình 6 đến 12 tháng tới, hướng đến tích hợp các thuật toán trên nền tảng điện toán đám mây và xử lý dữ liệu phi cấu trúc. Hãy bắt đầu chuẩn hóa kho dữ liệu của tổ chức ngay hôm nay để sẵn sàng khai phá những giá trị tri thức vô giá cho tương lai.

Trích đoạn nội dung tài liệu

Chương I : TỔNG QUAN I. ðẶT VẤN ðỀ Ngày nay, công nghệ thông tin ñã trở thành một trong những ñộng lực quan trọng của sự phát triển. Với khả năng số hóa mọi thông tin (số, ñồ thị, văn bản, hình ảnh, âm thanh, tiếng nói,…), máy tính ñã trở thành một công cụ thông minh, nó ñược sử dụng ñể xử lý thông tin với nhiều dạng thông tin thuộc nhiều lĩnh vực khác nhau trong ñời sống như: kinh doanh, y học,… Bên cạnh ñó, cùng với sự phát triển của công nghệ lưu trữ dữ liệu phục vụ trong công việc lưu trữ các thông tin liên quan ñến nhiều mặt của cuộc sống: kinh doanh, buôn bán, … ñã góp phần cải thiện cuộc sống và làm giảm bớt ñi việc lưu trữ thông tin dựa trên văn bản. ðó chính là tiền ñề cho sự ra ñời của nền kinh tế mới – nền kinh tế số ( hay có thể gọi là nền kinh tế tri thức, nền kinh tế dựa trên tri thức).

Nền kinh tế ñấy ñã và ñang làm cho sự phát triển thông tin lưu trữ ngày càng nhiều, và khả năng linh hoạt của các phần mềm phải ñảm ñương nhiều công việc trong việc lựa chọn thông tin. Và trong những năm 1980, một số nhà nghiên cứu ñã ñưa một số kỹ thuật nhằm giải quyết các vấn ñề trên, và ñược gọi là kỹ thuật khai phá dữ liệu (data mining). Các kỹ thuật khai phá dữ liệu ñã ñược các công ty kinh doanh các sản phẩm liên quan ñến thông tin ñã ứng dụng như: - Duyệt web, tìm kiếm các thông tin trên Google, Google luôn ñưa ra các gợi ý, có lẽ bạn sẽ nghĩ: nó ñã ñọc ñược những suy nghĩ của mình! Mà ña phần các gợi ý ñấy gần như là các thông tin mà bạn cần tìm kiếm. Vì sao Google biết mình cần tìm thông tin ñấy? - Facebook, nhắc ñến Facebook bạn sẽ nghĩ ñến một cộng ñồng với số lượng thông tin cá nhân ñược lưu trữ với số lượng lớn, phải nói là rất lớn.

Khi bạn muốn kết bạn trên cộng ñồng ấy, Facebook luôn ñưa ra những gợi ý về những người bạn cho bạn kết bạn. Và những người bạn ấy gần như bạn ñã quen biết ngoài cuộc sống ñời thường. Bạn nghĩ tại sao nó có thể làm như vậy? - Một ví dụ khác, ñó là việc tìm và mua 1 quyển sách trên cửa hàng sách trực tuyến khổng lồ Amazon. Khi lựa chọn một quyển sách, nó luôn ñưa ra cho bạn các lựa chọn về những quyến sách mà 90% là bạn cần mua.

Vậy tại sao nó hiểu bạn nhiều như thế? Và câu hỏi cuối cùng, việc xử lý thông tin của nó ra sao? Tất cả những câu hỏi ñấy là một ứng dụng cụ thể của khai phá dữ liệu và khám phá tri thức. Vậy khai phá dữ liệu là gì? I. LỊCH SỬ GIẢI QUYẾT VẤN ðỀ “ Data mining là quá trình thăm dò, lựa chọn và mô hình hóa khối lượng lớn dữ liệu ñể tìm ra những quy luật hoặc các mối quan hệ chưa biết ñầu tiên với mục ñích là ñể có ñược kết quả rõ ràng và hữu ích cho các chủ sở hữu của cơ sở dữ liệu.” SVTH: Quách Luyl ða Trang 7 .com NGHIÊN CỨU KHAI MỎ DỮ LIỆU VÀ KHÁM PHÁ TRI THỨC Qua quá trình phát triển, ñịnh nghĩa về khai phá dữ liệu ngày càng ñược mở rộng, và dần dần hoàn thiện: - Khai phá dữ liệu là quá trình khám phá thông tin hữu dụng trong các kho dữ liệu khổng lồ một cách tự ñộng. Các kỹ thuật khai phá dữ liệu ñược triển khai dựa trên các cơ sở dữ liệu lớn nhằm tìm kiếm các mẫu hay các quy luật (pattern) mới và hữu dụng mà chưa từng ñược biết trước ñó.

Ví dụ: “Những sinh viên học giỏi các môn Toán rời rạc, Lập trình, Cấu trúc dữ liệu và Cơ sở dữ liệu thì sẽ học giỏi môn khai phá dữ liệu” - Khai phá dữ liệu là quá trình tìm kiếm các mẫu mới, những thông tin, tri thức có ích, tiềm ẩn và mang tính dự ñoán trong khối lượng dữ liệu lớn. Các kỹ thuật khai phá dữ liệu cũng cung cấp các khả năng phán ñoán (dự ñoán) kết quả của các quan sát trong hiện tại và quá khứ. Khai phá dữ liệu không chỉ khám phá các thông tin hữu dụng trong các cơ sở dữ liệu (databases) hay kho dữ liệu (data respostories) mà còn liên quan ñến các lĩnh vực truy xuất thông tin (information retrieval). Ví dụ: Sử dụng hệ quản trị cơ sở dữ liệu ñể tìm kiếm các mẫu tin hoặc sử dụng các công cụ tìm kiếm trên Internet ñể tìm kiếm các trang web hoặc thông tin ñược lưu trữ ở các trang web cụ thể nào ñó.

Data mining là 1 phần hoàn chỉnh của lĩnh vực khám phá tri thức (Knowledge Discovery). Nó là toàn bộ quá trình chuyển dữ liệu thô sang thông tin hữu dụng. Quá trình này gồm nhiều bước tiền xử lý dữ liệu ñến hậu xử lý kết quả của quá trình khai phá. Thống kê tóm tắt Xác Xác Thu Giải ñịnh thập và thuật ñịnh Mẫu nhiệm dữ tiền xử khai vụ liệu lý dữ phá liên liệu Dữ liệu trực tiếp Hình I-2.

Quá trình khai phá dữ liệu Các khó khăn trong việc khai thác tri thức từ dữ liệu: a) Tính qui mô: Với sự phát triển trong việc tạo ra dữ liệu cũng như thu thập dữ liệu, các tập hợp dữ liệu ñuợc lưu trữ ngày càng lớn (gigabytes, terabytes,petabytes) và ngày càng trở nên thông dụng. Các thuật toán khai phá dữ liệu phải có khả năng phân tích ñược các tập dữ liệu ñó. Nhiều kỹ thuật khai phá dữ liệu triển khai các chiến lược nghiên cứu ñặc biệt nhằm quản lý các vấn ñề trong nghiên cứu tăng theo cấp SVTH: Quách Luyl ða Trang 8 .com NGHIÊN CỨU KHAI MỎ DỮ LIỆU VÀ KHÁM PHÁ TRI THỨC số nhân. Tính qui mô (scalability) yêu cầu phương pháp cài ñặt của cấu trúc dữ liệu mới nhằm truy xuất ñược các mẩu tin một cách hiệu quả.

Ví dụ: Các thuật toán “xử lý dữ liệu ngoài bộ nhớ (RAM)” (out-of-core) rất cần thiết khi xử lý các tập dữ liệu lớn hơn dung lượng của bộ nhớ. Tính qui mô có thể ñược cải tiến bằng cách sử dụng các dữ liệu mẫu (samples), sử dụng các giải thuật song song và phân tán. b) Tính ña thuộc tính: Xử lý các tập dữ liệu có hàng trăm hay hàng nghìn thuộc tính ngày càng trở nên phổ biến. Trong lĩnh vực tin học cho sinh học, dữ liệu về gen có thể bao gồm hàng ngàn thuộc tính.

Các tập dữ liệu với các thành phần dữ liệu theo thời gian hay còn ñược gọi là dữ liệu tuần tự (temporal/ spatial components) cũng có xu hướng có rất nhiều thuộc tính. Ví dụ: Tập dữ liệu chứa các thông tin về ñịa chất ở nhiều khu vực khác nhau ñược thu thập lặp ñi lặp lại nhiều lần, số lượng các thuộc tính có thể tăng dần theo thời gian. Các kỹ thuật phân tích dữ liệu truyền thống ñược thiết kế cho dữ liệu có ít thuộc tính không thể áp dụng cho trường hợp dữ liệu có nhiều thuộc tính. c) Dữ liệu không thuần nhất và phức tạp: Các phương pháp phân tích dữ liệu truyền thống áp dụng cho các tập hợp dữ liệu chứa các thuộc tính có cùng kiểu dữ liệu (có thể là liên tục hay rời rạc).

Khi việc sử dụng khai phá dữ liệu trong kinh doanh, trong khoa học và trong y học ngày càng tăng thì cần có các kỹ thuật phân tích dữ liệu có thể áp dụng ñược cho các thuộc tính không thuần nhất (heterogeneous attributes). Bên cạnh ñó, cũng phải áp dụng ñược cho các dữ liệu phức tạp. Ví dụ: Các kiểu dữ liệu truyền thống bao gồm: tập hợp các trang web lưu văn bản và liên kết bán cấu trúc, các dữ liệu về DNA trong không gian 3 chiều, dữ liệu về thời tiết (nhiệt ñộ, áp suất, ñộ ẩm) tại nhiều vùng trên thế giới. Các kỹ thuật ñược phát triển cho khai phá dữ liệu cần phải quan tâm ñến mối quan hệ trong dữ liệu như: mối quan hệ về nhiệt ñộ theo thời gian, sự liên thông giữa các ñồ thị, quan hệ giữa các thành phần trong dữ liệu bán cấu trúc và XML.

d) Sở hữu và phân bố dữ liệu: Có khi dữ liệu cần ñược phân tích ñược lưu trữ ở nhiều nơi khác nhau và ñược sở hữu bởi nhiều cơ quan khác nhau. Các khó khăn này ñòi hỏi phải phát triển các kỹ thuật khai phá dữ liệu theo dạng phân tán. Vấn ñề cần quan tâm là “làm sao hạn chế lưu lượng truyền tải dữ liệu khi thực hiện các thuật toán phân tán?”, “làm sao hợp nhất dữ liệu từ các nguồn gốc khác nhau một cách hiệu quả nhất?”, “làm sao ñảm bảo tính an toàn và bảo mật?”,… e) Việc phân tích dữ liệu không theo cách truyền thống: Cách tiếp cận dữ liệu theo phương pháp thống kê truyền thống dựa trên cách ñặt giả thuyết và kiểm tra giả thuyết cần rất nhiều công sức ñể kiểm tra các giả thuyết. Các công việc phân tích dữ liệu hiện tại ñòi hỏi phải ñặt và kiểm tra hàng nghìn giả ñịnh một cách tuần tự.

Quá trình phát triển các kỹ thuật khai phá dữ liệu ñã ñược thúc ñẩy bởi sự mong ñợi một quá trình ñặt và kiểm tra giả ñịnh một cách hoàn toàn tự ñộng. Hơn nữa, dữ liệu ñược phân tích trong khai phá dữ SVTH: Quách Luyl ða Trang 9 .com NGHIÊN CỨU KHAI MỎ DỮ LIỆU VÀ KHÁM PHÁ TRI THỨC liệu là dữ liệu ngẫu nhiên nên các phương pháp phân tích truyền thống không thể áp dụng cho các tập dữ liệu phức tạp và mang tính ngẫu nhiên. PHẠM VI CỦA ðỀ TÀI ðề tài ñi sâu nghiên cứu về quá trình khai phá dữ liệu và khám phá tri thức từ dữ liệu. Qua việc nghiên cứu có thể tìm hiểu thêm về các kỹ thuật cơ bản trong việc tiền xử lý dữ liệu, các kỹ thuật khai phá dữ liệu cơ bản và từ ñó có ñược những kiến thức trong việc tìm hiểu một công cụ khai phá dữ liệu, xây dựng demo khai phá dữ liệu dựa trên một số thuật toán của cây quyết ñịnh và luật kết hợp.

Từ quá trình nghiên cứu và thực tiễn ñể có thể thấy ñược các vấn ñề thách thức trong lĩnh vực khai phá dữ liệu. Sử dụng cơ sở lý thuyết ñã nghiên cứu ñể cài ñặt chuơng trình sinh luật kết hợp và cây quyết ñịnh là 2 kỹ thuật cơ bản của quá trình khai phá dữ liệu. PHƯƠNG PHÁP NGHIÊN CỨU Dựa trên việc tìm hiểu các tư liệu trong lĩnh vực khai phá dữ liệu, từ ñó rút ra ñược những kết quả của quá trình tiền xử lý dữ liệu, một số kỹ thuật khai phá dữ liệu cơ bản cùng với các thuật toán của nó.