Chương 1: Giới thiệu Chương 2: Cơ sở lý luận Chương 3: Phân tích và thảo luận Chương 4: Kết luận lOMoARcPSD|22244702 5 CHƯƠNG 2: CƠ SỞ LÝ LUẬN 2.1 Khai phá dữ liệu 2.1 Quá trình phát hiện tri thức và khai phá dữ liệu Biết chọn lọc và sử dụng thông tin hiệu quả có thể quyết định sự thành công của bạn trong phân tích dữ liệu. Điều đó có nghĩa là phải tìm ra những giá trị tiềm ẩn, các yếu tố tác động và những xu hướng phát triển của các dữ liệu sẵn có ấy. Quá trình đó được gọi là quá trình phát hiện tri thức (Knowledge Discovery in Database – KDD) mà trong đó KPDL là một kỹ thuật quan trọng cho phép ta thu được các tri thức mong muốn. Quá trình KDD Nguồn: Phantuanduy (2013).
Quy trình Khai phá dữ liệu (Process of Data mining). Quá trình phát hiện tri thức gồm 5 bước cơ bản: Bước 1: Chọn lọc dữ liệu (selection): Giai đoạn này cần gom các dữ liệu khai thác được vào một cơ sở dữ liệu (CSDL) riêng. Ở đây, chúng ta chỉ chọn lọc và giữ lại những dữ liệu nào mà giai đoạn sau yêu cầu. Tuy nhiên, công việc này thường khó khăn và tốn nhiều thời gian vì dữ liệu tồn tại ở nhiều dạng khác nhau và nằm rải rác khắp nơi.
lOMoARcPSD|22244702 6 Bước 2: Tiền xử lý dữ liệu (preprocessing): Khi tập hợp dữ liệu thường mắc phải một số lỗi như dữ liệu thiếu logic, thiếu chặt chẽ, chưa đầy đủ, hiếm khi nào các dữ liệu thu thập được đều mang tính nhất quán. Do đó “tiền xử lý” là một bước quan trọng sau đó giúp hạn chế những kết quả sai lệch không mong muốn trước khi bước vào quá trình KPDL. Bước 3: Chuyển đổi dữ liệu (transformation): Tại đây, dữ liệu sẽ được chuyển đổi về dạng thích hợp để dễ dàng tiến hành các bước sau. Bước 4: Khai phá dữ liệu (Data mining): Giai đoạn này sử dụng các kỹ thuật nhằm phát hiện ra các tri thức tiềm ẩn trong dữ liệu.
Bước 5: Đánh giá kết quả mẫu (interpretation evaluation): Đây cũng là bước cuối cùng trong quá trình KDD. Những tiêu chuẩn đánh giá thích hợp sẽ được chọn lọc và sử dụng sao cho các mẫu dữ liệu được trích xuất bởi các phần mềm KPDL có thể sử dụng được. Từ quá trình phát hiện tri thức, ta thấy các kỹ thuật phát hiện tri thức trải qua rất nhiều giai đoạn và sử dụng nhiều phương pháp để cho ra kết quả cuối cùng. Đây là một quá trình liên tục, đầu vào của giai đoạn sau xuất phát từ đầu ra của giai đoạn trước.
Trong đó, KPDL được coi trọng hơn cả bởi việc tìm ra được những tri thức và thông tin có cấu trúc chặt chẽ tiềm ẩn trong kho dữ liệu khổng lồ.2 Khái niệm khai phá dữ liệu Khai phá dữ liệu là một tiến trình khám phá ra các mẫu dữ liệu hay các mô hình mong muốn dưới nhiều góc độ khác nhau nhờ sử dụng các công cụ phân tích, từ đó tìm ra được các thông tin và tri thức từ các CSDL cũng như các mối quan hệ giữa các đối tượng bên trong CSDL. Nếu xét về mặt ý tưởng và mục đích ứng dụng, KPDL thật sự là một nhu cầu tất yếu đặt ra trong thời đại 4.0, một sự đáp trả cho những tìm tòi, khám phá của thế giới về mặt kỹ thuật. Đây là một phát hiện vĩ đại, lOMoARcPSD|22244702 7 mang đến nhiều lợi ích trong cuộc sống, đồng thời cũng đặt ra nhiều khó khăn và thử thách đối với các nhà nghiên cứu.3 Quá trình khai phá dữ liệu Các bước quan trọng trong quá trình KPDL bao gồm: Hình 2.2: Quá trình khai phá dữ liệu Nguồn: ThS. Trần Hùng Cường, ThS.
Ngô Đức Vĩnh (2011). Tổng quan về phát hiện tri thức và khai phá dữ liệu. Khoa Công nghệ thông tin Trường Đại học Công nghiệp Hà Nội, 1 – 6 Quá trình KPDL bắt đầu từ việc xác định vấn đề đang gặp phải một cách chính xác, rồi tìm hiểu các dữ liệu liên quan dùng để xây dựng giải pháp. Sau đó, các dữ liệu cần thiết được thu thập cẩn thận và tiền xử lý thành dạng mà giải thuật KPDL có thể hiểu được.
Tuy chỉ gồm một vài bước nhưng đây không phải là một quá trình đơn giản, khi tiến hành có thể vướng phải một số khó khăn như: nếu mô hình cần chỉnh sửa dữ liệu thì toàn bộ quá trình phải lặp đi lặp lại cho đến khi phù hợp gây mất thời gian, hay phải sao ra nhiều bản đối với các dữ liệu được chiết xuất vào các tệp,… Thực hiện KPDL là bước tiếp theo sau khi chọn được thuật toán thích hợp để tìm ra các mẫu có ý nghĩa được biểu diễn dưới các dạng tương ứng. Downloaded by vú hi (vuchinhhp12@gmail.com) lOMoARcPSD|22244702 8 Mẫu có đặc điểm là phải mới (ít nhất là đối với hệ thống đó). Độ mới thường được đánh giá thông qua một hàm logic hoặc hàm đo độ mới và được đo tương ứng với độ thay đổi trong dữ liệu (bằng cách so sánh các giá trị tìm được với các giá trị mong muốn hoặc các giá trị trước đó), hoặc bằng tri thức (mối liên hệ giữa phương pháp tìm cũ và phương pháp mới). Bên cạnh đó, sau khi xử lý các mẫu và cho ra kết quả phải được đánh giá thông qua một hàm lợi ích để đo lường khả năng sử dụng tiềm tàng.4 Các kỹ thuật khai phá dữ liệu Có rất nhiều kỹ thuật được áp dụng trong khai phá dữ liệu, nhưng trong bài nghiên cứu này tôi chỉ đề cập đến 3 kỹ thuật chính được biết đến và sử dụng rộng rãi: 2.1 Khai thác tập phổ biến và luật kết hợp Kỹ thuật này nhằm xác định mối quan hệ giữa các biến khác nhau trong CSDL và được sử dụng để “giải nén” các mẫu tiềm ẩn trong dữ liệu.
Một luật kết hợp X → Y phản ánh sự xuất hiện đồng thời của tập Y khi tập X xuất hiện. Kỹ thuật này được sử dụng rất phổ biến ở các doanh nghiệp để phân tích hành vi mua sắm, dự đoán xu hướng từ giỏ hàng của khách hàng tiềm năng và dự đoán hành vi người tiêu dùng trong ngành bán lẻ hay trong lĩnh vực Công nghệ Thông tin, cụ thể là các chương trình Machine Learning.2 Phân lớp dữ liệu Là quá trình phân một đối tượng dữ liệu vào một hay nhiều lớp (loại) đã cho trước nhờ một mô hình phân lớp. Mô hình này được xây dựng dựa trên một tập dữ liệu đã được gán nhãn trước đó (thuộc về lớp nào). Downloaded by vú hi (vuchinhhp12@gmail.com) lOMoARcPSD|22244702 9 Kỹ thuật này dùng để rút trích các thông tin cần thiết từ kho dữ liệu có sẵn.
Vì thế, đối với kỹ thuật này, chúng ta sẽ áp dụng các thuật toán khác nhau tùy thuộc vào mục tiêu sử dụng. Đây cũng là kỹ thuật có vai trò quan trọng trong việc dự báo các quy luật, xu hướng, … bằng cách mô tả các thuộc tính liên quan để đối tượng được phân loại vào một lớp cụ thể.3 Phân cụm dữ liệu Là quá trình gom cụm/nhóm các đối tượng/dữ liệu có đặc điểm tương đồng vào các cụm/nhóm tương ứng. Trong đó: đối tượng nào có những tính chất tương tự nhau sẽ được xếp vào cùng một cụm và ngược lại. Dữ liệu sử dụng trong kỹ thuật này là dữ liệu chưa được gán nhãn và thường thấy trong thực tế.
Trong kinh doanh, kỹ thuật này thường được ứng dụng để quản lý hồ sơ khách hàng hoặc chia phân khúc khách hàng trong lĩnh vực Marketing.5 Các ứng dụng của khai phá dữ liệu Mặc dù KPDL còn mang nhiều mặt hạn chế cần được cải thiện nhưng không thể phủ nhận tiềm năng hiện tại của nó. Đây là kỹ thuật thu hút sự quan tâm của đa số các nhà nghiên cứu bởi ứng dụng đa dạng trong nhiều lĩnh vực khác nhau như: Lĩnh vực tài chính, ngân hàng: Xây dựng mô hình dự báo rủi ro tín dụng, các khoản vay nợ, hỗ trợ việc ra quyết định khi đầu tư chứng khoán. Đây cũng chính là hướng nghiên cứu chính của bài. Thương mại điện tử: Phân tích thái độ mua sắm của khách hàng và dựa vào từng loại khách hàng để có phương án tiếp thị phù hợp.
Lĩnh vực y tế: Phát hiện các mối quan hệ giữa bệnh với phương pháp chữa trị để tìm ra các loại thuốc mới, dựa trên các yếu tố rủi ro để dự đoán loại bệnh mà bệnh nhân có thể mắc phải Downloaded by vú hi (vuchinhhp12@gmail.com) lOMoARcPSD|22244702 10 Lĩnh vực sinh học: Hỗ trợ thu thập, lưu trữ và phân tích các dữ liệu về di truyền học, nghiên cứu các căn bệnh, các chất dinh dưỡng,. thông qua trực quan hóa bằng các bảng biểu và đồ thị. Lĩnh vực giáo dục: Giúp phân tích dữ liệu trong môi trường giáo dục để xác định tình hình học tập của mỗi học sinh và dự báo kết quả học tập trong tương lai để tìm ra các phương pháp giảng dạy phù hợp.2 Phân lớp dữ liệu 2.1 Quá trình phân lớp dữ liệu Quá trình phân lớp dữ liệu gồm hai bước chính: Bước 1: Xây dựng mô hình (hay giai đoạn “học” hoặc “huấn luyện”). Quá trình huấn luyện nhằm xây dựng một mô hình mô tả một tập dữ liệu sẵn có.
Đầu vào của quá trình này là một tập dữ liệu mẫu đã được gán nhãn và tiền xử lý, mỗi phần tử dữ liệu được giả định thuộc về một lớp phân trước, lớp ở đây là giá trị của một thuộc tính được chọn làm thuộc tính gán nhãn hay thuộc tính phân lớp. Mỗi bộ giá trị được gọi chung là một phần tử dữ liệu, có thể là các mẫu, ví dụ, đối tượng, hay trường hợp. Kết quả của bước này là mô hình phân lớp đã được huấn luyện. Quá trình này được mô tả ở hình 2.
Downloaded by vú hi (vuchinhhp12@gmail.com) lOMoARcPSD|22244702 11 Hình 2.3: Bước 1 của quá trình trình phân lớp: Xây dựng mô hình phân lớp Nguồn: Nguyễn Thị Tùy Linh (2005). Nghiên cứu các thuật toán phân lớp dữ liệu dựa trên cây quyết định. Công nghệ thông tin, 3 – 62 Bước 2: Sử dụng mô hình, được chia thành 2 bước nhỏ: + Bước 2.1: Đánh giá mô hình (kiểm tra tính đúng đắn của mô hình) Đầu vào là một tập dữ liệu mẫu được chọn ngẫu nhiên và độc lập với các mẫu trong tập dữ liệu huấn luyện, cũng đã được gán nhãn và tiền xử lý. Tuy nhiên thuộc tính đã được gán nhãn này bị “lờ” khi được đưa vào mô hình tiến hành phân lớp.
Bằng cách so sánh thuộc tính gán nhãn của dữ liệu đầu vào và kết quả phân lớp từ mô hình, ta dễ dàng xác định được tính đúng đắn của mô hình.