Chương 1 giới thiệu lý do, mục đích, đối tượng, phạm vi, tính khả thi và phương pháp nghiên cứu của đề tài. Chương 2 là chương dành cho cơ sở lý thuyết để hình thành nên cách tiếp cận và giải quyết vấn đề của luận văn. Trước hết, chương này nêu lên hai giải thuật phân lớp phổ biến có liên quan đến đề tài luận văn là: cây quyết định, rừng ngẫu nhiên. Sau đó, trình bày khai phá luật từ các mô hình huấn luyện.
Cuối cùng, chương này trình bày độ chính xác, độ dễ hiểu của mô hình và giới thiệu một số kỹ thuật tăng độ chính xác và độ dễ hiểu. 4 Chương 3 giới thiệu tóm lược một số công trình liên quan về phân lớp dữ liệu giáo dục, về rút trích luật từ các mô hình “hộp đen”. Đặc điểm của các tập dữ liệu, phương pháp tiến hành thực nghiệm, và các kết quả đạt được của các công trình này đều được trình bày đầy đủ. Chương 4 trình bày hướng tiếp cận đề tài và các giải pháp đã thực hiện để rút trích tập luật từ mô hình rừng ngẫu nhiên.
Chương 5 trình bày các kết quả của các thực nghiệm đã được trình bày trong Chương 4, rồi nêu ra nhận xét và cách lý giải các kết quả đó. Chương 6 tổng kết những công việc đã làm, những đóng góp của đề tài, và đề ra hướng phát triển tiếp theo. 5 Chương 2: CƠ SỞ LÝ THUYẾT 2.1 Bài toán phân lớp trong khai phá dữ liệu Phân lớp dữ liệu là kỹ thuật dựa trên tập huấn luyện và những giá trị hay là nhãn của lớp trong một thuộc tính phân lớp và sử dụng nó cho việc phân lớp dữ liệu mới. Nói cách khác phân lớp là một hình thức phân tích dữ liệu nhằm rút ra những mô hình mô tả những lớp dữ liệu quan trọng.
Những mô hình này, gọi là mô hình phân lớp (classifier hoặc classification model), được dùng để dự đoán những nhãn lớp có tính phân loại, rời rạc và không có thứ tự cho những đối tượng dữ liệu mới [22]. Quá trình phân lớp dữ liệu gồm hai bước: Bước học (learning step hoặc training phase): xây dựng mô hình phân loại bằng việc phân tích hoặc “học từ” tập huấn luyện. Bước phân lớp (classification step): Đầu tiên, đánh giá khả năng phân lớp của mô hình phân loại. Sau đó, sử dụng mô hình phân loại để phân lớp dữ liệu hoặc đối tượng mới mà chưa biết nhãn lớp nếu như độ chính xác của mô hình được đánh giá là có thể chấp nhận được.1: Minh họa của quá trình phân lớp dữ liệu [22] (a) Bước học: Dữ liệu huấn luyện (Training data) được phân tích bởi một thuật toán phân lớp.
Ở đây, thuộc tính nhãn lớp là loan-decision, và mô hình phân lớp ở dưới dạng các luật phân lớp IF-THEN. (b) Bước phân lớp: Sử dụng tập kiểm tra (Test data) để đánh giá độ chính xác của các luật phân lớp. Nếu độ chính xác có thể được chấp nhận thì các luật này sẽ được dùng để phân loại bộ dữ liệu mới (New data).1 Phân lớp dữ liệu bằng cây quyết định Cây quyết định (Decision tree) là một phương pháp rất phổ biến cho cả hai nhiệm vụ của khai phá dữ liệu là phân loại và dự báo. Mỗi cây quyết định là cấu trúc biểu diễn dưới dạng cây.
Trong đó, mỗi nút trong (internal node) biểu diễn một thuộc tính, nhánh (branch) biểu diễn giá trị có thể có của thuộc tính, mỗi lá (leaf node) biểu diễn các lớp quyết định và đỉnh trên cùng của cây gọi là gốc (root). Cây quyết định có thể được dùng để phân lớp bằng cách xuất phát từ gốc của cây và di chuyển theo các nhánh cho đến khi gặp nút lá. Trên cơ sở phân lớp này chúng ta có thể chuyển đổi về các luật quyết định [22].2: Minh họa của cây quyết định [22] Xây dựng cây quyết định bao gồm hai giai đoạn. Giai đoạn 1: Xây dựng cây - Bắt đầu tất cả các mẫu huấn luyện đều ở gốc.
- Phân chia các mẫu dựa trên giá trị của các thuộc tính được chọn. - Kiểm tra các thuộc tính được chọn lựa trên một độ đo thống kê. Giai đoạn 2: Thu gọn cây, tiến hành xác định và loại bỏ những nhánh nhiễu hoặc tách khỏi nhóm. Ưu điểm Cây quyết định là mô hình hộp trắng dễ hiểu.
Dễ chọn các thuộc tính để phân lớp dữ liệu. Dễ dàng trong việc trích rút luật từ cây quyết định. Dễ thực hiện với những tập cơ sở dữ liệu nhỏ và vừa. Quá trình xây dựng cây quyết định không dùng kiến thức về lĩnh vực dữ liệu đang nghiên cứu (domain knowledge) hoặc thông số đầu vào (parameter setting) nào.
Có thể xử lý với cả các dữ liệu rời rạc và liên tục. 8 Nhìn chung, các giải thuật cây quyết định cho kết quả có độ chính xác khá cao. Khuyết điểm Đối với tập dữ liệu có nhiều thuộc tính, cây quyết định tạo thành thường rất lớn, làm giảm độ dễ hiểu của mô hình phân lớp. Do tính chất tham lam của giải thuật, những thuộc tính không liên quan hay nhiễu sẽ khiến cây quyết định xây dựng được không ổn định: một sự thay đổi nhỏ trong việc chia tách ở gần gốc sẽ làm thay đổi toàn bộ các cây con phía dưới.
Do đó, chỉ một sự thay đổi nhỏ trong tập huấn luyện sẽ làm giải thuật không lựa chọn được những thuộc tính tốt nhất. Giải thuật cây quyết định chỉ nhìn trước một bước. Việc xếp hạng các thuộc tính để phân nhánh dựa vào lần phân nhánh trước đó. Các thuộc tính được đánh giá một cách độc lâp, bỏ qua sự phụ thuộc lẫn nhau giữa các thuộc tính.
Cắt tỉa cây quyết định Để tối ưu cây kết quả và giải quyết tình trạng “quá khớp” trong cây quyết định, ta sử dụng phương pháp cắt tỉa cây quyết định [22]. Có hai phương pháp cắt tỉa: Tiền cắt tỉa (Prepruning): Chiến thuật tiền cắt tỉa sẽ dừng sớm việc phát triển cây trước khi việc phân lớp các mẫu huấn luyện được hoàn thành. Nghĩa là, trong quá trình xây dựng cây, một nút có thể sẽ không được tách thêm bước nữa nếu như kết quả của phép tách đó rơi vào một ngưỡng gần như chắc chắn. Nút đó trở thành nút lá và được gán nhãn là nhãn của lớp phổ biến nhất của tập các mẫu nút tại nút đó.
Hậu cắt tỉa (Postpruning): Chiến thuật này ngược với chiến thuật tiền cắt tỉa. Nó cho phép cây phát triển đầy đủ sau đó mới cắt tỉa. Nghĩa là, xây dựng cây sau đó mới thực hiện cắt bỏ các nhánh không hợp lý. Trong quá trình xây dựng cây theo chiến lược hậu cắt tỉa thì cho phép tình trạng “quá khớp” xảy ra.
Nếu một nút mà các cây con của nó bị cắt thì nó sẽ trở thành nút lá và nhãn của lá được gán là nhãn của lớp phổ biến nhất của các con trước đó của nó. Trong thực tế, phương pháp hậu cắt tỉa là một phương pháp khá thành công cho việc tìm ra các giả thiết chính xác cao. 9 (A) Cây quyết định trước khi (B) Cây quyết định sau khi được cắt tỉa được cắt tỉa Hình 2.2: Cây quyết định trước (A) và sau (B) khi được cắt tỉa [22] 2.2 Phân lớp dữ liệu bằng rừng ngẫu nhiên Rừng ngẫu nhiên (Random Forest) do Breiman đề xuất năm 2001 là một trong những phương pháp tập hợp các mô hình cây quyết định. Rừng ngẫu nhiên có thể làm việc hiệu quả cho bài toán phân lớp, hồi quy và cả gom nhóm so với các phương pháp học khác như: máy học véctơ hỗ trợ (Support Vector Machines) của Vapnik, boosting của Schapire [26].
Ý tưởng chính: Cho tập dữ liệu huấn luyện có m phần tử, n thuộc tính. Lấy ra K mẫu boostrap từ tập huấn luyện. Đối với mỗi mẫu boostrap xây dựng một cây phân lớp không được tỉa nhánh bằng cách: Tại mỗi nút trong của cây lấy ngẫu nhiên n’ thuộc tính từ n thuộc tính ban đầu (n’ ≤ n), để tính toán phân hoạch dữ liệu. Việc dự báo phần tử mới dùng luật số đông không có trọng số trên kết quả các cây đối với bài toán phân loại và kết quả trung bình cho bài toán hồi quy.
Ưu điểm Độ chính xác cao. 10 Thời gian học nhanh, chịu đựng nhiễu tốt và không bị học vẹt Tránh được tình trạng “quá khớp”. Dễ thực hiện song song. Khuyết điểm Phép hồi quy không thể dự đoán vượt quá ngưỡng những dữ liệu được chọn.
Trong phép hồi quy, những giá trị vượt quá ngưỡng thường không được dự đoán chính xác. Là mô hình “hộp đen”, khó hiểu đối với người sử dụng.2 Khai phá luật từ các mô hình huấn luyện Trong nhiều ứng dụng, mục tiêu chính của bài toán phân lớp không chỉ là xây dựng được mô hình có độ chính xác cao mà còn phải dễ hiểu đối với người dùng. Tuy nhiên, các mô hình hiện nay chỉ thỏa được một trong hai tiêu chí về độ chính xác và độ dễ hiểu, những mô hình “hộp đen” mặc dù có độ chính xác cao nhưng lại thiếu cơ chế giải thích lý do tại sao dẫn đến kết quả cuối cùng. Do đó, việc khai phá luật (Rút trích luật – Rule Extraction) từ các mô hình huấn luyện để tăng độ dễ hiểu là nhiệm vụ quan trọng của khai phá dữ liệu và được quan tâm nhiều trong những năm gần đây [38].
Ưu điểm của khai phá luật [28] Cung cấp một cơ chế mà có thể giải thích kết quả đầu ra của mô hình huấn luyện, làm tăng độ dễ hiểu của mô hình, giúp người sử dụng hiểu được quyết định của mô hình đó. Có khả năng xác định những thiết sót trong tập dữ liệu ban đầu. Xác định các thông số không cần thiết để loại bỏ nhằm tăng hiệu suất của mô hình. Phân tích các mối quan hệ trước đó chưa biết trong dữ liệu.
Một thuật toán khai phá luật không chỉ đáp ứng một số yêu cầu quan trọng đối với thực tế mà phải đơn giản và đảm bảo được 4 tiêu chí: độ chính xác, hợp lý, tính nhất quán và tính toàn diện. Kỹ thuật khai phá luật thường dựa trên phương pháp 11 học máy như: mạng nơ-ron, SVM, các thuật toán di truyền, phương pháp thống kê, cây quyết định và logic mờ (fuzzy logic) [38].3 Độ chính xác và độ dễ hiểu của mô hình phân loại 2.1 Độ chính xác Độ chính xác (Accuracy) của một mô hình phân loại là khả năng dự đoán chính xác các nhãn lớp dữ liệu mới của mô hình đó [22].