Phân lớp dữ liệu hoa Iris bằng thuật toán Naive Bayes, RandomForest và KNN

Phân tích so sánh hiệu quả phân lớp dữ liệu hoa Iris bằng thuật toán Naive Bayes, Random Forest và K-Nearest Neighbors (KNN). Tìm hiểu ưu nhược điểm của từng

• Tác giả: Sengthong Xayavong
• Người hướng dẫn: TS. Nguyễn Văn Núi
• Trường học: Đại học Công nghệ Thông tin và Truyền thông – Đại học Thái Nguyên
• Chuyên ngành: Khoa học máy tính
• Đề tài: Phân lớp dữ liệu hoa Iris sử dụng thuật toán Naive Bayes, RandomForest và KNN (K - Nearest Neighbors)
• Loại tài liệu: Luận văn thạc sĩ
• Năm xuất bản: 2020
• Địa điểm: Thái Nguyên

Tóm tắt

I. Tổng quan về phân lớp dữ liệu hoa Iris

Phân lớp dữ liệu hoa Iris là bài toán kinh điển trong học máy có giám sát. Bộ dữ liệu Iris bao gồm 150 mẫu, mỗi mẫu đại diện cho một bông hoa thuộc một trong ba loài: Iris setosa, Iris versicolor và Iris virginica. Mỗi mẫu được mô tả bởi bốn thuộc tính số: chiều dài đài hoa, chiều rộng đài hoa, chiều dài cánh hoa và chiều rộng cánh hoa. Mục tiêu chính là xây dựng một mô hình có thể dự đoán chính xác loài hoa dựa trên các giá trị của bốn thuộc tính đầu vào. Bài toán này thường được sử dụng để minh họa và so sánh hiệu suất của các thuật toán phân loại khác nhau.

1.1. Tập dữ liệu Iris và các thuộc tính

Tập dữ liệu Iris do Ronald Fisher giới thiệu năm 1936, chứa 150 mẫu phân đều cho ba loài hoa. Bốn thuộc tính đo lường hình thái học của hoa là đặc trưng đầu vào. Các thuộc tính này có tính liên tục và có sự khác biệt rõ rệt giữa các loài, đặc biệt là Iris setosa thường tách biệt hoàn toàn so với hai loài còn lại dựa trên biểu đồ phân tán. Dữ liệu sạch, không có giá trị thiếu, rất phù hợp cho việc thử nghiệm các thuật toán phân loại cơ bản.

1.2. Mục tiêu của bài toán phân lớp

Mục tiêu cốt lõi là xây dựng một hàm phân loại học từ dữ liệu huấn luyện có nhãn. Hàm này sẽ ánh xạ một vector thuộc tính đầu vào mới chưa từng thấy đến một trong ba nhãn lớp (loài hoa). Bài toán đòi hỏi mô hình phải tổng quát hóa tốt, tức là hoạt động hiệu quả trên dữ liệu mới chứ không chỉ ghi nhớ dữ liệu huấn luyện. Đây là nền tảng cho việc đánh giá và so sánh các thuật toán học máy khác nhau.

II. Thách thức trong phân lớp dữ liệu hoa Iris

Dù là bài toán cơ bản, phân lớp Iris vẫn tiềm ẩn những thách thức nhất định. Thách thức lớn nhất là sự chồng chéo về đặc trưng giữa hai loài Iris versicolor và Iris virginica. Các giá trị thuộc tính của chúng có vùng giao thoa đáng kể, khiến ranh giới phân tách không hoàn toàn rõ ràng. Điều này yêu cầu thuật toán phải có khả năng học được các mẫu phức tạp. Ngoài ra, việc lựa chọn thuật toán phù hợp và phương pháp đánh giá công bằng cũng là một vấn đề quan trọng để đảm bảo kết quả đáng tin cậy.

2.1. Sự chồng chéo giữa các loài Iris

Phân tích dữ liệu cho thấy Iris setosa có thể được phân tách tuyến tính hoàn hảo khỏi hai loài còn lại. Tuy nhiên, Iris versicolor và Iris virginica có sự giao thoa lớn trên không gian đặc trưng bốn chiều. Các thuật toán tuyến tính đơn giản có thể gặp khó khăn trong việc xác định ranh giới quyết định chính xác cho hai lớp này. Điều này đặt ra yêu cầu về các mô hình phi tuyến tính hoặc các kỹ thuật trích lọc đặc trưng để cải thiện khả năng phân biệt.

2.2. Vấn đề chọn và đánh giá thuật toán

Với nhiều thuật toán phân loại có sẵn, việc chọn ra mô hình tốt nhất cho bài toán là một thách thức. Mỗi thuật toán có giả thuyết, ưu và nhược điểm riêng. Cần có một quy trình đánh giá khách quan, thường sử dụng kỹ thuật kiểm định chéo để ước tính chính xác hiệu suất trên dữ liệu chưa thấy. Các chỉ số như độ chính xác, ma trận nhầm lẫn, điểm F1 là cần thiết để so sánh toàn diện, không chỉ dựa vào một thước đo duy nhất.

III. Áp dụng thuật toán Naive Bayes RandomForest và KNN

Ba thuật toán Naive Bayes, RandomForest và KNN được áp dụng rộng rãi cho bài toán phân lớp Iris. Naive Bayes dựa trên định lý Bayes với giả định độc lập có điều kiện giữa các thuộc tính. RandomForest là một phương pháp học tập tổ hợp, xây dựng nhiều cây quyết định và kết hợp kết quả của chúng để tăng độ chính xác và giảm overfitting. KNN là một thuật toán học dựa trên instance, phân loại một mẫu mới dựa trên đa số phiếu của K mẫu láng giềng gần nhất trong không gian đặc trưng. Cả ba đều có thể xử lý tốt bài toán phân loại đa lớp này.

3.1. Nguyên lý hoạt động của từng thuật toán

Naive Bayes tính xác suất hậu nghiệm của mỗi lớp dựa trên xác suất tiên nghiệm và xác suất có điều kiện của các thuộc tính. RandomForest tạo ra một tập hợp các cây quyết định trên các mẫu con và thuộc tính con của dữ liệu, sau đó lấy kết quả bỏ phiếu. KNN xác định K điểm dữ liệu gần nhất với mẫu cần phân loại (thường dùng khoảng cách Euclidean) và gán nhãn phổ biến nhất trong số đó. Mỗi nguyên lý phù hợp với các giả định dữ liệu khác nhau.

3.2. So sánh ưu nhược điểm khi áp dụng

Naive Bayes có ưu điểm là nhanh, đơn giản và hoạt động tốt với dữ liệu nhỏ, nhưng giả định độc lập có thể không đúng trong thực tế. RandomForest rất mạnh mẽ, ít bị overfitting, có thể đánh giá tầm quan trọng của thuộc tính, nhưng phức tạp hơn và cần nhiều tài nguyên tính toán. KNN trực quan, dễ hiểu, không cần giai đoạn huấn luyện rõ ràng, nhưng rất nhạy cảm với nhiễu và lựa chọn tham số K, đồng thời chi phí dự đoán cao khi tập dữ liệu lớn.

IV. Kết quả và ứng dụng của phân lớp Iris

Kết quả thực nghiệm thường cho thấy cả ba thuật toán đều đạt độ chính xác cao trên tập dữ liệu Iris, thường trên 95%. RandomForest thường có hiệu suất ổn định và tốt nhất do khả năng khai thác tốt các mối quan hệ phi tuyến tính giữa các thuộc tính. KNN cũng hoạt động hiệu quả khi được chọn K phù hợp. Bài toán phân lớp Iris, tuy đơn giản, nhưng là bước đệm quan trọng để hiểu các nguyên lý cơ bản của học máy có giám sát. Các kỹ thuật và bài học rút ra được áp dụng vào nhiều bài toán phân loại phức tạp hơn trong thực tế.

4.1. Đánh giá hiệu suất mô hình

Hiệu suất được đánh giá bằng các chỉ số như độ chính xác tổng thể, ma trận nhầm lẫn để xem loại hoa nào bị phân loại sai nhiều nhất, và điểm F1-score cho từng lớp. Kiểm định chéo k-fold thường được sử dụng để có ước tính đáng tin cậy. Kết quả cho thấy sự nhầm lẫn chủ yếu xảy ra giữa Iris versicolor và Iris virginica, phản ánh đúng sự chồng chéo trong dữ liệu. Các mô hình có thể được tinh chỉnh siêu tham số để cải thiện hiệu suất.

4.2. Ứng dụng trong thực tế

Bài toán phân lớp Iris có cấu trúc tương tự nhiều bài toán phân loại trong thực tế, như nhận dạng mẫu, phân loại văn bản, chẩn đoán y khoa. Các nguyên tắc học từ Iris áp dụng được cho các tập dữ liệu lớn hơn và phức tạp hơn. Ví dụ, một hệ thống phân loại tự động loài cây dựa trên hình ảnh lá có thể áp dụng cùng các thuật toán này. Việc hiểu rõ cách hoạt động và giới hạn của từng thuật toán giúp nhà khoa học dữ liệu lựa chọn giải pháp phù hợp cho từng bài toán cụ thể.

Trích đoạn nội dung tài liệu

Chương 1: Tổng quan về khai phá dữ liệu và phát hiện tri thức 1.1 Giới thiệu tổng quan 1.1 Giới thiệu chung về khám phá tri thức và khai phá dữ liệu Nếu cho rằng, điện tử và truyền thông chính là bản chất của khoa học điện tử, thì dữ liệu, thông tin, và tri thức hiện đang là tiêu điểm của một lĩnh vực mới để nghiên cứu và ứng dụng, đó là khám phá tri thức và khai phá dữ liệu. Thông thường, chúng ta coi dữ liệu như là một chuỗi các bits, hoặc các số và các ký hiệu hay là các “đối tượng” với một ý nghĩa nào đó khi được gửi cho một chương trình dưới một dạng nhất định. Các bits thường được sử dụng để đo thông tin, và xem nó như là dữ liệu đã được loại bỏ phần tử thừa, lặp lại, và rút gọn tới mức tối thiểu để đặc trưng một cách cơ bản cho dữ liệu. Tri thức được xem như là các thông tin tích hợp, bao gồm các sự kiện và mối quan hệ giữa chúng, đã được nhận thức, khám phá, hoặc nghiên cứu.

Nói cách khác, tri thức có thể được coi là dữ liệu ở mức độ cao của sự trừu tượng và tổng quát. Khám phá tri thức hay phát hiện tri thức trong CSDL là một quy trình nhận biết các mẫu hoặc các mô hình trong dữ liệu với các tính năng: Phân tích, tổng hợp, hợp thức, khả ích và có thể hiểu được. Khai phá dữ liệu là một bước trong quá trình khám phá tri thức, gồm các giải thuật khai thác dữ liệu chuyên dùng dưới một số qui định về hiệu quả tính toán chấp nhận được để tìm ra các mẫu hoặc các mô hình trong dữ liệu. Nói cách khác, mục tiêu của Khai phá dữ liệu là tìm kiếm các mẫu hoặc mô hình tồn tại trong CSDL nhưng ẩn trong khối lượng lớn dữ liệu.2 Quá trình khám phá tri thức Quy trình khám phá tri thức tiến hành qua 6 giai đoạn, xem hình 1.

Gom dữ liệu: Tập hợp dữ liệu là bước đầu tiên trong quá trình khai phá dữ liệu. Đây là bước được khai thác trong một cơ sở dữ liệu, một kho dữ liệu và thậm chí các dữ liệu từ các nguồn ứng dụng Web. Trích lọc dữ liệu: Ở giai đọan này dữ liệu được lựa chọn hoặc phân chia theo một số tiêu chuẩn nào đó phục vụ mục đích khai thác, ví dụ chọn tất cả những em học sinh có điểm Trung bình học kỳ lớn hơn 8.0 và có giới tính nữ. Làm sạch, tiền xử lý và chuẩn bị trước dữ liệu: Giai đoạn thứ ba này là giai đoạn hay bị sao lãng, nhưng thực tế nó là một bước rất quan trọng trong quá trình khai phá dữ liệu.

Một số lỗi thường mắc phải trong khi gom dữ liệu là tính không đủ chặt chẽ, logíc. Vì vậy, dữ liệu thường chứa các giá trị vô nghĩa và không có khả năng kết nối dữ liệu. Ví dụ : Điểm Trung bình = 12. Giai đoạn này sẽ tiến hành xử lý những dạng dữ liệu không chặt chẻ nói trên.

Những dữ liệu dạng này được xem như thông tin dư thừa, không có giá trị. Bởi vậy, đây là một quá trình rất quan trọng vì dữ liệu này nếu không được “làm sạch – tiền xử lý – chuẩn bị trước” thì sẽ gây nên những kết quả sai lệch nghiêm trọng. Chuyển đổi dữ liệu: Tiếp theo là giai đoạn chuyển đổi dữ liệu, dữ liệu đưa ra có thể sử dụng và điều khiển được bởi việc tổ chức lại nó, tức là dữ liệu sẽ được chuyển đổi về dạng phù hợp cho việc khai phá bằng cách thực hiện các thao tác nhóm hoặc tập hợp. Khai phá dữ liệu: Đây là bước mang tính tư duy trong khai phá dữ liệu.

Ở giai đoạn này nhiều thuật toán khác nhau đã được sử dụng để trích ra các mẫu từ dữ liệu. Thuật toán thường dùng là nguyên tắc phân loại, nguyên tắc kết, v. Đánh giá các luật và biểu diễn tri thức: Ở giai đoạn này, các mẫu dữ liệu được chiết xuất ra bởi phần mềm khai phá dữ liệu. Không phải bất cứ mẫu dữ liệu nào cũng đều hữu ích, đôi khi nó còn bị sai lệch.

Vì vậy, cần phải ưu tiên những tiêu chuẩn đánh giá để chiết xuất ra các tri thức (Knowlege) cần chiết xuất ra. Đánh giá sự hữu ích của các mẫu biểu diễn tri thức dựa trên một số phép đo. Sau đó sử dụng các kỹ thuật trình diễn và trực quan hoá dữ liệu để biểu diễn tri thức khai phá được cho người sử dụng. 1:Quá trình khám phá tri thức 1.3 Khai phá dữ liệu KPDL là một khái niệm ra đời vào những năm cuối của thập kỷ 80.

Nó bao hàm một loạt các kỹ thuật nhằm phát hiện ra các thông tin có giá trị tiềm ẩn trong các tập dữ liệu lớn (các kho dữ liệu). Về bản chất, KPDL liên quan đến việc phân tích các dữ liệu và sử dụng các kỹ thuật để tìm ra các mẫu hình có tính chính quy (regularities) trong tập dữ liệu. Năm 1989, Fayyad, Piatestsky-Shapiro và Smyth đã dùng khái niệm Phát hiện tri thức trong cơ sở dữ liệu (Knowledge Discovery in Database – KDD) để chỉ toàn bộ quá trình phát hiện các tri thức có ích từ các tập dữ liệu lớn. Trong đó, KPDL là một bước đặc biệt trong toàn bộ tiến trình, sử dụng các giải thuật đặc biệt để chiết xuất ra các mẫu (pattern) (hay các mô hình) từ dữ liệu.

Khai phá dữ liệu là một tiến trình sử dụng các công cụ phân tích dữ liệu khác nhau để khám phá ra các mẫu dưới nhiều góc độ khác nhau nhằm phát hiện ra các mối quan hệ giữa các dữ kiện, đối tượng bên trong CSDL, kết quả của việc khai phá là xác định các mẫu hay các mô hình đang tồn tại bên trong, nhưng chúng nằm ẩn khuất ở các CSDL. Để từ đó rút trích ra được các mẫu, các mô hình hay các thông tin và tri thức từ các CSDL.4 Quá trình của khai phá dữ liệu Khai phá dữ liệu là một giai đoạn quan trọng trong quá trình khám phá tri thức. Về bản chất là giai đoạn duy nhất tìm ra được thông tin mới, thông tin tiềm ẩn có trong cơ sở dữ liệu chủ yếu phục vụ cho mô tả và dự đoán. Mô tả dữ liệu là tổng kết hoặc diễn tả những đặc điểm chung của những thuộc tính dữ liệu trong kho dữ liệu mà con người có thể hiểu được.

Dự đoán là dựa trên những dữ liệu hiện thời để dự đoán những quy luật được phát hiện từ các mối liên hệ giữa các thuộc tính của dữ liệu trên cơ sở đó chiết xuất ra các mẫu, dự đoán được những giá trị chưa biết hoặc những giá trị tương lai của các biến quan tâm. Thống kê tóm tắt Hình 1. 2:Quá trình khai phá dữ liệu - Xác định nhiệm vụ: Xác định chính xác các vấn đề cần giải quyết. - Xác định các dữ liệu liên quan: Dùng để xây dựng giải pháp.

- Thu thập và tiền xử lý dữ liệu: Thu thập các dữ liệu liên quan và tiền xử lý chúng thành dạng sao cho thuật toán khai phá dữ liệu có thể hiểu được. Đây là một quá trình rất khó khăn, có thể gặp phải rất nhiều các vướng mắc như: dữ liệu phải được sao ra nhiều bản (nếu được chiết xuất vào các tệp), quản lý tập các dữ liệu, phải lặp đi lặp lại nhiều lần toàn bộ quá trình (nếu mô hình dữ liệu thay đổi), v. - Thuật toán khai phá dữ liệu: Lựa chọn thuật toán khai phá dữ liệu và thực hiện việc khai phá dữ liệu để tìm được các mẫu có ý nghĩa, các mẫu này được biểu diễn dưới dạng luật kết hợp, cây quyết định. tương ứng với ý nghĩa của nó.5 Ứng dụng của khai phá dữ liệu KPDL có nhiều ứng dụng trong thực tế, một số ứng dụng điển hình như:  Bảo hiểm, tài chính và thị trường chứng khoán: phân tích tình hình tài chính và dự báo giá của các loại cổ phiếu trong thị trường chứng khoán.

Danh mục vốn và giá, lãi suất, dữ liệu thẻ tín dụng, phát hiện gian lận.  Điều trị y học và chăm sóc y tế: một số thông tin về chẩn đoán bệnh lưu trong các hệ thống quản lý bệnh viện. Phân tích mối liên hệ giữa triệu chứng bệnh, chẩn đoán và phương pháp điều trị (chế độ dinh dưỡng, thuốc,…).  Sản xuất và chế biến: qui trình, phương pháp chế biến và xử lý xử cố Text mining & Web mining: phân lớp văn bản và các trang web, tóm tắt văn bản.

 Lĩnh vực khoa học: quan sát thiên văn, dữ liệu gene, dữ liệu sinh vật học, tìm kiếm, so sánh các hệ gene và thông tin di truyền, mối liên hệ gene và các bệnh di truyền.  Lĩnh vực khác: viễn thông, môi trường, thể thao, âm nhạc, giáo dục… 1.2 Một số kỹ thuật khai phá dữ liệu cơ bản 1.1 Luật kết hợp (Association Rules) Luật kết hợp là dạng luật biểu diễn tri thức ở dạng tương đối đơn giản. Mục tiêu của phương pháp này là phát hiện và đưa ra các mối liên hệ giữa các giá trị dữ liệu trong CSDL. Mẫu đầu ra của giải thuật KPDL là tập luật kết hợp tìm được.

Tuy luật kết hợp là một dạng luật khá đơn giản nhưng lại mang rất nhiều ý nghĩa. Thông tin mà dạng luật này đem lại rất có lợi trong các hệ hỗ trợ ra quyết định.Tìm kiếm được những luật kết hợp đặc trưng và mang nhiều thông tin từ CSDL tác nghiệp là một trong những hướng tiếp cận chính của lĩnh vực khai phá dữ liệu.2 Khai thác mẫu tuần tự (Sequential / Temporal patterns) Tương tự như khai thác luật kết hợp nhưng có thêm tính thứ tự và tính thời gian. Một luật mô tả mẫu tuần tự có dạng tiêu biểu X Y phản ánh sự xuất hiện của biến cố X sẽ dẫn đến việc xuất hiện kế tiếp biến cố Y. Hướng tiếp cận này có tính dự báo cao.3 Phân cụm dữ liệu (Clustering) Phân cụm dữ liệu là một kỹ thuật trong Data mining nhằm tìm kiếm, phát hiện các cụm, các mẫu dữ liệu tự nhiên tiềm ẩn và quan trọng trong tập dữ liệu lớn để từ đó cung cấp thông tin, tri thức cho việc ra quyết định.

Phân cụm dữ liệu là sự phân chia một cơ sở dữ liệu lớn thành các nhóm dữ liệu với trong đó các đối tượng tương tự như nhau. Trong mỗi nhóm, một số chi tiết có thể không quan tâm đến để đổi lấy dữ liệu đơn giản hóa.