Đồ án chuyên ngành: Phân loại bào ngư bằng mô hình cây quyết định (Decision Tree)

Nghiên cứu ứng dụng mô hình Cây Quyết Định (Decision Tree) trong bài toán phân loại bào ngư, giúp xây dựng mô hình tối ưu và đạt hiệu quả cao.

Trường đại học

Đại học Công nghiệp Hà Nội

Chuyên ngành

Công nghệ thông tin

Người đăng

Ẩn danh

Thể loại

Đồ án chuyên ngành

2023

52
0
0

Phí lưu trữ

30 Point

Tóm tắt

I. Tổng quan về Phân loại Bào ngư bằng Cây Quyết Định

Phân loại bào ngư là một bài toán quan trọng trong lĩnh vực học máykhai phá dữ liệu. Bào ngư là loài động vật có giá trị cao cả về dinh dưỡng lẫn kinh tế, được sử dụng rộng rãi trong nghiên cứu sinh thái. Việc áp dụng mô hình cây quyết định để phân loại bào ngư giúp tối ưu hóa quy trình kiểm tra chất lượng và an toàn thực phẩm. Thuật toán decision tree cung cấp một phương pháp hiệu quả để trích rút thông tin từ tập dữ liệu lớn, đưa ra những dự đoán chính xác dựa trên các đặc trưng sinh học của bào ngư. Ứng dụng này không chỉ mang lại lợi ích kinh tế mà còn góp phần bảo vệ sức khỏe người tiêu dùng thông qua việc phân loại những chú bào ngư chất lượng tốt nhất.

1.1. Nhu cầu thực tiễn của Phân loại Bào ngư

Trong bối cảnh công nghệ phát triển, nhu cầu phân loại bào ngư hiệu quả ngày càng cấp thiết. Các nhà sản xuất và nhà bán lẻ cần phương pháp tự động để đánh giá chất lượng bào ngư một cách nhanh chóng và chính xác. Mô hình cây quyết định cho phép xây dựng các quy tắc quyết định dựa trên dữ liệu lịch sử, giúp tiết kiệm thời gian và chi phí so với kiểm tra thủ công. Điều này đặc biệt quan trọng trong bối cảnh lượng bào ngư cần xử lý hàng ngày tăng lên đáng kể.

1.2. Ứng dụng Trí tuệ Nhân tạo trong Phân loại Bào ngư

Ứng dụng trí tuệ nhân tạo vào phân loại bào ngư mang lại nhiều lợi ích to lớn. Cây quyết định là một thuật toán phổ biến trong học máy, cho phép máy tính học từ dữ liệu và đưa ra quyết định tự động. Phương pháp này giúp nâng cao độ chính xác trong phân loại, đồng thời giảm thiểu sai sót do yếu tố con người. Với mô hình cây quyết định, các nhà nghiên cứu có thể xây dựng hệ thống phân loại tự động, đáp ứng nhu cầu kiểm soát chất lượng hiện đại.

II. Nguyên lý hoạt động của Mô hình Cây Quyết Định

Cây quyết định (Decision Tree) là một mô hình học giám sát được sử dụng rộng rãi trong phân loại dữ liệu. Mô hình này hoạt động bằng cách xây dựng một cấu trúc cây, trong đó mỗi nút nội bộ đại diện cho một thuộc tính hoặc đặc trưng, mỗi cạnh đại diện cho một giá trị hoặc khoảng giá trị, và mỗi lá đại diện cho một lớp hoặc nhãn phân loại. Quá trình xây dựng cây quyết định bắt đầu từ nút gốc và liên tục chia tách dữ liệu dựa trên các thuộc tính có khả năng phân chia tốt nhất. Đối với phân loại bào ngư, các thuộc tính như kích thước, độ dày vỏ, màu sắc, và khối lượng được sử dụng để xây dựng quy tắc quyết định tự động.

2.1. Cấu trúc và Thành phần của Cây Quyết Định

Cây quyết định bao gồm ba thành phần chính: nút gốc (root node), nút nội bộ (internal node), và nút lá (leaf node). Nút gốc chứa toàn bộ tập dữ liệu huấn luyện. Các nút nội bộ chứa các điều kiện kiểm tra dựa trên các thuộc tính để chia tách dữ liệu. Nút lá đại diện cho các lớp phân loại cuối cùng, ví dụ như "bào ngư chất lượng cao" hoặc "bào ngư chất lượng thấp". Quá trình này tạo thành một cấu trúc hình cây rõ ràng, dễ hiểu và dễ áp dụng.

2.2. Quá trình Huấn luyện và Tối ưu hóa Mô hình

Quá trình huấn luyện mô hình cây quyết định bao gồm việc chọn lựa các thuộc tính tốt nhất để phân chia dữ liệu tại mỗi nút. Các thuật toán như Information Gain hoặc Gini Index được sử dụng để đánh giá chất lượng của từng sự chia tách. Tối ưu hóa mô hình liên quan đến việc cắt tỉa cây (pruning) để tránh overfitting và cải thiện khả năng tổng quát hóa trên dữ liệu mới. Đối với phân loại bào ngư, việc tinh chỉnh các ngưỡng quyết định giúp đạt hiệu suất tối ưu.

III. Quy trình Thực nghiệm Phân loại Bào ngư

Quy trình thực nghiệm phân loại bào ngư bao gồm các bước quan trọng: thu thập dữ liệu, tiền xử lý, xây dựng mô hình, và đánh giá hiệu suất. Đầu tiên, một tập dữ liệu bào ngư được thu thập với các thuộc tính sinh học khác nhau. Tiếp theo, dữ liệu được làm sạchchuẩn hóa để đảm bảo chất lượng. Sau đó, mô hình cây quyết định được xây dựng bằng cách sử dụng một phần dữ liệu để huấn luyện. Cuối cùng, hiệu suất của mô hình được đánh giá trên tập dữ liệu kiểm tra thông qua các chỉ số như độ chính xác, độ nhạy, và độ đặc hiệu. Những kết quả này giúp xác định hiệu quả của mô hình trong phân loại bào ngư.

3.1. Thu thập và Tiền xử lý Dữ liệu Bào ngư

Thu thập dữ liệu là bước đầu tiên và quan trọng nhất trong quy trình phân loại bào ngư. Dữ liệu được thu thập từ các nguồn đáng tin cậy bao gồm các đặc trưng như kích thước vỏ, khối lượng, độ dày, màu sắc, và độ mặn. Tiền xử lý dữ liệu bao gồm việc xử lý các giá trị thiếu, loại bỏ các bộ dữ liệu nhiễu, và chuẩn hóa các giá trị về cùng một khoảng để đảm bảo độ chính xác cao của mô hình phân loại.

3.2. Đánh giá Hiệu suất Mô hình

Đánh giá hiệu suất của mô hình cây quyết định trong phân loại bào ngư được thực hiện bằng cách so sánh kết quả dự đoán với nhãn thực tế. Các chỉ số hiệu suất như độ chính xác (accuracy), độ nhạy (recall), độ đặc hiệu (specificity), và điểm F1 được tính toán. Ma trận nhầm lẫn (confusion matrix) được sử dụng để hiển thị chi tiết số lượng dự đoán đúng và sai. Những kết quả này giúp đánh giá mức độ hiệu quả của mô hình trong thực tế.

IV. Kết luận và Hướng phát triển Tương lai

Phân loại bào ngư bằng mô hình cây quyết định đã chứng minh là một phương pháp hiệu quảkhả thi trong thực tế. Mô hình này cung cấp một cách tiếp cận tự độngchính xác để phân loại bào ngư dựa trên các đặc trưng sinh học. Ứng dụng của cây quyết định không chỉ giúp tối ưu hóa quy trình kiểm tra chất lượng mà còn mang lại lợi ích kinh tế cho các nhà sản xuất và bảo vệ sức khỏe người tiêu dùng. Tuy nhiên, để cải thiện hơn nữa, nghiên cứu tương lai nên tập trung vào việc kết hợp nhiều thuật toán khác nhau, mở rộng tập dữ liệu huấn luyện, và áp dụng kỹ thuật học sâu (deep learning) để đạt độ chính xác cao hơn.

4.1. Những Thành tích Đạt được

Qua quá trình nghiên cứu và thực nghiệm, nhóm đã thành công trong việc xây dựng mô hình cây quyết định hiệu quả cho phân loại bào ngư. Mô hình đạt được độ chính xác cao trên tập dữ liệu kiểm tra. Những quy tắc quyết định được học từ dữ liệu là rõ ràngdễ hiểu, giúp người sử dụng có thể theo dõi quá trình ra quyết định. Ngoài ra, hiệu suất của mô hình cho thấy tính khả thi của ứng dụng này trong các môi trường sản xuất thực tế.

4.2. Hướng Phát triển trong Tương lai

Để tiếp tục cải tiến, nghiên cứu tương lai nên kết hợp nhiều mô hình khác nhau như Random Forest hoặc Gradient Boosting để tăng độ chính xác. Mở rộng tập dữ liệu với nhiều loại bào ngư khác nhau từ các vùng địa lý khác nhau sẽ giúp mô hình tổng quát hóa tốt hơn. Áp dụng kỹ thuật xử lý ảnh kết hợp với học máy có thể mang lại các tính năng mới cho hệ thống phân loại.

18/12/2025

Trích đoạn nội dung tài liệu

LỜI MỞ ĐẦU. 3 DANH MỤC HÌNH ẢNH. XÁC ĐỊNH VÀ PHÂN TÍCH BÀI TOÁN .1 Tổng quan về bài toán phân lớp .1 Bài toán nhận dạng .2 Bài toán phân loại bào ngư.1 Giới thiệu bài toán .2 Các khó khăn thách thức của bài toán .3 Đầu vào đầu ra của bài toán .4 Ứng dụng của bài toán. MỘT SỐ KỸ THUẬT HIỆN CÓ ĐỂ GIẢI QUYẾT BÀI TOÁN.3 Nhược điểm .3 Ngược điểm .3 Nhược điểm .4 Cây quyết định .2 Chiến lược xây dựng .3 Các thuật toán của cây quyết định.5 Nhược điểm.

PHÂN LOẠI BÀO NGƯ SỬ DỤNG THUẬT TOÁN CÂY QUYẾT ĐỊNH .1 Thu thập và xử lý dữ liệu .2 Huấn luyện mô hình và đánh giá .1 Xây dựng cây quyết định Decision Tree Classifier .2 Cải tiến mô hình .3 Xây dựng và đánh giá mô hình RandomForest Regressor. 49 Tài liệu tham khảo. 51 8 DANH MỤC HÌNH ẢNH Hình 1: Quá trình phân lớp dữ liệu –(a) Bước xây dựng mô hình. 11 Hình 2:Quá trình phân lớp dữ liệu –(b1) Ước lượng độ chính xác của mô hình.

12 Hình 3: Quá trình phân lớp dữ liệu – (b2) Phân lớp dữ liệu mới. 12 Hình 4: Tệp dữ liệu D. 20 Hình 5: Các nhãn sau khi phân loại. 20 Hình 6: Cơ sở dữ liệu khách hàng.

23 Hình 7: Hai siêu phẳng song song. 25 Hình 8: Bảng dữ liệu ví dụ. 27 Hình 9: Sơ đồ cây quyết định. 28 Hình 10: Cách xây dựng cây quyết định.

29 Hình 11: Thuật toán ID3. 30 Hình 12: Biểu đồ entropy. 31 Hình 13: Thông tin bộ dữ liệu. 37 Hình 14: Biểu đồ đo sự tập trung của dữ liệu.

38 Hình 15: Bảng thống kê mô tả. 39 Hình 16: Xóa dữ liệu bị khuyết. 39 Hình 17: Kết quả xóa dữ liệu khuyết. 40 Hình 18: Điền khuyết dữ liệu.

40 Hình 19: Chuẩn hóa dữ liệu bằng MinMaxScaler. 41 Hình 20: Dữ liệu sau khi chuẩn hóa. 42 Hình 21: Xây dựng mô hình cây quyết định. 43 Hình 22: Kết quả của Decision Tree Classifier.

43 Hình 23: Vẽ cây quyết định bằng Pydotplus. 43 Hình 24: Vẽ cây quyết định sử dụng Plot_tree. 44 9 Hình 25: Cải tiến mô hình Decision Tree Classifier. 45 Hình 26: Kết quả của mô hình sau khi được cải tiến.

45 Hình 27: Mô hình RandomForest. 47 Hình 28: Kết quả của mô hình Random Forest. 47 Hình 29: Cải tiến mô hình Random Forest. 48 Hình 30: Kết quả của mô hình sau khi cải tiến.

XÁC ĐỊNH VÀ PHÂN TÍCH BÀI TOÁN 1.1 Tổng quan về bài toán phân lớp 1.1 Bài toán nhận dạng Nếu là một người quan tâm đến công nghệ , chắc hẳn nhiều người không còn xa lạ với cụm từ “phân lớp dữ liệu” hay tên tiếng anh là “Classification”. Đây đang là một trong những nghiên cứu chính của khai phá dữ liệu. Thực tế đặt ra nhu cầu từ một cơ sở dữ liệu với nhiều thông tin ẩn bắt buộc con người phải trích rút ra những quyết định nghiệp vụ thông minh. Tùy vào yêu cầu của bài toán mà chúng ta lại chia chúng ra thành nhiều dạng khác nhau nhưng trên thực tế ta có thể quy ước chúng về hai dạng chính: phân lớp và dự đoán.

Phân lớp là kĩ thuật nhằm gán (đưa ra dự báo) nhãn lớp (class-label) cho các đối tượng dữ liệu chưa có nhãn. Phân lớp thao tác và thực hiện được cả trên dữ liệu liên tục và dữ liệu rời rạc, những đối tượng mà có bộ dữ liệu biết trước. Chẳng hạn, trong lĩnh vực tài chính ngân hàng , phương pháp phân lớp được áp dụng để phân loại những giao dịch tài chính bất thường hay áp dụng phân loại những khách hàng có nợ xấu.Ngoài ra , phân lớp còn được áp dụng trong nhiều lĩnh vực khác của đời sống như quảng cáo và tiếp thị, chăm sóc khách hàng , giáo dục, hay đặc biệt là trong y tế và dược học Trong khi đó, dự đoán lại xây dựng mô hình từ dữ liệu lịch sử và sử dụng mô hình đó để dự đoán những giá trị mới. Phương pháp này thường được áp dụng phương pháp hồi quy để xác định mối quan hệ giữa các biến và dự đoán giá trị phụ thuộc dựa trên các biến độc lập.

Dự đoán được biết đến và được áp dụng trong đời sống như : dự đoán doanh số bán hàng, dự đoán thời tiết, dự đoán chu kì sản xuất, … Quá trình phân lớp dữ liệu gồm hai bước : ➢ Bước thứ nhất ( huấn luyện) 11 Quá trình học hay huấn luyện là quá trình nhằm xây dựng mô hình từ các tập dữ liệu hay các khái niệm được định nghĩa từ trước. Đầu vào của quá trình này là những tập dữ liệu đã được tiền xử lý và đã được gán nhãn. Mỗi giá trị được trong bộ dữ liệu thường được gọi là những ‘mẫu’ hay những ‘case’. Trong bộ dữ liệu huấn luyện này, mỗi phần tử sẽ thuộc về một lớp đã được quy định hay còn gọi là có ‘nhãn’.

Đầu ra của quá trình này thường là các quy tắc phân lớp dưới dạng luật if-then , công thức logic , cây quyết định hoặc có thể là một mạng. Dưới đây là hình ảnh mô tả quá trình : Hình 1: Quá trình phân lớp dữ liệu –(a) Bước xây dựng mô hình ➢ Bước thứ hai ( Sử dụng mô hình để phân lớp): Đây là bước dùng để phân lớp dữ liệu, nó sử dụng kết quả ở bước 1 để phân loại dữ liệu mới. Đầu vào của bài toán gồm dữ liệu cần phân lớp hay còn gọi là “ data test” và bộ phân lớp (classifier) – kết quả thu thập được ở bước 1. Sau khi trải qua quá trình phân lớp, mô hình sẽ trả về cho chúng ta kết quả phân lớp.

Sau khi có kết quả , việc còn lại của chúng ta là đánh giá và cải tiến mô hình. Đánh giá mô hình là một phần quan trọng trong quá trình phát triển mô hình máy học hoặc học sâu. Điều này giúp đảm bảo rằng mô hình của bạn không chỉ hoạt động tốt trên dữ liệu huấn luyện mà còn có khả năng tổng quát hóa đối với 12 dữ liệu mới. Thông thường , mọi người thường sử dụng thước đo hiệu suất để đánh mô hình.

Dưới đây là một vài độ đo có thế áp dụng: - Độ chính xác (Accuracy): Phần trăm mẫu dự đoán đúng trên tổng số mẫu. - F1-score: Sự kết hợp giữa độ chính xác và độ nhạy, thường được sử dụng khi mất cân bằng giữa các lớp. - Recall (độ nhạy): là một thước đo hiệu suất trong bài toán phân loại (classification), đặc biệt là khi chúng ta quan tâm đến việc bắt lấy càng nhiều dữ liệu thuộc một lớp cụ thể nhất có thể. Recall được định nghĩa là tỷ lệ của số lượng dự đoán đúng của lớp tích cực (positive) so với tổng số mẫu thực tế thuộc lớp tích cực Ngoài ra chúng ta cũng có thể áp dụng những phương pháp hoặc độ đo khác để đánh giá được mô hình.

Dưới đây là mô tả quá trình phân lớp: Hình 2:Quá trình phân lớp dữ liệu –(b1) Ước lượng độ chính xác của mô hình Hình 3: Quá trình phân lớp dữ liệu – (b2) Phân lớp dữ liệu mới 13 Trong mô hình phân lớp, thuật toán phân lớp giữ vai trò trung tâm, quyết định tới sự thành công của mô hình phân lớp. Do vậy chìa khóa của vấn đề phân lớp dữ liệu là tìm ra được một thuật toán phân lớp nhanh, hiệu quả, có độ chính xác cao và có khả năng mở rộng được. Trong đó khả năng mở rộng được của thuật toán được đặc biệt trú trọng và phát triển. Một số thuật toán có thể áp dụng trong quá trình phân lớp : ➢ Phân lớp cây quyết định ➢ Bộ phân lớp Bayesian ➢ Mô hình phân lớp K láng giềng(KNN) ➢ Mạng nơ-ron ➢ Mô hình SVM 1.2 Bài toán phân loại bào ngư 1.1 Giới thiệu bài toán Chắc hẳn, khi nhắc tới bào ngư thì nhiều người sẽ không thể không nhớ đến đây là một loại thức ăn vô cùng giàu dinh dưỡng, và nó được rất nhiều người ưu chuộng.

Bào ngư được biết đến là một loại động vật thân mềm, vỏ cứng thuộc họ Haliotidae và chi Haliotis. Chúng có cấu tạo dẻo dai, các chân nhỏ và hay bám trên bề mặt đá. Tại Việt Nam, bào ngư được tìm thấy chủ yếu ở vùng biển các tỉnh miền Trung. Đối với đời sống , bào ngư là nguyên liệu thường được dùng để chế biến các món ăn thơm ngon và bổ dưỡng.

Bạn có thể chế biến các món như súp bào ngư, cháo bào ngư,.Trong y học, vỏ bào ngủ thường được dùng để bào chế thuốc liên quan để gan, mắt.Ngoài ra, nó còn được biết đến với nhiều tác dụng khác như ngăn ngừa ung thư , giảm các nguy cơ mắc các bệnh tim mạch, điều hòa tuyến giáp, duy trì sức khỏe cho xương,…Bào ngư cũng là loại động vật đem lại giá trị kinh tế cao 14 Trong khoa học , việc nghiên cứu những đặc tính , thoái quen, sinh hoạt của bào ngư cũng là một thứ tương đối quan trọng. Việc nghiên cứu này có thể giúp những nhà khoa học đánh giá được những thay đổi trong hệ sinh thái. Từ đó , có thể đưa nghiên cứu trong việc nhân giống, lai tạo cũng như nuôi cấy bào ngư ngoài tự nhiên. Ngoài ra, họ cũng nghiên cứu những hoạt động sinh sản của bào ngư vì nó cũng có thê có ý nghĩa đặc biệt với hỏa động sinh sản của con người.

Trong những năm gần đây, nhiều người áp dụng áp dụng bài toán phân lớp trên bào ngư vì một số đặc điểm khá nổi bật của chúng. Thường sẽ áp dụng để xác định tuổi của bào ngư. Điều này sẽ giúp một số người dân hay những nhà khoa học trả lời một số câu hỏi liên quan đến nó như : Cân nặng thay đổi như thế nào theo độ tuổi đối với từng nhóm giới tính? , Bạn có thể ước tính tuổi bào ngư bằng các đặc điểm vật lý của nó không?, … Trên thực tế , tuổi của bào ngư được xác định bằng cách cắt vỏ qua hình nón, nhuộm màu và đếm số vòng qua kính hiển vi. Ở đây ta sẽ sử dụng cách đo khác - sử dụng các phép đo vật lý để xác định tuổi của bào ngư.

Vậy vì sao nhóm nghiên cứu lại sử dụng thuật toán “ cây quyết định” mà không phải thuật toán khác?. Đầu tiên, cây quyết định khá dễ hiểu.

Nội dung được bảo vệ bản quyền — Tải xuống đầy đủ