Đồ án đề tài Decision Tree (Cây Quyết Định) và các ứng dụng trong Machine Learning

Tìm hiểu về Decision Tree (Cây Quyết Định) qua đồ án chi tiết. Khám phá thuật toán, nguyên lý và ứng dụng thực tế của mô hình trong Machine Learning.

• Tác giả: Trần Thái Hiễn
• Trường học: Trường Đại Học Sài Gòn
• Chuyên ngành: Công Nghệ Thông Tin
• Đề tài: Decision Tree Và Ứng Dụng
• Loại tài liệu: Đồ án
• Năm xuất bản: 2025
• Địa điểm: Thành Phố Hồ Chí Minh

Tóm tắt

I. Decision Tree là gì Khái niệm và Định nghĩa

Decision Tree (Cây Quyết Định) là một mô hình học máy dựa trên cấu trúc cây, được sử dụng để giải quyết các bài toán phân loại và dự đoán. Mô hình này hoạt động bằng cách đưa ra một chuỗi các quyết định thông qua những điều kiện được sắp xếp dạng phân nhánh. Tại mỗi nút (node) của cây, thuật toán đặt ra một câu hỏi về các thuộc tính dữ liệu, và dựa vào câu trả lời (có/không) để chuyển sang nhánh tiếp theo. Quá trình này tiếp tục cho đến khi đạt được kết quả cuối cùng ở nút lá (leaf node).

Tính ưu việt của Decision Tree nằm ở khả năng xử lý linh hoạt cả dữ liệu định tính và định lượng, không yêu cầu giả định phức tạp về phân phối dữ liệu. Đặc biệt, mô hình này có tính dễ diễn giải cao, cho phép người dùng không chuyên cũng có thể hiểu rõ quá trình ra quyết định của mô hình.

1.1. Các thành phần chính của Decision Tree

Decision Tree bao gồm ba thành phần chính: (1) Nút gốc (Root Node) - điểm bắt đầu của cây chứa toàn bộ dữ liệu; (2) Nút nội bộ (Internal Node) - các nút có chứa điều kiện để phân chia dữ liệu; (3) Nút lá (Leaf Node) - nút cuối cùng đại diện cho kết quả phân loại hoặc giá trị dự đoán. Mỗi nhánh kết nối các nút đại diện cho một quyết định dựa trên giá trị của một thuộc tính cụ thể.

1.2. Nguyên lý hoạt động cơ bản

Nguyên lý hoạt động của Decision Tree dựa trên việc chia dữ liệu thành các tập con nhỏ hơn dựa trên tiêu chí chia nhánh (Splitting Criteria). Mục tiêu là tìm ra phương pháp chia tối ưu sao cho các dữ liệu trong từng nhánh là đồng nhất nhất, giúp giảm entropy hoặc Gini impurity - hai chỉ số đo lường độ không tinh khiết của dữ liệu.

II. Các Thuật toán Xây dựng Decision Tree

Có nhiều thuật toán xây dựng Decision Tree nổi tiếng được sử dụng trong thực tế, mỗi thuật toán có những đặc điểm và ưu nhược điểm riêng. Các thuật toán này sử dụng các tiêu chí chia nhánh khác nhau để tìm ra cách chia tối ưu nhất tại mỗi bước. Việc lựa chọn thuật toán phù hợp phụ thuộc vào loại bài toán, đặc điểm dữ liệu và yêu cầu cụ thể của dự án. Các thuật toán nổi bật bao gồm ID3, C4.5, CART và các biến thể hiện đại. Mỗi thuật toán đều có cơ chế tính toán entropy, information gain hoặc gini index khác nhau để quyết định cách chia dữ liệu. Hiểu rõ về các thuật toán này giúp nhà phát triển lựa chọn công cụ phù hợp và tối ưu hóa hiệu suất của Decision Tree.

2.1. Thuật toán ID3 và C4.5

ID3 (Iterative Dichotomiser 3) là thuật toán cổ điển sử dụng Information Gain dựa trên entropy để chọn thuộc tính chia nhánh. C4.5 là cải tiến của ID3, sử dụng Gain Ratio để giải quyết vấn đề thiên vị của ID3 đối với các thuộc tính có nhiều giá trị. Cả hai thuật toán đều tính toán entropy để đo lường độ không tinh khiết của dữ liệu.

2.2. Thuật toán CART

CART (Classification and Regression Trees) sử dụng Gini Index làm tiêu chí chia nhánh, có khả năng xử lý cả bài toán phân loại và hồi quy. CART tạo ra cây nhị phân (binary tree) nơi mỗi nút chỉ có tối đa hai nhánh con, giúp mô hình đơn giản hơn và dễ diễn giải.

III. Ưu điểm và Nhược điểm của Decision Tree

Decision Tree là một mô hình học máy có nhiều ưu điểm nổi bật, nhưng cũng tồn tại những hạn chế cần lưu ý. Hiểu rõ về các ưu nhược điểm này giúp người phát triển đánh giá khách quan liệu Decision Tree có phù hợp với bài toán cụ thể hay không. Những ưu điểm của Decision Tree bao gồm tính dễ diễn giải, khả năng xử lý dữ liệu không cần tiêu chuẩn hóa, và khả năng tự động phát hiện các tương tác giữa các thuộc tính. Tuy nhiên, nhược điểm chính là khuynh hướng overfitting - mô hình học quá tốt từ dữ liệu huấn luyện nhưng kém hiệu quả trên dữ liệu mới, cũng như độ phức tạp tính toán cao khi xử lý dữ liệu lớn.

3.1. Ưu điểm chính của Decision Tree

Decision Tree có tính dễ diễn giải rất cao, cho phép người dùng theo dõi rõ ràng quá trình ra quyết định. Mô hình không yêu cầu tiêu chuẩn hóa dữ liệu (normalization), xử lý tốt dữ liệu khuyết thiếu, và có khả năng phát hiện các tương tác phi tuyến giữa các biến. Chi phí dự đoán thấp sau khi xây dựng, và mô hình hoạt động hiệu quả với cả dữ liệu định tính và định lượng.

3.2. Nhược điểm và hạn chế

Nhược điểm chính của Decision Tree là khuynh hướng overfitting mạnh mẽ, đặc biệt khi cây quá sâu. Mô hình có thể không ổn định - những thay đổi nhỏ trong dữ liệu có thể tạo ra cây hoàn toàn khác. Chi phí training cao, và khó khăn trong việc xử lý dữ liệu không cân bằng. Pruning (cắt tỉa cây) là cần thiết để cải thiện khả năng tổng quát hóa.

IV. Ứng dụng thực tế của Decision Tree trong các lĩnh vực

Decision Tree đã được ứng dụng rộng rãi trong nhiều lĩnh vực khác nhau của đời sống, từ kinh doanh, y tế, giáo dục cho đến tài chính. Mỗi lĩnh vực khai thác sức mạnh của Decision Tree để giải quyết các bài toán phân loại và dự đoán cụ thể. Trong lĩnh vực marketing, Decision Tree được sử dụng để dự đoán khả năng khách hàng mua sản phẩm, phân loại khách hàng tiềm năng và xác định nhóm khách hàng có giá trị cao. Ở lĩnh vực y tế, mô hình hỗ trợ chẩn đoán bệnh dựa trên triệu chứng, dự đoán kết quả điều trị và hỗ trợ quyết định lâm sàng. Decision Tree cũng đóng vai trò nền tảng cho các mô hình ensemble mạnh mẽ như Random Forest và Gradient Boosting, mở ra khả năng xây dựng các hệ thống dự đoán hiệu suất cao.

4.1. Ứng dụng trong y tế và tài chính

Trong y tế, Decision Tree hỗ trợ chẩn đoán bệnh dựa trên triệu chứng bệnh nhân, dự đoán tiên lượng bệnh, phát hiện bệnh ở giai đoạn sớm, và hỗ trợ lựa chọn phương pháp điều trị. Trong tài chính ngân hàng, mô hình được dùng để phát hiện gian lận, đánh giá rủi ro tín dụng, phê duyệt khoản vay và phân loại khách hàng theo độ rủi ro.

4.2. Ứng dụng trong giáo dục và các lĩnh vực khác

Trong lĩnh vực giáo dục, Decision Tree giúp phân loại kết quả học tập, dự đoán học lực học sinh, phát hiện những học sinh có nguy cơ bỏ học và đề xuất can thiệp kịp thời. Ngoài ra, Decision Tree còn ứng dụng trong xử lý ảnh, phân loại documents, dự báo thời tiết, và nhiều lĩnh vực khác.

Trích đoạn nội dung tài liệu

MỞ ĐẦU PAGE \* MERGEFORMAT 2 1. Giới thiệu vấn đề cần giải quyết Trong thế giới hiện đại, dữ liệu đang trở thành một tài nguyên quý giá và giữ vai trò then chốt trong việc ra quyết định ở hầu hết các lĩnh vực của đời sống – từ kinh doanh, y tế, giáo dục cho đến tài chính và công nghệ. Không chỉ các tập đoàn lớn, mà ngay cả các doanh nghiệp nhỏ, tổ chức giáo dục, hay thậm chí các cá nhân cũng đang tận dụng sức mạnh của dữ liệu để tối ưu hóa hoạt động, dự đoán xu hướng và nâng cao hiệu quả công việc. Sự bùng nổ dữ liệu đến từ nhiều nguồn khác nhau như mạng xã hội, hệ thống bán hàng, cảm biến IoT, hay hồ sơ bệnh án đã đặt ra yêu cầu cấp thiết: Làm thế nào để khai thác và phân tích khối lượng dữ liệu khổng lồ này một cách hiệu quả và có ý nghĩa? Để trả lời cho câu hỏi đó, các nhà phân tích và khoa học dữ liệu đã phát triển và ứng dụng nhiều công cụ, kỹ thuật cũng như thuật toán khác nhau trong lĩnh vực học máy (machine learning).

Trong số đó, Decision Tree (Cây Quyết Định) nổi lên như một trong những mô hình đơn giản, trực quan nhưng lại vô cùng hiệu quả trong việc giải quyết các bài toán phân loại và dự đoán. Decision Tree là một kỹ thuật học máy dựa trên mô hình cây, nơi các quyết định được đưa ra thông qua một chuỗi các điều kiện được sắp xếp dạng phân nhánh. Tại mỗi nút (node) của cây, thuật toán đặt ra một câu hỏi – chẳng hạn như "Giá trị của thuộc tính A có lớn hơn một ngưỡng nào đó không?" – và dựa vào câu trả lời (có/không) để chuyển sang nhánh tiếp theo. Quá trình này tiếp diễn cho đến khi đạt được một kết quả đầu ra cụ thể ở nút lá (leaf node).

Mô hình này rất trực quan và dễ hiểu, giúp người dùng không chuyên cũng có thể theo dõi quá trình ra quyết định của mô hình. Không chỉ có tính dễ diễn giải, Decision Tree còn có khả năng xử lý linh hoạt cả dữ liệu định tính và định lượng, cũng như không yêu cầu giả định phức tạp về phân phối dữ liệu. Mô hình này đã được ứng dụng thành công trong nhiều lĩnh vực thực tiễn như: ● Dự đoán khả năng khách hàng mua sản phẩm (marketing), ● Chẩn đoán bệnh dựa trên triệu chứng (y tế), ● Phát hiện gian lận tài chính (ngân hàng), ● Phân loại kết quả học tập (giáo dục),. Bên cạnh việc áp dụng để giải quyết bài toán cụ thể, Decision Tree còn đóng vai trò nền tảng cho nhiều mô hình học máy mạnh mẽ hơn như Random Forest hay Gradient Boosting.

Do đó, việc tìm hiểu kỹ và triển khai thực nghiệm mô hình Decision Tree là bước đi quan trọng giúp xây dựng nền tảng kiến thức vững chắc cho những người học và nghiên cứu trong lĩnh vực khoa học dữ liệu. Lý do chọn đề tài Trong quá trình học tập và nghiên cứu về lĩnh vực học máy, nhóm nhận thấy rằng bài toán phân loại là một trong những vấn đề phổ biến và có ứng dụng rộng rãi trong thực tế. Việc lựa chọn một mô hình vừa mang tính hiệu quả, vừa dễ triển khai và phân tích được xem là một bước đi quan trọng để tiếp cận chuyên sâu hơn các thuật toán phức tạp trong tương lai. Trong số các thuật toán học máy hiện có, Decision Tree (Cây Quyết Định) là một mô hình nổi bật bởi khả năng cân bằng giữa tính đơn giản trong cài đặt và tính hiệu quả trong xử lý.

Lý do nhóm chọn nghiên cứu Decision Tree là vì mô hình này có tính minh bạch cao, cho phép người dùng theo dõi được toàn bộ quá trình ra quyết định thông qua cấu trúc cây phân nhánh trực quan. Đây là một đặc điểm rất quan trọng trong bối cảnh ngày nay, khi mà việc giải thích mô hình (model interpretability) đang được đặt lên hàng đầu, đặc biệt là trong các lĩnh vực yêu cầu minh bạch như y tế, tài chính hay giáo dục. Ngoài ra, Decision Tree có thể xử lý đồng thời cả dữ liệu định tính và định lượng, không yêu cầu giả định phân phối dữ liệu, và ít bị ảnh hưởng bởi giá trị thiếu hoặc dữ liệu không chuẩn hóa. Điều này giúp giảm thiểu khâu tiền xử lý, đồng thời làm tăng tính ứng dụng của mô hình trong các môi trường dữ liệu thực tế, vốn thường không hoàn hảo.

Lý do Decision Tree được ưa chuộng trong các bài toán học máy là nhờ các đặc điểm sau: 1. Tính trực quan và dễ hiểu: Khác với các mô hình phức tạp khác như mạng nơron nhân tạo hay các mô hình máy vector hỗ trợ (SVM), cây quyết định có thể dễ dàng diễn giải và trực quan hóa. Điều này rất hữu ích khi mô hình cần được giải thích cho người dùng không có chuyên môn kỹ thuật, như các nhà quản lý doanh nghiệp. Không yêu cầu dữ liệu chuẩn hóa: Các thuật toán cây quyết định không yêu cầu phải chuẩn hóa hay chuyển đổi dữ liệu trước khi sử dụng.

Điều này giúp tiết kiệm thời gian trong quá trình xử lý dữ liệu và dễ dàng áp dụng cho nhiều loại dữ liệu khác nhau. Khả năng làm việc với cả dữ liệu phân loại và liên tục: Cây quyết định có thể làm việc với cả dữ liệu phân loại (categorical data) và dữ liệu liên tục (continuous data). Điều này khiến nó trở thành một thuật toán linh hoạt, phù hợp với nhiều bài toán khác nhau trong học máy. Tính năng loại bỏ thuộc tính không quan trọng: Trong quá trình huấn luyện, cây quyết định có thể tự động loại bỏ các thuộc tính không quan trọng hoặc không có đóng góp lớn vào kết quả dự đoán.

Điều này giúp mô hình đơn giản hơn và tránh được hiện tượng overfitting. Việc lựa chọn đề tài này không chỉ giúp nhóm rèn luyện kỹ năng phân tích dữ liệu và đánh giá mô hình, mà còn tạo cơ hội để áp dụng kiến thức lý thuyết vào một thuật toán nền tảng nhưng mang tính ứng dụng cao. Đây sẽ là tiền đề quan trọng để nhóm tiếp tục mở rộng nghiên cứu sang các mô hình học máy nâng cao hơn trong tương lai. Mục tiêu nghiên cứu Mục tiêu chính của đề tài là tìm hiểu, phân tích và ứng dụng mô hình Cây quyết định (Decision Tree) để giải quyết bài toán phân loại – một trong những bài toán phổ biến nhất trong lĩnh vực học máy.

Việc thực hiện đề tài không chỉ giúp củng cố kiến thức lý thuyết về học máy mà còn rèn luyện kỹ năng thực hành triển khai mô hình trên dữ liệu thực tế. Các mục tiêu cụ thể bao gồm:Nghiên cứu lý thuyết về thuật toán cây quyết định Tìm hiểu khái niệm, cấu trúc và cơ chế hoạt động của mô hình Decision Tree. Phân tích chi tiết các thành phần cấu thành cây quyết định như nút gốc, nút trung gian, nhánh, và nút lá. Bên cạnh đó, làm rõ nguyên tắc phân chia dữ liệu thông qua các chỉ số như Entropy, Information Gain, Gain Ratio và Gini Index, đồng thời tìm hiểu ba thuật toán phổ biến: ID3, C4.

Tìm hiểu quy trình xử lý và chuẩn bị dữ liệu Dữ liệu đầu vào là yếu tố then chốt quyết định hiệu quả của mô hình. Do đó, đề tài sẽ phân tích và thực hiện các bước tiền xử lý dữ liệu như: làm sạch dữ liệu, xử lý giá trị thiếu, mã hóa dữ liệu định danh và chuẩn hóa dữ liệu định lượng. Việc chuẩn bị kỹ lưỡng này sẽ đảm bảo tính chính xác và hiệu quả trong quá trình huấn luyện mô hình. Xây dựng mô hình phân loại sử dụng Decision Tree Trên cơ sở kiến thức lý thuyết đã tìm hiểu, đề tài sẽ triển khai mô hình Decision Tree trên một bộ dữ liệu thực tế.

Quy trình xây dựng cây sẽ bao gồm: lựa chọn thuộc tính phân chia tại mỗi bước, phân tách dữ liệu đệ quy theo các tiêu chí đánh giá, và áp dụng kỹ thuật pruning (cắt tỉa) nhằm giảm thiểu độ phức tạp và tránh hiện tượng overfitting. Đánh giá hiệu quả mô hình PAGE \* MERGEFORMAT 2 Mô hình được huấn luyện sẽ được kiểm tra bằng cách sử dụng các độ đo đánh giá phổ biến trong học máy như: Accuracy, Precision, Recall, F1-score, và ma trận nhầm lẫn (Confusion Matrix). Các độ đo này sẽ phản ánh mức độ chính xác và khả năng tổng quát hóa của mô hình trên tập dữ liệu kiểm tra. So sánh với các mô hình học máy khác Để đánh giá rõ hơn vị trí của Decision Tree, đề tài sẽ triển khai thêm một số mô hình phân loại phổ biến khác như Random Forest và Logistic Regression trên cùng tập dữ liệu.

Qua đó, tiến hành so sánh hiệu suất giữa các mô hình nhằm nêu bật ưu điểm và hạn chế của Decision Tree trong bối cảnh cụ thể. Phân tích khả năng ứng dụng thực tế Dựa trên kết quả thực nghiệm, nhóm sẽ phân tích khả năng ứng dụng của Decision Tree trong các lĩnh vực cụ thể như: chẩn đoán y tế, đánh giá rủi ro tài chính, tiếp thị, phát hiện gian lận, và giáo dục. Đồng thời, đề tài cũng đánh giá tính khả thi trong việc triển khai mô hình vào các hệ thống hỗ trợ ra quyết định thực tế. Rèn luyện kỹ năng nghiên cứu và triển khai mô hình học máy Thông qua việc thực hiện đề tài, nhóm nghiên cứu sẽ nâng cao kỹ năng lập trình và sử dụng các thư viện học máy phổ biến như Scikit-learn, Pandas, Numpy, cũng như kỹ năng phân tích dữ liệu, trực quan hóa và đánh giá mô hình.

Đây là nền tảng quan trọng để tiếp tục nghiên cứu các mô hình học máy nâng cao hơn trong tương lai. Phạm vi nghiên cứu Đề tài tập trung nghiên cứu và triển khai thuật toán Cây quyết định (Decision Tree) trong bối cảnh bài toán phân loại – một trong những bài toán cơ bản và phổ biến trong học máy. Mục tiêu là xây dựng quy trình đầy đủ từ xử lý dữ liệu đầu vào đến huấn luyện, đánh giá và so sánh mô hình. Dữ liệu sử dụng sẽ là một tập dữ liệu thực tế phù hợp với bài toán phân loại, được xử lý để đảm bảo tính khả dụng và nhất quán trước khi đưa vào huấn luyện.

Các bước chính của đề tài bao gồm: ● Làm sạch và chuẩn hóa dữ liệu đầu vào. ● Xây dựng và huấn luyện mô hình Decision Tree. ● Đánh giá hiệu năng mô hình bằng các chỉ số cơ bản. PAGE \* MERGEFORMAT 2 ● Thực hiện so sánh kết quả với một số mô hình phân loại khác như Random Forest và Logistic Regression.