chương 1.5 VÀ GIẢI THUẬT RANDOM FOREST 2. Tong quan Giải thuật C4.5 là một giải thuật học máy bằng cây quyết định được phát triên bởi Ross Quinlan.Ross Quinlan đã phát triển giải thuật C4.5 với khoảng 9000 dòng lệnh C. Cây quyết định được tạo ra bởi C4.5 có thê được sử dụng cho bài toán phân lớp [20].5 đã có nhiều cải tiễn so với giải thuật ID3 như: Cho phép xử lý cả các thuộc tính tiếp diễn và rời rạc Xử lý được những thiếu sót trong training data với những giá trị thiếu Hỗ trợ việc xử lý cắt cây (pruning tree) sau khi tao Giải thuật J48 là một bản cài đặt giải thuật C4.5 được sử dụng với công cụ Weka và là một phiên bản được viết bằng Java.5 (wong TÔ: Giải thuật C4.5 là giải thuật phân lớp dữ liệu dựa trên cây quyết định hiệu quả và phổ biến trong những ứng dụng xử lý và thao tác với những tập dữ liệu có kích thước nhỏ.5 phù hợp với những cơ sở dit liệu nhỏ, và có khả năng sắp xếp lại dữ liệu tại mỗi node trong quá trình phát triển cây quyết định.5 chọn thuộc tính phân loại tốt nhất Trong quá trình xây dựng cây quyết định, tác vụ quan trọng nhất là ta cần chọn thuộc tính tốt nhất dé phân hoạch dữ liệu. Trong quá trình xây dựng cây, ta cần tiến hành phân hoạch dữ liệu sao cho.
kết quả thu được cây nhỏ nhất, điều nay sẽ phụ thuộc vào việc chọn thuộc tính sinh ra các nút thuần khiết nhất. Ở đây ta tìm hiểu và sử dụng giải thuật học máy dựa trên cây quyết định tiêu biểu là giải thuật C4. Dưới đây là công thức (2.1) Dưới đây là công thức tính độ đo.2): al 148) = Dy 15) (22) i Độ lợi thông tin (informartion gain) khi chọn thuộc tinh 4 phân hoạch dit liệu Š thành v phần được tinh theo công thức (2.3) [2]: Gs) = /(S)-1,S) (3) Tuy nhiên, khi dữ liệu có thuộc tính có nhiều giá trị hơn các thuộc tính khác, độ lợi thông tin tăng trên các thuộc tính có nhiều giá trị phân hoạch. Giả sử khi sử dụng thuộc tinh A phân hoạch dữ liệu Š thành v phan, thông tin của phân phối dữ liệu được tính như công thức (2.4) & |s| Va tỉ số độ lợi được tính như công thức (2.5) P(S) Phy viện Trường Dai học 2.
Xử lý những giá trị thiểu trong C4.5 Trong quá trình xử lý các tệp dữ liệu, từ những bài toán đơn giản cho đến những bài toán phức tap, không thé tránh khỏi việc có dữ liệu thiếu (missing data) trong tệp dữ liệu. Dữ liệu thiếu là giá trị của thuộc tính không có do lỗi trong quá trình nhập bản ghi vào cơ sở dữ liệu (có thể nhập qua biểu mẫu ứng dụng hoặc nhập trực tiếp vào cơ sở dữ liệu). Khi đó độ đo độ lợi thông tin của test 8 giảm vì chúng ta không phân được lớp nao từ các case trong Sp và được tính theo công thức 2.6) Is] Y nghĩa của các thông số trong công thức trên: #9 là training data B là test data Tập con Sy là tập con các case trong S ma có giá trị thuộc tinh A, không. biét S; biéu diễn các case với đầu ra là b; trong B 12 Từ đó P(S, 8) cũng thay đổi như sau: t P(S,B) =— ISol oa (at )- Isil Dis Isil = 27 BI Uist) ~ 2, BỊ 5% isi a0 2.
Ưu nhược đi m của cây quyết định trong phân lớp dữ liệu 2. Uu điểm của cây quyết định - Cho phép sinh ra các quy tắc dé hiểu: Một trong những điểm mạnh của cây quyết định là khả năng sinh ra các quy tắc, những quy tắc này sau đó có thé dé dàng chuyển đổi được sang dạng tiếng anh, hoặc chuyển thành các câu lệnh SQL. Tir đó sẽ khiến cho quá trình phân lớp trở nên dé hiểu và dé mô tả hơn. - Hỗ trợ khả năng tính toán dễ dàng trong quá phân lóp: Các giải thuật được sử dụng dé tạo ra cây quyết định thường tạo ra những cây với số phân nhánh thấp và các test đơn giản tại từng node.
Điều này trở thành một ưu điểm nỗi trội của cây quyết định, bởi lẽ trong môi trường thương mại, các mô hình dự đoán thường được sử dụng dé phân lớp với số lượng dữ liệu cực lớn, thậm chí lên đến hàng ti bản shi. Thư viện ong Dé 2. Nhược điểm của cây quyết định Mặc dù có nhiều ưu điểm như đã mô tả ở phần trên, cây quyết định vẫn tồn tại một số điểm yếu. Một trong những điểm yếu nhất của cây quyết định là nó không tỏ ra thích hợp khi thực hiện những bài toán với mục tiêu là dự đoán giá trị của thuộc tính liên tục như doanh số, thu nhập, lãi suất V.
- Gặp khó khăn hoặc phát sinh lỗi nếu có quá nhiều lớp. Đối với cây quyết định, nếu có quá nhiều lớp thì có thể xảy ra lỗi. Ngoài ra một số cây quyết định lại chỉ phù hợp khi tiến hành những bài toán phân lớp nhị phân. ~ Tốn kém khi đào tao.
Khi ta quyết định sử dụng cây quyết định, ta sẽ cần phải chấp nhận sẽ tốn kém hay đắt về mặt tính toán, vì tại mỗi node ta cần tính toán một độ đo trên từng thuộc tính. Giải thuật Random Forest 2. Giới thiệu tong quan về giải thuật Random Forest Random Forest là một giải thuật học máy thông dụng thuộc kiểu học có giám sát. Trong đó, thay vì chỉ dựa vào duy nhất một cây quyết định, giải thuật Random Forest sẽ tiến hành dự đoán trên từng cây và dựa trên những dự đoán chiếm ưu thé, nó sẽ dự đoán ra kết quả cuối cùng (final output).
Điều quan trọng: Số lượng cây trong rừng càng nhiều, thì độ chính xác sẽ càng cao, và càng han chế được vấn đề overfiting. Minh họa cơ chế làm việc của giải thuật Random Forest (Nguồn: https://www.javatpoint,com/machine-learning-random-forest-algorithm: 2. Lý do sử dụng Random Forest Có một số lý do giải thích tại sao ta nên sử dụng giải thuật Random Forest: Thời gian để thực hiện training ít hơn so với các giải thuật khác. Giải thuật Random Forest đưa ra dự đoán kết quả với độ chính xác cao, đồng.
thời hiệu quả ngay cả với các tệp dữ liệu lớn. Có độ chính xác cao, thậm chí cho phép duy trì độ chính xác ngay cả khi có một lượng lớn dữ liệu bị thiếu. Giảm thiểu độ rủi ro của vấn đề overfitting 2. Cơ chế làm việc của giải thuật Random Forest Giải thuật Random Forest thực hiện trong hai giai đoạn.
đầu tiên là tạo ra rừng ngẫu nhiên (random forest) bằng cách kết hợp N cây quyết định, giai đoạn thứ hai là đưa ra dự đoán cho từng cây được tạo ra trong giai đoạn đầu. Tiến trình làm việc của giải thuật Random Forest bao gồm các bước như sau: Bước 1: Chon ngẫu nhiên các samples từ tập dữ liệu đào tạo (training set) Bước 2: Xây dựng các cây quyết định được kết hợp với các training data được chọn Bước 3: Tiến hành voting bằng cách chia trung bình Bước 4: Chọn kết quả dự đoán được vote nhiều nhất dé làm kết quả dự đoán cuối cùng. Quá trình kết hợp, của nhiều mô hình1 này còn In VÌ là Ensemble. Ensemble sử dung hai phuong 'pháp sau: g 1 Bagging: Tạo ra một tập con dit liệu dao tạo khác từ tập dữ liệu đào tao với sự thay thế.
Kết quả cuối cùng được dựa trên giá trị voting chủ yếu. Boosting: Kết hợp các weak learners vào các strong learners bằng cách tạo ra các mô hình tuần tự, nhờ đó mô hình cuối cùng có độ chính xác cao nhất. Ví dụ: ADA BOOST, XG BOOST Bagging Boosting th la -—-w——-$ aw’ Parallel Sequential Hình 2. Biểu diễn về hai phương pháp Bagging va Boosting (Nguồn: https:/Avww simplilearn.com/tutorials/machine-learning-tutorial/random-forest-algorithm) Giải thuật Random Forest sử dụng phương pháp Bagging.
Bagging còn được biết đến với tên là Bootstrap Aggregation được sử dụng bởi giải thuật Random Forest. Guá tình này bài dân tới CR HES 19†4i6"Ôiởfr Nội sờ xếp, dụ liệu này sẽ được tô chức thành các samples còn được gọi là Bootstrap Sample. Quá trình này còn được gọi là Bootstraping. Original Data Bootstrapping eee moe Hinh 2.
Biéu dién pink pháp Bagging - Tính lung tung: Mỗi cây có một thuộc tính duy nhất, có các đặc điểm và tính đa dạng liên quan đến các cây khác. i 4 : ThỪ v ten TTỊ ‘ong Đại học Mở Hà Nội - Tính song song: Ta hoàn toàn có thê sử dụng CPU đề xây dựng random forest vì mỗi cây được tạo một cách tự động từ các dữ liệu và tính năng khác nhau. - Phân chia dữ liệu đào tạo-kiểm tra (Train-Test split): Trong giải thuật Random Forest, ta không cần phải phân biệt giữa dữ liệu cho việc đào tạo và đữ liệu cho. test, bởi lẽ cây quyết định sẽ không bao giờ nhìn thay quá 30% dữ liệu.
- Tính ổn định (stability): Kết quả cuối cùng được dựa trên phương pháp Bagging, điều đó có nghĩa là kết quả được dựa trên majority voting hoặc giá trị trung bình. Ứng dụng của giải thuật Random Forest Giải thuật Random Forest có thể được sử dụng trong các lĩnh vực sau: Ngân hàng: Nhận diện rủi ro của các khoản vay. Giúp ngân hàng đưa ra quyết định hoặc phân biệt xem có nên cho khách hàng vay hay không. Ngoài ra giải thuật cũng giúp phát hiện ra những kẻ lừa đảo.
Y dược và chăm sóc sức khỏe: Nhận diện xu hướng dịch bệnh và rủi ro của bệnh. Các chuyên gia y tế có thể sử dụng các hệ thống ứng dụng random forest để 17 giúp chân đoán bệnh nhân. Các bệnh nhân được chan đoán bằng cách xem lại lịch sử điều trị của họ, đề từ đó đưa ra đề xuất sử dụng thuốc cho các bệnh nhân. Chứng khoán: Các chuyên gia tài chính có thể sử dụng giải thuật Random Forest để nhận diện tiềm năng thị trường của các cổ phiếu.
Giải thuật cũng cho phép họ nhớ lại về diễn biến của các cô phiêu trước đó. Thương mại điện tử: Giúp các hãng dự đoán được sở thích của các khách hàng dựa trên hành vi tiêu thụ trong quá khứ của họ. Khi nào không sử dụng Random Forest Giải thuật Random Forest không phù hợp sử dụng trong những tình huống sau: Ngoại suy: Hồi quy Random Forest không lý tưởng đối với dữ liệu ngoại suy. Không giống như hồi quy tuyến tính vốn sử dụng những quan sát đã có sẵn để dự đoán các giá trị vượt ra miền các quan sát [17].
Dữ liệu thưa thớt: Random Forest không cung cấp kết quả tốt khi dữ liệu bị thưa thớt.
