Chương 1: Phần đầu giới thiệu về lý thuyết cơ bản liên quan tới rút gọn đặc trưng, lựa chọn đặc trưng và trích xuất đặc trưng, đồng thời điểm lại một số nghiên cứu gần đây. Sau phần phân tích, đánh giá là kết luận của chương. Chương 2: Đề xuất một hàm đánh giá đặc trưng và áp dụng chiến lược tìm kiếm theo kinh nghiệm dựa trên hàm đánh giá này nhằm nâng hiệu quả của việc lựa chọn đặc trưng. Sau khi trình bày về quy trình, giải pháp đề xuất, luận án áp dụng phương pháp đề xuất cho bộ dữ liệu tín dụng.
Phần còn lại của chương thực hiện thực nghiệm trên các bộ dữ liệu tín dụng và so sánh kết quả với một số phương pháp lựa chọn đặc trưng khác. Chương 3: Đề xuất một phương pháp trích xuất đặc trưng dựa trên việc xây dựng một hàm nhân mới trên cơ sở kết hợp một số hàm nhân cơ bản nhằm biến đổi không gian đặc trưng phù hợp với miền dữ liệu. Sau khi trình bày về quy trình, phương pháp đề xuất, phương pháp đề xuất được tiến hành trên bốn bộ dữ liệu ung thư. Việc thực nghiệm và so sánh với một số kỹ thuật khác được thực hiện ở phần còn lại của chương.
TỔNG QUAN VỀ RÚT GỌN ĐẶC TRƯNG Hầu hết các lĩnh vực khoa học và công nghệ ngày nay đều đòi hỏi phân tích dữ liệu nhằm bóc tách các tri thức hữu ích giúp cải tiến hay nâng cao hiệu quả của các lĩnh vực này. Dữ liệu quan sát và thu thập được từ những ứng dụng trong thực tế thường chứa nhiều thông tin nhiễu, dư thừa, đặc biệt với tập dữ liệu có số lượng thuộc tính lớn có thể dẫn tới việc tốn kém tài nguyên khi áp dụng kỹ thuật phân tích dữ liệu, và nhiều trường hợp không thể thực hiện được. Xuất phát từ nhu cầu thực tiễn đó, các kỹ thuật rút gọn đặc trưng được nghiên cứu và phát triển để giải quyết những vấn đề trên. Nội dung chương này nhằm giới thiệu tổng quan về vấn đề rút gọn đặc trưng và điểm lại một số hướng nghiên cứu về rút gọn đặc trưng tiêu biểu hiện nay.
Phần cuối của chương sẽ đưa ra một số phân tích, đánh giá một số kỹ thuật rút gọn đặc trưng thường được áp dụng hiện nay.1 Rút gọn đặc trưng Rút gọn đặc trưng được hiểu là quá trình thu gọn hoặc biến đổi không gian biểu diễn dữ liệu ban đầu thành một không gian con hoặc một không gian mới có số đặc trưng nhỏ hơn không gian ban đầu mà vẫn giữ được các đặc tính của dữ liệu gốc. Trong nhiều trường hợp, tập dữ liệu ban đầu có chứa nhiều đặc trưng không liên quan cho sự mô tả bản chất của hiện tượng mà ta quan tâm, khi đó có thể loại bỏ các đặc trưng không liên quan này và chỉ giữ lại các đặc trưng quan trọng. Có hai phương pháp để rút gọn đặc trưng gồm lựa chọn đặc trưng và trích xuất đặc trưng.2 Lựa chọn đặc trưng - Lựa chọn đặc trưng (Feature Selection): chọn lựa một tập con các đặc trưng từ các đặc trưng ban đầu mà không có sự thay đổi về giá trị của đặc trưng.1 Lựa chọn đặc trưng. 7 Lựa chọn đặc trưng là một trong những phương pháp hết sức tự nhiên để giải quyết vấn đề loại bỏ các đặc trưng dư thừa, trùng lặp và không liên quan trong dữ liệu.
Kết quả của lựa chọn đặc trưng là một tập con các đặc trưng từ tập đặc trưng ban đầu nhưng vẫn đảm bảo các tính chất của dữ liệu gốc. Lựa chọn đặc trưng giúp: (1) cải tiến hiệu năng (về tốc độ, khả năng dự đoán, và đơn giản hóa mô hình); (2) trực quan hóa dữ liệu cho việc lựa chọn mô hình; (3) giảm chiều và loại bỏ nhiễu.1 Mục tiêu của lựa chọn đặc trưng Mục tiêu chính của lựa chọn đặc trưng là xác định các đặc trưng quan trọng và loại bỏ các đặc trưng không liên quan hoặc không phù hợp. Các thuật toán lựa chọn đặc trưng khác nhau sẽ có thể có các mục tiêu khác nhau. Một số mục tiêu thường được sử dụng: - Tìm ra tập con các đặc trưng có kích cỡ nhỏ nhất có thể, mà nó là cần và đủ cho việc phân tích dữ liệu (cụ thể ở đây là phân lớp) - Chọn một tập con có M đặc trưng từ một tập gồm N đặc trưng ban đầu (M<N), trong đó giá trị của hàm mục tiêu được tối ưu trên tập con kích cỡ M.
- Chọn một tập con các đặc trưng nhằm cải tiến độ chính xác dự đoán hoặc làm giảm kích cỡ của tập dữ liệu mà không làm giảm độ chính xác dự đoán của bộ phân lớp.2 Phân loại các kỹ thuật lựa chọn đặc trưng Dựa vào tính sẵn có của thông tin nhãn lớp (label), kỹ thuật lựa chọn đặc trưng có thể được chia thành ba loại: phương pháp có giám sát, bán giám sát, và không giám sát. Thông tin nhãn có sẵn của lớp giúp cho các thuật toán lựa chọn đặc trưng có giám sát lựa chọn được các đặc trưng phù hợp. Khi chỉ có một số ít dữ liệu đã được gán nhãn, có thể sử dụng lựa chọn đặc trưng bán giám sát, trong đó có thể tận dụng được lợi thế của cả dữ liệu được gán nhãn và dữ liệu không được gán nhãn. Hầu hết các thuật toán lựa chọn đặc trưng bán giám sát đều dựa trên việc xây dựng ma trận tương tự và lựa chọn các đặc trưng phù hợp nhất với ma trận tương tự đó.3 Các thành phần chính của lựa chọn đặc trưng Liu và Motoda [59] chỉ ra ba thành phần chính của lựa chọn đặc trưng là: (1) Chiến lược tìm kiếm tập con, (2) Hướng tìm kiếm hay nguyên tắc lựa chọn, bổ sung, loại bỏ hoặc thay đổi đặc trưng trong quá trình tìm kiếm, và (3) Tiêu chí đánh giá các tập con khác nhau.2 dưới đây thể hiện lựa chọn đặc trưng theo 3 thành phần nói trên.
Tiêu chí đánh giá Chính xác Nhất quán Toàn bộ Kinh nghiệm Không xác định Cơ bản Chiến lược tìm kiếm Tiến Lùi Ngẫu nhiên Hướng tìm kiếm Hình 1.2 Ba thành phần chính của lựa chọn đặc trưng[59] (1) Chiến lược tìm kiếm Do số tập con là 2N nên không gian tìm kiếm sẽ tăng theo hàm mũ khi N tăng lên. Không gian tìm kiếm sẽ là tương đối nhỏ khi số lượng đặc trưng N là nhỏ. Khi không gian tìm kiếm lớn thì chiến lược tìm kiếm được sử dụng sẽ ảnh hưởng lớn tới hiệu năng của nó. Kết quả tìm kiếm phụ thuộc vào việc lựa chọn chiến lược tìm kiếm.
Mục tiêu là tìm được một tập con các đặc trưng tối ưu trong thời gian ít nhất có thể theo các tiêu chí cho trước. Các chiến lược tìm kiếm có thể được chia thành 3 nhóm dưới đây. Tìm kiếm toàn bộ (chiến lược vét cạn): trong chiến lược này, tất cả các khả năng có thể của các tập con sẽ được kiểm tra. Kết quả cuối cùng một tập con tốt nhất 9 theo tiêu chí tìm kiếm.
Độ phức tạp không gian của chiến lược này trong trường hợp tổng quát nhất là 𝛰(2𝑁 ). Khi biết trước được hướng tìm kiếm, thì không gian tìm kiếm sẽ là (𝑁0) + (𝑁1) + ⋯ + (𝑀 𝑁 ) Trong đó, M là số lượng đặc trưng tối thiểu của một tập con thỏa mãn một số tiêu chí đánh giá nào đó. Tìm kiếm theo kinh nghiệm: là quá trình tìm kiếm sử dụng hàm đánh giá để hướng dẫn sự tìm kiếm. Mục tiêu của hàm đánh giá nhằm xác định theo kinh nghiệm định hướng để tìm được tập con tối ưu.
Chiến lược tìm kiếm theo kinh nghiệm chỉ thực hiện theo một lộ trình cụ thể và tìm ra một tập con gần tối ưu nên nó cho kết quả nhanh hơn so với chiến lược tìm kiếm vét cạn. Tìm kiếm không xác định: chiến lược này khác với hai chiến lược kể trên ở chỗ nó tìm kiếm tập con kế tiếp một cách ngẫu nhiên. Chiến lược này thường được áp dụng trong không gian tìm kiếm khá lớn và tồn tại nhiều giá trị tối ưu cục bộ. Ưu điểm chính là của chiến lược này là tránh được các tối ưu cục bộ và tương đối dễ cài đặt.
(2)Hướng tìm kiếm Việc tìm kiếm tập con các đặc trưng tối ưu trong không gian tìm kiếm có thể bắt đầu từ một tập rỗng sau đó lần lượt thêm từng đặc trưng hoặc bắt đầu từ một tập đủ các đặc trưng rồi loại bỏ từng đặc trưng. Với việc tìm kiếm như vậy thì thời gian trung bình để tìm ra tập con tối ưu giữa các hướng tìm kiếm khác nhau không có sự khác biệt. Việc tạo ra tập con các đặc trưng có mối liên hệ chặt chẽ với hướng tìm kiếm. Tìm kiếm tiến tuần tự (Sequential Forward Generation-SFG): Bắt đầu từ một tập rỗng các đặc trưng Sselect Tại mỗi bước tìm kiếm, dựa trên một số tiêu chí nhất định, một đặc trưng được thêm vào tập Sselect.
Quá trình tìm kiếm này sẽ dừng lại khi tất cả các đặc trưng trong tập đặc trưng ban đầu được thêm vào Sselect. Kết quả là một danh sách xếp hạng các đặc trưng được tạo ra theo thứ tự được thêm vào Sselect. Tìm kiếm lùi tuần tự (Sequential Backward Generation-SBG): Bắt đầu với một tập đủ các đặc trưng. Tại mỗi bước tìm kiếm dựa vào một số tiêu chí nào đó, một đặc trưng ít quan trọng nhất sẽ bị loại bỏ.
Các đặc trưng trong tập đặc trưng sẽ dần bị 10 loại bỏ cho tới khi trong tập đặc trưng chỉ còn lại một đặc trưng. Kết quả là một danh sách xếp hạng các đặc trưng theo thứ tự bị loại được tạo ra. SBG và SFG là hai phương pháp bổ sung cho nhau vì đôi khi tìm ra đặc trưng quan trọng nhất là dễ dàng hơn so với tìm ra đặc trưng ít quan trọng và ngược lại. Tìm kiếm theo hai hướng (Birectional Generation-BG): Nếu trong trường hợp tập đặc trưng tối ưu không nằm trong khu vực giữa của không gian tìm kiếm, thì việc bắt đầu tìm kiếm từ cả hai phía của không gian tìm kiếm là giải pháp phù hợp.
Quá trình tìm kiếm sẽ được bắt đầu từ hai hướng một cách đồng thời. Khi một trong hai chiều tìm kiếm tìm được M đặc trưng tốt nhất trước khi đi đến điểm giữa trong không gian tìm kiếm thì quá trình dừng lại. Nếu cả hai chiều tìm kiếm tiến đến điểm giữa trong không gian tìm kiếm thì quá trình cũng kết thúc. Khi số lượng các đặc trưng liên quan M là nhỏ hơn N/2, SFG chạy nhanh hơn, ngược lại nếu M lớn hơn N/2 khi đó SBG chạy nhanh hơn.
