Luận văn ThS: Rừng ngẫu nhiên cải tiến cho lựa chọn thuộc tính & phân loại dữ liệu gen

Luận văn thạc sĩ VNU UET nghiên cứu rừng ngẫu nhiên cải tiến cho lựa chọn thuộc tính và phân loại dữ liệu gen, góp phần vào lĩnh vực máy tính.

• Tác giả: Vũ Văn Luân
• Người hướng dẫn: TS. Nguyễn Thanh Tùng
• Trường học: Trường Đại học Công nghệ - Đại học Quốc gia Hà Nội
• Chuyên ngành: Công Nghệ Thông Tin
• Đề tài: Rừng Ngẫu Nhiên Cải Tiến Cho Lựa Chọn Thuộc Tính Và Phân Loại Dữ Liệu Gen
• Loại tài liệu: Luận văn thạc sĩ
• Năm xuất bản: 2017
• Địa điểm: Hà Nội

Mục lục chi tiết

• LỜI CAM ĐOAN
• 1. CHƯƠNG 1: GIỚI THIỆU VỀ KHAI PHÁ DỮ LIỆU VÀ LỰA CHỌN THUỘC TÍNH
• 1.1. Khai phá dữ liệu
• 1.1.1. Tổng quan về khai phá dữ liệu
• 1.1.2. Nhiệm vụ chính của khai phá dữ liệu
• 1.1.3. Quá trình khai phá dữ liệu
• 1.1.4. Một số kỹ thuật khai phá dữ liệu
• 1.1.4.1. Phân nhóm dữ liệu
• 1.1.4.2. Phân loại dữ liệu
• 1.1.4.3. Lựa chọn thuộc tính
• 1.1.4.4. Vai trò của lựa chọn thuộc tính trong khai phá dữ liệu
• 1.1.4.5. Chọn lựa thuộc tính trong bài toán phân loại
• 2. CHƯƠNG 2: CÂY QUYẾT ĐỊNH VÀ RỪNG NGẪU NHIÊN
• 2.1. Khái niệm chung
• 2.2. Phân loại và dự đoán. Cây quyết định
• 2.3. Các thuật toán học cây quyết định
• 2.3.1. Thuật toán CLS
• 2.3.2. Thuật toán ID3
• 2.4. Thuật toán Rừng ngẫu nhiên
• 3. CHƯƠNG 3: RỪNG NGẪU NHIÊN CẢI TIẾN CHO BÀI TOÁN LỰA CHỌN THUỘC TÍNH TRONG DỮ LIỆU CÓ SỐ CHIỀU CAO
• 3.1. Rừng ngẫu nhiên kiểm soát có điều hướng
• 3.2. Rừng ngẫu nhiên có kiểm soát
• 3.3. Rừng ngẫu nhiên kiểm soát có điều hướng
• 3.4. Cải tiến trọng số thuộc tính cho GRRF
• 4. CHƯƠNG 4: THỰC NGHIỆM TRÊN MÔI TRƯỜNG R VÀ ĐÁNH GIÁ KẾT QUẢ
• 4.1. Dữ liệu thực nghiệm
• 4.2. Kết quả thực nghiệm
• KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN

Tóm tắt

I. Tổng quan về luận văn thạc sĩ VNU UET rừng ngẫu nhiên

Luận văn thạc sĩ VNU UET về rừng ngẫu nhiên cải tiến cho lựa chọn thuộc tính và phân loại dữ liệu gen là một nghiên cứu quan trọng trong lĩnh vực công nghệ thông tin. Nghiên cứu này không chỉ giúp nâng cao hiệu quả của các thuật toán phân loại mà còn mở ra hướng đi mới cho việc ứng dụng trong phân tích dữ liệu gen. Mục tiêu chính của luận văn là cải tiến thuật toán rừng ngẫu nhiên để tối ưu hóa quá trình lựa chọn thuộc tính trong dữ liệu gen.

1.1. Khái niệm về rừng ngẫu nhiên trong phân loại dữ liệu

Rừng ngẫu nhiên là một trong những thuật toán học máy mạnh mẽ, được sử dụng rộng rãi trong phân loại dữ liệu. Nó hoạt động dựa trên nguyên lý kết hợp nhiều cây quyết định để cải thiện độ chính xác và giảm thiểu hiện tượng overfitting.

1.2. Tầm quan trọng của lựa chọn thuộc tính trong dữ liệu gen

Lựa chọn thuộc tính là một bước quan trọng trong khai phá dữ liệu, đặc biệt là trong phân loại dữ liệu gen. Việc lựa chọn đúng thuộc tính giúp cải thiện độ chính xác của mô hình và giảm thiểu chi phí tính toán.

II. Vấn đề và thách thức trong nghiên cứu rừng ngẫu nhiên

Mặc dù rừng ngẫu nhiên là một công cụ mạnh mẽ, nhưng vẫn tồn tại nhiều thách thức trong việc áp dụng nó cho dữ liệu gen. Một trong những vấn đề lớn nhất là số chiều cao của dữ liệu gen, điều này có thể dẫn đến khó khăn trong việc lựa chọn thuộc tính và phân loại chính xác.

2.1. Thách thức về số chiều cao trong dữ liệu gen

Dữ liệu gen thường có số chiều cao lớn, điều này gây khó khăn trong việc phân tích và lựa chọn thuộc tính. Việc giảm chiều dữ liệu mà không làm mất thông tin quan trọng là một thách thức lớn.

2.2. Vấn đề overfitting trong mô hình rừng ngẫu nhiên

Overfitting là một vấn đề phổ biến trong các mô hình học máy, bao gồm cả rừng ngẫu nhiên. Khi mô hình quá phức tạp, nó có thể học quá nhiều từ dữ liệu huấn luyện và không tổng quát tốt cho dữ liệu mới.

III. Phương pháp cải tiến rừng ngẫu nhiên cho lựa chọn thuộc tính

Luận văn đề xuất một phương pháp cải tiến cho rừng ngẫu nhiên nhằm nâng cao hiệu quả trong việc lựa chọn thuộc tính. Phương pháp này bao gồm việc điều chỉnh trọng số thuộc tính và áp dụng các kỹ thuật mới trong học máy.

3.1. Cải tiến trọng số thuộc tính cho rừng ngẫu nhiên

Cải tiến trọng số thuộc tính giúp tăng cường khả năng phân loại của mô hình bằng cách xác định rõ hơn tầm quan trọng của từng thuộc tính trong dữ liệu gen.

3.2. Ứng dụng các thuật toán học máy mới

Việc áp dụng các thuật toán học máy mới như GRRF (Guided Regularized Random Forest) có thể giúp cải thiện độ chính xác và hiệu quả của mô hình rừng ngẫu nhiên trong phân loại dữ liệu gen.

IV. Kết quả thực nghiệm và ứng dụng thực tiễn

Kết quả thực nghiệm cho thấy phương pháp cải tiến rừng ngẫu nhiên đã đạt được độ chính xác cao hơn so với các phương pháp truyền thống. Nghiên cứu này có thể được ứng dụng trong nhiều lĩnh vực khác nhau, từ y học đến sinh học.

4.1. Kết quả thực nghiệm trên dữ liệu gen

Các thử nghiệm cho thấy rằng mô hình cải tiến có thể phân loại chính xác hơn 90% các mẫu gen, cho thấy tính khả thi của phương pháp.

4.2. Ứng dụng trong lĩnh vực y học

Phương pháp này có thể được áp dụng để phân loại các gen liên quan đến bệnh tật, từ đó hỗ trợ trong việc chẩn đoán và điều trị bệnh.

V. Kết luận và hướng phát triển tương lai

Luận văn đã chỉ ra rằng rừng ngẫu nhiên cải tiến có thể nâng cao hiệu quả trong việc lựa chọn thuộc tính và phân loại dữ liệu gen. Hướng phát triển tương lai có thể bao gồm việc áp dụng các kỹ thuật học sâu để cải thiện hơn nữa độ chính xác của mô hình.

5.1. Tóm tắt những đóng góp của luận văn

Luận văn đã đóng góp một phương pháp mới cho rừng ngẫu nhiên, giúp cải thiện đáng kể hiệu quả phân loại dữ liệu gen.

5.2. Hướng nghiên cứu tiếp theo

Nghiên cứu tiếp theo có thể tập trung vào việc kết hợp rừng ngẫu nhiên với các phương pháp học sâu để tối ưu hóa hơn nữa quá trình phân loại dữ liệu gen.

Nội dung chính

Tổng quan nghiên cứu

Trong kỷ nguyên y học chính xác và tin sinh học hiện đại, việc phân tích dữ liệu biểu hiện gen đóng vai trò then chốt trong chẩn đoán sớm và điều trị các bệnh lý hiểm nghèo. Tuy nhiên, các bộ dữ liệu gen thường có cấu trúc đặc thù với số chiều siêu lớn nhưng kích thước mẫu lại rất hạn chế, thường chỉ từ 30 đến 100 mẫu bệnh phẩm nhưng lại chứa từ 2.000 đến hơn 10.000 gen khác nhau. Sự chênh lệch nghiêm trọng này gây ra hiện tượng quá khớp và làm suy giảm hiệu năng của các thuật toán phân loại kinh điển.

Trong các phương pháp học máy, Rừng ngẫu nhiên và Rừng ngẫu nhiên có kiểm soát bộc lộ nhược điểm lớn khi số lượng giá trị phân biệt của chỉ số Gini bị giới hạn ở mức tối đa khoảng 239 giá trị trên tập 30 mẫu. Điều này dẫn đến việc có hơn 2.700 thuộc tính có cùng độ đo Gini, khiến mô hình chọn ngẫu nhiên các gen nhiễu để phân tách nút. Luận văn thạc sĩ chuyên ngành Kỹ thuật phần mềm của tác giả Vũ Văn Luân, do Tiến sĩ Nguyễn Thanh Tùng hướng dẫn tại Trường Đại học Công nghệ – Đại học Quốc gia Hà Nội năm 2017, tập trung giải quyết triệt để thách thức này.

Mục tiêu cụ thể của nghiên cứu là phát triển một giải pháp cải tiến trọng số thuộc tính cho thuật toán Rừng ngẫu nhiên kiểm soát có điều hướng, nhằm tối ưu hóa khả năng lựa chọn đặc trưng và nâng cao độ chính xác phân loại. Phạm vi nghiên cứu tập trung vào các bộ dữ liệu gen có tỷ lệ phân bố cân bằng gồm 50% mẫu bệnh nhân mắc bệnh và 50% mẫu đối chứng khỏe mạnh. Kết quả nghiên cứu mang ý nghĩa thực tiễn to lớn khi giúp giảm hơn 85% số lượng gen rác không liên quan, đồng thời nâng cao độ chính xác phân loại tổng thể lên trên 92%, hỗ trợ đắc lực cho các bài toán chẩn đoán y sinh học lâm sàng.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Nghiên cứu được xây dựng trên nền tảng của quy trình Phát hiện tri thức và Khai phá dữ liệu với 5 bước chuẩn hóa, bao gồm trích chọn dữ liệu, tiền xử lý, biến đổi dữ liệu, khai phá dữ liệu và đánh giá biểu diễn tri thức. Trọng tâm lý thuyết của đề tài tập trung vào phương pháp học tập thể và thuật toán Rừng ngẫu nhiên do Leo Breiman phát triển, kết hợp kỹ thuật lấy mẫu lặp lại Bootstrap và đánh giá độ hỗn tạp bằng chỉ số Gini.

Mô hình nghiên cứu kế thừa sự phát triển của cây quyết định CART và thuật toán Rừng ngẫu nhiên có kiểm soát do Deng và Runger đề xuất năm 2012. RRF áp dụng hệ số phạt lambda trong khoảng từ 0 đến 1 để hạn chế việc thêm các thuộc tính mới vào mô hình nếu chúng không mang lại giá trị gia tăng rõ rệt so với các thuộc tính đã được chọn trước đó. Tiếp đó, mô hình Rừng ngẫu nhiên kiểm soát có điều hướng sử dụng điểm quan trọng của từng thuộc tính từ Rừng ngẫu nhiên ban đầu để gán các hệ số phạt riêng biệt cho từng biến.

Khung lý thuyết của luận văn vận dụng 4 khái niệm cốt lõi: chỉ số hỗn tạp Gini tại các nút phân tách, ước lượng sai số ngoài túi Out-Of-Bag từ 1/3 dữ liệu không tham gia huấn luyện, điểm số quan trọng của thuộc tính và phương pháp tạo tập gen nhiễu nhân tạo nhằm phá vỡ tương quan giả định.

Phương pháp nghiên cứu

Nghiên cứu sử dụng các bộ dữ liệu biểu hiện gen chuẩn trong phân tích y sinh với cỡ mẫu thực nghiệm từ 30 đến 100 cá thể, trong đó cấu trúc mẫu được thiết lập cố định với 50% cá thể dương tính và 50% cá thể âm tính. Phương pháp chọn mẫu phân tầng ngẫu nhiên được áp dụng kết hợp với việc phân chia 2/3 dữ liệu làm tập huấn luyện và 1/3 dữ liệu Out-Of-Bag dùng cho việc kiểm định độc lập.

Quy trình phân tích được thiết kế qua các bước khoa học:

• Tạo lập tập dữ liệu mở rộng 2M gen bằng cách bổ sung M gen rác thông qua việc hoán vị ngẫu nhiên các giá trị của M gen ban đầu nhằm triệt tiêu mối liên hệ với biến đích.
• Thực hiện chạy lặp R lần mô hình Rừng ngẫu nhiên (với R từ 50 đến 100 lần) trên tập dữ liệu mở rộng để trích xuất ma trận độ quan trọng kích thước R x 2M.
• Áp dụng kiểm định thống kê Welch t-test với số bậc tự do df được hiệu chỉnh để so sánh phân phối độ quan trọng của từng gen thật với giá trị cực đại của tập gen rác.
• Thiết lập ngưỡng ý nghĩa thống kê eta = 0,05 để sàng lọc; các gen có giá trị p-value lớn hơn ngưỡng này bị gán trọng số bằng 0, các gen có ý nghĩa thống kê được tính trọng số trung bình qua R lần lặp để điều hướng cho thuật toán.

Lý do lựa chọn phương pháp này xuất phát từ yêu cầu phải khắc phục sự trùng lặp chỉ số Gini khi cỡ mẫu nhỏ, loại bỏ hoàn toàn việc chọn nhầm thuộc tính nhiễu tại các nút phân tách cây. Toàn bộ timeline thực nghiệm và tối ưu mã nguồn được tiến hành trên môi trường ngôn ngữ R trong năm 2017.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

Thực nghiệm trên môi trường R đã đem lại những phát hiện có giá trị khoa học vượt trội:

Thứ nhất, việc bổ sung cơ chế kiểm định t-test giữa gen thật và gen rác giúp mô hình loại bỏ trung bình từ 85% đến 95% các thuộc tính không mang thông tin phân loại. Từ không gian ban đầu gồm 3.000 đến hơn 10.000 gen, mô hình cải tiến chỉ giữ lại một tập con tối ưu gồm khoảng 15 đến 35 gen đặc trưng nhất mà vẫn bảo toàn đầy đủ tri thức phân loại.

Thứ hai, độ chính xác phân loại của Rừng ngẫu nhiên điều hướng cải tiến đạt mức tăng trưởng từ 4,5% đến 8,2% so với thuật toán Rừng ngẫu nhiên nguyên bản và cao hơn từ 3,1% đến 5,6% so với mô hình GRRF truyền thống. Tỷ lệ lỗi dự đoán trên tập Out-Of-Bag giảm xuống dưới mức 7,5% trên hầu hết các bộ dữ liệu thử nghiệm.

Thứ ba, sự ổn định của mô hình phụ thuộc chặt chẽ vào số lượng cây K và tham số mTry. Khi cố định mTry bằng căn bậc hai của tổng số biến M và tăng số lượng cây từ 100 lên 500 cây, sai số của mô hình giảm mạnh và đạt trạng thái hội tụ ổn định, giảm hơn 40% độ biến thiên phương sai so với khi chỉ thiết lập 100 cây.

Thứ tư, cơ chế gán trọng số điều hướng mới đã triệt tiêu hoàn toàn hiện tượng chọn ngẫu nhiên giữa 2.761 thuộc tính có cùng chỉ số Gini trong bài toán 30 mẫu, đảm bảo 100% các nút phân tách đều được định hướng bởi các gen có ý nghĩa sinh học thực sự.

Thảo luận kết quả

Nguyên nhân cốt lõi giúp mô hình cải tiến đạt hiệu năng vượt bậc nằm ở việc kết hợp kiểm định thống kê khách quan vào quá trình tạo trọng số điều hướng. Các thuật toán như C4.5 hay Rừng ngẫu nhiên truyền thống thường bị thiên vị bởi các thuộc tính có nhiều giá trị hoặc nhiễu cục bộ. Dù mô hình RRF trước đây đã đưa ra hệ số phạt nhưng lại áp dụng mức phạt đồng đều, dẫn đến việc bế tắc khi gặp hàng nghìn thuộc tính có cùng độ đo Gini tối thiểu. Phương pháp của luận văn đã giải quyết tận gốc vấn đề này bằng cách lấy giá trị cực đại của tập gen rác làm thước đo chuẩn, đảm bảo chỉ những gen có đóng góp thực sự vượt trội mới được tham gia vào quá trình phân tách nút.

So với các công trình nghiên cứu của Deng và Runger năm 2012 và 2013, giải pháp của tác giả Vũ Văn Luân giúp giảm thêm 20% số lượng thuộc tính được chọn mà không làm suy giảm độ nhạy và độ đặc hiệu. So với các kỹ thuật phân loại khác như máy véc-tơ hỗ trợ hay chọn lọc thuộc tính đệ quy, mô hình Rừng ngẫu nhiên cải tiến vừa có tốc độ xử lý nhanh hơn, vừa tạo ra các luật phân loại có thể giải thích rõ ràng.

Trong thực tế nghiên cứu, các kết quả này có thể được trình bày một cách trực quan thông qua hai định dạng: Biểu đồ đường thể hiện sự suy giảm của tỷ lệ lỗi Out-Of-Bag khi số lượng cây K tăng dần từ 100 đến 1.000 cây, và Bảng ma trận so sánh thể hiện số lượng thuộc tính được trích chọn song song với độ chính xác phân loại giữa các thuật toán RF, RRF, GRRF và GRRF cải tiến.

Đề xuất và khuyến nghị

Nhằm chuyển hóa kết quả nghiên cứu thành các ứng dụng thực tiễn, luận văn đưa ra 4 giải pháp cụ thể:

• Chuẩn hóa và tích hợp mô hình vào hệ thống phân tích dấu ấn sinh học: Các viện nghiên cứu y sinh học và trung tâm giải trình tự gen cần áp dụng thuật toán GRRF cải tiến vào quy trình chẩn đoán sớm ung thư. Mục tiêu hướng đến là rút ngắn thời gian phân tích từ 14 ngày xuống dưới 48 giờ và giảm 70% chi phí xét nghiệm định lượng chuyên sâu, lộ trình thực hiện trong vòng 6 đến 12 tháng.

• Đóng gói thư viện mã nguồn mở chuyên dụng trên R và Python: Nhóm nghiên cứu kỹ thuật phần mềm cần xây dựng và phát hành gói công cụ mã nguồn mở tối ưu hóa thuật toán hoán vị gen rác và kiểm định t-test. Mục tiêu đạt trên 1.000 lượt cài đặt và ứng dụng trong hơn 100 đề tài nghiên cứu tin sinh học, tối ưu hóa tốc độ xử lý song song nhanh hơn 2,5 lần, hoàn thành trong vòng 3 đến 6 tháng.

• Mở rộng kiểm định trên các tập dữ liệu lâm sàng đa trung tâm: Các nhà khoa học dữ liệu phối hợp với các bệnh viện chuyên khoa để mở rộng thử nghiệm trên các bộ dữ liệu có quy mô từ 500 đến 1.000 bệnh nhân. Mục tiêu duy trì độ chính xác phân loại trên 95% khi đối mặt với dữ liệu nhiễu lâm sàng, lộ trình triển khai từ 12 đến 24 tháng.

• Đào tạo và chuyển giao công nghệ khai phá dữ liệu y tế: Các trường đại học công nghệ và viện y học cần tổ chức các khóa tập huấn chuyên sâu về thuật toán học tập thể cho ít nhất 200 bác sĩ và chuyên viên phân tích dữ liệu sinh học, thực hiện định kỳ theo từng quý trong năm tiếp theo.

Đối tượng nên tham khảo luận văn

Tài liệu này mang lại giá trị học thuật và ứng dụng cao cho 4 nhóm đối tượng chính:

• Học viên cao học, nghiên cứu sinh và sinh viên ngành Công nghệ thông tin: Tài liệu cung cấp kiến thức nền tảng chuyên sâu về cấu trúc cây quyết định CART, giải thuật Bagging, Rừng ngẫu nhiên và kỹ thuật xử lý dữ liệu nhiều chiều. Đây là tài liệu tham khảo mẫu mực để phát triển các đề tài luận văn về học máy tập thể.

• Các nhà nghiên cứu Tin sinh học và Di truyền học: Nghiên cứu cung cấp công cụ toán học vững chắc giúp trích lọc chính xác các gen chỉ thị sinh học từ dữ liệu microarray hoặc RNA-Seq với tỷ lệ loại bỏ gen nhiễu lên tới 90%, phục vụ nghiên cứu cơ chế bệnh sinh.

• Kỹ sư phát triển phần mềm và kiến trúc sư hệ thống y tế: Đội ngũ phát triển có thể tham khảo phương pháp xây dựng mô hình trên ngôn ngữ R, kỹ thuật tối ưu hóa bộ nhớ và thuật toán song song hóa để tích hợp module trí tuệ nhân tạo vào các hệ thống hỗ trợ ra quyết định lâm sàng.

• Chuyên viên phân tích dữ liệu tài chính và thương mại điện tử: Kỹ thuật tạo biến giả lập hoán vị kết hợp kiểm định t-test có thể được tái sử dụng hiệu quả để giải quyết các bài toán phát hiện gian lận giao dịch hoặc đánh giá tín dụng, nơi số lượng thuộc tính biến động lớn gấp nhiều lần số lượng mẫu gian lận thực tế.

Câu hỏi thường gặp

• Tại sao thuật toán Rừng ngẫu nhiên truyền thống bị giảm hiệu năng trên dữ liệu biểu hiện gen? Rừng ngẫu nhiên truyền thống gặp khó khăn do dữ liệu gen có số chiều từ 3.000 đến 10.000 nhưng chỉ có khoảng 30 đến 100 mẫu. Cỡ mẫu nhỏ làm số lượng giá trị Gini bị giới hạn dưới 239 giá trị, khiến thuật toán chọn nhầm các gen nhiễu không liên quan đến bệnh lý.

• Nguyên lý tạo lập tập gen rác trong luận văn được thực hiện như thế nào? Phương pháp tạo ra M gen nhân tạo bằng cách hoán vị ngẫu nhiên toàn bộ giá trị của M gen gốc để phá hủy hoàn toàn mối tương quan với biến đích. Tập dữ liệu mở rộng 2M gen được huấn luyện qua R lần lặp để xác định ngưỡng trần độ quan trọng của các biến nhiễu.

• Kiểm định Welch t-test đóng vai trò gì trong việc cải tiến thuật toán? Kiểm định Welch t-test so sánh phân phối điểm quan trọng của từng gen thật với giá trị cực đại của tập gen rác qua R lần chạy. Những gen có giá trị p-value nhỏ hơn ngưỡng 0,05 chứng minh sự đóng góp thực chất và được giữ lại để điều hướng quá trình phân tách nút.

• Hệ số phạt trong mô hình cải tiến được tính toán dựa trên quy tắc nào? Hệ số phạt được tính toán động dựa trên trọng số trung bình của từng gen qua R lần lặp. Những gen vượt qua kiểm định t-test sẽ nhận hệ số phạt ưu tiên cao để dễ dàng được chọn phân tách nút, trong khi các gen không có ý nghĩa thống kê bị gán trọng số bằng 0.

• Mô hình này có thể triển khai trên các hệ thống phân tích dữ liệu hiện đại không? Thuật toán được xây dựng hoàn chỉnh trên ngôn ngữ thống kê R và có thể chuyển đổi dễ dàng sang Python thông qua Scikit-Learn hoặc RPy2. Cấu trúc mô hình hỗ trợ tính toán song song, tối ưu hóa thời gian huấn luyện trên hệ thống 500 cây quyết định.

Kết luận

• Luận văn đã phân tích sâu sắc các hạn chế cố hữu của thuật toán Rừng ngẫu nhiên và RRF khi xử lý bài toán dữ liệu gen có số chiều lớn và cỡ mẫu nhỏ.
• Đề xuất thành công phương pháp tiếp cận mới sử dụng tập gen rác hoán vị kết hợp kiểm định thống kê Welch t-test để định lượng khách quan độ quan trọng của thuộc tính.
• Cải tiến toàn diện cơ chế gán trọng số điều hướng cho thuật toán GRRF, triệt tiêu hiện tượng chọn ngẫu nhiên thuộc tính tại các nút có chỉ số Gini đồng nhất.
• Thực nghiệm trên môi trường R chứng minh mô hình nâng cao độ chính xác phân loại lên trên 92% và cắt giảm hơn 85% số lượng gen rác không cần thiết.
• Đóng góp một phương pháp luận chặt chẽ trong việc kết hợp kiểm định thống kê y sinh vào các mô hình học máy tập thể hiện đại.

Đóng góp chính của luận văn là giải quyết triệt để vấn đề lựa chọn thuộc tính trên không gian dữ liệu nhiều chiều, mở ra hướng ứng dụng hiệu quả cho tin sinh học. Trong giai đoạn 12 đến 24 tháng tới, hướng phát triển tiếp theo là mở rộng mô hình trên dữ liệu giải trình tự đơn tế bào và dữ liệu đa biến thời gian thực.

Quý độc giả, các nhà nghiên cứu tin sinh học và kỹ sư dữ liệu hãy tham khảo và khai thác toàn văn luận văn thạc sĩ này để ứng dụng giải pháp phân loại gen tiên tiến vào các dự án phân tích dữ liệu y tế ngay hôm nay.

Trích đoạn nội dung tài liệu

CHƯƠNG 1. GIỚI THIỆU VỀ KHAI PHÁ DỮ LIỆU VÀ LỰA CHỌN THUỘC TÍNH 1. Khai phá dữ liệu 1. Tổng quan về khai phá dữ liệu Trong cuộc sống hiện nay sự phát triển mạnh mẽ của công nghệ thông tin và truyền thông, nhu cầu lưu trữ dữ liệu và trao đổi thông tin trong xã hội ngày càng tăng lên mạnh mẽ.

Tuy nhiên, đi cùng với lượng dữ liệu và thông tin ngày càng khổng lồ mà chúng ta có được thì việc biến đổi những dữ liệu thô có sẵn đó thành tri thức trở thành một đòi hỏi tất yếu trong đời sống hàng ngày. Từ nhu cầu thực tế trên, đòi hỏi chúng ta phải tìm kiếm và ứng dụng các kỹ thuật nhằm “khai phá” những thông tin hữu ích, những tri thức có ích từ những nguồn dữ liệu khổng lồ hiện có. Phát hiện tri thức và khai phá dữ liệu (Knowledge Discovery and Data Mining - KDD) là những công việc liên quan đến việc trích, lọc những thông tin có ích từ các nguồn dữ liệu [4]. Khai phá dữ liệu là một tập các kỹ thuật được sử dụng một cách tự động nhằm khám phá những tri thức có ích ở dạng tiềm năng trong nguồn dữ liệu đã có.

Ở đây chúng ta có thể coi khai phá dữ liệu là cốt lõi của quá trình phát hiện tri thức. Quá trình phát hiện tri thức gồm các bước: Bước 1: Trích chọn dữ liệu (data selection): Là bước trích chọn những tập dữ liệu cần được khai phá từ các tập dữ liệu lớn (databases, data ware houses). Bước 2: Tiền xử lý dữ liệu (data preprocessing): Là bước làm sạch dữ liệu (xử lý dữ liệu không đầy đủ, dữ liệu nhiễu, dữ liệu không nhất quán,…v.v), rút gọn dữ liệu (sử dụng các phương pháp thu gọn dữ liệu, histograms, lấy mẫu…v.v), rời rạc hóa dữ liệu (dựa vào histograms, entropy, phân khoảng,. Sau bước này, dữ liệu sẽ nhất quán, đầy đủ, được rút gọn và được rời rạc hóa.

Bước 3: Biến đổi dữ liệu (data transformation): Là bước chuẩn hóa và làm mịn dữ liệu để đưa dữ liệu về dạng thuận lợi nhất nhằm phục vụ cho các kỹ thuật khai thác ở bước sau. LUAN VAN CHAT LUONG download : add [e-mail] 9 Bước 4: Khai phá dữ liệu (data mining): Đây là bước quan trọng và tốn nhiều thời gian nhất của quá trình khám phá tri thức, áp dụng các kỹ thuật khai phá (phần lớn là các kỹ thuật của machine learning) để khai phá, chọn lựa được các mẫu (pattern) thông tin, các mối liên hệ đặc biệt trong dữ liệu. Bước 5: Đánh giá và biểu diễn tri thức (knowledge representation & evaluation): Dùng các kỹ thuật hiển thị dữ liệu để trình bày các mẫu thông tin (tri thức) và mối liên hệ đặc biệt trong dữ liệu đã được khai thác ở bước trên biểu diễn theo dạng gần gũi với người sử dụng như đồ thị, cây, bảng biểu, luật,…v. Đồng thời bước này cũng đánh giá những tri thức khám phá được theo những tiêu chí nhất định.

Trong giai đoạn khai phá dữ liệu, có thể cần sự tương tác của người dùng để điều chỉnh và rút ra các tri thức cần thiết nhất. Các tri thức nhận được cũng có thể được lưu và sử dụng lại.1: Quá trình phát hiện tri thức Việc khai phá dữ liệu có thể được tiến hành trên một lượng lớn dữ liệu có trong CSDL, các kho dữ liệu hoặc trong các loại lưu trữ thông tin khác. Các mẫu đáng quan tâm có thể được đưa đến người dùng hoặc được lưu trữ trong một cơ sở tri thức.