Nghiên Cứu Mô Hình Đa Phân Lớp Dựa Trên GA Và SVM Tại Đại Học Quốc Gia Hà Nội

Luận văn thạc sĩ kỹ thuật phân tích nghiên cứu xây dựng mô hình đa phân lớp dựa trên ga và svm, đánh giá thực trạng, chỉ ra hạn chế, đề xuất giải pháp khả thi cho thực tiễn.

• Người hướng dẫn: TS. Nguyễn Hà Nam
• Trường học: Đại học Quốc gia Hà Nội
• Chuyên ngành: Công nghệ thông tin
• Đề tài: Mô Hình Đa Phân Lớp Dựa Trên GA Và SVM
• Loại tài liệu: luận văn thạc sĩ
• Năm xuất bản: 2010
• Địa điểm: Hà Nội

Mục lục chi tiết

• LỜI CẢM ƠN
• DANH MỤC HÌNH VẼ
• DANH MỤC BẢNG BIỂU
• DANH MỤC CÁC KÝ HIỆU, TỪ VIẾT TẮT
• 1. CHƯƠNG 1: MỞ ĐẦU
• 2. CHƯƠNG 2: GIẢI THUẬT DI TRUYỀN
• 3. CHƯƠNG 3: MÔ HÌNH TỐI ƯU ĐA PHÂN LỚP SVM
• 4. CHƯƠNG 4: XÂY DỰNG CHƯƠNG TRÌNH MÔ PHỎNG
• TÀI LIỆU THAM KHẢO

Tóm tắt

I. Tổng Quan Mô Hình Đa Phân Lớp GA và SVM tại VNU

Trong bối cảnh khoa học công nghệ phát triển mạnh mẽ, lượng dữ liệu ngày càng tăng lên đòi hỏi các phương pháp khai thác hiệu quả. Khai phá dữ liệu nổi lên như một lĩnh vực quan trọng, kết hợp giữa học máy, cơ sở dữ liệu và các chuyên ngành khác để tìm ra tri thức từ các cơ sở dữ liệu lớn. Trong đó, phân lớp dữ liệu là một vấn đề nghiên cứu mở rộng, ứng dụng trong nhiều lĩnh vực như thương mại điện tử, tài chính ngân hàng, và y tế. Bài toán đặt ra là làm thế nào để phân loại dữ liệu thành nhiều lớp khác nhau với độ chính xác cao, đặc biệt trong các bài toán đa phân lớp. Luận văn này nghiên cứu và xây dựng một mô hình đa phân lớp mới kết hợp thuật toán SVM và kỹ thuật OAA (One Against All), đồng thời sử dụng giải thuật di truyền GA để tối ưu các tham số của hàm nhân Kernel, từ đó nâng cao độ chính xác của mô hình. Nghiên cứu này được thực hiện tại Đại học Quốc Gia Hà Nội, tập trung vào ứng dụng thực tiễn và đánh giá hiệu quả của mô hình đề xuất.

1.1. Giới thiệu về Phân lớp Dữ liệu và Ứng dụng

Phân lớp dữ liệu là quá trình gán nhãn cho các đối tượng dựa trên các thuộc tính của chúng. Ứng dụng của phân lớp dữ liệu rất đa dạng, bao gồm dự đoán nhu cầu mua hàng, đánh giá rủi ro tín dụng, và chẩn đoán bệnh tật. Việc phân tích dữ liệu một cách hiệu quả giúp đưa ra các quyết định chính xác và kịp thời. Phương pháp đa phân lớp đặc biệt quan trọng trong các bài toán phức tạp, nơi mỗi đối tượng có thể thuộc về nhiều lớp khác nhau. Một ví dụ điển hình là việc phân loại các giai đoạn của bệnh ung thư, giúp đưa ra phác đồ điều trị phù hợp. Do đó, việc nghiên cứu và phát triển các mô hình đa phân lớp hiệu quả là vô cùng cần thiết.

1.2. Bài toán Đa phân lớp và Thách thức Hiện tại

Bài toán đa phân lớp đặt ra yêu cầu về việc phân chia dữ liệu thành nhiều lớp một cách hiệu quả, đảm bảo khả năng dự đoán chính xác các dữ liệu mới vào đúng lớp của chúng. Hiện nay, có nhiều thuật toán phân lớp đã được áp dụng, như SVM, Học cây quyết định, và Mạng Neural. Tuy nhiên, việc tìm kiếm một phương pháp đủ tốt để đáp ứng nhu cầu phân tích dữ liệu thành nhiều lớp vẫn là một thách thức. Dữ liệu thực tế thường rất lớn và phức tạp, đòi hỏi các mô hình phải có khả năng xử lý hiệu quả và chính xác. Bài toán phân loại đa lớp đòi hỏi sự kết hợp giữa các kỹ thuật khác nhau để đạt được hiệu suất cao nhất.

II. Giải Quyết Bài Toán Đa Phân Lớp Bằng SVM và GA Cách Tiếp Cận

Luận văn này tập trung vào việc tìm hiểu và xây dựng một mô hình đa phân lớp mới bằng cách kết hợp thuật toán phân lớp SVM với kỹ thuật đa phân lớp OAA. SVM là một phương pháp học máy mạnh mẽ, cho phép phân lớp các đối tượng vào hai lớp. Kỹ thuật OAA cho phép mở rộng SVM để xử lý các bài toán đa phân lớp bằng cách xây dựng nhiều bộ phân loại nhị phân, mỗi bộ phân loại phân biệt một lớp với tất cả các lớp còn lại. Bên cạnh đó, luận văn cũng tập trung vào việc sử dụng giải thuật di truyền (GA) để tối ưu các tham số của hàm nhân Kernel của SVM, nhằm tăng độ chính xác phân lớp của mô hình. Việc tối ưu hóa tham số là rất quan trọng để đạt được hiệu suất tốt nhất.

2.1. Kỹ thuật One Against All OAA trong Đa phân lớp

Kỹ thuật One Against All (OAA) là một phương pháp phổ biến để giải quyết bài toán đa phân lớp. Trong OAA, một bộ phân loại nhị phân được xây dựng cho mỗi lớp, phân biệt lớp đó với tất cả các lớp còn lại. Khi phân loại một đối tượng mới, mỗi bộ phân loại sẽ đưa ra một dự đoán. Đối tượng được gán cho lớp mà bộ phân loại tương ứng đưa ra dự đoán dương. OAA đơn giản và dễ thực hiện, nhưng có thể gặp vấn đề khi số lượng lớp lớn, do sự mất cân bằng giữa số lượng mẫu thuộc lớp dương và số lượng mẫu thuộc lớp âm.

2.2. Tối ưu hóa Tham số SVM bằng Giải thuật Di truyền GA

Tham số của hàm nhân Kernel trong SVM có ảnh hưởng lớn đến hiệu suất phân lớp. Việc tìm kiếm các tham số tối ưu là một bài toán khó, thường được giải quyết bằng các phương pháp tìm kiếm heuristic, chẳng hạn như giải thuật di truyền (GA). GA là một thuật toán tối ưu hóa dựa trên quá trình tiến hóa tự nhiên. Trong GA, một quần thể các giải pháp tiềm năng (chromosome) được duy trì và cải thiện qua các thế hệ bằng cách áp dụng các toán tử di truyền như lai ghép và đột biến. GA có thể tìm kiếm hiệu quả trong không gian tham số phức tạp và tìm ra các tham số tối ưu cho SVM.

III. Xây Dựng Mô Hình Tối Ưu Đa Phân Lớp SVM Dựa Trên GA

Chương này trình bày chi tiết việc xây dựng một mô hình đa phân lớp kết hợp giải thuật di truyền, kỹ thuật One Against All và SVM. Mô hình đề xuất bao gồm việc tìm kiếm các Kernel tốt cho mô hình bằng cách sử dụng giải thuật di truyền để tối ưu các tham số của Kernel. Các bước thực hiện bao gồm: (1) Khởi tạo quần thể các chromosome, mỗi chromosome biểu diễn một bộ tham số của Kernel; (2) Đánh giá mỗi chromosome bằng cách sử dụng bộ phân loại SVM với các tham số tương ứng và tính toán độ chính xác phân lớp; (3) Chọn lọc các chromosome tốt nhất dựa trên độ chính xác; (4) Áp dụng các toán tử di truyền (lai ghép và đột biến) để tạo ra các chromosome mới; (5) Lặp lại các bước 2-4 cho đến khi đạt được một tiêu chí dừng nhất định.

3.1. Cấu trúc Hàm Kernel và Tối ưu hóa Tham số

Hàm Kernel đóng vai trò quan trọng trong SVM, xác định cách ánh xạ dữ liệu đầu vào vào một không gian đặc trưng có chiều cao hơn, nơi dữ liệu có thể được phân chia tuyến tính. Các hàm Kernel phổ biến bao gồm hàm tuyến tính, hàm đa thức, và hàm Gaussian. Mỗi hàm Kernel có các tham số riêng, ví dụ, hàm Gaussian có tham số gamma. Việc lựa chọn hàm Kernel và tối ưu hóa các tham số của nó là rất quan trọng để đạt được hiệu suất phân lớp tốt. Thuật toán di truyền được sử dụng để tìm kiếm các tham số tối ưu cho hàm Kernel bằng cách đánh giá hiệu suất của SVM với các bộ tham số khác nhau.

3.2. Cấu trúc Cá thể và Kỹ thuật Tìm Tham Số Tối Ưu

Trong giải thuật di truyền, mỗi cá thể (chromosome) biểu diễn một bộ tham số của hàm Kernel. Cấu trúc của chromosome phụ thuộc vào hàm Kernel được sử dụng. Ví dụ, nếu sử dụng hàm Gaussian, chromosome có thể chỉ bao gồm một tham số gamma. Kỹ thuật tìm tham số tối ưu bao gồm việc đánh giá hiệu suất của SVM với các bộ tham số khác nhau và chọn lọc các tham số tốt nhất. Hàm đánh giá (fitness function) thường là độ chính xác phân lớp trên một tập kiểm tra riêng biệt. Các toán tử di truyền được sử dụng để tạo ra các chromosome mới từ các chromosome tốt nhất, nhằm khám phá không gian tham số và tìm ra các tham số tối ưu.

IV. Xây Dựng Chương Trình Mô Phỏng và Kết Quả Thực Nghiệm

Chương này mô tả việc sử dụng những lý luận ở trên kết hợp với MATLAB để xây dựng mô hình phân lớp và phân tích trên một số tập dữ liệu cụ thể, nhằm thu được các kết quả để đánh giá mô hình mới xây dựng (GA&SVM) so với mô hình đa phân lớp SVM thông thường. Các tập dữ liệu được sử dụng bao gồm Stomach và Yeast. Các kết quả thực nghiệm được trình bày cho cả hàm Gaussian và hàm Poly. Việc so sánh hiệu suất giữa GA&SVM và SVM được thực hiện dựa trên độ chính xác phân lớp và thời gian tính toán. Kết quả cho thấy GA&SVM có thể cải thiện độ chính xác phân lớp so với SVM trong một số trường hợp.

4.1. Giao diện Chương trình và Giới thiệu về MATLAB

Chương trình mô phỏng được xây dựng bằng MATLAB, một môi trường lập trình mạnh mẽ và phổ biến trong lĩnh vực khoa học máy tính. Giao diện chương trình được thiết kế thân thiện với người dùng, cho phép người dùng dễ dàng nhập dữ liệu, lựa chọn hàm Kernel, cấu hình các tham số của GA, và xem kết quả. MATLAB cung cấp nhiều công cụ và thư viện hỗ trợ cho việc xây dựng mô hình học máy, bao gồm cả các hàm cho SVM và GA.

4.2. Kết quả Thực nghiệm với Bộ Dữ liệu Stomach và Yeast

Các kết quả thực nghiệm được trình bày cho hai bộ dữ liệu Stomach và Yeast. Với mỗi bộ dữ liệu, hai hàm Kernel (Gaussian và Poly) được sử dụng. Hiệu suất của GA&SVM và SVM được so sánh dựa trên độ chính xác phân lớp. Kết quả cho thấy GA&SVM có thể cải thiện độ chính xác phân lớp so với SVM trong một số trường hợp, đặc biệt khi sử dụng hàm Gaussian. Tuy nhiên, thời gian tính toán của GA&SVM thường lâu hơn so với SVM, do phải thực hiện quá trình tối ưu hóa tham số bằng GA. Bảng 1 và Bảng 6 mô tả dữ liệu Stomach và Yeast.

V. Kết Luận Đóng Góp Khoa Học và Hướng Phát Triển

Luận văn đã trình bày một mô hình đa phân lớp mới kết hợp SVM và GA để tối ưu các tham số của hàm nhân Kernel. Mô hình đề xuất đã được đánh giá trên một số tập dữ liệu thực tế và cho thấy tiềm năng cải thiện độ chính xác phân lớp. Đóng góp khoa học của luận văn bao gồm việc đề xuất một phương pháp mới để tối ưu hóa tham số cho SVM, cũng như việc đánh giá hiệu suất của mô hình trên các tập dữ liệu khác nhau. Hướng phát triển tiếp theo bao gồm việc nghiên cứu các kỹ thuật tối ưu hóa khác, cũng như việc áp dụng mô hình cho các bài toán đa phân lớp phức tạp hơn.

5.1. Tổng kết Kết quả Đạt được của Luận văn

Luận văn đã thành công trong việc xây dựng và đánh giá một mô hình đa phân lớp mới kết hợp SVM và GA. Mô hình đề xuất có khả năng cải thiện độ chính xác phân lớp so với SVM trong một số trường hợp. Luận văn cũng đã đóng góp vào việc nghiên cứu các kỹ thuật tối ưu hóa tham số cho SVM. Các kết quả đạt được cho thấy tiềm năng ứng dụng của mô hình trong các bài toán đa phân lớp thực tế.

5.2. Hướng Phát Triển Nghiên cứu Tiếp theo

Hướng phát triển tiếp theo bao gồm việc nghiên cứu các kỹ thuật tối ưu hóa khác, chẳng hạn như thuật toán bầy đàn (swarm intelligence) và thuật toán tiến hóa (evolutionary algorithms). Bên cạnh đó, việc áp dụng mô hình cho các bài toán đa phân lớp phức tạp hơn, chẳng hạn như phân loại ảnh và phân tích văn bản, cũng là một hướng nghiên cứu tiềm năng. Việc nghiên cứu các hàm Kernel khác và tối ưu hóa cấu trúc của mạng SVM cũng là những hướng đi thú vị.

Nội dung chính

Tổng quan nghiên cứu

Trong bối cảnh phát triển mạnh mẽ của khoa học công nghệ, lượng dữ liệu ngày càng gia tăng với quy mô khổng lồ, việc khai thác thông tin hữu ích từ các cơ sở dữ liệu lớn trở thành một thách thức quan trọng. Phân lớp dữ liệu là một trong những vấn đề trọng tâm của khai phá dữ liệu, đóng vai trò thiết yếu trong nhiều lĩnh vực như y học, tài chính, và thương mại điện tử. Ví dụ, trong y học, việc phân loại bệnh nhân ung thư thành các giai đoạn khác nhau giúp nâng cao hiệu quả điều trị; trong ngân hàng, phân loại hồ sơ vay thành các nhóm rủi ro giúp giảm thiểu tổn thất tài chính. Mục tiêu nghiên cứu của luận văn là xây dựng một mô hình đa phân lớp dựa trên thuật toán Support Vector Machines (SVM) kết hợp với kỹ thuật One Against All (OAA) và tối ưu tham số bằng giải thuật di truyền (GA) nhằm nâng cao độ chính xác và tính ổn định của phân lớp trên các tập dữ liệu đa lớp.

Phạm vi nghiên cứu tập trung vào việc phát triển mô hình đa phân lớp áp dụng cho các tập dữ liệu thực tế như bộ dữ liệu ung thư Stomach với 311 mẫu và 7 lớp, cùng bộ dữ liệu men Yeast gồm 190 mẫu và 5 lớp, trong khoảng thời gian nghiên cứu năm 2010 tại Trường Đại học Công nghệ, Đại học Quốc gia Hà Nội. Ý nghĩa của nghiên cứu được thể hiện qua việc cải thiện các chỉ số lỗi phân lớp trung bình, giảm phương sai và tăng tính ổn định của mô hình, góp phần nâng cao hiệu quả khai phá dữ liệu trong các ứng dụng thực tiễn.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Luận văn dựa trên ba nền tảng lý thuyết chính:

1. Support Vector Machines (SVM): Là thuật toán phân lớp nhị phân mạnh mẽ, SVM tìm siêu phẳng tối ưu phân tách các lớp dữ liệu với lề lớn nhất, giúp giảm thiểu sai số phân lớp. SVM có thể mở rộng cho dữ liệu không tuyến tính thông qua ánh xạ vào không gian đặc trưng và sử dụng các hàm nhân (kernel) như Gaussian (RBF), đa thức (Poly), và sigmoid.

2. Kỹ thuật đa phân lớp One Against All (OAA): Phương pháp này xây dựng k bộ phân lớp nhị phân, mỗi bộ phân lớp phân biệt một lớp với tất cả các lớp còn lại, từ đó thực hiện phân lớp đa lớp hiệu quả.

3. Giải thuật di truyền (Genetic Algorithm - GA): Thuật toán tối ưu ngẫu nhiên dựa trên cơ chế chọn lọc tự nhiên và tiến hóa, được sử dụng để tìm kiếm bộ tham số tối ưu cho các hàm nhân của SVM nhằm giảm thiểu lỗi phân lớp.

Các khái niệm chính bao gồm: siêu phẳng tối ưu, véc tơ hỗ trợ, hàm nhân kernel, biến nới lỏng (slack variables) trong lề mềm, và các toán tử di truyền như lai ghép và đột biến.

Phương pháp nghiên cứu

Nguồn dữ liệu sử dụng gồm hai bộ dữ liệu thực tế: bộ dữ liệu ung thư Stomach (311 mẫu, 7 lớp, 119 thuộc tính) và bộ dữ liệu men Yeast (190 mẫu, 5 lớp, 8 thuộc tính). Dữ liệu được chia thành tập huấn luyện (70%) và tập kiểm thử (30%), trong đó tập huấn luyện tiếp tục chia thành tập training (70%) và validation (30%).

Phương pháp phân tích bao gồm:

• Xây dựng mô hình đa phân lớp SVM kết hợp kỹ thuật OAA.
• Áp dụng giải thuật di truyền để tối ưu các tham số của hàm nhân kernel (c, kerneloption, lambda).
• Sử dụng MATLAB để cài đặt mô hình và thực hiện các thử nghiệm phân lớp.
• Đánh giá mô hình dựa trên tổng lỗi phân lớp trung bình (TongErr) và phương sai lỗi trên các lớp.
• Thời gian nghiên cứu và thực nghiệm diễn ra trong năm 2010.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

1. Hiệu quả mô hình GA&SVM trên bộ dữ liệu Stomach với hàm Gaussian:

   • Mô hình GA&SVM giảm lỗi phân lớp trung bình từ khoảng 22.79% (SVM truyền thống) xuống còn khoảng 15.60%.
   • Phương sai lỗi giảm đáng kể, đặc biệt lớp 2 giảm từ 11.47 xuống còn 3.60, cho thấy tính ổn định cao hơn.
   • Phân lớp đồng đều hơn giữa các lớp, giảm hiện tượng lệch lỗi.

2. Kết quả với hàm Poly trên bộ dữ liệu Stomach:

   • Mô hình GA&SVM cải thiện lỗi trung bình từ 18.97% xuống còn 14.59%.
   • Tuy nhiên, phương sai lỗi vẫn còn cao ở một số lớp như lớp 7, cho thấy cần cải tiến thêm về độ ổn định.

3. Thử nghiệm trên bộ dữ liệu men Yeast với hàm Gaussian:

   • Lỗi trung bình giảm từ 27.02% (SVM) xuống còn 24.33% (GA&SVM).
   • Phương sai lỗi giảm rõ rệt ở các lớp 1 và 2, tăng tính ổn định phân lớp.

4. Kết quả với hàm Poly trên bộ dữ liệu men Yeast:

   • Mô hình GA&SVM đạt lỗi trung bình thấp hơn, khoảng 20.69% so với 24.54% của SVM.
   • Phương sai lỗi giảm, đặc biệt ở các lớp 1 và 3, cho thấy mô hình mới ổn định hơn.

Thảo luận kết quả

Việc kết hợp giải thuật di truyền với SVM và kỹ thuật OAA giúp tối ưu hóa tham số hàm nhân, từ đó nâng cao độ chính xác và tính ổn định của mô hình đa phân lớp. Các biểu đồ so sánh lỗi phân lớp giữa mô hình GA&SVM và SVM truyền thống minh họa rõ sự cải thiện về mặt hiệu suất và đồng đều lỗi giữa các lớp. Kết quả phù hợp với các nghiên cứu trong ngành về việc sử dụng GA để tối ưu tham số trong học máy, đồng thời khẳng định tính khả thi của mô hình trong xử lý dữ liệu đa lớp phức tạp.

Tuy nhiên, một số lớp vẫn còn tỷ lệ lỗi cao và phương sai lớn, đặc biệt với hàm Poly trên bộ dữ liệu Stomach, cho thấy cần tiếp tục nghiên cứu cải tiến thuật toán hoặc tiền xử lý dữ liệu để nâng cao hiệu quả phân lớp. Ngoài ra, mô hình hiện tại chủ yếu áp dụng cho tập dữ liệu có số lượng lớp và thuộc tính hạn chế, cần mở rộng để ứng dụng cho các tập dữ liệu lớn và đa dạng hơn.

Đề xuất và khuyến nghị

1. Tối ưu hóa tham số hàm nhân kernel liên tục: Áp dụng giải thuật di truyền với các kỹ thuật cải tiến như lai ghép đa điểm hoặc đột biến có kiểm soát để tìm kiếm tham số tối ưu nhanh và chính xác hơn, nhằm giảm lỗi phân lớp xuống dưới 10% trong vòng 6 tháng tới.

2. Mở rộng mô hình cho dữ liệu đa chiều lớn: Phát triển các phương pháp tiền xử lý dữ liệu như giảm chiều, lọc nhiễu để cải thiện hiệu quả phân lớp trên các tập dữ liệu có số lượng thuộc tính lớn, dự kiến thực hiện trong 1 năm, phối hợp giữa nhóm nghiên cứu và chuyên gia dữ liệu.

3. Áp dụng mô hình cho các lĩnh vực thực tiễn: Thử nghiệm mô hình trên các bộ dữ liệu y tế, tài chính với số lớp đa dạng nhằm đánh giá tính ứng dụng thực tế, đồng thời thu thập phản hồi để điều chỉnh mô hình phù hợp, triển khai trong 18 tháng.

4. Phát triển giao diện phần mềm thân thiện: Xây dựng công cụ hỗ trợ người dùng không chuyên về học máy có thể dễ dàng áp dụng mô hình GA&SVM cho các bài toán phân lớp đa lớp, dự kiến hoàn thành trong 12 tháng, do nhóm phát triển phần mềm đảm nhiệm.

Đối tượng nên tham khảo luận văn

1. Nhà nghiên cứu và sinh viên ngành Công nghệ Thông tin, Học máy: Luận văn cung cấp kiến thức sâu về SVM, giải thuật di truyền và kỹ thuật đa phân lớp, hỗ trợ phát triển các đề tài nghiên cứu liên quan.

2. Chuyên gia phân tích dữ liệu và kỹ sư AI: Mô hình và phương pháp tối ưu tham số giúp cải thiện hiệu quả phân lớp trong các ứng dụng thực tế như y tế, tài chính, thương mại điện tử.

3. Nhà quản lý dự án công nghệ: Hiểu rõ về khả năng và giới hạn của mô hình giúp đưa ra quyết định đầu tư và triển khai các giải pháp khai phá dữ liệu phù hợp.

4. Người phát triển phần mềm và công cụ học máy: Tham khảo cấu trúc mô hình, thuật toán và cách cài đặt trên MATLAB để xây dựng hoặc cải tiến các thư viện, công cụ hỗ trợ phân lớp đa lớp.

Câu hỏi thường gặp

1. Mô hình GA&SVM khác gì so với SVM truyền thống?
   Mô hình GA&SVM kết hợp giải thuật di truyền để tối ưu tham số hàm nhân kernel, giúp giảm lỗi phân lớp và tăng tính ổn định so với SVM truyền thống chỉ sử dụng tham số cố định.

2. Tại sao chọn kỹ thuật One Against All cho đa phân lớp?
   OAA đơn giản, hiệu quả khi số lớp không quá lớn, giảm số lượng bộ phân lớp cần xây dựng so với One Against One, phù hợp với các tập dữ liệu đa lớp trong nghiên cứu.

3. Giải thuật di truyền được áp dụng như thế nào trong nghiên cứu?
   GA được sử dụng để tìm kiếm bộ tham số tối ưu (c, kerneloption, lambda) cho hàm nhân kernel của SVM, dựa trên hàm đánh giá lỗi phân lớp trên tập huấn luyện và validation.

4. Mô hình có thể áp dụng cho dữ liệu lớn và phức tạp không?
   Hiện tại mô hình được thử nghiệm trên dữ liệu có số lượng lớp và thuộc tính hạn chế; để áp dụng cho dữ liệu lớn cần cải tiến tiền xử lý và thuật toán tối ưu.

5. Làm thế nào để đánh giá hiệu quả mô hình?
   Hiệu quả được đánh giá qua tổng lỗi phân lớp trung bình (TongErr), phương sai lỗi giữa các lớp và tính ổn định của mô hình qua các lần thử nghiệm trên tập kiểm thử.

Kết luận

• Luận văn xây dựng thành công mô hình đa phân lớp kết hợp SVM, kỹ thuật One Against All và giải thuật di truyền để tối ưu tham số hàm nhân kernel.
• Mô hình mới (GA&SVM) cho kết quả phân lớp chính xác hơn và ổn định hơn so với SVM truyền thống trên các bộ dữ liệu Stomach và Yeast.
• Phương pháp tối ưu tham số bằng GA giúp giảm đáng kể lỗi phân lớp trung bình và phương sai lỗi giữa các lớp.
• Nghiên cứu mở ra hướng phát triển cho các mô hình phân lớp đa lớp hiệu quả hơn trên dữ liệu thực tế đa dạng và phức tạp.
• Đề xuất tiếp tục cải tiến mô hình, mở rộng ứng dụng và phát triển công cụ hỗ trợ người dùng trong thời gian tới.

Áp dụng mô hình vào các bộ dữ liệu thực tế khác, phát triển giao diện phần mềm thân thiện và nghiên cứu các thuật toán tối ưu tham số nâng cao để tăng hiệu quả phân lớp đa lớp.

Trích đoạn nội dung tài liệu

MỞ ĐẦU Ngày nay cùng với việc phát triển của Khoa Học Công Nghệ thì lượng dữ liệu ngày càng trở nên lớn hơn, khai thác đươ ̣c những thông tin có ích từ lươ ̣ng dữ liê ̣u khổ n g lồ như vâ ̣y đang là vấn đề lớn đặt ra trong thực tiễn cuộc sống. Khai phá dữ liệu là một trong những lĩnh vực nghiên cứu của khoa học máy tính hiện nay đang được phát triển rất mạnh mẽ. Nó kết hợp giữa học máy, công nghệ cơ sở dữ liệu và một số chuyên ngành khác để tìm ra những tri thức, bao gồm cả các thông tin dự báo, từ những cơ sở dữ liệu lớn. Phân lớp dữ liệu được coi là một trong những vấn đề nghiên cứu mở rộng hiện nay trong Khai phá dữ liệu, hiện nay có rất nhiều dữ liệu thực tế lớn cần được phân lớp như: Việc khai thác thông tin về nhu cầu mua hàng dành cho những người bán hàng, hoặc các khả năng rủi ro trong việc cho vay tiền ở ngân hàng, hoặc việc cần phải phân biệt những người bị bệnh hoặc không bị bệnh trong một lớp dữ liệu của bệnh viện….

Như vậy việc phân tích được thông tin rất quan trọng, nhưng dữ liệu thực tế rất lớn và có rất nhiều lớp khác nhau, vậy bài toán được đặt ra ở đây là làm thế nào để phân loại được những lớp dữ liệu khác nhau càng nhiều càng tốt với độ chính xác cao. Như việc phân tích một bệnh ung thư, bệnh được chia làm nhiều giai đoạn, giờ đây điều quan tâm không những là việc xác định người bị bệnh và người không bị bệnh nữa mà còn là việc quan tâm xem người bị bệnh đang ở giai đoạn nào. Với một dữ liệu ung thư nếu xác định được giai đoạn bệnh của bệnh nhân thì khả năng những giai đoạn mới đầu là có thể được chữa khỏi, vì vậy việc đa phân lớp sẽ trở thành rất quan trọng trong việc phân lớp dữ liệu. Yêu cầu của một bài toán đa phân lớp đó là làm thế nào phân lớp dữ liệu thành nhiều lớp đạt hiệu quả cao nhất ở khả năng dự đoán những dữ liệu mới vào đúng lớp dữ liệu một cách chính xác nhất.

Hiện nay có rất nhiều thuật toán phân lớp như thuật toán Support vector machines (SVM) thuật toán phân lớp bằng Học cây quyết định, mô hình Mạng lan truyền ngược (Neural Network)[8],… và có nhiều kết quả đạt được trong việc sử dụng các mô hình phân lớp này vào việc đa phân lớp[8,11,14]. Nhưng vấn đề tìm kiếm một phương pháp đủ tốt đáp ứng nhu cầu cần phải phân tích dữ liệu ra nhiều lớp khác nhau vẫn là một vấn đề hiện nay cần nghiên cứu.SVM TIEU LUAN MOI download : [e-mail] 9 Luận văn này tập trung tìm hiểu, xây dựng mô hình đa phân lớp mới bằng việc kết hợp một thuật toán phân lớp SVM với kĩ thuật đa phân lớp One agaist all (OAA) nhằm thực hiện đa phân lớp một tập dữ liệu. Luận văn cũng tập trung vào việc sử dụng giải thuật di truyền (GA) để tối ưu các tham số của hàm nhân Kernel của SVM phục vụ cho việc đa phân lớp nhằm tăng độ chính xác khi phân lớp của mô hình[10]. Nội dung chính của luận văn được tổ chức thành 4 chương có nội dung được mô tả như dưới đây.

Thuật toán phân lớp SVM. Chương này giới thiê ̣u cơ bản về vấn đề phân lớp, các bước trong phân lớp và những yêu cầu trong vấn đề phân lớp. Chương này tập trung vào một thuật toán phân lớp SVM, nghiên cứu kỹ thuật đa phân lớp nhằm xây dựng mô hình đa phân lớp với SVM Chƣơng 2. Giải thuật di truyền.

Chương này trình bày về giải thuật di truyền, tìm hiểu và áp dụng giải thuật nhằm tối ưu các giá trị Chƣơng 3. Mô hình tối ƣu đa phân lớp SVM. Chương này trin ̀ h bầ y viê ̣c xây dựng một mô hình đa phân lớp dựa vào giải thuật di truyền, kĩ thuật One against all và SVM. Đề cập đến việc tìm kiếm các Kernel tốt cho mô hình bằng việc sử dụng giải thuật di truyền để tối ưu các tham số của Kernel.

Xây dựng chƣơng trình mô phỏng. Chương này sử dụng những lý luận ở trên kết hợp với MATLAB để xây dựng mô hình phân lớp phân tích trên một số tập dữ liệu cụ thể nhằm thu được các kết quả để đánh giá mô hình mới xây dựng (GA&SVM) so với mô hình đa phân lớp SVM. Phần kết luận tổng kết những kết quả đạt được của luận văn và hướng phát triển nghiên cứu tiếp theo.SVM TIEU LUAN MOI download : [e-mail] 10 Chƣơng 1 - THUẬT TOÁN PHÂN LỚP VỚI SVM 1.Giới thiệu chung về phân lớp 1.Khái niệm cơ bản Một nhà nghiên cứu về y học muốn phân tích dữ liệu về bệnh ung thư phổi để dự đóan trước một trong ba phương pháp điều trị đặc biệt dành cho bệnh nhân, nhân viên ngân hàng khi xem xét quyết định cho vay, họ cần phải phân tích xem hồ sơ vay nào là “an toàn”, cái nào là “rủi ro”. Việc phân tích dữ liệu được gọi là phân lớp (Classification), trong đó một mô hình (Classifier) được xây dựng để dự đoán các nhãn như là “an tòan”, “rủi ro” của dữ liệu cho vay, “ phương pháp A”, “phương pháp B”, “phương pháp C” của dữ liệu y học.[5] Mục đích của phân lớp là dự đoán giá trị lớp của thuộc tính đích dựa trên các giá trị thuộc tính đầu vào.

Ta phải dựa vào các mối quan hệ giữa các đối tượng để tìm ra sự giống nhau giữa các đối tượng theo một độ đo nào đó đặc trưng cho lớp.1 Mô hình phân lớp 1.Quá trình phân lớp Gồm hai bước: (LUAN.SVM TIEU LUAN MOI download : [e-mail] 11 Bước 1: Xây dựng mô hình từ tập dữ liệu huấn luyện Bước 2: Sử dụng mô hình: Kiểm tra tính đúng đắn của mô hình và dùng nó để phân lớp dữ liệu mới Xây dựng mô hình Sử dụng mô hình để dự báo Dữ liệu Dữ liệu Dữ liệu Bộ phân loại (mô kiểm tra chưa biết huấn luyện hình ) Hình 1.Quá trình phân lớp 1.Xây dựng mô hình - Mỗi bộ/mẫu dữ liệu được phân vào lớp đã xác định trước - Lớp của bộ/mẫu dữ liệu được chỉ ra trong thuộc tính nhãn lớp của bộ/mẫu dữ liệu đó. - Tập dữ liệu được dùng để xây dựng mô hình gọi là tập dữ liệu huấn luyện. - Mô hình được xây dựng có thể là các luật phân lớp, cây quyết định hoặc có thể là các công thức toán học, bộ tham số ….Sử dụng mô hình - Phân lớp cho các đối tượng trong tương lai hoặc các đối tượng chưa biết. - Đánh giá độ chính xác của mô hình + So sánh các nhãn lớp đã biết của các bộ trong tập dữ liệu kiểm tra với kết quả phân lớp của mô hình + Độ chính xác là tỉ lệ phần trăm của các bộ trong tập dữ liệu kiểm tra được phân lớp đúng mô hình - Tập dữ liệu phải có cùng khuôn dạng và độc lập với tập dữ liệu huấn luyện (LUAN.SVM TIEU LUAN MOI download : skknchat@gmail.Các yêu cầu đối với bàn toán phân lớp Các phương pháp phân lớp thường đòi hỏi một số yêu cầu sau: - Tính tuyến tính: Với các tập dữ liệu nhỏ mà số lượng các đối tượng ít thì các thuật toán có thể giải quyết tốt, nhưng trên thực tế có những cơ sở dữ liệu lớn có thể có hàng ngàn, hàng triệu đối tượng.

Khi đó phân lớp có thể dẫn đến kết quả không như mong muốn hoặc tốn rất nhiều thời gian. - Khả năng làm việc với nhiều loại dữ liệu khác nhau: Dữ liệu không đơn thuần chỉ là các con số, mà còn có nhiều kiểu dữ liệu. Vì thế, các ứng dụng có thể yêu cầu phân lớp với nhiều dạng dữ liệu như nhị phân, dữ liệu phân loại, dữ liệu hỗn hợp theo nhiều kiểu. - Tối thiểu các tham số đầu vào: các tham số thường rất khó xác định, đặc biệt với các tập dữ liệu có các đối tượng nhiều chiều.

Điều này gây khó khăn cho người sử dụng và ảnh hưởng tới chất lượng của các lớp. - Khả năng làm việc với các dữ liệu nhiễu. Hầu hết các dữ liệu thực đều có dữ liệu không đầy đủ, không biết rõ hoặc dữ liệu lỗi. Một số thuật toán rất nhạy cảm với các dữ liệu như vậy và có thể làm giảm khả năng phân lớp của chúng.

- Không phụ thuộc vào thứ tự của các bản ghi đầu vào. Với cùng một tập dữ liệu, khi biểu diễn với thứ tự khác nhau, một số thuật toán có thể tạo ra những lớp khác nhau. Vì vậy yêu cầu thuật toán không phụ thuộc vào thứ tự đầu vào của dữ liệu là một yêu cầu hết sức quan trọng. - Khả năng làm việc với dữ liệu nhiều chiều: với lượng dữ liệu lớn, lượng thông tin càng ngày càng thay đổi thì một cơ sở dữ liệu có thể có nhiều chiều hoặc nhiều thuộc tính.

Các thuật toán có thể xử lý tốt với dữ liệu ít chiều xong lại không tỏ ra hiệu quả với dữ liệu nhiều chiều. Đây cũng là một thách thực lớn trong phân lớp các đối tượng dữ liệu trong không gian nhiều chiều. - Phân lớp các ràng buộc. Các ứng dụng trong thực tế có thể phải thực hiện phân lớp với nhiều ràng buộc.

Nhiệm vụ của phân lớp là phải tìm một nhóm dữ liệu sao cho phân lớp tốt nhất thỏa mãn các điều kiện ràng buộc. - Tính có thể hiểu được và khả năng sử dụng được. Người sử dụng mong rằng có thể hiểu được, nhận biết được và sử dụng được các lớp sau khi chia. Điều đó đòi hỏi các lớp sau khi được phân lớp phải có ý nghĩa và đem lại ứng dụng.SVM TIEU LUAN MOI download : [e-mail] 13 Với những yêu cầu trên, thật khó để có thể tìm được một thuật toán đáp ứng được tất cả các yêu cầu.

Vì vậy đây luôn là một thách thức lớn đối với lĩnh vực khai phá dữ liệu.Kỹ thuật phân lớp SVM(Support vector machines) SVM là phương pháp học máy cho phép phân lớp các đối tượng ra thành hai lớp. Mặc dù các đối tượng cần phân lớp hết sức phong phú từ tranh ảnh, âm thanh, đồ thị…, nhưng ở đây tôi chỉ xem xét các đối tượng là các vector thực với số chiều hữu hạn 2.SVM tuyến tính 2.Các bộ phận phân lớp tuyến tính  Giả sử m=2, hay mỗi đối tượng chỉ là một vector hai chiều   x = (x1, x2). Mỗi đối tượng như vậy có thể được biểu diễn bởi một điểm trên mặt. Trong không gian đó, mỗi đường thẳng được đẳng trưng bởi phương trình tuyến tính có dạng:   w x +b (1.