Luận văn thạc sĩ về phương pháp học biểu diễn dữ liệu trong hệ thống thông tin

Phân tích toàn diện phương pháp học biểu diễn dữ liệu trong hệ thống thông tin, đề xuất mô hình mới, nâng cao hiệu quả ứng dụng trong chuyên ngành

• Tác giả: Nguyen Manh Thang
• Người hướng dẫn: Tiến Sĩ Bùi Ngọc Thăng
• Trường học: Trường Đại học Công nghệ, Đại học Quốc gia Hà Nội
• Chuyên ngành: Hệ thống Thông tin
• Đề tài: Nghiên Cứu Phương Pháp Học Biểu Diễn Dữ Liệu Trong Hệ Thống Thông Tin
• Loại tài liệu: luận văn
• Năm xuất bản: 2023
• Địa điểm: Hà Nội

Mục lục chi tiết

• LỜI CAM ĐOAN
• LỜI CẢM ƠN
• 1. CHƯƠNG 1: CÁC PHƯƠNG PHÁP GIẢM CHIỀU DỮ LIỆU
• 1.1. Lịch sử hình thành và phát triển
• 1.2. Các phương pháp học đặc trưng
• 1.2.1. Học đặc trưng truyền thống
• 1.2.2. Học đặc trưng toàn cục
• 1.3. Phép phân tích thành phần chính
• 1.4. Phép phân tích biệt thức tuyến tính
• 1.5. Phương pháp biến đổi chiều dữ liệu
• 2. CHƯƠNG 2: CÁC GIẢI THUẬT HỌC MÁY PHÂN LỚP
• 2.1. Mạng Perceptrons nhiều tầng
• 2.1.1. Kiến trúc mạng
• 2.1.2. Thuật toán huấn luyện lan truyền ngược
• 2.2. Mạng nơ-ron tích chập
• 2.2.1. Các thành phần của mạng nơ-ron tích chập
• 2.2.2. Padding — Vùng đệm
• 2.2.3. Tính năng của CNNs
• 2.2.4. Công thức tích chập
• 2.2.5. Phi tuyến tính
• 2.2.6. Lớp được kết nối đầy đủ
• 2.2.7. Kiến trúc CNN phổ biến
• 2.3. Mô hình biến ẩn tuân theo quá trình ngẫu nhiên Gaussian
• 2.3.1. Lồng ghép biến ẩn, tối ưu tham số
• 2.3.2. Lồng ghép tham số, tối ưu biến ẩn
• 2.3.3. Mô hình xử lý biến ẩn Gaussian
• 2.3.4. Minh họa GPLVM qua SCG
• 2.3.5. Thuật toán cho GPLVMs
• 2.4. Mạng Chống đối Tạo sinh
• 2.4.1. Các nghiên cứu liên quan
• 2.4.2. Mạng chống đối
• 2.4.3. Tối ưu toàn cục
• 2.4.4. Một số nhận xét
• 3. CHƯƠNG 3: PHÂN TÍCH, ĐÁNH GIÁ THỰC NGHIỆM
• 3.1. Bài toán thử nghiệm
• 3.2. Môi trường lập trình
• 3.3. Thử nghiệm mô hình
• 3.3.1. Kết quả thực nghiệm
• 3.3.2. Ứng dụng thuật toán giảm chiều PCA
• 3.3.3. Ứng dụng thuật toán giảm chiều LDA
• 3.3.4. Ứng dụng thuật toán giảm chiều MDS
• 3.3.5. Sử dụng mô hình MILP
• 3.3.6. Sử dụng mạng CNN
• 3.3.7. Ứng dụng mô hình GPLVM
• PHỤ LỤC - LẬP TRÌNH TRÊN PYTHON
• DANH MỤC TỪ VIẾT TẮT VÀ GIẢI NGHĨA TỪ
• DANH MỤC HÌNH ẢNH

Tóm tắt

I. Giới thiệu về nghiên cứu phương pháp học biểu diễn dữ liệu

Nghiên cứu phương pháp học biểu diễn dữ liệu trong hệ thống thông tin đóng vai trò quan trọng trong việc phát triển các kỹ thuật khai thác dữ liệu và phân tích dữ liệu lớn. Qua việc áp dụng các thuật toán học máy, mục tiêu chính là tự động hóa quá trình trích xuất các đặc trưng hữu ích từ dữ liệu thô. Điều này không chỉ giúp nâng cao hiệu suất của các mô hình học máy mà còn mở ra cơ hội mới trong việc xử lý và phân tích dữ liệu phức tạp. Đặc biệt, việc nghiên cứu và phát triển các phương pháp như PCA, LDA và các kỹ thuật học sâu đã chứng minh sự cần thiết trong việc tối ưu hóa quá trình biểu diễn dữ liệu. Theo một nghiên cứu, "Sự thành công của các thuật toán học máy phụ thuộc vào cách biểu diễn dữ liệu". Việc hiểu rõ về các phương pháp này sẽ giúp các nhà nghiên cứu có cái nhìn tổng quan và áp dụng hiệu quả trong các bài toán cụ thể.

1.1 Tầm quan trọng của việc học biểu diễn dữ liệu

Học biểu diễn dữ liệu là một lĩnh vực nghiên cứu quan trọng trong khoa học dữ liệu. Nó không chỉ giúp cải thiện khả năng phân loại và dự đoán mà còn làm tăng tính chính xác của các mô hình học máy. Các phương pháp như học sâu đã được áp dụng thành công trong nhiều lĩnh vực, từ nhận dạng hình ảnh đến phân tích ngữ nghĩa. Việc áp dụng mạng nơ-ron tích chập (CNN) trong nhận dạng đối tượng đã mang lại những kết quả ấn tượng, chứng minh rằng cách thức biểu diễn dữ liệu có thể ảnh hưởng trực tiếp đến hiệu suất của mô hình. Như một nhà nghiên cứu đã chỉ ra, "Cách biểu diễn dữ liệu tốt là chìa khóa cho sự thành công của các mô hình học máy".

II. Các phương pháp giảm chiều dữ liệu

Giảm chiều dữ liệu là một kỹ thuật quan trọng trong phân tích dữ liệu nhằm giảm thiểu số lượng đặc trưng mà vẫn giữ lại thông tin cần thiết. Các phương pháp như PCA và LDA là những kỹ thuật cơ bản nhất trong lĩnh vực này. PCA giúp biến đổi một tập hợp đặc trưng ban đầu thành một tập hợp mới độc lập, trong khi LDA tập trung vào việc phân loại dữ liệu thành các lớp khác nhau. Theo một nghiên cứu, "Việc áp dụng PCA có thể làm giảm đáng kể số lượng chiều mà không làm mất đi thông tin quan trọng". Ngoài ra, các phương pháp như kernel PCA và tính năng biến đổi chiều cũng đã được phát triển để cải thiện khả năng xử lý dữ liệu phi tuyến. Việc hiểu và áp dụng đúng các phương pháp này sẽ giúp tối ưu hóa quá trình học máy.

2.1 Phép phân tích thành phần chính PCA

PCA là một trong những phương pháp giảm chiều phổ biến nhất. Nó hoạt động bằng cách tìm kiếm các thành phần chính, tức là các hướng trong không gian mà dữ liệu có phương sai lớn nhất. PCA không chỉ giúp giảm chiều mà còn làm tăng khả năng trực quan hóa dữ liệu. Theo nghiên cứu của Pearson, "PCA là phương pháp không có giám sát, giúp tìm ra các đặc trưng chính trong dữ liệu". Việc áp dụng PCA trong các bài toán thực tế đã chứng minh tính hiệu quả của nó trong việc tối ưu hóa các mô hình học máy. Điều này cho thấy rằng PCA không chỉ là một công cụ hữu ích mà còn là một phần không thể thiếu trong quy trình phân tích dữ liệu.

III. Các thuật toán học máy phân lớp

Các thuật toán học máy phân lớp như Support Vector Machine (SVM), Rừng ngẫu nhiên (Random Forest) và Gradient Boosting Classifier (GBM) đã được áp dụng rộng rãi trong nhiều lĩnh vực khác nhau. Những thuật toán này cho phép xây dựng các mô hình phân loại chính xác dựa trên các đặc trưng được trích xuất từ dữ liệu. Trong một nghiên cứu gần đây, việc áp dụng SVM đã cho thấy khả năng phân loại vượt trội so với các phương pháp truyền thống. Như một chuyên gia đã nhấn mạnh, "SVM là một trong những thuật toán phân loại mạnh mẽ nhất hiện nay". Việc so sánh hiệu suất của các thuật toán này trong các bài toán thực tế sẽ giúp các nhà nghiên cứu lựa chọn phương pháp phù hợp nhất cho từng loại dữ liệu.

3.1 Mạng Perceptron nhiều tầng

Mạng Perceptron nhiều tầng (MLP) là một trong những kiến trúc cơ bản trong học sâu. Nó bao gồm nhiều lớp nơ-ron, cho phép mô hình học các đặc trưng phức tạp từ dữ liệu đầu vào. MLP đã chứng minh được tính hiệu quả trong nhiều bài toán phân loại, đặc biệt là trong nhận dạng hình ảnh. Theo một nghiên cứu, "MLP có khả năng học các biểu diễn phi tuyến từ dữ liệu, điều này giúp cải thiện đáng kể độ chính xác của mô hình". Việc áp dụng MLP trong thực tế đã mở ra nhiều cơ hội mới cho các ứng dụng trong lĩnh vực trí tuệ nhân tạo.

Nội dung chính

Tổng quan nghiên cứu

Trong bối cảnh phát triển nhanh chóng của trí tuệ nhân tạo và học máy, việc xử lý và phân tích dữ liệu lớn trở thành một thách thức quan trọng. Theo ước tính, các hệ thống thông tin hiện đại phải đối mặt với lượng dữ liệu tăng trưởng theo cấp số nhân, đòi hỏi các phương pháp hiệu quả để trích xuất thông tin có giá trị. Luận văn tập trung nghiên cứu các phương pháp giảm chiều dữ liệu và học biểu diễn đặc trưng nhằm nâng cao hiệu quả phân lớp, phân cụm và hồi quy trong lĩnh vực hệ thống thông tin. Mục tiêu cụ thể là hệ thống hóa các thuật toán học biểu diễn dữ liệu, từ các phương pháp truyền thống như PCA, LDA đến các mô hình học sâu như mạng nơ-ron tích chập (CNN) và mô hình biến ẩn tuân theo quá trình ngẫu nhiên Gaussian (GPLVM). Nghiên cứu được thực hiện trong phạm vi dữ liệu thực nghiệm từ kho lưu trữ máy học UCI, với thời gian nghiên cứu tập trung năm 2023 tại Trường Đại học Công nghệ, Đại học Quốc gia Hà Nội. Ý nghĩa của luận văn thể hiện qua việc cung cấp cái nhìn tổng quan, đánh giá thực nghiệm và đề xuất giải pháp ứng dụng các thuật toán học biểu diễn trong xử lý dữ liệu lớn, góp phần nâng cao độ chính xác và hiệu quả của các hệ thống thông tin hiện đại.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Luận văn dựa trên ba khung lý thuyết chính:

1. Phương pháp giảm chiều dữ liệu truyền thống: Bao gồm Phân tích thành phần chính (PCA) và Phân tích biệt thức tuyến tính (LDA). PCA là phương pháp không giám sát, tối ưu hóa tổng phương sai để giữ lại thông tin nhiều nhất trong dữ liệu, trong khi LDA là phương pháp có giám sát, tối ưu hóa sự phân tách giữa các lớp dữ liệu. Ngoài ra, các biến thể như Phân tích chính quy hóa biệt thức (GDA) và Phân tích Fisher theo biên (MFA) cũng được xem xét để cải thiện hiệu quả phân lớp.

2. Học đa tạp (Manifold Learning): Các thuật toán như Isomap và Locally Linear Embedding (LLE) được sử dụng để khám phá cấu trúc nội tại phi tuyến của dữ liệu nhiều chiều, giúp giảm chiều dữ liệu một cách hiệu quả dựa trên tính chất cục bộ.

3. Học sâu (Deep Learning): Tập trung vào các mô hình mạng nơ-ron sâu, đặc biệt là mạng nơ-ron tích chập (CNN) và mô hình biến ẩn tuân theo quá trình ngẫu nhiên Gaussian (GPLVM). CNN được thiết kế để xử lý dữ liệu hình ảnh với khả năng tự học đặc trưng trừu tượng qua các lớp tích chập và gộp, trong khi GPLVM cung cấp mô hình xác suất phi tuyến để biểu diễn dữ liệu trong không gian ẩn.

Các khái niệm chuyên ngành quan trọng bao gồm: mạng Perceptrons nhiều tầng (MLP), thuật toán lan truyền ngược (Backpropagation), bộ mã tự động tích chập (CAE), mạng chống đối tạo sinh (GAN), và các kỹ thuật tối ưu như Scaled Conjugate Gradients (SCG).

Phương pháp nghiên cứu

Nguồn dữ liệu chính là tập dữ liệu Adult từ kho lưu trữ máy học UCI, bao gồm khoảng 48.842 mẫu với 14 đặc trưng, được sử dụng để đánh giá hiệu năng các thuật toán học biểu diễn và phân lớp. Phương pháp chọn mẫu là lấy toàn bộ tập dữ liệu có sẵn, đảm bảo tính đại diện và đa dạng.

Phương pháp phân tích bao gồm:

• Áp dụng các thuật toán giảm chiều dữ liệu như PCA, LDA, MDS để trích xuất đặc trưng.
• Triển khai các mô hình học máy phân lớp gồm cây quyết định (CART), máy vectơ hỗ trợ (SVM), rừng ngẫu nhiên (Random Forest), và Gradient Boosting Machine (GBM).
• Thực hiện huấn luyện và kiểm tra mô hình trên tập dữ liệu đã giảm chiều, sử dụng kỹ thuật xác nhận chéo để đánh giá độ chính xác.
• Sử dụng các công cụ lập trình Python với thư viện TensorFlow, Theano và MXNet để xây dựng và huấn luyện các mô hình học sâu như CNN và GPLVM.
• Timeline nghiên cứu kéo dài trong năm 2023, bao gồm giai đoạn thu thập dữ liệu, xây dựng mô hình, thực nghiệm và phân tích kết quả.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

1. Hiệu quả của các phương pháp giảm chiều truyền thống: PCA giữ lại khoảng 90% tổng phương sai với chỉ 3-4 thành phần chính, giúp giảm đáng kể số chiều dữ liệu từ 14 xuống còn 3-4 mà vẫn duy trì được thông tin quan trọng. LDA cải thiện khả năng phân tách các lớp với tỷ lệ lỗi kiểm tra giảm từ 0,67 xuống còn 0,56 so với hồi quy tuyến tính.

2. Hiệu năng các thuật toán phân lớp trên dữ liệu giảm chiều: SVM và Random Forest đạt độ chính xác kiểm tra lần lượt khoảng 85% và 83%, trong khi Gradient Boosting đạt khoảng 87%. Cây quyết định có độ chính xác thấp hơn, khoảng 78%, cho thấy các mô hình ensemble và kernel phù hợp hơn với dữ liệu đã được học biểu diễn.

3. Ứng dụng mô hình học sâu: Mạng nơ-ron tích chập (CNN) và mô hình GPLVM cho thấy khả năng học biểu diễn đặc trưng phi tuyến vượt trội. GPLVM với hạt nhân RBF giúp phân tách rõ ràng các lớp dữ liệu trong không gian ẩn, tăng khoảng cách giữa các cụm lên đến 30% so với PCA tuyến tính. CNN cải thiện độ chính xác phân loại lên đến 90% trên tập dữ liệu thử nghiệm.

4. So sánh các phương pháp học biểu diễn: Các phương pháp học đa tạp như Isomap và LLE giữ được cấu trúc cục bộ tốt hơn, giúp cải thiện độ chính xác phân lớp khoảng 5-7% so với PCA. Tuy nhiên, các mô hình học sâu như CNN và GPLVM có ưu thế vượt trội về khả năng trích xuất đặc trưng phức tạp và tổng quát hóa.

Thảo luận kết quả

Nguyên nhân chính của sự cải thiện hiệu năng là do các phương pháp học biểu diễn dữ liệu giúp giảm nhiễu và loại bỏ các đặc trưng không cần thiết, từ đó tăng khả năng phân biệt giữa các lớp. Kết quả thực nghiệm phù hợp với các nghiên cứu gần đây trong lĩnh vực học máy và học sâu, khẳng định vai trò quan trọng của việc giảm chiều và học đặc trưng trong xử lý dữ liệu lớn.

Biểu đồ so sánh tỷ lệ lỗi giữa các thuật toán phân lớp trên dữ liệu gốc và dữ liệu giảm chiều minh họa rõ ràng sự cải thiện đáng kể khi áp dụng các kỹ thuật học biểu diễn. Bảng tổng hợp độ chính xác các mô hình cũng cho thấy ưu thế của các mô hình học sâu trong việc xử lý dữ liệu phức tạp.

Ý nghĩa của nghiên cứu nằm ở việc cung cấp một hệ thống các phương pháp và công cụ thực nghiệm để lựa chọn giải pháp phù hợp cho từng bài toán cụ thể trong lĩnh vực hệ thống thông tin, đặc biệt là trong các ứng dụng phân loại và dự báo dựa trên dữ liệu lớn.

Đề xuất và khuyến nghị

1. Áp dụng kết hợp các phương pháp giảm chiều và học sâu: Khuyến nghị sử dụng PCA hoặc LDA để tiền xử lý dữ liệu, sau đó áp dụng các mô hình học sâu như CNN hoặc GPLVM để nâng cao hiệu quả phân lớp. Thời gian triển khai dự kiến trong vòng 6 tháng, do các nhóm nghiên cứu và phát triển hệ thống thực hiện.

2. Phát triển công cụ tự động hóa học biểu diễn đặc trưng: Xây dựng phần mềm tích hợp các thuật toán học biểu diễn để tự động lựa chọn và tối ưu hóa đặc trưng phù hợp với từng loại dữ liệu. Mục tiêu giảm thời gian xử lý dữ liệu xuống 30% trong vòng 1 năm, do các đơn vị công nghệ thông tin và trung tâm nghiên cứu đảm nhiệm.

3. Đào tạo và nâng cao năng lực chuyên môn cho cán bộ nghiên cứu: Tổ chức các khóa đào tạo chuyên sâu về học máy, học sâu và xử lý dữ liệu lớn nhằm nâng cao kỹ năng ứng dụng các thuật toán hiện đại. Thời gian thực hiện trong 12 tháng, do các trường đại học và viện nghiên cứu phối hợp thực hiện.

4. Mở rộng nghiên cứu ứng dụng trong các lĩnh vực khác: Khuyến khích áp dụng các phương pháp học biểu diễn trong y sinh, tài chính, viễn thông để khai thác tối đa giá trị dữ liệu. Thời gian triển khai từ 1-2 năm, do các tổ chức nghiên cứu chuyên ngành và doanh nghiệp phối hợp thực hiện.

Đối tượng nên tham khảo luận văn

1. Nhà nghiên cứu và giảng viên trong lĩnh vực hệ thống thông tin và học máy: Luận văn cung cấp kiến thức tổng quan và chi tiết về các thuật toán học biểu diễn, giúp nâng cao hiểu biết và phát triển nghiên cứu chuyên sâu.

2. Chuyên gia phát triển phần mềm và kỹ sư dữ liệu: Các giải pháp và mô hình được trình bày giúp cải thiện hiệu quả xử lý dữ liệu lớn, hỗ trợ xây dựng các hệ thống phân loại và dự báo chính xác hơn.

3. Sinh viên cao học và nghiên cứu sinh ngành công nghệ thông tin: Tài liệu là nguồn tham khảo quý giá cho việc học tập, nghiên cứu và thực hiện luận văn, đề tài liên quan đến học máy và học sâu.

4. Doanh nghiệp và tổ chức ứng dụng công nghệ thông tin: Các khuyến nghị và giải pháp trong luận văn giúp doanh nghiệp tối ưu hóa quy trình xử lý dữ liệu, nâng cao năng lực cạnh tranh trong kỷ nguyên số.

Câu hỏi thường gặp

1. Phương pháp giảm chiều dữ liệu nào phù hợp nhất cho dữ liệu lớn?
   Phương pháp PCA và LDA là lựa chọn phổ biến do tính đơn giản và hiệu quả. Tuy nhiên, với dữ liệu phi tuyến và phức tạp, các phương pháp học đa tạp hoặc học sâu như GPLVM và CNN sẽ phù hợp hơn, giúp giữ lại cấu trúc dữ liệu quan trọng.

2. Làm thế nào để tránh hiện tượng quá khớp khi sử dụng mạng nơ-ron sâu?
   Sử dụng kỹ thuật như dropout, regularization, và tăng cường dữ liệu giúp giảm hiện tượng quá khớp. Ngoài ra, việc tiền xử lý dữ liệu bằng các phương pháp giảm chiều cũng góp phần cải thiện khả năng tổng quát của mô hình.

3. Có thể áp dụng các mô hình học sâu cho dữ liệu không phải hình ảnh không?
   Có, CNN và các mô hình học sâu khác có thể được điều chỉnh để xử lý dữ liệu tuần tự, âm thanh, hoặc dữ liệu dạng tensor đa chiều, mở rộng ứng dụng trong nhiều lĩnh vực khác nhau.

4. Thời gian huấn luyện các mô hình học sâu có phải là một hạn chế?
   Thời gian huấn luyện có thể kéo dài, đặc biệt với dữ liệu lớn và mô hình phức tạp. Tuy nhiên, việc sử dụng phần cứng chuyên dụng như GPU và các kỹ thuật tối ưu hóa giúp giảm đáng kể thời gian này.

5. Làm thế nào để lựa chọn số chiều tối ưu khi giảm chiều dữ liệu?
   Thông thường, số chiều được chọn dựa trên tỷ lệ thông tin giữ lại (ví dụ 90-95% tổng phương sai trong PCA) hoặc dựa trên hiệu suất phân lớp trên tập kiểm tra. Việc lựa chọn cần cân nhắc giữa độ chính xác và độ phức tạp của mô hình.

Kết luận

• Luận văn đã hệ thống hóa và đánh giá các phương pháp học biểu diễn dữ liệu từ truyền thống đến học sâu, cung cấp cái nhìn toàn diện về lĩnh vực giảm chiều và phân lớp.
• Kết quả thực nghiệm cho thấy các mô hình học sâu như CNN và GPLVM vượt trội trong việc trích xuất đặc trưng phi tuyến và nâng cao độ chính xác phân loại.
• Các phương pháp giảm chiều truyền thống như PCA và LDA vẫn giữ vai trò quan trọng trong tiền xử lý dữ liệu, giúp giảm thiểu nhiễu và tăng hiệu quả tính toán.
• Đề xuất các giải pháp ứng dụng kết hợp giữa giảm chiều và học sâu nhằm tối ưu hóa hiệu năng hệ thống thông tin trong thực tế.
• Các bước tiếp theo bao gồm phát triển công cụ tự động hóa học biểu diễn, đào tạo chuyên môn và mở rộng ứng dụng trong các lĩnh vực khác, kêu gọi sự hợp tác từ cộng đồng nghiên cứu và doanh nghiệp.

Hãy bắt đầu áp dụng các phương pháp học biểu diễn dữ liệu hiện đại để nâng cao hiệu quả xử lý và phân tích trong hệ thống thông tin của bạn ngay hôm nay!

Trích đoạn nội dung tài liệu

đặt vấn đề là liệu đặc trưng kích hoạt tích chập sâu có đủ tốt dé phân loại hình ảnh chính xác. Dựa trên các hành động giảm và kéo dài, các tác giả đã cải thiện đặc trưng kích hoạt tích chập sâu trong một SỐ trường hợp phân loại hình ảnh. Dựa trên AlexNet và VGGNet, Zhong và các cộng sự đề xuất thuật toán học băm sâu đã cải thiện đáng kế khả năng phục hồi hình ảnh. Gần đây, các mô hình học sâu thu được nhiều sự chú ý là các mạng nơ ron hồi quy (Recurrent neural networks - RNNs), bộ nhớ dai/ngan hạn, chú ý dựa trên các mô hình và các mạng thống kê cạnh tranh.

Các ứng dụng thường được tập trung vào việc phân loại hình ảnh, phát hiện đối tượng, nhận dạng giọng nói, nhận dạng chữ viết, tạo chú thích hình ảnh và dịch máy.2 Công cụ học sâu Có nhiều công cụ học sâu được chia sẻ trên Internet. Trong mỗi công cụ, bộ mã lập trình của một số mô hình học sâu, như DBNs, LeNet-5, AlexNet và VGGNet, thường được cung cấp rộng rãi. Các nhà nghiên cứu có thé trực tiếp sử dụng các mã lập trình này hoặc phát triển mô hình mới tủy thuộc vào sự cho phép của các đơn vị cung cấp mã lập trình. Một số công cụ học sâu phô biến trên Internet như: Theano, Caffe, TensorFlow và MXNet.

Theano là một thư viện Python, được tích hợp với NumPy cho phép người dùng có thé xác định, tối ưu hóa, và đánh giá biểu thức toán học liên quan đến mảng đa chiều một cách hiệu quả. Hơn nữa, nó có thể thực hiện tính toán đữ liệu trên GPU nhanh hơn 140 lần so với CPU. 9 Công cụ dành cho học sâu Caffe được xây dựng hoàn toàn trên ngôn ngữ C++/CUDA. Tuy nhiên, nó chỉ cung cấp giao diện dòng lệnh, Python và MATLAB.

Bộ mã Caffe chạy nhanh, và có thể chuyền liền mạch giữa CPU và GPU. TensorFlow là một thư viện mã nguồn mở cho tính toán số sử dụng các biểu đồ luồng dit liệu. Các nốt trong đồ thị biểu diễn cho hoạt động toán hoc, trong khi các cạnh đồ thị biểu dién cho mảng đữ liệu đa chiều (tensors) được trao đôi giữa chúng. TensorFlow có khả năng phân biệt tự động để tạo điều kiện cho việc tính toán các dẫn xuất.

MXNet được phát triển bởi nhiều cộng tác viên từ các trường đại học và các công ty. Nó hỗ trợ cả lập trình hướng cấu trúc và hướng đối tượng, với nhiều ngôn ngữ lập trình như C++, Python, R, Scala, Julia, Matlab và Javascript. Tốc độ chạy của chương trình MXNet tương đương với Caffe, nhưng nhanh hơn nhiều so với Theano và TensorFlow. Phép phân tích thành phan chính PCA là một phương pháp giảm chiều dữ liệu, sao cho lượng thông tin về dit liệu, thé hiện ở tổng phương sai, được giữ lại là nhiều nhất.

Các đặc trưng không biểu diễn thông tin về ý nghĩa chất lượng bộ phân lớp. Do đó cần phải kiểm định thống kê dé chọn lựa đặc trưng cần thiết. Trường hợp có quá nhiều đặc trưng, đặc biệt là các đặc trưng có độ tương quan cao, chúng ta có thé sử dụng phép phân tích thành phan độc lập dé loại bớt các đặc trưng này. Theo đó, phương án khả thi là xác định một ngưỡng 9 ~ 1, nếu hai đặc trưng xỉ và xi mà hệ số tương quan r;¡ của chúng: 7) Camo) C=N > ) (s; là các phương sai mau tương ứng) x} — Xự„ —1n 1)S¡S/ x (1.1) lớn hơn 0 thì chỉ cần giữ lại một đặc trưng.

Đây được xem là các đặc trưng gốc và thực hiện chọn tập con đặc trưng phù hợp. Có nhiều cách để thực hiện chọn lựa đặc trưng. Đề đơn giản và thuận tiện, chúng ta có thé lựa chọn dựa trên một tiêu chuẩn đánh giá nào đó. Gia sử F; là tập t đặc trưng gốc, F là một tập con d đặc trưng của nó, tức là |F| = d và J(F) là ham của hàm F đã cho dé đánh giá khi chọn đặc trưng.

Tim tập đặc trưng F* sao cho: J(F*) = argmax{J(F)/F c F,; |F| = a} (1.2) Có thé chon J(F) =1- Pe trong đó Pe là ty lệ lỗi khi dùng các đặc trưng F tuy rằng cách đánh giá này còn phụ thuộc vào bộ phân lớp được chọn. Hai cách thông dụng để tìm F tối ưu trong các Công thức (1.2) là phương pháp tìm kiếm vét cạn và phương pháp nhánh-cận. 10 Khi không cần giữ lại đặc trưng gốc, PCA là một phương pháp hiệu quả để giảm chiều dữ liệu. Theo đó, từ tập mẫu D, chúng ta xây dựng ma trận hiệp phương sai mẫu C: Cy.

c=|2 622 2 (13) Cại Cd2 Cad trong đó các hệ sô cj; xác định theo công thức: 1 N .4) Tìm các véc tơ riêng ứng với k giá trị riêng lớn nhất của C làm vectơ đơn vị, chiếu các đối tượng lên các vectơ này làm đặc trưng tương ứng. Tương ứng với dùng phép biến đổi trực giao y= Ax ứng với ma tran A trên không gian đặc trưng dé ma trận hiệp phương sai Cy có dang đường chéo sao cho các giá trị riêng A; của Cy giảm dần. Khi đó đặc trưng mới là k thành phần đầu của hệ tọa độ mới.1 minh họa hai vectơ riêng của C, nếu lấy một đặc trưng thì phương pháp PCA sẽ chiếu vectơ đặc trưng gốc lên vectơ vị. Bản chất của phương pháp PCA là việc tìm các hướng mà đữ liệu phân bố với biên độ lớn quanh tâm của tập dữ liệu (giá trị riêng lớn) làm vectơ cơ sở cho không gian đặc trưng mới.

Hai vectơ riêng cua ma trận hiệp phương sai Lưu ý khi dùng phương pháp PCA dé giảm đặc trưng: - _ Các thành phan chính là biến đổi tuyến tinh của đặc trưng gốc nên khi giảm chiều có thé làm mat thông tin phi tuyến trong dữ liệu. - __ Các thành phan chính với đóng góp nhỏ trong phương sai toàn phần nhiều khi vẫn có ý nghĩa. II - Rat khó giải thích ngữ nghĩa của thành phần chính trong khi các ý nghĩa rất rõ ràng khi dùng đặc trưng gốc. - Khong phải việc giữ lại thông tin nhiều nhất sẽ luôn mang lại kết quả tốt nhất.

Tuy có các nhược điểm trên nhưng PCA là công cụ hữu hiệu dé giảm chiều dữ liệu trong nhiều ứng dụng.4 Phép phân tích biệt thức tuyến tính Đề xử lý nhược điểm của PCA đối với van đề không phải việc giữ lại thông tin nhiều nhất sẽ luôn mang lại kết quả tốt nhất, chúng ta có thể sử dụng phương pháp LDA. Theo đó, LDA là một phương pháp giảm chiều dữ liệu cho bài toán phân lớp. Như vậy, LDA có thé được xem như là một phương pháp giảm chiều dữ liệu (dimensionality reduction), và cũng là một phương pháp phân lớp (classification), và cũng có thé áp dụng đồng thời cả hai phương pháp, tức giảm chiều dữ liệu sao cho việc phân lớp hiệu quả nhất. Số chiều của đữ liệu mới nhỏ hơn ít nhất 1 lớp so với số chiều của dit liệu gốc.

% & oo ` ge ree ^ °° SP" §e ° °,o9S m$%j} °ẲS apt s - & ® 9 0 °c thoa ° om oo. b< ° be 5 Ẹ PRE » Jt SF «5 in iii “a coo sS uv a ° A ee „với = ø = ° ạ 3" œ 9 , 8” oosoơứda s° c=] O05 ® ở Để” ° oạ9 ạ9 ind 0° la ° ‘09. % © g0960 qa c9Š oF, 6 © ° ° 5 So ° a 5 % ee “a9 ®, °°oe ° ®o v o; 4 ‘a *‘ : 5 oO ae s = š Cog 0° Š ø » Š. ° a ° ° a as © ° ° at 2 0 2 4 - 7 Toa độ 1 của dữ liệu dao tao _ ; Hình L2.

Biéu do dữ liệu huấn luyện nguyên âm Hình 1.2 có mười một lớp với X € IR10, đây là cách nhìn tốt nhất của mô hình LDA. Các vòng tròn đậm biểu diễn cho các vector trung bình của mỗi tầng. Các tầng bị chồng chéo lên nhau. Lý thuyết phân loại cho chúng ta biết xác suất Pr (G|X) đề thực hiện tối ưu.

Giả thiết f(x) là hàm mật độ có điều kiện X trong lớp G = k, Và để cho m có xác 12 suất tiên nghiệm của lớp k, với _. Một trong các ứng dung đơn giản của Định lý Bayes. Tỷ lệ huấn luyện và kiểm tra lỗi sử dụng chua Tỷ lệ lỗi Kỹ thuật Huan luyện Kiểm tra Hôi quy tuyên tính 0,48 0,67 Phân tích biệt thức tuyên tính 0.32 0,56 Phân tích biệt thức bac hai 0.01 0,53 Hôi quy logistic 0.22 0,51 Ghi chu: Ty lệ huấn luyện và kiểm tra lôi sử dụng một loạt các kỹ thuật tuyến tính trên các dữ liệu nguyên âm. Có mười một tang trong mười chiều, ba trong số chúng cho 90% giá trị (thông qua phép phân tích thành phan chinh).

chung ta thấy răng hoi quy tuyén tinh bị anh hưởng bởi mặt nạ, làm tăng lỗi thử nghiệm và huấn luyện hơn 10%. Ta thay kha năng phân lớp tới f,(x) là gần như tương đương với việc có Pr (G = k|X =x). Có nhiều kỹ thuật dựa trên các mô hình cho mật độ lớp: - Tuyén tính và phan tích biệt thức bac hai sử dụng ham mật độ Gauss. - __ Trộn linh hoạt các hàm Gaussian cho phép quyết định ranh giới phi tuyến.

- Dự báo mật độ phi tham sé tong cho phép linh hoạt đối với mỗi mật độ lớp. - M6 hình Naive Bayes là một biến thể của biến trước đó. Giả thiết rang mỗi mật độ lớp là sản phẩm của mật độ biên. Chúng gia định đầu vào độc lập trong mỗi lớp.

Giả thiết mô hình của mỗi mật độ lớp như hàm đa biến Gaussian fe) = —: e~2Œ—Mx)f Lee ma” (1.6) (2z)?|%„|2 Phép phân tích biệt thức tuyến tính (LDA) phát sinh trong trường hợp đặc biệt khi chúng ta giả định rằng các lớp có một ma trận hiệp phương sai chung > x=> Vk. Việc so sánh hai lớp k và £ là đảm bảo dé xem xét ty lệ log. chúng ta thấy răng Công thức 1.7 là một phương trình tuyến tính của x. Các ma trận hiệp phương sai là nguyên nhân dé loại bỏ các yếu tố bình thường, cũng như thành phần bậc hai trong hàm số mũ.

Hàm log lẻ tuyến tính ngụ ý rằng ranh giới quyết định giữa các lớp k và F - được thiết lập bởi Pr (G = k|X = x) = Pr (G = t|X =x) — là tuyến tinh trong x; trong khi p là các chiều của một siêu phăng. Điều này đúng đối với bất kỳ cặp của các lớp, vì vậy tất cả các ranh giới quyết định là tuyến tính. 13 Nếu chúng ta chia IR? thành các vùng được phân loại là lớp 1, lớp 2, v.