Deeplearning mnist optimize

Tìm hiểu về tối ưu hóa deep learning với MNIST: So sánh các thuật toán SGD, Momentum, RMSProp, Adam. Khám phá kỹ thuật L2 regularization và dropout để cải thiện hiệu suất.

• Tác giả: Trần Lê Hoàng Bảo
• Người hướng dẫn: TS. Nguyễn Quốc Dũng
• Trường học: Trường Đại học Văn Lang
• Chuyên ngành: Học Sâu Trong Khoa Học Dữ Liệu
• Đề tài: So Sánh Hiệu Quả Của Các Thuật Toán Tối Ưu SGD, Momentum, RMSProp, Và Adam Trong Việc Huấn Luyện Mô Hình Mạng Nơ-ron Cho Bài Toán Phân Loại Ảnh MNIST, Sử Dụng Kỹ Thuật L2 Regularization Và Dropout.
• Loại tài liệu: Báo cáo đồ án cuối kỳ
• Năm xuất bản: 2024
• Địa điểm: Tp. Hồ Chí Minh

Mục lục chi tiết

• 1. CHƯƠNG 1: GIỚI THIỆU
• 1.1. Giới Thiệu Đề Tài
• 1.2. Mục Tiêu Nghiên Cứu
• 1.3. Tóm Tắt Nội Dung
• 1.4. Giới Thiệu Về Lĩnh Vực Học Sâu (Deep Learning) Và Ứng Dụng
• 2. CHƯƠNG 2: KHẢO SÁT TÀI LIỆU
• 2.1. Giới Thiệu Các Nghiên Cứu Liên Quan
• 2.2. Tổng Quan Về Mạng Nơ-ron Tích Chập
• 2.2.1. Lớp Tích Chập (Convolutional Layer)
• 2.2.2. Lớp Lấy Mẫu Xuống (Pooling/Subsampling Layer)
• 2.2.3. Lớp Kết Nối Đầy Đủ (Fully-connected Layer - FC)
• 2.2.4. Lớp Kích Hoạt (Activation Layer)
• 2.3. Khái Quát Về Thuật Toán Tối Ưu
• 2.3.1. Vai Trò của Thuật Toán Tối Ưu
• 2.3.2. Tỉ Lệ Học (Learning Rate)
• 3. CHƯƠNG 3: PHƯƠNG PHÁP NGHIÊN CỨU
• 3.1. Các Thuật Toán Tối Ưu
• 3.1.1. Stochastic Gradient Descent (SGD)
• 3.1.2. SGD với động lượng (SGD with Momentum)
• 3.2. Các Kỹ Thuật Chống Overfitting (Regularization)
• 3.3. Các Chỉ Số Đánh Giá Hiệu Quả
• 4. CHƯƠNG 4: CHUẨN BỊ DỮ LIỆU
• 4.1. Cơ Sở Dữ Liệu
• 4.2. Môi Trường Lập Trình
• 4.3. Lý Do Lựa Chọn Phương Pháp
• 5. CHƯƠNG 5: TRIỂN KHAI VÀ HUẤN LUYỆN MÔ HÌNH
• 5.1. Tiền Xử Lý Dữ Liệu
• 5.2. Trực Quan Hóa Dữ Liệu
• 5.3. Thiết Kế Kiến Trúc Mô Hình Bằng Keras
• 5.4. Huấn Luyện Mô Hình
• 5.5. Kết Quả Huấn Luyện Mô Hình
• 6. CHƯƠNG 6: ĐÁNH GIÁ KẾT LUẬN
• 6.1. Đánh Giá Mô Hình
• 6.2. Hạn Chế của Các Hàm Tối Ưu khi Xây Dựng Mô Hình
• 6.3. Những Đóng Góp và Hướng Phát Triển của Đề Tài
• TÀI LIỆU THAM KHẢO
• LỜI CẢM ƠN
• TỔNG QUAN

Tóm tắt

I. Tổng Quan So Sánh Thuật Toán Tối Ưu Cho MNIST 55 ký tự

Trong kỷ nguyên số, học sâu nổi lên như một lĩnh vực then chốt của trí tuệ nhân tạo, sử dụng mạng nơ-ron nhân tạo để giải mã các mẫu phức tạp từ dữ liệu. Mạng nơ-ron mô phỏng cấu trúc não bộ, với các lớp nơ-ron liên kết chặt chẽ, tiếp nhận và truyền tải thông tin. Học sâu đã chứng minh năng lực vượt trội trong nhiều ứng dụng, từ nhận dạng ảnh đến xử lý ngôn ngữ tự nhiên và dự đoán. Tuy nhiên, việc lựa chọn thuật toán tối ưu phù hợp vẫn là một thách thức, ảnh hưởng trực tiếp đến hiệu suất, tốc độ hội tụ và khả năng khái quát hóa của mô hình. Nghiên cứu này tập trung vào việc so sánh hiệu quả của các thuật toán SGD, Momentum, RMSProp, và Adam trong huấn luyện mạng nơ-ron cho bài toán phân loại ảnh MNIST. Áp dụng thêm kỹ thuật L2 regularization và dropout giúp kiểm soát hiện tượng overfitting. Kết quả nghiên cứu sẽ cung cấp thông tin giá trị, định hướng việc lựa chọn thuật toán tối ưu phù hợp cho từng bài toán cụ thể.

1.1. Tầm quan trọng của Thuật Toán Tối Ưu trong Học Sâu

Việc lựa chọn thuật toán tối ưu đóng vai trò then chốt trong quá trình huấn luyện mô hình học sâu. Các thuật toán này ảnh hưởng trực tiếp đến tốc độ hội tụ, độ chính xác và khả năng khái quát hóa của mô hình. Một thuật toán phù hợp sẽ giúp mô hình nhanh chóng đạt được hiệu suất tối ưu, đồng thời tránh được các vấn đề như overfitting và hội tụ cục bộ. Các thuật toán như SGD, Momentum, RMSProp, và Adam đều có những ưu nhược điểm riêng, và việc hiểu rõ những đặc tính này là vô cùng quan trọng để lựa chọn thuật toán phù hợp với từng bài toán cụ thể. Theo Ruder (2016), các thuật toán tối ưu phổ biến được sử dụng trong học sâu bao gồm Gradient Descent, Stochastic Gradient Descent (SGD), Momentum, RMSProp, và Adam.

1.2. Giới thiệu Bộ Dữ Liệu MNIST cho Phân Loại Ảnh

Bộ dữ liệu MNIST là một tập dữ liệu kinh điển trong lĩnh vực học máy và học sâu, bao gồm 70,000 ảnh grayscale của các chữ số viết tay từ 0 đến 9. Mỗi ảnh có kích thước 28x28 pixels, và tập dữ liệu được chia thành 60,000 ảnh huấn luyện và 10,000 ảnh kiểm tra. MNIST thường được sử dụng làm benchmark để đánh giá hiệu suất của các thuật toán phân loại ảnh, và nó là một lựa chọn lý tưởng để so sánh các thuật toán tối ưu khác nhau. Việc phân loại chính xác các chữ số trong MNIST đòi hỏi mô hình phải có khả năng học các đặc trưng phức tạp của hình ảnh, và thuật toán tối ưu đóng vai trò quan trọng trong việc giúp mô hình đạt được điều này.

II. Thách Thức Overfitting và Tối Ưu Cho MNIST 56 ký tự

Một trong những thách thức lớn nhất khi huấn luyện mạng nơ-ron cho bài toán phân loại ảnh MNIST là hiện tượng overfitting. Overfitting xảy ra khi mô hình học quá tốt trên dữ liệu huấn luyện, nhưng lại hoạt động kém trên dữ liệu kiểm tra. Điều này thường xảy ra khi mô hình quá phức tạp so với lượng dữ liệu huấn luyện, hoặc khi mô hình học được các đặc trưng nhiễu trong dữ liệu. Để giải quyết vấn đề overfitting, các kỹ thuật như L2 regularization và dropout thường được sử dụng. L2 regularization thêm một thành phần phạt vào hàm mất mát, trong khi dropout loại bỏ ngẫu nhiên một số nơ-ron trong quá trình huấn luyện. Việc lựa chọn và điều chỉnh các tham số của các kỹ thuật này cũng ảnh hưởng đáng kể đến hiệu suất của mô hình.

2.1. Kỹ thuật L2 Regularization giảm thiểu Overfitting

L2 Regularization, còn gọi là weight decay, là một kỹ thuật phổ biến để ngăn chặn overfitting trong mô hình học sâu. Nguyên lý cơ bản của L2 regularization là thêm một thành phần phạt vào hàm mất mát, khuyến khích các trọng số của mô hình có giá trị nhỏ. Điều này giúp giảm độ phức tạp của mô hình, ngăn chặn việc học các đặc trưng nhiễu trong dữ liệu huấn luyện. Tham số lambda (λ) điều chỉnh mức độ phạt, với giá trị lớn hơn tương ứng với mức phạt lớn hơn. Theo nghiên cứu của Li et al. (2018), sự không đồng nhất trong phương sai của dữ liệu đầu vào có thể gây ra hiện tượng không tương thích giữa dropout và batch normalization, dẫn đến sự giảm hiệu suất của mô hình.

2.2. Dropout Phương pháp ngẫu nhiên loại bỏ nơ ron

Dropout là một kỹ thuật regularization khác, hoạt động bằng cách loại bỏ ngẫu nhiên một số nơ-ron trong quá trình huấn luyện. Điều này giúp ngăn chặn các nơ-ron dựa quá nhiều vào các nơ-ron khác, buộc mô hình phải học các đặc trưng độc lập và khái quát hơn. Tỷ lệ dropout xác định tỷ lệ nơ-ron bị loại bỏ, và thường được đặt trong khoảng 0.2 đến 0.5. Dropout thường được sử dụng kết hợp với các kỹ thuật regularization khác để đạt được hiệu quả tốt nhất.

III. So Sánh SGD Momentum RMSProp Adam cho MNIST 59 ký tự

Nghiên cứu này tập trung vào việc so sánh hiệu quả của bốn thuật toán tối ưu phổ biến: SGD, Momentum, RMSProp, và Adam trong việc huấn luyện mạng nơ-ron cho bài toán phân loại ảnh MNIST. SGD là thuật toán cơ bản nhất, cập nhật trọng số dựa trên gradient của hàm mất mát. Momentum cải thiện SGD bằng cách thêm một thành phần quán tính, giúp tăng tốc độ hội tụ và vượt qua các điểm tối ưu cục bộ. RMSProp sử dụng adaptive learning rate, điều chỉnh tốc độ học cho từng tham số dựa trên độ lớn của gradient. Adam kết hợp ưu điểm của Momentum và RMSProp, thường cho hiệu suất tốt nhất trong nhiều trường hợp. Việc so sánh các thuật toán này sẽ cung cấp thông tin quan trọng về ưu nhược điểm của từng thuật toán, giúp người dùng lựa chọn thuật toán phù hợp nhất cho bài toán của mình.

3.1. SGD Stochastic Gradient Descent Cơ bản và Ổn định

SGD (Stochastic Gradient Descent) là một thuật toán tối ưu cơ bản và phổ biến trong học máy và học sâu. SGD cập nhật trọng số của mô hình dựa trên gradient của hàm mất mát tính trên một batch nhỏ dữ liệu (mini-batch). Mặc dù đơn giản, SGD có thể hội tụ chậm và dễ bị mắc kẹt trong các điểm tối ưu cục bộ. Tốc độ học (learning rate) là một hyperparameter quan trọng trong SGD, và việc lựa chọn tốc độ học phù hợp có thể ảnh hưởng đáng kể đến hiệu suất của thuật toán.

3.2. Momentum Tăng Tốc Hội Tụ và Vượt Qua Cực Trị

Momentum là một biến thể của SGD, sử dụng một thành phần quán tính để tăng tốc độ hội tụ và vượt qua các điểm tối ưu cục bộ. Momentum tính toán một trung bình trượt của các gradient, và sử dụng trung bình này để cập nhật trọng số. Điều này giúp giảm dao động trong quá trình huấn luyện và cho phép thuật toán di chuyển nhanh hơn về phía điểm tối ưu. Tham số momentum điều chỉnh mức độ ảnh hưởng của các gradient trước đó, và thường được đặt gần 1.

3.3. RMSProp Điều Chỉnh Tốc Độ Học Thích Ứng Cho Từng Tham Số

RMSProp (Root Mean Square Propagation) là một thuật toán tối ưu sử dụng adaptive learning rate, điều chỉnh tốc độ học cho từng tham số dựa trên độ lớn của gradient. RMSProp tính toán một trung bình trượt của bình phương các gradient, và sử dụng trung bình này để chia cho gradient hiện tại. Điều này giúp giảm tốc độ học cho các tham số có gradient lớn, và tăng tốc độ học cho các tham số có gradient nhỏ. RMSProp thường cho hiệu suất tốt hơn SGD và Momentum trong nhiều trường hợp.

IV. Kết Quả Hiệu Năng Các Thuật Toán trên Bộ MNIST 59 ký tự

Sau khi huấn luyện mạng nơ-ron với các thuật toán tối ưu khác nhau trên bộ dữ liệu MNIST, chúng tôi tiến hành đánh giá hiệu năng của từng thuật toán dựa trên các tiêu chí như độ chính xác (accuracy) và hàm mất mát (loss) trên tập kiểm tra. Kết quả cho thấy Adam thường đạt độ chính xác cao nhất và tốc độ hội tụ nhanh nhất, tiếp theo là RMSProp và Momentum. SGD có thể hội tụ chậm hơn và có độ chính xác thấp hơn, nhưng nó vẫn là một lựa chọn ổn định cho các bài toán đơn giản. Tuy nhiên, hiệu năng cụ thể của từng thuật toán có thể thay đổi tùy thuộc vào kiến trúc mạng nơ-ron, các tham số hyperparameter, và các kỹ thuật regularization được sử dụng.

4.1. Độ Chính Xác và Hàm Mất Mát trên Tập Kiểm Tra

Độ chính xác (accuracy) và hàm mất mát (loss) là hai chỉ số quan trọng để đánh giá hiệu năng của các thuật toán tối ưu. Độ chính xác đo lường tỷ lệ các mẫu được phân loại đúng, trong khi hàm mất mát đo lường sự khác biệt giữa dự đoán của mô hình và giá trị thực tế. Một thuật toán tối ưu tốt sẽ đạt được độ chính xác cao và hàm mất mát thấp trên tập kiểm tra. Việc theo dõi độ chính xác và hàm mất mát trong quá trình huấn luyện giúp chúng ta đánh giá được tốc độ hội tụ và khả năng khái quát hóa của mô hình.

4.2. Ảnh Hưởng của Hyperparameter Tuning đến Hiệu Suất

Việc điều chỉnh các tham số hyperparameter, chẳng hạn như tốc độ học (learning rate), momentum, và các tham số của Adam, có thể ảnh hưởng đáng kể đến hiệu suất của các thuật toán tối ưu. Một bộ tham số hyperparameter tốt có thể giúp mô hình hội tụ nhanh hơn, đạt được độ chính xác cao hơn, và tránh được overfitting. Các phương pháp như grid search, random search, và Bayesian optimization thường được sử dụng để tìm kiếm bộ tham số hyperparameter tối ưu.

V. Ứng Dụng Lựa Chọn Thuật Toán Tối Ưu Phù Hợp 57 ký tự

Kết quả nghiên cứu này cung cấp thông tin quan trọng để lựa chọn thuật toán tối ưu phù hợp cho bài toán phân loại ảnh MNIST và các bài toán học sâu tương tự. Adam thường là lựa chọn đầu tiên do hiệu suất tốt và khả năng thích ứng cao, nhưng RMSProp và Momentum cũng là những lựa chọn khả thi. SGD có thể được sử dụng cho các bài toán đơn giản hoặc khi cần một thuật toán ổn định và dễ điều chỉnh. Việc kết hợp các thuật toán khác nhau, chẳng hạn như sử dụng SGD ở giai đoạn đầu và chuyển sang Adam ở giai đoạn sau, cũng có thể mang lại hiệu quả tốt. Ngoài ra, việc điều chỉnh các tham số hyperparameter và sử dụng các kỹ thuật regularization là rất quan trọng để đạt được hiệu suất tối ưu.

5.1. Khi nào Nên Sử Dụng SGD Momentum RMSProp Adam

Việc lựa chọn thuật toán tối ưu phù hợp phụ thuộc vào nhiều yếu tố, bao gồm độ phức tạp của bài toán, kích thước tập dữ liệu, và kiến trúc mạng nơ-ron. SGD thường được sử dụng cho các bài toán đơn giản hoặc khi cần một thuật toán ổn định và dễ điều chỉnh. Momentum có thể giúp tăng tốc độ hội tụ và vượt qua các điểm tối ưu cục bộ. RMSProp thích hợp cho các bài toán có adaptive learning rate. Adam thường là lựa chọn tốt nhất cho các bài toán phức tạp do hiệu suất tốt và khả năng thích ứng cao.

5.2. Kết Hợp Các Thuật Toán Tối Ưu Để Cải Thiện Hiệu Suất

Trong một số trường hợp, việc kết hợp các thuật toán tối ưu khác nhau có thể mang lại hiệu quả tốt hơn so với việc chỉ sử dụng một thuật toán. Chẳng hạn, có thể sử dụng SGD ở giai đoạn đầu của quá trình huấn luyện để giúp mô hình nhanh chóng thoát khỏi các điểm khởi tạo kém, và sau đó chuyển sang Adam để tinh chỉnh các tham số. Việc kết hợp các thuật toán khác nhau có thể tận dụng ưu điểm của từng thuật toán, giúp mô hình đạt được hiệu suất tối ưu.

VI. Kết Luận Tương Lai của Tối Ưu Trong Học Sâu 57 ký tự

Nghiên cứu này đã so sánh hiệu quả của các thuật toán tối ưu phổ biến cho bài toán phân loại ảnh MNIST, cung cấp thông tin quan trọng về ưu nhược điểm của từng thuật toán. Trong tương lai, các nghiên cứu có thể tập trung vào việc phát triển các thuật toán tối ưu mới, kết hợp ưu điểm của các thuật toán hiện có, và tự động điều chỉnh các tham số hyperparameter. Ngoài ra, việc nghiên cứu ảnh hưởng của các kỹ thuật regularization và kiến trúc mạng nơ-ron đến hiệu suất của các thuật toán tối ưu cũng là một hướng đi quan trọng. Sự phát triển của các thuật toán tối ưu hiệu quả hơn sẽ giúp giải quyết các bài toán học sâu phức tạp hơn và mở ra những ứng dụng mới trong nhiều lĩnh vực.

6.1. Hướng Nghiên Cứu và Phát Triển Các Thuật Toán Tối Ưu

Trong tương lai, các nghiên cứu có thể tập trung vào việc phát triển các thuật toán tối ưu mới, kết hợp ưu điểm của các thuật toán hiện có, và tự động điều chỉnh các tham số hyperparameter. Ngoài ra, việc nghiên cứu ảnh hưởng của các kỹ thuật regularization và kiến trúc mạng nơ-ron đến hiệu suất của các thuật toán tối ưu cũng là một hướng đi quan trọng. Mục tiêu là tạo ra các thuật toán tối ưu mạnh mẽ hơn, có khả năng thích ứng cao với các bài toán khác nhau, và giảm thiểu sự can thiệp của con người trong quá trình huấn luyện.

6.2. Ứng Dụng Các Thuật Toán Tối Ưu trong Các Lĩnh Vực Mới

Sự phát triển của các thuật toán tối ưu hiệu quả hơn sẽ giúp giải quyết các bài toán học sâu phức tạp hơn và mở ra những ứng dụng mới trong nhiều lĩnh vực. Chẳng hạn, trong lĩnh vực y học, các thuật toán tối ưu có thể được sử dụng để phát triển các mô hình dự đoán bệnh tật chính xác hơn. Trong lĩnh vực tài chính, các thuật toán tối ưu có thể được sử dụng để xây dựng các hệ thống giao dịch tự động hiệu quả hơn. Và trong lĩnh vực robotics, các thuật toán tối ưu có thể được sử dụng để điều khiển các robot phức tạp hơn. tiềm năng ứng dụng của các thuật toán tối ưu là vô cùng lớn, và việc tiếp tục nghiên cứu và phát triển trong lĩnh vực này là rất quan trọng.

Nội dung chính

Bối cảnh và vấn đề nghiên cứu

Trong bối cảnh bùng nổ dữ liệu số và sự phát triển của năng lực tính toán hiện đại, học sâu (Deep Learning) thuộc lĩnh vực Trí tuệ Nhân tạo (AI) đã khẳng định vai trò then chốt thông qua việc sử dụng các mạng nơ-ron nhân tạo (ANNs) để mô hình hóa và học các mẫu dữ liệu phức tạp. Mặc dù học sâu đã đạt được nhiều thành tựu trong các bài toán nhận dạng hình ảnh, xử lý ngôn ngữ tự nhiên, tự lái ô tô và y sinh học, việc xây dựng và huấn luyện mô hình vẫn đối mặt với thách thức lớn về chi phí tính toán, thời gian huấn luyện và hiện tượng quá khớp (overfitting). Trong đó, việc lựa chọn thuật toán tối ưu đóng vai trò quyết định đến tốc độ hội tụ, tính ổn định và khả năng tổng quát hóa của mô hình trên dữ liệu mới.

Nhằm giải quyết vấn đề trên, đề tài tập trung nghiên cứu, thực nghiệm và so sánh hiệu quả của các thuật toán tối ưu phổ biến gồm Stochastic Gradient Descent (SGD), SGD with Momentum, RMSProp và Adam khi huấn luyện mô hình mạng nơ-ron phân loại ảnh chữ số viết tay trên bộ dữ liệu MNIST, kết hợp với các kỹ thuật điều chuẩn (regularization) là L2 Regularization và Dropout.

Nhóm tác giả xác định 4 mục tiêu nghiên cứu cụ thể như sau:

1. Mục tiêu 1: So sánh hiệu quả của các thuật toán tối ưu SGD, Momentum, RMSProp và Adam trong việc huấn luyện mô hình mạng nơ-ron cho bài toán phân loại ảnh MNIST.
2. Mục tiêu 2: Áp dụng kỹ thuật L2 Regularization và Dropout vào mô hình để kiểm soát hiện tượng quá khớp (overfitting) và cải thiện khả năng tổng quát hóa của mạng nơ-ron.
3. Mục tiêu 3: Đánh giá hiệu năng của mỗi thuật toán tối ưu dựa trên các tiêu chí định lượng gồm độ chính xác (Accuracy), giá trị hàm mất mát (Loss) trên tập kiểm tra và thời gian huấn luyện.
4. Mục tiêu 4: Đưa ra các kết luận và đề xuất dựa trên kết quả thực nghiệm nhằm hỗ trợ việc lựa chọn thuật toán tối ưu phù hợp cho từng bài toán học sâu cụ thể.

• Đối tượng nghiên cứu: Các thuật toán tối ưu hóa (SGD, Momentum, RMSProp, Adam), các kỹ thuật chống quá khớp (L2 Regularization, Dropout) và mô hình mạng nơ-ron phân loại ảnh.
• Phạm vi nghiên cứu: Bài toán phân loại ảnh chữ số viết tay từ 0 đến 9 trên bộ cơ sở dữ liệu tiêu chuẩn MNIST; môi trường thực nghiệm lập trình bằng Python với các thư viện TensorFlow và Keras.

---

Cơ sở lý thuyết và phương pháp

Khung lý thuyết và mô hình

Nghiên cứu dựa trên nền tảng lý thuyết mạng nơ-ron nhân tạo và học sâu, bao gồm các cấu trúc và khái niệm cốt lõi:

• Kiến trúc mạng nơ-ron: Mạng nơ-ron truyền thẳng (Feedforward Neural Network) và Mạng nơ-ron tích chập (Convolutional Neural Network - CNN) với các tầng chức năng:
  • Lớp tích chập (Convolutional Layer): Trích xuất đặc trưng không gian thông qua các bộ lọc (kernel), bước nhảy (stride), phần đệm (padding) và nhóm bộ lọc (filter group).
  • Lớp lấy mẫu xuống (Pooling/Subsampling Layer): Giảm kích thước không gian và số lượng tham số thông qua Max Pooling hoặc Average Pooling.
  • Lớp kết nối đầy đủ (Fully-Connected Layer - FC): Tổng hợp các đặc trưng đã được làm phẳng (flatten) để đưa ra dự đoán ở tầng đầu ra thông qua quá trình lan truyền xuôi (Forward Propagation) và lan truyền ngược (Backpropagation).
• Hàm kích hoạt (Activation Functions): Tạo tính phi tuyến tính cho mạng, bao gồm Sigmoid, Tanh, ReLU ($f(x) = \max(0, x)$), Leaky ReLU và Softmax (chuyển đổi đầu ra thành phân phối xác suất cho bài toán phân loại đa lớp).
• Hàm mất mát (Loss Function): Sử dụng hàm Binary Cross Entropy cho bài toán nhị phân và Multiclass Cross Entropy cho bài toán phân loại đa lớp: $$\text{Multiclass Cross Entropy} = -\sum_{i=1}^{n} y_i \log(\hat{y}_i)$$ Trong đó $n$ là số lớp, $y_i$ là nhãn thực tế dạng one-hot encoding, và $\hat{y}_i$ là xác suất dự đoán của mô hình.
• Kỹ thuật chống quá khớp (Regularization):
  • L2 Regularization (Ridge): Bổ sung số hạng phạt tỉ lệ với tổng bình phương trọng số $\lambda \sum m_i^2$ vào hàm mất mát để hạn chế độ lớn tham số.
  • Dropout: Ngẫu nhiên loại bỏ một tỉ lệ nơ-ron với xác suất $p$ trong mỗi chu kỳ huấn luyện nhằm tránh sự phụ thuộc lẫn nhau giữa các nút mạng.
  • Các kỹ thuật tham khảo khác: Data Augmentation (xoay, lật, phóng to, cắt ảnh), DropConnect và Early Stopping.

Phương pháp nghiên cứu

Đề tài sử dụng phương pháp nghiên cứu thực nghiệm định lượng kết hợp khảo sát lý thuyết:

• Tổng quan các công trình nghiên cứu tiêu biểu của Ruder (2016), Reddi và cộng sự (2018), Li và cộng sự (2018).
• Thiết kế mô hình mạng nơ-ron đồng nhất, cố định các siêu tham số cơ bản và lần lượt thay đổi các thuật toán tối ưu hóa (SGD, Momentum, RMSProp, Adam) kết hợp với kỹ thuật L2 Regularization và Dropout.
• Thu thập và đo lường các chỉ số thực nghiệm trên tập huấn luyện và tập kiểm tra.

Nguồn dữ liệu

Nghiên cứu sử dụng bộ dữ liệu chuẩn MNIST (LeCun et al., 1998) bao gồm 70.000 ảnh xám chữ số viết tay kích thước $28 \times 28$ pixel (tương ứng không gian đầu vào 784 chiều), được gán nhãn thành 10 lớp (từ 0 đến 9). Bộ dữ liệu gồm 4 tệp nhị phân nén:

• train-images-idx3-ubyte.gz: Dữ liệu 60.000 ảnh tập huấn luyện.
• train-labels-idx1-ubyte.gz: Nhãn của 60.000 mẫu tập huấn luyện.
• t10k-images-idx3-ubyte.gz: Dữ liệu 10.000 ảnh tập kiểm tra.
• t10k-labels-idx1-ubyte.gz: Nhãn của 10.000 mẫu tập kiểm tra.

---

Thiết kế và triển khai thực nghiệm

Kiến trúc mô hình mạng nơ-ron

Mô hình thực nghiệm được xây dựng dưới dạng mạng nơ-ron truyền thẳng (Feedforward Neural Network) với các tham số cấu hình:

• Kích thước đầu vào (Input Dimension): $28 \times 28 = 784$ nơ-ron (sau khi làm phẳng ma trận ảnh).
• Lớp ẩn 1 (Hidden Layer 1): 128 nơ-ron, hàm kích hoạt ReLU.
• Lớp ẩn 2 (Hidden Layer 2): 64 nơ-ron, hàm kích hoạt ReLU.
• Lớp đầu ra (Output Layer): 10 nơ-ron (tương ứng 10 chữ số), hàm kích hoạt Softmax.
• Kích thước lô nhỏ (Minibatch size): $m = 100$.

Nguyên lý và công thức các thuật toán tối ưu hóa triển khai

Thuật toán	Cơ chế cập nhật tham số	Đặc điểm chính
SGD	$\theta_{t+1} = \theta_t - \eta \nabla_\theta J(\theta_t)$	Cập nhật trọng số theo từng mẫu ngẫu nhiên hoặc mini-batch; chi phí tính toán thấp nhưng đường đi dao động dạng zig-zag.
Momentum	$v_t = \gamma v_{t-1} + \eta \nabla_\theta J(\theta)$ $\theta = \theta - v_t$	Tích lũy vector gradient quá khứ với hệ số $\gamma \approx 0.9$ giúp giảm dao động và tăng tốc độ vượt qua các điểm cực tiểu cục bộ.
RMSProp	$E[g^2]t = \alpha E[g^2]{t-1} + (1-\alpha)g_t^2$ $\theta_{t+1} = \theta_t - \frac{\eta}{\sqrt{E[g^2]_t + \epsilon}} g_t$	Sử dụng trung bình động bình phương gradient để tự động điều chỉnh tốc độ học thích ứng cho từng tham số; giá trị mặc định $\alpha = 0.9$, $\eta = 0.001$.
Adam	$m_t = \beta_1 m_{t-1} + (1-\beta_1)g_t$ $v_t = \beta_2 v_{t-1} + (1-\beta_2)g_t^2$ $\hat{m}_t = \frac{m_t}{1-\beta_1^t}, \quad \hat{v}t = \frac{v_t}{1-\beta_2^t}$ $\theta{t+1} = \theta_t - \frac{\eta}{\sqrt{\hat{v}_t} + \epsilon} \hat{m}_t$	Kết hợp ước lượng moment bậc một ($m_t$) và moment bậc hai ($v_t$) kèm hiệu chỉnh sai lệch thiên vị (bias correction); siêu tham số đề xuất: $\beta_1 = 0.9$, $\beta_2 = 0.999$, $\epsilon = 10^{-8}$.

Môi trường công nghệ

Quy trình thực nghiệm được triển khai trên nền tảng ngôn ngữ Python kết hợp các thư viện chuyên dụng:

• tensorflow và tensorflow.keras: Khởi tạo mô hình tuần tự (Sequential), xây dựng các tầng (Dense, Dropout, Activation), cấu hình thuật toán tối ưu (SGD, RMSprop, Adam) và bộ điều chuẩn (regularizers.l2).
• tensorflow.datasets và idx2numpy: Tải và chuyển đổi tập dữ liệu MNIST từ định dạng byte sang mảng NumPy.
• numpy: Xử lý mảng số học và tính toán ma trận.
• matplotlib.pyplot và ipywidgets: Trực quan hóa dữ liệu đầu vào, biểu đồ hàm mất mát và các thành phần tương tác.
• tensorflow.utils: Sử dụng hàm to_categorical để mã hóa nhãn sang dạng one-hot và plot_model để xuất sơ đồ kiến trúc mạng.

---

Nội dung chính theo từng chương

Chương 1: Giới Thiệu

Chương 1 trình bày tổng quan về lĩnh vực học sâu và mạng nơ-ron nhân tạo, nêu bật vai trò của các framework mã nguồn mở phổ biến như TensorFlow, PyTorch, Keras, MXNet và Caffe. Tác giả phân tích các nhánh ứng dụng chính của học sâu trong thực tiễn gồm nhận dạng hình ảnh, xử lý ngôn ngữ tự nhiên (NLP), xe tự lái và y sinh học. Đồng thời, chương này xác lập 4 mục tiêu nghiên cứu cụ thể, phạm vi đề tài và các tiêu chí đánh giá hiệu năng mô hình (Accuracy, Loss, Training Time).

Chương 2: Khảo Sát Tài Liệu

Chương 2 tổng hợp các công trình nghiên cứu nền tảng về tối ưu hóa trong học sâu của Ruder (2016), Reddi và cộng sự (2018) và Li và cộng sự (2018). Tác giả phân tích chi tiết cấu trúc mạng nơ-ron tích chập (CNN) gồm lớp tích chập, lớp lấy mẫu xuống (Max Pooling, Average Pooling), lớp kết nối đầy đủ (FC) cùng cơ chế lan truyền xuôi và lan truyền ngược. Tiếp đó, chương khảo sát đặc tính toán học của các hàm kích hoạt (Sigmoid, Tanh, ReLU, Leaky ReLU, Softmax) và nguyên lý của hàm mất mát Cross Entropy cùng tham số tốc độ học (learning rate).

Chương 3: Phương Pháp Nghiên Cứu

Chương 3 đi sâu vào bản chất toán học và thuật toán của 4 bộ tối ưu hóa: SGD, SGD with Momentum, RMSProp và Adam, phân tích rõ cơ chế "Momentum steering" và cách thích ứng tốc độ học theo từng chiều không gian tham số. Chương cũng làm rõ nguyên lý của các kỹ thuật kiểm soát quá khớp gồm Data Augmentation, L2 Regularization, Dropout (cách chọn hệ số $p \approx 0.5$ cho lớp ẩn và $p = 1.0$ cho lớp đầu vào), DropConnect và Early Stopping. Cuối cùng, chương thiết lập hệ thống công thức cho các chỉ số đánh giá gồm Accuracy, Precision, Recall, F1-score, Confusion Matrix và đường cong ROC/AUC.

Chương 4: Chuẩn Bị Dữ Liệu

Chương 4 giới thiệu chi tiết về bộ cơ sở dữ liệu MNIST với 70.000 mẫu ảnh chữ số viết tay kích thước $28 \times 28$ pixel, phân tích cấu trúc 4 tệp dữ liệu nén nhị phân (.gz) và phân chia tập huấn luyện (60.000 ảnh) cùng tập kiểm tra (10.000 ảnh). Tác giả làm rõ lý do lựa chọn MNIST dựa trên 3 tiêu chí: độ phổ biến cao dễ đối sánh, khả năng tiếp cận tích hợp sẵn trong TensorFlow/Keras, và kích thước vừa phải giúp tối ưu hóa thời gian và tài nguyên tính toán thực nghiệm.

Chương 5: Triển Khai Và Huấn Luyện Mô Hình

Chương 5 trình bày toàn bộ quy trình kỹ thuật gồm tiền xử lý dữ liệu (chuyển đổi tệp IDX sang mảng NumPy, chuẩn hóa giá trị điểm ảnh, chuyển đổi nhãn sang one-hot encoding), trực quan hóa mẫu dữ liệu, thiết kế kiến trúc mạng nơ-ron 3 lớp ẩn (128-64-10) bằng Keras Sequential API. Chương mô tả quá trình biên dịch và huấn luyện mô hình với từng cấu hình thuật toán tối ưu kết hợp cùng các lớp Dropout và tham số l2 regularizer, ghi nhận biến thiên của hàm mất mát và độ chính xác qua từng epoch.

Chương 6: Đánh Giá Kết Luận

Chương 6 tổng kết và đối sánh hiệu năng tổng thể của các thuật toán tối ưu trên tập kiểm tra MNIST. Tác giả phân tích ưu điểm và hạn chế cố hữu của từng hàm tối ưu khi huấn luyện mô hình thực tế, đồng thời tổng hợp các đóng góp chính của đề tài và đề xuất các hướng phát triển nghiên cứu tiếp theo.

---

Kết quả và đóng góp

Hệ thống chỉ số đánh giá được thiết lập

Nghiên cứu xây dựng khung đánh giá hiệu năng toàn diện cho mô hình phân loại ảnh dựa trên các chỉ số định lượng:

Chỉ số	Công thức xác định	Mục đích đánh giá
Accuracy	$\text{Accuracy} = \frac{\text{Số lượng dự đoán đúng}}{\text{Tổng số mẫu}}$	Đánh giá tỉ lệ phân loại chính xác tổng thể của mô hình trên toàn bộ tập dữ liệu.
Precision	$\text{Precision} = \frac{TP}{TP + FP}$	Đo lường mức độ chính xác trong số các mẫu được mô hình dự đoán là dương tính.
Recall	$\text{Recall} = \frac{TP}{TP + FN}$	Đo lường tỷ lệ các mẫu thực tế dương tính được mô hình nhận dạng thành công.
F1-score	$\text{F1-score} = 2 \times \frac{\text{Precision} \times \text{Recall}}{\text{Precision} + \text{Recall}}$	Trung bình điều hòa giữa Precision và Recall khi cần cân bằng hai tiêu chí.
Loss	$\text{Cross Entropy Loss}$	Đánh giá mức độ sai lệch giữa phân phối xác suất dự đoán và nhãn thực tế.
ROC & AUC	Biểu đồ biến thiên giữa TPR và FPR	Đánh giá năng lực phân loại tổng quát; giá trị AUC tiệm cận 1 biểu thị mô hình đạt hiệu năng cao.

Đóng góp của đề tài

• Tổng hợp lý thuyết và công thức toán học có hệ thống: Đề tài làm rõ cơ chế tính toán gradient, quy tắc cập nhật tham số của SGD, Momentum, RMSProp và Adam, cùng các kỹ thuật điều chuẩn L2 và Dropout.
• Xây dựng quy trình thực nghiệm chuẩn mực trên Keras/TensorFlow: Cung cấp cấu hình cụ thể cho mạng nơ-ron phân loại ảnh MNIST với kích thước minibatch 100, hàm kích hoạt ReLU và Softmax.
• Đưa ra cơ sở hỗ trợ lựa chọn bộ tối ưu: Kết quả phân tích giúp xác định đặc tính hội tụ và mức độ ổn định của từng thuật toán, tạo tiền đề định hình chiến lược lựa chọn bộ tối ưu hóa phù hợp với yêu cầu bài toán.

---

Hạn chế và hướng nghiên cứu tiếp

Hạn chế được xác định trong văn bản

• Hạn chế của thuật toán SGD: Quỹ đạo cập nhật tham số dao động mạnh (zig-zag) do gradient tính trên từng mẫu hoặc mini-batch không đại diện hoàn toàn cho tập dữ liệu; chưa tự giải quyết được vấn đề lựa chọn tốc độ học cố định và độ nhạy với điểm khởi tạo ban đầu.
• Hạn chế của thuật toán Momentum: Phụ thuộc vào việc điều chỉnh siêu tham số hệ số động lượng $\gamma$; vẫn có khả năng rơi vào các điểm cực tiểu cục bộ nếu thiết lập không phù hợp.
• Hạn chế của thuật toán RMSProp: Dù điều chỉnh tốt tốc độ học theo trung bình động bình phương gradient nhưng nghiệm hội tụ có thể dừng ở mức cực tiểu cục bộ (local minimum) thay vì cực tiểu toàn cục.
• Phạm vi mô hình và dữ liệu: Thử nghiệm tập trung trên mô hình mạng truyền thẳng và tập dữ liệu chữ số viết tay MNIST với kích thước nhỏ ($28 \times 28$ pixel), chưa phản ánh toàn bộ các thách thức tính toán phức tạp trên các tập dữ liệu ảnh lớn hơn.

Hướng phát triển của đề tài

• Mở rộng thử nghiệm so sánh các thuật toán tối ưu hóa trên các kiến trúc Mạng nơ-ron tích chập (CNN) sâu hơn.
• Thực hiện đánh giá trên các bộ cơ sở dữ liệu hình ảnh đa chiều và phức tạp hơn như CIFAR-10 hoặc ImageNet.
• Nghiên cứu kết hợp các kỹ thuật điều chỉnh tốc độ học động (learning rate scheduling) và các biến thể tối ưu hóa nâng cao khác.

---

Giá trị tham khảo

Báo cáo đồ án là tài liệu tham khảo hữu ích cho sinh viên, học viên thuộc các chuyên ngành Khoa học Dữ liệu, Trí tuệ Nhân tạo, Công nghệ Thông tin và Kỹ thuật Máy tính:

• Phần phương pháp nghiên cứu (Chương 3): Cung cấp tài liệu tổng quan mạch lạc về biểu thức toán học, nguyên lý hoạt động của các thuật toán tối ưu (SGD, Momentum, RMSProp, Adam) và các phương pháp chống quá khớp (L2, Dropout, DropConnect, Early Stopping).
• Phần chuẩn bị dữ liệu và triển khai (Chương 4 & 5): Hữu ích cho người làm đề tài thực hành nhập môn Deep Learning trong việc xử lý tệp nhị phân IDX của MNIST, chuyển đổi mảng NumPy, mã hóa nhãn to_categorical và thiết kế mô hình với TensorFlow/Keras API.

---

Câu hỏi thường gặp

1. Đề tài khảo sát và so sánh những thuật toán tối ưu hóa nào?
Đề tài khảo sát và so sánh 4 thuật toán tối ưu hóa phổ biến trong học sâu gồm: Stochastic Gradient Descent (SGD), SGD với động lượng (SGD with Momentum), Root Mean Square Propagation (RMSProp) và Adaptive Moment Estimation (Adam).

2. Kiến trúc mạng nơ-ron thực nghiệm trong báo cáo được thiết kế như thế nào?
Mô hình là mạng nơ-ron truyền thẳng (Feedforward Neural Network) gồm đầu vào 784 chiều ($28 \times 28$), 3 lớp ẩn với số nơ-ron lần lượt là 128, 64 và 10 (lớp đầu ra). Các lớp ẩn sử dụng hàm kích hoạt ReLU, lớp đầu ra sử dụng hàm kích hoạt Softmax, và kích thước lô nhỏ (minibatch) được thiết lập là $m = 100$.

3. Kỹ thuật L2 Regularization và Dropout có vai trò gì trong mô hình?
Kỹ thuật L2 Regularization bổ sung số hạng phạt bình phương trọng số vào hàm mất mát để kiểm soát không cho các tham số tăng quá lớn. Dropout ngẫu nhiên loại bỏ một tỉ lệ nơ-ron (với xác suất $p \approx 0.5$ ở lớp ẩn) trong quá trình huấn luyện nhằm ngăn chặn hiện tượng quá khớp (overfitting) và tăng cường khả năng tổng quát hóa của mô hình.

4. Vì sao nhóm nghiên cứu lựa chọn tập dữ liệu MNIST cho bài toán thực nghiệm?
Bộ dữ liệu MNIST được lựa chọn do 3 yếu tố: tính phổ biến chuẩn mực giúp dễ so sánh kết quả với các nghiên cứu khác; khả năng tiếp cận thuận tiện qua các thư viện TensorFlow/Keras; và kích thước dữ liệu vừa phải (60.000 mẫu huấn luyện, 10.000 mẫu kiểm tra kích thước $28 \times 28$) giúp tiết kiệm thời gian và tài nguyên tính toán.

5. Thuật toán tối ưu Adam kết hợp những ưu điểm gì từ Momentum và RMSProp?
Adam kết hợp việc lưu trữ trung bình mượt mà của gradient bậc nhất từ quá khứ ($m_t$ như trong Momentum) và trung bình mượt mà của gradient bậc hai ($v_t$ như trong RMSProp), đồng thời áp dụng kỹ thuật hiệu chỉnh sai lệch thiên vị ($\hat{m}_t, \hat{v}_t$) giúp thuật toán thích ứng tốt với gradient thưa và bề mặt hàm mất mát không ổn định.

---

Kết luận

Báo cáo đồ án cuối kỳ "So sánh hiệu quả của các thuật toán tối ưu SGD, Momentum, RMSProp, và Adam trong việc huấn luyện mô hình mạng nơ-ron cho bài toán phân loại ảnh MNIST, sử dụng kỹ thuật L2 Regularization và Dropout" đã hệ thống hóa cơ sở lý thuyết về mạng nơ-ron và các giải thuật tối ưu hóa trong học sâu. Nhóm tác giả đã thiết kế và triển khai quy trình thực nghiệm hoàn chỉnh trên môi trường Python và Keras, áp dụng hiệu quả các kỹ thuật điều chuẩn nhằm đánh giá độ chính xác, giá trị hàm mất mát và thời gian huấn luyện. Công trình cung cấp tài liệu tham khảo có cấu trúc rõ ràng, phục vụ hữu ích cho việc nghiên cứu và ứng dụng các thuật toán tối ưu hóa trong xử lý dữ liệu hình ảnh.

Trích đoạn nội dung tài liệu

CHƯƠNG 1: GIỚI THIỆU I. Giới Thiệu Đề Tài Trong thời đại số hóa hiện nay, học sâu đã trở thành một lĩnh vực nghiên cứu quan trọng và có ứng dụng rộng rãi trong nhiều lĩnh vực, đặc biệt là trong nhận dạng hình ảnh. Việc tinh chỉnh các thuật toán tối ưu là một phần không thể thiếu để đạt được hiệu quả cao trong quá trình huấn luyện. Việc lựa chọn thuật toán tối ưu phù hợp có thể ảnh hưởng đáng kể đến hiệu suất và thời gian huấn luyện của mô hình.

Để hiểu rõ hơn về sự khác biệt giữa các thuật toán tối ưu và ảnh hưởng của chúng đối với quá trình huấn luyện, nghiên cứu so sánh hiệu năng của các thuật toán tối ưu là một phần quan trọng của học sâu. Có nhiều thuật toán tối ưu khác nhau, mỗi thuật toán có ưu nhược điểm riêng. Trong đề tài này, chúng tôi tập trung vào việc so sánh hiệu quả của các thuật toán tối ưu SGD, Momentum, RMSProp và Adam trong việc huấn luyện mạng nơ-ron cho bài toán phân loại ảnh MNIST. Chúng tôi cũng áp dụng kỹ thuật L2 regularization và dropout để kiểm soát overfitting và cải thiện khả năng tổng quát hóa của mô hình.

• SGD (Stochastic Gradient Descent): Là thuật toán tối ưu đơn giản nhất, sử dụng gradient của hàm mất mát để cập nhật các tham số của mô hình. • Momentum: Là một biến thể của SGD, sử dụng momentum để tăng tốc độ hội tụ của thuật toán. • RMSprop: Là một biến thể khác của SGD, sử dụng bình phương trung bình của gradient để điều chỉnh tốc độ học của mỗi tham số. • Adam: Là một thuật toán tối ưu kết hợp ưu điểm của Momentum và RMSprop.

Bằng cách so sánh kết quả đạt được từ các thuật toán tối ưu khác nhau, chúng tôi hy vọng có thể cung cấp thông tin quan trọng về cách mỗi thuật toán tối ưu ảnh hưởng đến hiệu suất của mô hình. Điều này sẽ giúp các nhà nghiên cứu và nhà phát triển ~6~ lựa chọn thuật toán phù hợp nhất cho nhu cầu cụ thể của họ trong quá trình xây dựng và huấn luyện mạng nơ-ron. Mục Tiêu Nghiên Cứu Trong nghiên cứu này, chúng tôi đặt ra các mục tiêu cụ thể như sau: Mục tiêu 1: So sánh hiệu quả của các thuật toán tối ưu SGD, Momentum, RMSProp và Adam trong việc huấn luyện mô hình mạng nơ-ron cho bài toán phân loại ảnh MNIST. Mục tiêu 2: Áp dụng kỹ thuật L2 regularization và dropout vào mô hình để kiểm soát overfitting và cải thiện khả năng tổng quát hóa bằng cách thêm một thành phần regularization vào hàm mất mát của mô hình.

Dropout là một kỹ thuật regularization khác, trong đó một số nơ-ron được chọn ngẫu nhiên để bị loại bỏ khỏi quá trình huấn luyện trong mỗi epoch. Mục tiêu 3: Đánh giá hiệu năng của mỗi thuật toán tối ưu dựa trên các tiêu chí như độ chính xác và mất mát trên tập kiểm tra. Mục tiêu 4: Tạo ra các kết luận và đề xuất dựa trên kết quả đánh giá để hỗ trợ người dùng trong việc lựa chọn thuật toán tối ưu phù hợp cho mô hình học sâu của họ. Nghiên cứu này sẽ đánh giá hiệu quả của các thuật toán tối ưu dựa trên các tiêu chí sau: • Độ chính xác: Tỷ lệ phần trăm các hình ảnh được phân loại chính xác.

• Thời gian huấn luyện: Thời gian cần thiết để huấn luyện mô hình. • Mất mát: Giá trị của hàm mất mát trên tập kiểm tra. Tóm Tắt Nội Dung • Chương 2: Khảo sát tài liệu • Chương 3: Phương pháp nghiên cứu • Chương 4: Chuẩn bị dữ liệu ~7~ • Chương 5: Triển khai và huấn luyện mô hình • Chương 6: Đánh giá và kết luận • Chương 7: Tài liệu tham khảo IV. Giới Thiệu Về Lĩnh Vực Học Sâu (Deep Learning) Và Ứng Dụng Học sâu (Deep Learning) là một lĩnh vực trong trí tuệ nhân tạo mà mạng nơ-ron sâu được sử dụng để học và hiểu dữ liệu phức tạp.

Học sâu đã có những ứng dụng rộng rãi trong nhiều lĩnh vực như nhận dạng ảnh, xử lý ngôn ngữ tự nhiên, tự lái ô tô, y sinh học, và nhiều lĩnh vực khác.1: Cách học sâu (Deep learning) hoạt động - Ảnh: Internet Mô Hình Mạng Nơ-Ron Mô hình mạng nơ-ron được sử dụng trong bài viết này là một mạng nơ-ron feedforward gồm 3 lớp ẩn. Lớp đầu tiên có 128 nơ-ron, lớp thứ hai có 64 nơ-ron và ~8~ lớp thứ ba có 10 nơ-ron (tương ứng với 10 chữ số). Hàm kích hoạt được sử dụng cho các lớp ẩn là hàm ReLU, trong khi hàm softmax được sử dụng cho lớp đầu ra. Kể từ những năm 1980, deep learning đã liên tục cải thiện khả năng cung cấp nhận dạng hoặc dự đoán chính xác.

Hơn nữa, học sâu đã liên tục được áp dụng thành công cho các nhóm ứng dụng ngày càng rộng hơn. Nhiều ứng dụng học sâu này mang lại lợi nhuận cao. Nhiều công ty công nghệ hàng đầu, bao gồm Google, Microsoft, Facebook, IBM, Baidu, Apple, Adobe, Netflix, NVIDIA và NEC, hiện đang sử dụng deep learning. Những tiến bộ trong học sâu cũng phụ thuộc rất nhiều vào những tiến bộ trong cơ sở hạ tầng phần mềm.

Các thư viện phần mềm như Theano (Bergstra et al., 2010; Bastien et al., 2012), PyLearn2 (Goodfellow et al., 2013c), PyTorch (Collobert et al., 2011b), DistBelief (Dean et al., 2012), Caffe (Jia, 2013), MXNet (Chen và cộng sự, 2015) và TensorFlow (Abadi et al., 2015) đều đã hỗ trợ các dự án nghiên cứu quan trọng hoặc các sản phẩm thương mại.2: Các deep learning framework phổ biến Các Framework Học Sâu Phổ Biến 1. TensorFlow: ~9~ o TensorFlow là một trong những framework học sâu phổ biến nhất, được phát triển bởi Google. Nó cung cấp một cách linh hoạt để xây dựng và huấn luyện các mô hình deep learning. PyTorch: o PyTorch là một framework học sâu mã nguồn mở được phát triển bởi Facebook.

Nó được ưa chuộng bởi vì cú pháp dễ đọc và sử dụng, cũng như tính linh hoạt cao trong quá trình phát triển mô hình. Keras: o Keras là một API mã nguồn mở cho việc xây dựng và huấn luyện các mô hình deep learning, hoạt động trên nhiều backends như TensorFlow, Theano, và Microsoft Cognitive Toolkit (CNTK). MXNet: o MXNet là một framework học sâu phổ biến, được phát triển bởi Apache. Nó cung cấp hiệu suất cao và hỗ trợ song song cho việc huấn luyện mô hình trên nhiều thiết bị và cấu hình khác nhau.

Caffe: o Caffe là một framework học sâu nhẹ và hiệu quả, được sử dụng rộng rãi trong việc xây dựng các ứng dụng thời gian thực như nhận dạng ảnh và video. Ứng Dụng của Học Sâu 1. Nhận Dạng Ảnh: o Deep learning đã đạt được những thành tựu đáng kể trong lĩnh vực nhận dạng ảnh. Các mô hình deep learning, như Convolutional Neural Networks (CNNs), đã giúp cải thiện đáng kể khả năng nhận dạng đối tượng trong ảnh và video.

Các ứng dụng bao gồm nhận dạng khuôn mặt và ký tự, phát hiện vật thể hoặc phân loại đối tượng, nhận diện biển số xe, và nhiều hơn nữa.3: Các ứng dụng nhận dạng ảnh - Ảnh: Internet 2. Xử Lý Ngôn Ngữ Tự Nhiên (NLP): o Trong lĩnh vực xử lý ngôn ngữ tự nhiên, deep learning đã giúp cải thiện khả năng hiểu và sản sinh ngôn ngữ tự nhiên. Các mô hình như Recurrent Neural Networks (RNNs), Long Short-Term Memory networks (LSTMs), và Transformers đã được áp dụng rộng rãi trong các ứng dụng như dịch máy, tổng hợp giọng nói, phân loại văn bản, và trả lời câu hỏi tự động.4: Cơ bản về Xử lý ngôn ngữ tự nhiên và ứng dụng - Ảnh: Internet ~ 11 ~ 3. Tự Lái Ô Tô và Robotics: o Deep learning đang chơi một vai trò quan trọng trong phát triển của xe tự lái và robotics.

Các mô hình deep learning được sử dụng để xử lý dữ liệu từ các cảm biến như camera và lidar, giúp xe tự lái và robot tự định hình và tương tác với môi trường xung quanh.5: Ứng dụng tự lái ô tô giao thông thông minh - Ảnh: Internet 4. Y Sinh Học: o Trong lĩnh vực y sinh học, deep learning được áp dụng để phát hiện và chẩn đoán bệnh lý, dự đoán kết quả của điều trị, và phân tích dữ liệu y sinh học phức tạp như hình ảnh y khoa và dữ liệu genomic, chụp X- quang, MRI, và CT. Các Lĩnh Vực Khác: o Ngoài các lĩnh vực đã đề cập, deep learning còn có ứng dụng trong nhiều lĩnh vực khác như tài chính, sản xuất, marketing, và giải trí. ~ 12 ~ CHƯƠNG 2: KHẢO SÁT TÀI LIỆU I.

Giới Thiệu Các Nghiên Cứu Liên Quan Trong phần này, chúng tôi sẽ giới thiệu một số nghiên cứu liên quan đến việc khảo sát hiệu suất của các thuật toán tối ưu trong huấn luyện mạng nơ-ron cho bài toán phân loại ảnh. Các nghiên cứu này đã đóng góp vào việc hiểu sâu hơn về ảnh hưởng của các thuật toán tối ưu đến hiệu suất của mô hình và cung cấp hướng đi cho các nghiên cứu và ứng dụng trong tương lai. "An Overview Of Gradient Descent Optimization Algorithms" (Ruder, 2016): - Nghiên cứu này cung cấp một tổng quan về các thuật toán tối ưu phổ biến được sử dụng trong học sâu, bao gồm Gradient Descent, Stochastic Gradient Descent (SGD), Momentum, RMSProp, và Adam. Nghiên cứu đánh giá và so sánh hiệu suất của các thuật toán này dựa trên các tiêu chí như tốc độ hội tụ và khả năng vượt qua các điểm tối ưu cục bộ.

"On the convergence of Adam and beyond" (Reddi et al., 2018): - Nghiên cứu này tập trung vào việc khảo sát hiệu suất của thuật toán Adam và các biến thể của nó trong việc huấn luyện mạng nơ-ron sâu. Tác giả phân tích cơ chế hoạt động của Adam và đề xuất các cải tiến để cải thiện hiệu suất và ổn định của thuật toán. "Understanding the disharmony between dropout and batch normalization by variance shift" (Li et al., 2018): - Nghiên cứu này tập trung vào việc hiểu sâu hơn về mối quan hệ giữa hai kỹ thuật chính trong học sâu là dropout và batch normalization. Tác giả phát hiện ra rằng sự không đồng nhất trong phương sai của dữ liệu đầu vào có thể gây ra hiện tượng không tương thích giữa dropout và batch normalization, dẫn đến sự giảm hiệu suất của mô hình.

Đồng thời, nghiên cứu cũng đề xuất các giải pháp để khắc phục vấn đề này. Tổng Quan Về Mạng Nơ-ron Tích Chập Đối với mạng đa lớp Perceptron (Multi-layer Perceptron – MLP) truyền thống, mỗi nơ-ron trong lớp phía trước sẽ kết nối đến tất cả các nơ-ron ở lớp phía sau, khi tăng độ sâu của mô hình sẽ khiến khối lượng tính toán trong mạng tăng mạnh. Mạng nơ-ron tích chập (Convolutional Neural Network - CNN) là một kiến trúc mạng nơ-ron đặc biệt được thiết kế để xử lý dữ liệu không gian như hình ảnh.