mở đầu Chương 2 Mang no ron tích chập Chương 3 Phương pháp Chương 4 Kết luận là Nội ngày tháng nam 2022 Giáo viên hướng đẫn TS. Hoang Hong Hai TÓM TÁT LUẬN V Trong bải luận vẫn nảy, những, thành phản cơ bản nhất cầu thành nên một mạng nơ ron lich chập, như là các lớp, cá hàm kích hoại, hàm. tổn thí được tiêu ra và giải thích. Những mô hình học sân tiêu biếu cũng được lựa chơn và chỉ ra những cách kết hợp những thành phân nêu trên và hướng phát triển của học sâu trong tương lai.
Ngoài Ta, người viết đưa ra một phần nghiên cửu bổ sung, trong đỏ ánh hướng của kết nổi tắt dài trên mạng nơ ron tích chập (CNN) dối với các nhiệm vụ phản loại hình ảnh (khuyết mặt) dược nghiên cứu và thực nghiệm. Các mô hình phố biến tiêu chuẩn chủ áp dụng kết nổi bỗ qua ngắn bên trong các khối (các lớp có cùng kích thước). Trong đó, phiên bản đài của kết nổi được áp đựng trên một sẻ mồ hình được đẻ xuất, nhằm mục địch sử dụng lại thông tin bị mất từ các lớp gần với đâu vào. Dối với một số mô hình, phép biển đổi theo chiêu sâu được sử dụng thay vì phép tích chập truyền thống để giám cả số lượng tham số và phép toán dấu phay dông mỗi giày (FLOPs).
Cac thi nghiém so sánh của các mô hình mới được nâng cấp và một số mô hình phố biên đã được thực hiện trên các bộ đứ liệu khác nhau bao gồm bộ dữ liệu đãi tre và phiên bản rút gọn của ImageNat. Phiên bản sửa đổi của 2 mô hình ResNet và IieienfNet đạt được độ chính xác cao hơn so với 2 mô hình ban dau.1 Gradient Descent - - 30 b) Mé men.6 Nhimg mé hink CNN.6 Chuyển giao kiến thứ.7 Mạng đổi nghịch sinh đữ liệu- Generative Ad CHƯƠNG 3. PHƯƠNG PHÁP.1 Chuẩn bị đữ liệu.1 Ghỉ lại hình ảnh của nan tre - - 3⁄7 3.2 Tăng cường vả cần bằng đữ liệu.1 Sử dụng cáo mỗ hình CNN phổ biến.2 Sử dụng kết nỗi tắt làm nâng cấp mô hinh CXN 33 XÂY DUNG HE THON 3.1 Tổng quan hé thong .2 Nguyên lý hoại động 52 CHƯƠNG 4.1 Dénh git két qua.2 Kết luận TẢI LIỆU THAM KHẢO. PHU LU! viii LOI CAM ON Tác giả xin chân thành cảm on TS.
[oang Héng Idi, ngudi huong dan va gitip 46 Tận tỉnh từ định hưởng đề tải, tổ chức thực hiện đến quá trình viết vá hoàn chỉnh luận văn Tác giả bảy tỏ lòng biết ơn các thây, cô trong khoa Cơ điện tử - Trường Cơ khí - Trường Đại Học Bách Khoa Hà Nội. Xin cảm ơn Ban lãnh đạo và Viện đào tạo Sau dại học, Trường Cơ khí, Trường Đại Học Bách Khoa Hà Nội đã tạo điều kiện thuận lợi để tác giã hoàn thành bân luận vẫn này. Cuỗi củng, tác giã xin cũng xin chân thành cảm ơn gia đình, bạn bẻ và đồng nghiệp đã buôn tạo điều kiên, quan Lâm, giúp đỡ, động viên trong suốt quá trình học tập và hoàn Thành luận văn. Do nang lye ban thin còn nhiều bạn chế nên luận văn không thể tránh khỏi sai sót, tác giả rất nong được sự đóng góp ý kiến của các thấy, cô, các nhà khoa học và các bạn đồng nghiệp.
Tác giá xin chân thành cảm ơn! Tác giả ‘Trinh Hoang Hiếu ‡v SUMMARY In this thesis, the influence of long skip connections on a convolutional neural network (CNN) on image classification tasks (surface defects) is studied and experimented. ‘The popular models only apply skip connection inside blocks (layers of the same size), We Duill the long version of the connection and applied iLon some of the proposed models, for the purpose of reusing the lost information from the layers close to the input. For some models, depth-wise separable convolution is used instead of traditional convolution to reduce both the number of parameters and floating point operations per second (LOPs). Comparative experiments of the newly upgraded and several popular models were performed on different dalasols including the bamboo strip dataset and a reduced version of tmageNel.
The modified version of ResNel and Filficien(Net achiev higher validation accuracy compared to the original versions vi MUC LUC LỜI CẢM ƠN. DANIT MỤC KY TEU VA Ci VIET TAT. DANH MỤC HÌNH VỊ DANH MỤC BẰNG BIẾU. PHAN MO BAU.2 Những công trình liên quan.
MANG NO RON TÍCH C| 3.1 So sảnh mạng nơ ron thông thường và mạng nơ ron tích chập.1 Mang nơ ron thong thang ee eseiseinenenenenini nanan se in 2.2 Mang nơ ren tích Chap wsesssmenennsneeennee 2.2 Lop trong CNN.1 LOp Tich CLEP.2 Lap Gop - eos 2.4 Lớp kết nỗi toàn phần - - - .5 Những lớp khác.3 Ham kick hoat.1 Cac tinh nang ctta Llam kich hoat 14 2.2 Một số Hàm kich hoạt phế biến.Ham Mat mit: 2.1 Ham mất mát Hinge / SVM.2 Hàm mắt mát Cross Entropy.5 Ham tối ta. vii SUMMARY In this thesis, the influence of long skip connections on a convolutional neural network (CNN) on image classification tasks (surface defects) is studied and experimented. ‘The popular models only apply skip connection inside blocks (layers of the same size), We Duill the long version of the connection and applied iLon some of the proposed models, for the purpose of reusing the lost information from the layers close to the input. For some models, depth-wise separable convolution is used instead of traditional convolution to reduce both the number of parameters and floating point operations per second (LOPs).
Comparative experiments of the newly upgraded and several popular models were performed on different dalasols including the bamboo strip dataset and a reduced version of tmageNel. The modified version of ResNel and Filficien(Net achiev higher validation accuracy compared to the original versions vi DANH MUC KY HIEU VA CHU VIET TAT NN Neural Network - Mang thin kinh CNN Convolutional Neural Network - Mang nơ ron tích chập CONV Convolution - Lứp tích chập BN Batch Normalization - Lép chuan héa dữ liệu theo từng phần. RL/ReLU Rectified Linear Unit - Lép Loc Tuyén tinh POOL Pooling - Lop Gop Fc Fully Connected - Két nếi toàn phan GAN Generative Adversarial Network - Mạng dối nghịch GPU Graphic Processing Unit - BO xr ly hình ảnh FLOPS Floating operations per second - Si lượng phép tính trên giây DANH MUC KY HIEU VA CHU VIET TAT NN Neural Network - Mang thin kinh CNN Convolutional Neural Network - Mang nơ ron tích chập CONV Convolution - Lứp tích chập BN Batch Normalization - Lép chuan héa dữ liệu theo từng phần. RL/ReLU Rectified Linear Unit - Lép Loc Tuyén tinh POOL Pooling - Lop Gop Fc Fully Connected - Két nếi toàn phan GAN Generative Adversarial Network - Mạng dối nghịch GPU Graphic Processing Unit - BO xr ly hình ảnh FLOPS Floating operations per second - Si lượng phép tính trên giây DANH MUC KY HIEU VA CHU VIET TAT NN Neural Network - Mang thin kinh CNN Convolutional Neural Network - Mang nơ ron tích chập CONV Convolution - Lứp tích chập BN Batch Normalization - Lép chuan héa dữ liệu theo từng phần.
RL/ReLU Rectified Linear Unit - Lép Loc Tuyén tinh POOL Pooling - Lop Gop Fc Fully Connected - Két nếi toàn phan GAN Generative Adversarial Network - Mạng dối nghịch GPU Graphic Processing Unit - BO xr ly hình ảnh FLOPS Floating operations per second - Si lượng phép tính trên giây SUMMARY In this thesis, the influence of long skip connections on a convolutional neural network (CNN) on image classification tasks (surface defects) is studied and experimented. ‘The popular models only apply skip connection inside blocks (layers of the same size), We Duill the long version of the connection and applied iLon some of the proposed models, for the purpose of reusing the lost information from the layers close to the input. For some models, depth-wise separable convolution is used instead of traditional convolution to reduce both the number of parameters and floating point operations per second (LOPs). Comparative experiments of the newly upgraded and several popular models were performed on different dalasols including the bamboo strip dataset and a reduced version of tmageNel.
The modified version of ResNel and Filficien(Net achiev higher validation accuracy compared to the original versions vi DANH MUC KY HIEU VA CHU VIET TAT NN Neural Network - Mang thin kinh CNN Convolutional Neural Network - Mang nơ ron tích chập CONV Convolution - Lứp tích chập BN Batch Normalization - Lép chuan héa dữ liệu theo từng phần. RL/ReLU Rectified Linear Unit - Lép Loc Tuyén tinh POOL Pooling - Lop Gop Fc Fully Connected - Két nếi toàn phan GAN Generative Adversarial Network - Mạng dối nghịch GPU Graphic Processing Unit - BO xr ly hình ảnh FLOPS Floating operations per second - Si lượng phép tính trên giây DANH MUC HiNH VE Hin 1.1 Cée bude xa by ram re trong oGng nghiép.1 So sánh mạng nơ ron thưởng (trái) và mạng nơ ron tích chập (phải).2 Ví dụ phép tính wong CONV ở chiều thuận ced Minh 2.3 Linh dang tich chip1 x 1 8 Hinh 2.4 Vi du cia lop CƠNV nghịch.5 Trường tiếp nhận của tích chập dẫn.6 Chuẩn hóa từng phân [1 9] - - -.7 Ham kích hoạt sigmoid. seneieeerrerrrrrirereereuee LỘ Hình 2.8 Tanh aotivatian fumctien.9 ReLLU activation funetion.- te reieereerde saeeee T7 Tĩinh 2.10 Hàm kích hoạt ReLƯ Dò và ReLU6.11 Ham kich boal Swish.12 Hàm kích hoạt Šwish cứng,.13 So sánh GD và GD với động hượng.14 Nesterov accelerated gradient .sccsesssssesssseessiesseestie testes 23 Hình 2.15 Câu hình Mạng VGG.17 Khối kết nối đơn giản (bên trái) và khối nút cố chai để xuất (bên phải).18 Cau tric mang ResNet. ccssssessssccessecsssseeen ees ssssessssssssseessseeecsaniean Z7 Hình 2.19 Khái Dense ở DenseNet.20 Câu trúa MobileNet.21 So sánh MobileNet V1 và V2.22 Kiến trúc tổng quát của MobileNetV2.3 So sánh mô dun MobileNet V1 va V2.24 MobileNetV3 Lớn (rải) va Nhé (phi) 3 Tinh 2.25 So sánh trực quan mô hình có / không hệ số thay đổi.
32 DANH MUC HiNH VE Hin 1.1 Cée bude xa by ram re trong oGng nghiép.1 So sánh mạng nơ ron thưởng (trái) và mạng nơ ron tích chập (phải).2 Ví dụ phép tính wong CONV ở chiều thuận ced Minh 2.3 Linh dang tich chip1 x 1 8 Hinh 2.4 Vi du cia lop CƠNV nghịch.5 Trường tiếp nhận của tích chập dẫn.6 Chuẩn hóa từng phân [1 9] - - -.7 Ham kích hoạt sigmoid. seneieeerrerrrrrirereereuee LỘ Hình 2.8 Tanh aotivatian fumctien.9 ReLLU activation funetion.- te reieereerde saeeee T7 Tĩinh 2.10 Hàm kích hoạt ReLƯ Dò và ReLU6.11 Ham kich boal Swish.12 Hàm kích hoạt Šwish cứng,.13 So sánh GD và GD với động hượng.14 Nesterov accelerated gradient .sccsesssssesssseessiesseestie testes 23 Hình 2.15 Câu hình Mạng VGG.17 Khối kết nối đơn giản (bên trái) và khối nút cố chai để xuất (bên phải).18 Cau tric mang ResNet. ccssssessssccessecsssseeen ees ssssessssssssseessseeecsaniean Z7 Hình 2.19 Khái Dense ở DenseNet.20 Câu trúa MobileNet.21 So sánh MobileNet V1 và V2.22 Kiến trúc tổng quát của MobileNetV2.3 So sánh mô dun MobileNet V1 va V2.24 MobileNetV3 Lớn (rải) va Nhé (phi) 3 Tinh 2.25 So sánh trực quan mô hình có / không hệ số thay đổi. 32 LOI CAM ON Tác giả xin chân thành cảm on TS.
