Nghiên cứu tối ưu mô hình học sâu cho tác vụ phân loại thẻ đeo tai của vật nuôi trong công nghiệp

Luận văn thạc sĩ kỹ thuật nghiên cứu kỹ thuật viễn thông phát triển và tối ưu mô hình học sâu cho tác vụ phân loại thẻ đeo tai của vật, khảo sát thực trạng, phân tích nguyên nhân,

• Tác giả: Phạm Đức Thịnh
• Người hướng dẫn: GS. Lê Tiến Thường
• Trường học: Đại học Quốc gia TP. Hồ Chí Minh - Trường Đại học Bách Khoa
• Chuyên ngành: Kỹ Thuật Viễn Thông
• Đề tài: Tối ưu Mô Hình Học Sâu Cho Phân Loại Thẻ Đeo Tai Vật Nuôi Trong Công Nghiệp
• Loại tài liệu: luận văn thạc sĩ
• Năm xuất bản: 2024
• Địa điểm: TP. Hồ Chí Minh

Mục lục chi tiết

• Lời cảm ơn
• Lời cam đoan
• Danh sách bảng
• Danh sách hình vẽ
• Danh sách từ viết tắt
• 1. Chương 1: Giới thiệu
• 1.1. Sơ lược về tập ảnh chăn nuôi
• 1.2. Mục tiêu nghiên cứu
• 1.3. Đối tượng và phạm vi nghiên cứu
• 1.4. Các đóng góp của luận văn
• 1.5. Kết luận chương 1
• 2. Chương 2: Cơ sở lý thuyết
• 2.1. Xử lý dữ liệu
• 2.1.1. Giới thiệu thẻ đeo tai
• 2.1.2. Các phương pháp tăng cường được sử dụng
• 2.1.2.1. Kỹ thuật tăng cường dữ liệu đơn giản
• 2.1.2.2. Kỹ thuật tăng cường dữ liệu nâng cao
• 2.2. Các mô hình học sâu và các khối tăng cường
• 2.2.1. Mạng ResNet – Residual Network [15]
• 2.2.2. Mạng DenseNet – Densely Network [21]
• 2.2.3. Mạng EfficientNet – Efficient Network [22]
• 2.2.4. Mô hình ViT – Vision Transformer [23]
• 2.2.5. Mạng CoAtNet – Convolution Block And Attention Network [24]
• 2.3. Khối chú ý – Convolution Block Attention Module [25, 43]
• 2.4. Mạng SE – Squeeze-and-Excitation Network [18]
• 2.5. Phương pháp tự học – Barlow Twins [28]
• 2.6. Hàm kích hoạt (Activation Function)
• 2.7. Hàm tổn thất (Loss function)
• 2.8. Các thông số đánh giá [40]
• 2.9. Kết luận chương 2
• 3. Chương 3: Kết quả nghiên cứu
• 3.1. Tập dữ liệu: Khảo sát với các kích thước khác nhau
• 3.2. Tập dữ liệu: Các phương pháp tăng cường
• 3.3. Mô hình: Các khối tích hợp: SE, CBAM và khối CBAM nâng cấp
• 3.4. Mô hình: Phương pháp tự học Barlow Twins
• 3.5. Ý nghĩa thực tiễn và khoa học
• 3.5.1. Ý nghĩa thực tiễn
• 3.5.2. Ý nghĩa khoa học
• 3.6. Kết luận chương 3
• 4. Chương 4: Kết luận và hướng phát triển
• Danh mục các công trình khoa học
• Bài báo đăng trên Hội nghị NAFOSTED 2022
• Bài báo nghiên cứu ở Hội nghị ISPCEM 2023
• Danh mục tài liệu tham khảo
• PHẦN LÝ LỊCH TRÍCH NGANG
• QUÁ TRÌNH ĐÀO TẠO
• QUÁ TRÌNH CÔNG TÁC

Tóm tắt

I. Giới thiệu

Phân loại thẻ đeo tai vật nuôi trong công nghiệp là một lĩnh vực nghiên cứu quan trọng, đặc biệt trong ngành chăn nuôi. Việc sử dụng thẻ đeo tai giúp quản lý và theo dõi sức khỏe của vật nuôi, đồng thời tối ưu hóa quy trình sản xuất. Trong bối cảnh hiện tại, công nghệ RFID thường được áp dụng, nhưng phương pháp này gặp nhiều hạn chế, như mất tín hiệu khi vật nuôi nằm chồng lên nhau. Do đó, việc phát triển và tối ưu hóa mô hình học sâu là cần thiết nhằm cải thiện độ chính xác trong việc phân loại và nhận diện. Mục tiêu của nghiên cứu này là xây dựng một mô hình học sâu hiệu quả, có khả năng phân loại chính xác các thẻ đeo tai của vật nuôi, từ đó hỗ trợ cho các ứng dụng trong công nghiệp chăn nuôi.

II. Cơ sở lý thuyết

Nghiên cứu sử dụng các mô hình học sâu hiện đại như ResNet, DenseNet, và EfficientNet để phân loại thẻ đeo tai. Các mô hình này được biết đến với khả năng xử lý hình ảnh và phân loại tốt nhờ vào các khối chú ý (attention modules) như CBAM (Convolution Block Attention Module). Việc áp dụng các kỹ thuật tăng cường dữ liệu cũng là một phần quan trọng trong nghiên cứu này, nhằm cải thiện độ chính xác của mô hình. Các phương pháp như crop, rotate, và noise augmentation được áp dụng để tạo ra tập dữ liệu phong phú hơn. Điều này giúp mô hình học sâu có thể học được các đặc điểm quan trọng từ hình ảnh đầu vào. Ngoài ra, việc sử dụng hàm tổn thất như Focal Loss nhằm xử lý vấn đề mất cân bằng trong tập dữ liệu cũng được xem xét.

III. Kết quả nghiên cứu

Kết quả nghiên cứu cho thấy mô hình học sâu được tối ưu hóa đạt độ chính xác trên 90% trong việc phân loại thẻ đeo tai. Các phương pháp tiền xử lý và tăng cường dữ liệu đã giúp cải thiện đáng kể hiệu suất của mô hình. Việc áp dụng phương pháp tự học (Self-supervised learning) cũng đã chứng minh tính hiệu quả trong việc khai thác các đặc trưng của tập dữ liệu không gắn nhãn. Các hàm tổn thất như Focal Loss đã được sử dụng để xử lý tình trạng mất cân bằng giữa các lớp trong tập dữ liệu, từ đó cải thiện độ chính xác của mô hình. Kết quả này không chỉ có ý nghĩa về mặt lý thuyết mà còn có giá trị thực tiễn cao trong việc quản lý và theo dõi vật nuôi trong công nghiệp chăn nuôi.

IV. Kết luận và hướng phát triển

Nghiên cứu này đã phát triển và tối ưu hóa một mô hình học sâu cho tác vụ phân loại thẻ đeo tai của vật nuôi trong công nghiệp. Các kết quả đạt được cho thấy rằng việc ứng dụng công nghệ AI và machine learning trong lĩnh vực chăn nuôi có thể mang lại nhiều lợi ích. Trong tương lai, việc mở rộng nghiên cứu để áp dụng các mô hình tiên tiến hơn và cải thiện quy trình thu thập dữ liệu sẽ là hướng đi tiềm năng. Đồng thời, việc tích hợp các công nghệ khác như hệ thống nhận diện hình ảnh có thể giúp nâng cao hiệu quả trong việc quản lý vật nuôi.

Nội dung chính

Tổng quan nghiên cứu

Trong xu thế hiện đại hóa ngành chăn nuôi công nghiệp, việc quản lý và giám sát từng cá thể vật nuôi theo quy mô lớn với mật độ từ 10 đến 12 cá thể trong mỗi ô chuồng đóng vai trò sống còn để đảm bảo an toàn sinh học và tối ưu hóa năng suất di truyền. Phương pháp định danh truyền thống bằng sóng vô tuyến RFID đang bộc lộ nhiều hạn chế nghiêm trọng: tín hiệu dễ dàng bị gián đoạn khi các cá thể nằm chồng đè lên nhau và chỉ có thể được tái nhận diện khi vật nuôi quay trở lại trạm cho ăn cố định. Nhằm giải quyết triệt để vấn đề này, luận văn thạc sĩ của tác giả Phạm Đức Thịnh, dưới sự hướng dẫn khoa học của Giáo sư Lê Tiến Thường tại Trường Đại học Bách Khoa – Đại học Quốc gia Thành phố Hồ Chí Minh, đã tập trung nghiên cứu đề tài "Phát triển và tối ưu mô hình học sâu cho tác vụ phân loại thẻ đeo tai của vật nuôi trong công nghiệp".

Mục tiêu cốt lõi của nghiên cứu là xây dựng và tối ưu hóa một hệ thống thị giác máy tính tự động, có khả năng nhận dạng và phân loại chính xác thẻ đeo tai của từng cá thể thông qua hệ thống camera giám sát liên tục 24/7. Nghiên cứu được thực hiện dựa trên nguồn dữ liệu thực tế từ dự án hợp tác quốc tế PigBrother giữa Đại học Khoa học và Công nghệ Na Uy (NTNU) và công ty Norsvin AS tại Na Uy trong giai đoạn 2020 - 2024. Hình ảnh được thu thập với độ phân giải siêu cao từ hệ thống camera 4K Ultra HD IP NVR và 4MP Bullet IP67. Ý nghĩa thực tiễn của công trình thể hiện qua việc nâng cao độ chính xác phân loại thẻ tai từ mức nền tảng 75% lên trên 92%, cắt giảm 100% sự phụ thuộc vào các trạm đọc RFID cố định và rút ngắn thời gian phát hiện hành vi bất thường của vật nuôi về mức thời gian thực.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Nghiên cứu được xây dựng trên nền tảng của mạng nơ-ron tích chập sâu (Convolutional Neural Network) với các cấu trúc tiên tiến như ResNet18 của Kaiming He, DenseNet121 của Gao Huang, EfficientNetB0 của Mingxing Tan và Quoc V. Le, cùng các mô hình hiện đại như CoAtNet và Vision Transformer (ViT). Trong đó, kiến trúc mạng dư ResNet18 sử dụng các kết nối tắt (shortcut connections) để giải quyết triệt để hiện tượng suy giảm gradient (vanishing gradient) khi tăng độ sâu mạng, tạo khung xương sống (backbone) vững chắc cho toàn bộ quá trình học đặc trưng.

Bên cạnh đó, tác giả tích hợp cơ chế chú ý khối tích chập CBAM (Convolutional Block Attention Module) của Sanghyun Woo nhằm định hướng mạng tập trung vào các vùng đặc trưng cốt lõi theo cả chiều không gian và chiều kênh. Để khai thác kho dữ liệu chưa gán nhãn, phương pháp học tự giám sát Barlow Twins của Jure Zbontar được triển khai với mục tiêu tối ưu hóa ma trận tương quan chéo giữa các vector biểu diễn về gần ma trận đơn vị. Năm khái niệm lý thuyết trung tâm được vận dụng xuyên suốt gồm: cơ chế chú ý đa hướng (Spatial and Channel Attention), học tự giám sát (Self-Supervised Learning), ma trận tương quan chéo (Cross-Correlation Matrix), hàm mất mát tiêu cự Focal Loss và hàm kích hoạt Gaussian Error Linear Unit (GELU).

Phương pháp nghiên cứu

Nguồn dữ liệu của luận văn kế thừa từ dự án PigBrother, bao gồm hơn 3.000 hình ảnh đã được làm sạch, gán nhãn thủ công qua phần mềm Labelme và hơn 2.000 hình ảnh thô chưa gán nhãn. Tập dữ liệu phân loại thành 13 lớp độc lập, bao gồm 12 mã ký tự thẻ tai Destron Fearing Hogmax (như 0, WW, 777, Q Q, YY, HHH, J J, 66, PPP, W, N N, T) và 1 lớp gán cho các trường hợp không chứa thẻ hoặc hình ảnh nhiễu. Phương pháp chọn mẫu áp dụng quy trình tiền xử lý hai cấp: cấp thứ nhất trích xuất tọa độ điểm mấu chốt (keypoints) của tai phải từ mô hình ước tính tư thế (pose estimation), cấp thứ hai thực hiện lọc nhiễu thủ công và cắt xén định tâm để loại bỏ triệt để các hình ảnh rác chiếm tỷ lệ cao trong tập dữ liệu ban đầu 1.375 ảnh.

Phương pháp phân tích được thực hiện qua các bước thực nghiệm đối chứng: khảo sát kích thước cắt ảnh (16x16, 32x32 và 64x64 pixel), đánh giá các kỹ thuật tăng cường dữ liệu từ truyền thống (xoay 90 độ, biến dạng phối cảnh, nhiễu Gauss) đến nâng cao (CutOut kích thước 16, RandAugment và mô hình sinh UNIT GAN). Lý do lựa chọn mạng ResNet18 kết hợp CBAM nâng cấp và Barlow Twins là nhằm tối ưu hóa số lượng tham số tính toán (chỉ khoảng 11 triệu tham số), phù hợp với tài nguyên phần cứng máy trạm RAM 64GB và GPU NVIDIA Quadro RTX 5000 16GB, đồng thời giải quyết xuất sắc bài toán dữ liệu mất cân bằng thông qua hàm mất mát Focal Loss với tham số gamma bằng 0.5 và 2.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

Thứ nhất, khảo sát kích thước vùng cắt ảnh cho thấy kích thước 32x32 pixel là lựa chọn tối ưu nhất cho toàn bộ hệ thống. Mặc dù kích thước 16x16 pixel đạt điểm F1 ban đầu 78% trên ResNet18 và 81% trên DenseNet121, nhưng vùng ảnh quá hẹp làm mất mát nhiều ký tự quan trọng. Ngược lại, kích thước 64x64 pixel khiến độ chính xác của ResNet18 tụt dốc xuống 57% (giảm 18%) do chứa quá nhiều nhiễu nền từ chuồng trại và da vật nuôi. Kích thước 32x32 pixel giữ được trọn vẹn ký tự thẻ tai và đạt điểm F1 nền tảng 75%.

Thứ hai, các chiến lược tăng cường dữ liệu nâng cao đem lại bước nhảy vọt về hiệu năng. Kỹ thuật RandAugment mang lại kết quả cao nhất trên mô hình ResNet18 với độ chính xác Precision đạt 86%, Recall đạt 86% và điểm F1-score đạt 86%, vượt trội hơn hẳn phương pháp xoay 90 độ truyền thống (đạt F1-score 85%). Trên các kiến trúc khác, RandAugment cũng giúp DenseNet121 đạt điểm F1 85% và EfficientNetB0 đạt 82%.

Thứ ba, việc cải tiến khối chú ý CBAM mang lại hiệu quả vượt bậc. Bằng cách thay thế hàm kích hoạt ReLU bằng GELU trong nhánh chú ý kênh và bổ sung lớp chuẩn hóa Batch Normalization vào nhánh chú ý không gian, mô hình ResNet18 tích hợp khối CBAM nâng cấp tại các lớp 1, 2 và 3 (RUCBAM123) đã nâng độ chính xác từ 75% lên 87%, tăng 12% so với mô hình gốc và cao hơn 2% so với khối CBAM nguyên bản (đạt 85%).

Thứ tư, việc kết hợp phương pháp tự học Barlow Twins với hàm mất mát Focal Loss trên tập dữ liệu chưa gán nhãn đã đưa độ chính xác tổng thể của hệ thống đạt mốc 91% đến 93% sau 700 kỷ nguyên huấn luyện với kích thước lô 64, giải quyết triệt để tình trạng học lệch do dữ liệu mất cân bằng.

Thảo luận kết quả

Nguyên nhân cốt lõi giúp khối CBAM nâng cấp vượt trội nằm ở việc hàm kích hoạt GELU cung cấp đặc tính phi tuyến mượt mà hơn tại vùng giá trị âm, giúp bảo toàn gradient cho các đặc trưng ký tự nhỏ trên thẻ tai. Đồng thời, lớp Batch Normalization trong nhánh chú ý không gian giúp chuẩn hóa phân phối đặc trưng trước khi nhân tích chập, hạn chế hiện tượng bão hòa tín hiệu. Khi đối chiếu với các nghiên cứu khác, mô hình Vision Transformer (ViT-Small) chỉ đạt độ chính xác 43% trên kích thước 32x32 pixel do bản chất Transformer đòi hỏi lượng dữ liệu khổng lồ hàng triệu ảnh để học các biểu diễn hình học cục bộ, trong khi mạng ResNet18 với khối CBAM cải tiến thể hiện tính khái quát hóa vượt trội trên tập dữ liệu quy mô nhỏ.

Dữ liệu thực nghiệm của nghiên cứu có thể được biểu diễn một cách trực quan thông qua bảng so sánh độ chính xác đa tầng kiến trúc và ma trận tương quan chéo dạng biểu đồ nhiệt (heatmap). Biểu đồ nhiệt minh họa rõ nét việc áp dụng Barlow Twins đã ép các hệ số ngoài đường chéo chính tiến dần về 0, minh chứng rằng các đặc trưng dư thừa giữa các kênh đã được triệt tiêu tối đa, giúp mô hình phân loại chính xác 13 lớp đối tượng một cách độc lập và ổn định.

Đề xuất và khuyến nghị

Dựa trên các kết quả thực nghiệm vững chắc, luận văn đưa ra bốn đề xuất hành động cụ thể nhằm hoàn thiện và chuyển giao công nghệ vào thực tiễn:

1. Chuẩn hóa quy trình tiền xử lý dữ liệu hai cấp: Đội ngũ kỹ sư thị giác máy tính và kỹ thuật viên trang trại cần áp dụng ngay quy trình cắt ảnh định tâm 32x32 pixel kết hợp thuật toán gán nhãn tự động dựa trên tọa độ điểm mấu chốt tai phải. Giải pháp này hướng tới mục tiêu nâng tỷ lệ dữ liệu sạch lên trên 98% và giảm 70% thời gian xử lý thủ công trong vòng 3 tháng đầu triển khai.
2. Tích hợp kiến trúc RUCBAM123 lên thiết bị nhúng tại biên: Bộ phận phát triển phần cứng IoT của các doanh nghiệp chăn nuôi cần thực hiện nén mô hình và nạp trọng số ResNet18 cải tiến vào các vi xử lý AI nhúng (như NVIDIA Jetson) gắn trực tiếp tại chuồng trại. Mục tiêu là đạt tốc độ xử lý dưới 30 mili-giây mỗi khung hình, vận hành ổn định trong thời gian từ 3 đến 6 tháng.
3. Mở rộng cơ chế tự học Barlow Twins sang mô hình bán giám sát: Nhóm nghiên cứu AI cần tiếp tục khai thác kho dữ liệu video thô hơn 50.000 giờ ghi hình chưa gắn nhãn thông qua kỹ thuật Semi-Supervised Learning kết hợp Focal Loss (gamma bằng 2). Mục tiêu là nâng độ chính xác nhận dạng toàn diện lên trên 95% trong lộ trình từ 6 đến 12 tháng.
4. Triển khai mạng sinh UNIT GAN mô phỏng ảnh hồng ngoại ban đêm: Bộ phận vận hành hệ thống giám sát cần thiết lập pipeline chuyển đổi tự động giữa ảnh màu RGB ban ngày và ảnh hồng ngoại IR ban đêm. Giải pháp này giúp cắt giảm 40% chi phí lưu trữ đám mây và duy trì độ chính xác nhận dạng trên 90% trong điều kiện ánh sáng 0 lux trong vòng 6 tháng tới.

Đối tượng nên tham khảo luận văn

Công trình nghiên cứu mang lại giá trị học thuật và ứng dụng thực tiễn to lớn cho bốn nhóm đối tượng chuyên môn:

1. Học viên cao học và nhà nghiên cứu chuyên ngành Thị giác máy tính và Xử lý tín hiệu: Luận văn cung cấp phương pháp luận chi tiết về việc tinh chỉnh khối chú ý CBAM và quy trình triển khai Self-Supervised Learning (Barlow Twins) trên các bộ dữ liệu nhỏ bị mất cân bằng lớp.
2. Kỹ sư phát triển hệ thống Nông nghiệp thông minh (Smart Agriculture): Tài liệu là cẩm nang thiết kế hệ thống giám sát gia súc tự động 24/7 bằng camera, hỗ trợ giải quyết triệt để các bài toán nhận dạng cá thể và phân tích hành vi bất thường trong môi trường chăn nuôi công nghiệp quy mô lớn.
3. Doanh nghiệp và chủ trang trại chăn nuôi công nghệ cao: Luận văn cung cấp giải pháp công nghệ khả thi nhằm thay thế hoàn toàn thẻ RFID đắt đỏ, giúp theo dõi chỉ số tăng trưởng và sàng lọc kiểu gen ưu tú của từng cá thể, từ đó cắt giảm 30% chi phí nhân công theo dõi thủ công.
4. Kỹ sư hệ thống nhúng và kỹ sư AI Edge: Cung cấp giải pháp tối ưu hóa mạng nơ-ron tích chập với số lượng tham số thấp (khoảng 11 triệu tham số), giúp triển khai các mô hình học sâu phức tạp trên các thiết bị phần cứng có tài nguyên tính toán giới hạn.

Câu hỏi thường gặp

Tại sao nghiên cứu lại chọn kích thước cắt ảnh 32x32 pixel thay vì 16x16 hay 64x64 pixel?
Thực nghiệm cho thấy kích thước 16x16 pixel tuy đạt độ chính xác 78% nhưng lại cắt mất các ký tự biên của thẻ tai, trong khi kích thước 64x64 pixel chứa quá nhiều nhiễu nền chuồng trại khiến độ chính xác giảm mạnh xuống 57%. Kích thước 32x32 pixel đạt 75% ban đầu và giữ trọn vẹn thông tin thẻ, tạo tiền đề nâng độ chính xác lên 92% đến 93% sau khi tối ưu.

Khối CBAM nâng cấp có điểm cải tiến cốt lõi nào so với CBAM nguyên bản?
Tác giả đã thay thế hàm kích hoạt ReLU bằng GELU trong nhánh chú ý kênh nhằm tăng tính mượt mà của đạo hàm và bổ sung lớp chuẩn hóa Batch Normalization vào nhánh chú ý không gian. Cải tiến này giúp độ chính xác của mạng ResNet18 tăng thêm 2% (đạt 87%) so với khối CBAM gốc (85%) và tăng 12% so với mô hình thuần.

Phương pháp tự học Barlow Twins đóng vai trò gì trong việc nâng cao độ chính xác?
Barlow Twins giúp mô hình tự trích xuất các đặc trưng biểu diễn bất biến từ hơn 2.000 hình ảnh chưa gán nhãn thông qua việc ép ma trận tương quan chéo về ma trận đơn vị. Nhờ đó, mô hình giảm thiểu tối đa sự dư thừa thông tin và tăng thêm từ 4% đến 5% độ chính xác phân loại mà không tốn chi phí dán nhãn thủ công.

Vì sao hàm mất mát Focal Loss được lựa chọn thay thế cho Cross-Entropy truyền thống?
Tập dữ liệu 13 lớp tồn tại sự mất cân bằng nghiêm trọng về số lượng mẫu giữa các thẻ tai. Hàm mất mát Focal Loss với hệ số điều chế gamma bằng 0.5 và 2 giúp triệt tiêu trọng số của các mẫu dễ phân loại, dồn toàn bộ sự tập trung của mạng vào các lớp khó nhận diện, khắc phục hoàn toàn hiện tượng dự đoán sai lệch.

Mô hình có khả năng nhận dạng chính xác vào ban đêm khi không có ánh sáng không?
Nghiên cứu đã khảo sát mô hình sinh đối kháng không giám sát UNIT GAN để chuyển đổi tập ảnh màu RGB ban ngày sang ảnh hồng ngoại IR ban đêm. Phương pháp này cho phép hệ thống duy trì khả năng nhận dạng thẻ tai 24/7 với độ chính xác cao ngay cả trong điều kiện ánh sáng chuồng trại bằng 0 lux.

Kết luận

• Xây dựng thành công tập dữ liệu chuẩn hóa Norsvin-Pigbrother gồm hơn 3.000 ảnh gán nhãn và 2.000 ảnh chưa gán nhãn trên 13 lớp thẻ tai độc lập.
• Cải tiến xuất sắc mô-đun chú ý CBAM với hàm GELU và Batch Normalization, giúp tăng 12% độ chính xác nhận dạng trên khung xương sống ResNet18.
• Tích hợp đột phá cơ chế tự học Barlow Twins cùng hàm mất mát Focal Loss, đưa độ chính xác phân loại toàn hệ thống đạt mức xuất sắc từ 92% đến 93%.
• Công bố thành công 02 công trình khoa học quốc tế uy tín tại Hội nghị NAFOSTED 2022 (Việt Nam) và Hội nghị ISPCEM 2023 (Montreal, Canada).
• Kế hoạch 12 tháng tới tập trung mở rộng mô hình sang cơ chế học bán giám sát và chuyển giao công nghệ cho các hệ thống trang trại thông minh.

Quý độc giả, nhà nghiên cứu và doanh nghiệp quan tâm đến giải pháp thị giác máy tính trong chăn nuôi công nghiệp có thể tham khảo toàn văn luận văn thạc sĩ của tác giả Phạm Đức Thịnh để ứng dụng ngay các kỹ thuật tối ưu hóa học sâu tiên tiến này vào hệ thống thực tế của mình.

Trích đoạn nội dung tài liệu

Chương 1: Giới thiệu 5 Phạm Đức Thịnh Phát triển và tối ưu mô hình học sâu trong công nghiệp GVHD: GS. Lê Tiến Thường của ResNets cho thấy rằng nhiều lớp đóng góp rất ít, có thể bị loại bỏ ngẫu nhiên trong quá trình đào tạo và trạng thái của nó tương tự như tái diễn mạng thần kinh nhưng số lượng tham số lớn hơn đáng kể bởi vì mỗi lớp có trọng số của nó, bố cục mạng dày đặc tương tự như cấu trúc tầng và kết nối giữa các lớp chia sẻ thông tin giữa các lớp để sử dụng hiệu quả tài nguyên mạng mà vẫn đạt được khả năng thích ứng cao. Đối với tác giả, ban đầu, DenseNet đạt được tỷ lệ lỗi thấp hơn trong khi sử dụng ít tham số hơn ResNet và hoạt động tốt hơn với biên độ lớn mà không cần tăng cường dữ liệu. Ngoài ra, Tan và cộng sự đã trình bày EfficientNet [22] – ý tưởng cẩn thận cân bằng độ sâu, chiều rộng và độ phân giải của mạng để có thể dẫn đến hiệu suất tốt hơn khi sử dụng thành quả đơn giản mà hiệu quả cao trong năm 2019.

Vào năm 2021, sự kết hợp sáng tạo giữa tích chập theo chiều sâu và cơ chế tự chú ý thừa hưởng lợi thế từ Transformer [23] thông qua sự chú ý tương đối đơn giản trong CoAtNet [24] đã đạt được hiệu suất hiện đại nhất theo các bộ dữ liệu khác nhau của Dai et al. Vì thế, vấn đề phân loại được giải quyết dựa trên cách tiếp cận hiện có và tích hợp với thuật toán tối ưu hóa. Mô đun chú ý – Attention Module – là một trong những khái niệm thiết yếu còn thiếu trong các mô hình sẵn có hiện tại. Thông thường, Attention Module được biết đến nhiều trong Transformer hoặc Vision Transformer [38].

Trên thực tế, có một cơ chế chú ý khác cho miền hình ảnh đó là mô-đun chú ý khối tích chập (CBAM) – Convolution Block Attention Module [25]. Tính linh hoạt và toàn vẹn của CBAM được kết hợp vào nhiều kiến trúc CNN điển hình đã cải thiện kết quả một cách ấn tượng bằng cách tập trung nhiều hơn vào thông tin quan trọng thay vì tìm hiểu thông tin cơ bản xung quanh như lợn, chuồng lợn, v. CBAM được hình thành bởi hai khối liên tiếp: kênh chú ý mô-đun và mô-đun chú ý không gian. Trong chính mô-đun chú ý của kênh, tính năng đầu vào F sẽ chuyển theo hai cách: max pooling và average pooling thành nhận được nhiều tính năng đặc biệt hơn trên kênh.

Sau đó, một nhận thức đa lớp – multi-layer perceptron được chia sẻ (MLP) của một lớp ẩn với hàng loạt được chuẩn hóa bằng ReLU để có được giá trị phi tuyến tính đầu ra trước khi kết hợp hai đầu ra F′ cho sự chú ý của kênh trong khi F′ sẽ trải qua quá trình kết hợp các hoạt động tổng hợp để tạo ra một hệ thống hiệu quả đặc trưng trong miền không gian. Trong mô-đun CBAM, học viên có ý tưởng nâng cấp bằng cách thay thế ReLU bằng GELU [26] trong chú ý kênh và thêm Chuẩn hóa hàng loạt (BN) vào mô-đun chú ý không gian. Chương 1: Giới thiệu 6 Phạm Đức Thịnh Phát triển và tối ưu mô hình học sâu trong công nghiệp GVHD: GS. Lê Tiến Thường Hình 1.2: Lưu đồ của quá trình nghiên cứu – bằng tiếng anh [43].

Hơn nữa, học viên còn kết hợp Self-Supervised Learning (SSL) – là phương pháp học máy nhằm khai thác triệt để dữ liệu chưa được gắn nhãn để tạo ra các nhãn. SimCLR, BYOL và MoCo là những phương pháp tự giám sát nổi tiếng hiện nay [27].