Phát triển và Tối Ưu Mô Hình Học Sâu Cho Phân Loại Thẻ Đeo Tai Vật Nuôi Trong Công Nghiệp

Chuyên khảo phân tích Phát triển và tối ưu mô hình học sâu cho tác vụ phân loại thẻ đeo tai của vật nuôi trong công nghiệp, đánh giá các khía cạnh quan trọng, đề xuất hướng nghiên

• Tác giả: Phạm Đức Thịnh
• Người hướng dẫn: GS. Lê Tiến Thường
• Trường học: Đại học Quốc gia TP. Hồ Chí Minh - Trường Đại học Bách Khoa
• Chuyên ngành: Kỹ Thuật Viễn Thông
• Đề tài: Phát Triển Và Tối Ưu Mô Hình Học Sâu Cho Tác Vụ Phân Loại Thẻ Đeo Tai Của Vật Nuôi Trong Công Nghiệp
• Loại tài liệu: luận văn thạc sĩ
• Năm xuất bản: 2024
• Địa điểm: TP. Hồ Chí Minh

Mục lục chi tiết

• Lời cảm ơn
• Lời cam đoan
• Danh sách bảng
• Danh sách hình vẽ
• Danh sách từ viết tắt
• 1. Chương 1: Giới thiệu
• 1.1. Sơ lược về tập ảnh chăn nuôi
• 1.2. Mục tiêu nghiên cứu
• 1.3. Đối tương và phạm vi nghiên cứu
• 1.4. Các đóng góp của luận văn
• 1.5. Kết luận chương 1
• 2. Chương 2: Cơ sở lý thuyết
• 2.1. Xử lý dữ liệu
• 2.1.1. Giới thiệu thẻ đeo tai
• 2.1.2. Các phương pháp tăng cường được sử dụng
• 2.1.2.1. Kỹ thuật tăng cường dữ liệu đơn giản
• 2.1.2.2. Kỹ thuật tăng cường dữ liệu nâng cao
• 2.2. Các mô hình học sâu và các khối tăng cường
• 2.2.1. Mạng ResNet – Residual Network [15]
• 2.2.2. Mạng DenseNet – Densely Network [21]
• 2.2.3. Mạng EfficientNet – Efficient Network [22]
• 2.2.4. Mô hình ViT – Vision Transformer [23]
• 2.2.5. Mạng CoAtNet – Convolution Block And Attention Network [24]
• 2.3. Khối chú ý – Convolution Block Attention Module [25, 43]
• 2.4. Mạng SE – Squeeze-and-Excitation Network [18]
• 2.5. Phương pháp tự học – Barlow Twins [28]
• 2.6. Hàm kích hoạt (Activation Function)
• 2.7. Hàm tổn thất (Loss function)
• 2.8. Các thông số đánh giá [40]
• 2.9. Kết luận chương 2
• 3. Chương 3: Kết quả nghiên cứu
• 3.1. Tập dữ liệu: Khảo sát với các kích thướng khác nhau
• 3.2. Tập dữ liệu: Các phương pháp tăng cường
• 3.3. Mô hình: Các khối tích hợp: SE, CBAM và khối CBAM nâng cấp
• 3.4. Mô hình: Phương pháp tự học Barlow Twins
• 3.5. Ý nghĩa thực tiễn và khoa học
• 3.5.1. Ý nghĩa thực tiễn:
• 3.5.2. Ý nghĩa khoa học:
• 3.6. Kết luận chương 3
• 4. Chương 4: Kết luận và hướng phát triển
• Danh mục các công trình công trình khoa học
• 1/ Bài báo đăng trên Hội nghị NAFOSTED 2022
• 2/ Bài báo nghiên cứu ở Hội nghị ISPCEM 2023
• Danh mục tài liệu tham khảo
• PHẦN LÝ LỊCH TRÍCH NGANG
• QUÁ TRÌNH ĐÀO TẠO
• QUÁ TRÌNH CÔNG TÁC

Tóm tắt

I. Tổng Quan Về Phát Triển Mô Hình Học Sâu Cho Thẻ Đeo Tai

Bài toán phân loại thẻ đeo tai vật nuôi trong môi trường công nghiệp đang ngày càng trở nên quan trọng. Việc này không chỉ giúp theo dõi và quản lý vật nuôi hiệu quả hơn mà còn hỗ trợ trong việc lựa chọn giống, theo dõi sức khỏe và đảm bảo nguồn cung cấp sản xuất hiệu quả. Phương pháp truyền thống sử dụng thẻ RFID (Radio-Frequency Identification) còn nhiều hạn chế, đặc biệt trong các trường hợp vật nuôi nằm chồng lên nhau gây mất tín hiệu. Do đó, việc phát triển một hệ thống theo dõi bằng camera, kết hợp với AI trong nông nghiệp và mô hình học sâu, trở nên vô cùng cần thiết. Luận văn này tập trung vào việc phát triển và tối ưu mô hình học sâu để giải quyết bài toán này, tận dụng những tiến bộ trong lĩnh vực computer vision và nhận dạng hình ảnh.

1.1. Ứng Dụng AI trong Chăn Nuôi Tổng quan về tiềm năng

Ứng dụng AI trong chăn nuôi mở ra tiềm năng lớn trong việc tự động hóa quy trình, giảm chi phí và tăng hiệu quả sản xuất. Các hệ thống nhận diện vật nuôi tự động dựa trên mô hình học sâu có thể theo dõi hành vi, phát hiện bệnh tật sớm và tối ưu hóa chế độ dinh dưỡng. Điều này đặc biệt quan trọng trong bối cảnh ngành chăn nuôi đang đối mặt với nhiều thách thức về dịch bệnh và biến đổi khí hậu. Giải pháp AI cho nông nghiệp thông minh không chỉ giúp người chăn nuôi quản lý đàn vật nuôi tốt hơn mà còn cung cấp dữ liệu quan trọng để đưa ra các quyết định chiến lược.

1.2. Giới Thiệu Bài Toán Phân Loại Thẻ Đeo Tai Vật Nuôi

Bài toán phân loại thẻ đeo tai vật nuôi là một bài toán con trong một dự án lớn hơn về phát hiện và theo dõi hành vi của vật nuôi. Mục tiêu là xác định chính xác ID của từng con vật thông qua hình ảnh thẻ đeo tai. Điều này đòi hỏi khả năng xử lý hình ảnh phức tạp, đặc biệt là trong các điều kiện ánh sáng khác nhau, góc nhìn đa dạng và sự biến dạng của hình ảnh. Việc tối ưu mô hình học sâu để đạt được độ chính xác phân loại cao là yếu tố then chốt để xây dựng một hệ thống theo dõi vật nuôi hiệu quả.

II. Thách Thức Phân Loại Thẻ Đeo Tai Vật Nuôi Vấn Đề

Mặc dù có nhiều tiềm năng, việc phân loại thẻ đeo tai vật nuôi bằng mô hình học sâu cũng đối mặt với không ít thách thức. Dữ liệu hình ảnh thường có chất lượng không đồng đều, bị nhiễu hoặc bị che khuất. Sự đa dạng về kích thước, hình dạng và màu sắc của thẻ đeo tai cũng làm tăng độ khó của bài toán. Đặc biệt, sự mất cân bằng dữ liệu giữa các lớp (số lượng hình ảnh của mỗi loại thẻ khác nhau) có thể ảnh hưởng đến hiệu suất mô hình. Do đó, cần có các phương pháp xử lý dữ liệu, xây dựng kiến trúc mạng nơ-ron tích chập (CNN) phù hợp và áp dụng các kỹ thuật huấn luyện đặc biệt để vượt qua những khó khăn này.

2.1. Khó khăn khi xử lý dữ liệu hình ảnh thẻ đeo tai

Dữ liệu hình ảnh thẻ đeo tai vật nuôi thường không hoàn hảo. Ảnh có thể bị mờ, thiếu sáng, hoặc bị che khuất một phần bởi vật nuôi khác. Hơn nữa, góc chụp và khoảng cách từ camera đến thẻ đeo tai có thể thay đổi, dẫn đến sự biến dạng về kích thước và hình dạng. Các yếu tố này gây khó khăn cho việc nhận dạng hình ảnh và đòi hỏi các phương pháp tiền xử lý dữ liệu hiệu quả.

2.2. Vấn Đề Mất Cân Bằng Dữ Liệu Trong Phân Loại

Tình trạng mất cân bằng dữ liệu là một vấn đề phổ biến trong các bài toán phân loại. Trong trường hợp phân loại thẻ đeo tai, có thể có một số loại thẻ xuất hiện thường xuyên hơn các loại khác. Điều này có thể dẫn đến việc mô hình học thiên về các lớp phổ biến và kém hiệu quả trong việc phân loại các lớp ít gặp. Cần có các kỹ thuật đặc biệt như sử dụng hàm mất mát phù hợp (ví dụ: Focal Loss) hoặc kỹ thuật oversampling/undersampling để giải quyết vấn đề này. Luận văn sử dụng Focal Loss thay vì Cross Entropy để xử lý vấn đề mất cân bằng.

III. Phương Pháp Tối Ưu Mô Hình Học Sâu Giải Pháp Hiệu Quả

Để giải quyết những thách thức trên, luận văn này đề xuất một số phương pháp tối ưu mô hình học sâu cho tác vụ phân loại thẻ đeo tai. Đầu tiên, dữ liệu được tiền xử lý cẩn thận để loại bỏ nhiễu và tăng cường chất lượng. Tiếp theo, một kiến trúc mạng nơ-ron tích chập (CNN) dựa trên ResNet được lựa chọn và cải tiến bằng cách tích hợp các khối chú ý (attention module) như CBAM để tập trung vào các vùng quan trọng của hình ảnh. Cuối cùng, phương pháp tự học (self-supervised learning) được áp dụng để tận dụng tối đa dữ liệu không được gắn nhãn và cải thiện khả năng khái quát hóa của mô hình.

3.1. Tiền Xử Lý Dữ Liệu và Tăng Cường Chất Lượng Ảnh

Tiền xử lý dữ liệu là bước quan trọng để đảm bảo chất lượng của dữ liệu đầu vào. Các kỹ thuật như cắt ảnh (cropping), thay đổi kích thước (resizing), xoay (rotation) và tăng cường độ tương phản (contrast enhancement) được sử dụng để loại bỏ nhiễu và làm nổi bật các đặc trưng quan trọng của thẻ đeo tai. Các phương pháp tăng cường dữ liệu (data augmentation) như CutOut và RandAugment cũng được áp dụng để tăng tính đa dạng của dữ liệu huấn luyện và cải thiện hiệu suất mô hình. Luận văn cũng khảo sát về kích thước cắt ảnh với các phương pháp tăng cường.

3.2. Sử Dụng Khối Chú Ý CBAM Để Nâng Cao Độ Chính Xác

Khối chú ý CBAM (Convolutional Block Attention Module) là một kỹ thuật hiệu quả để giúp mô hình tập trung vào các vùng quan trọng của hình ảnh. CBAM bao gồm hai thành phần: chú ý kênh (channel attention) và chú ý không gian (spatial attention). Chú ý kênh giúp mô hình xác định các kênh đặc trưng quan trọng, trong khi chú ý không gian giúp mô hình xác định các vùng không gian quan trọng trong hình ảnh. Việc tích hợp CBAM vào kiến trúc ResNet giúp cải thiện đáng kể độ chính xác phân loại. Mô đun chú ý CBAM cũng được cải thiện bằng cách thêm Batch Normalize (BN) và thay thế RELU với GELU.

IV. Ứng Dụng Thực Tế và Kết Quả Nghiên Cứu Phân Loại Thẻ Tai

Mô hình học sâu sau khi được huấn luyện và tối ưu đã được thử nghiệm trên một tập dữ liệu độc lập để đánh giá hiệu suất. Kết quả cho thấy mô hình đạt được độ chính xác phân loại ấn tượng, vượt trội hơn so với các phương pháp truyền thống. Hệ thống này có thể được triển khai trong thực tế để theo dõi và quản lý vật nuôi một cách tự động và hiệu quả. Ngoài ra, luận văn cũng nghiên cứu về phương pháp nén ảnh và video để kiểm tra ảnh hưởng đến hiệu suất. Các thông số đã được tối ưu hóa dựa trên quan sát và thử nghiệm.

4.1. Đánh Giá Hiệu Suất Mô Hình Phân Loại Thẻ Đeo Tai

Hiệu suất của mô hình được đánh giá bằng các chỉ số như độ chính xác (accuracy), độ thu hồi (recall), độ chính xác (precision) và điểm F1 (F1-score). Các chỉ số này cho thấy khả năng của mô hình trong việc phân loại chính xác các loại thẻ đeo tai. Bảng so sánh với các phương pháp khác cũng được trình bày để chứng minh tính ưu việt của phương pháp đề xuất. Kết quả cho thấy độ chính xác trên 90%.

4.2. Triển Khai Hệ Thống Quản Lý Vật Nuôi Thông Minh

Hệ thống quản lý vật nuôi thông minh dựa trên mô hình học sâu có thể được tích hợp với các hệ thống hiện có như hệ thống thẻ RFID và hệ thống camera giám sát. Hệ thống này cung cấp một giải pháp toàn diện để theo dõi, quản lý và chăm sóc vật nuôi một cách hiệu quả hơn. Dữ liệu thu thập được từ hệ thống có thể được sử dụng để đưa ra các quyết định thông minh về dinh dưỡng, sức khỏe và quản lý đàn vật nuôi.

V. Kết Luận Hướng Phát Triển Mô Hình Học Sâu Trong Tương Lai

Luận văn này đã trình bày một phương pháp hiệu quả để phát triển và tối ưu mô hình học sâu cho tác vụ phân loại thẻ đeo tai vật nuôi. Các kết quả nghiên cứu cho thấy tiềm năng lớn của AI trong nông nghiệp và chăn nuôi. Trong tương lai, có thể mở rộng nghiên cứu sang các bài toán khác liên quan đến quản lý vật nuôi như phát hiện bệnh tật, theo dõi hành vi và dự đoán năng suất. Đồng thời, việc khám phá các kiến trúc mạng nơ-ron mới và các kỹ thuật huấn luyện tiên tiến sẽ tiếp tục cải thiện hiệu suất mô hình và mở ra những ứng dụng mới trong lĩnh vực này.

5.1. Mở Rộng Nghiên Cứu Sang Các Bài Toán Liên Quan

Ngoài phân loại thẻ đeo tai, mô hình học sâu cũng có thể được áp dụng cho các bài toán khác trong hệ thống quản lý vật nuôi, chẳng hạn như phát hiện bệnh tật thông qua hình ảnh hoặc video, theo dõi hành vi để phát hiện các dấu hiệu bất thường và dự đoán năng suất dựa trên dữ liệu lịch sử. Việc tích hợp các nguồn dữ liệu khác nhau như dữ liệu cảm biến và dữ liệu gen cũng có thể cải thiện độ chính xác và tính hữu ích của các ứng dụng này.

5.2. Nghiên Cứu Các Kiến Trúc Mạng Nơ ron Tiên Tiến

Sự phát triển của mạng nơ-ron không ngừng mang đến những kiến trúc mới và các kỹ thuật huấn luyện tiên tiến. Việc khám phá và áp dụng các kiến trúc như Transformers (đã chứng minh hiệu quả trong xử lý ngôn ngữ tự nhiên) hoặc các biến thể của CNN có thể cải thiện đáng kể hiệu suất mô hình trong tác vụ phân loại thẻ đeo tai và các bài toán liên quan. Việc sử dụng transfer learning cũng sẽ giúp giảm thời gian huấn luyện và cải thiện khả năng khái quát hóa của mô hình.

Nội dung chính

Tổng quan nghiên cứu

Nhu cầu tiêu thụ thịt công nghiệp trên toàn cầu đang gia tăng với tốc độ ước tính khoảng 15% mỗi thập kỷ, đặt ra bài toán cấp thiết về đảm bảo an toàn sinh học, kiểm soát nguồn gốc và tối ưu hóa năng suất chăn nuôi quy mô lớn. Trong chăn nuôi hiện đại, việc theo dõi từng cá thể động vật để đánh giá sức khỏe, phát hiện sớm dịch bệnh và lựa chọn nguồn gen di truyền ưu tú đóng vai trò quyết định hiệu quả kinh tế. Tuy nhiên, công nghệ định danh bằng sóng vô tuyến (RFID) truyền thống thường xuyên gặp sự cố mất tín hiệu khi vật nuôi nằm chồng lấn hoặc che khuất lẫn nhau, đồng thời chỉ có thể tái nhận diện khi chúng di chuyển về trạm cho ăn cố định.

Nhằm khắc phục triệt để hạn chế này, nghiên cứu tập trung phát triển và tối ưu hóa mô hình học sâu chuyên dụng cho tác vụ phân loại thẻ đeo tai của lợn thông qua hệ thống camera giám sát liên tục 24/7. Phạm vi nghiên cứu được triển khai trên tập dữ liệu hình ảnh độ phân giải cao trích xuất từ camera LOREX 4K Ultra HD và ELOTEC 4MP thuộc khuôn khổ dự án hợp tác quốc tế Norsvin-Pigbrother tại Na Uy, được thực hiện từ năm 2020 đến đầu năm 2024 tại Trường Đại học Bách Khoa – Đại học Quốc gia TP. Hồ Chí Minh.

Đề tài giải quyết trọn vẹn bài toán nhận diện 13 lớp phân loại tương ứng với 12 mẫu ký tự thẻ tai Destron Fearing Hogmax và 1 lớp không chứa thẻ. Kết quả nghiên cứu mang lại ý nghĩa khoa học và thực tiễn vượt bậc: nâng độ chính xác nhận diện từ mức cơ sở 75% lên trên 92%, giảm hơn 80% thời gian rà soát dữ liệu thủ công của người nuôi, đồng thời tạo tiền đề vững chắc cho việc tự động hóa giám sát hành vi đàn gia súc trong công nghiệp 4.0.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Nghiên cứu được xây dựng trên nền tảng lý thuyết thị giác máy tính và học sâu tiên tiến, kết hợp giữa các kiến trúc mạng tích chập kinh điển và các cơ chế học biểu diễn hiện đại:

• Mạng nơ-ron tích chập (CNN) và Mạng dư (ResNet): Kế thừa nguyên lý học phần dư sâu $F(x) = H(x) - x$ của Kaiming He, kiến trúc ResNet18 giải quyết triệt để hiện tượng suy giảm độ dốc (vanishing gradient), duy trì khả năng trích xuất đặc trưng sắc nét với số lượng tham số tối ưu khi so sánh cùng DenseNet121 hay EfficientNetB0.
• Cơ chế chú ý khối tích chập (CBAM cải tiến): CBAM chuẩn hóa việc kết hợp cơ chế chú ý theo kênh (Channel Attention) và chú ý không gian (Spatial Attention). Đề tài tạo bước đột phá khi cải tiến khối CBAM bằng việc thay thế hàm kích hoạt ReLU truyền thống bằng hàm GELU (Gaussian Error Linear Unit) ở nhánh chú ý kênh, đồng thời bổ sung lớp Chuẩn hóa hàng loạt (Batch Normalization) tại nhánh chú ý không gian với độ giãn nở $d=4$.
• Học tự giám sát (Self-Supervised Learning - SSL) qua Barlow Twins: Tận dụng tối đa nguồn dữ liệu chưa gán nhãn thông qua việc tối ưu hóa ma trận tương quan chéo giữa hai nhánh mạng song sinh về gần ma trận đơn vị, triệt tiêu sự dư thừa thông tin biểu diễn.
• Hàm tổn thất tiêu cự (Focal Loss): Khắc phục hiện tượng mất cân bằng dữ liệu nghiêm trọng giữa các lớp bằng cách bổ sung tham số điều chế gamma, tập trung trọng số học vào các mẫu khó nhận diện thay vì hàm Cross-Entropy thông thường.

Phương pháp nghiên cứu

• Cỡ mẫu và nguồn dữ liệu: Bộ dữ liệu bao gồm hơn 3.000 hình ảnh đã được chuẩn hóa, dán nhãn thủ công và khoảng 2.000 hình ảnh chưa gán nhãn, trích xuất từ chuỗi video camera giám sát chuồng nuôi lợn công nghiệp.
• Phương pháp chọn mẫu và tiền xử lý: Từ kết quả ước tính tư thế (pose estimation) định dạng COCO JSON, tọa độ khớp tai phải chứa thẻ được trích xuất. Quy trình tiền xử lý hai bước được thiết lập: loại bỏ 1.375 hình ảnh rác, nhiễu không chứa thẻ bằng công cụ Labelme và chuẩn hóa vùng cắt về kích thước cố định 32x32 pixel nhằm cân bằng giữa việc bảo toàn chi tiết ký tự và loại bỏ nhiễu môi trường.
• Lý do lựa chọn phương pháp phân tích: Do tập dữ liệu đặc thù có kích thước vừa phải, kỹ thuật học chuyển tiếp (Transfer Learning) từ trọng số tiền huấn luyện ImageNet được áp dụng để tăng tốc hội tụ. Kết hợp cùng các chiến lược tăng cường dữ liệu như RandAugment, xoay 90 độ, CutOut và mô phỏng ảnh hồng ngoại (IR) qua mạng GAN UNIT. Toàn bộ thực nghiệm được phân tích trên hệ thống máy trạm RAM 64GB, GPU NVIDIA Quadro RTX 5000 16GB, thực hiện liên tục trong giai đoạn 2020-2024.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

Quá trình thực nghiệm đa tầng mang lại những phát hiện quan trọng có giá trị khoa học cao:

• Tác động của kích thước cắt ảnh đến độ chính xác: Khảo sát trên 5 mô hình cho thấy kích thước cắt 32x32 pixel mang lại hiệu quả nhận diện tối ưu nhất. Tại kích thước 64x64 pixel, độ chính xác F1 của ResNet18 chỉ đạt 57% do lẫn nhiều tạp âm môi trường chuồng trại; trong khi kích thước 32x32 pixel đạt 75%, bảo toàn đầy đủ ký tự nhận dạng trên bề mặt thẻ tai.
• Hiệu quả vượt trội của các kỹ thuật tăng cường dữ liệu: Việc áp dụng kỹ thuật RandAugment và phép xoay góc 90 độ nâng các chỉ số Precision, Recall và F1-score của ResNet18 lên đồng mức 86%, tăng 11% so với khi huấn luyện trên tập dữ liệu gốc không tăng cường.
• Đột phá từ khối CBAM nâng cấp: Tích hợp khối CBAM cải tiến vào các lớp 1, 2 và 3 của ResNet18 (phiên bản RUCBAM123) giúp nâng độ chính xác từ 75% lên 87%, tăng 12% so với mô hình nguyên bản và cao hơn 2% so với mô hình tích hợp CBAM gốc.
• Tối ưu hóa toàn diện với Barlow Twins và Focal Loss: Khi áp dụng phương pháp tự học Barlow Twins với cấu hình 64 batch size, 700 epochs và hàm mất mát Focal Loss (gamma bằng 0.5 hoặc 2), độ chính xác phân loại tổng thể của hệ thống đạt mức ấn tượng từ 91% đến 93%.

Thảo luận kết quả

Kết quả thực nghiệm được tổng hợp và biểu diễn chi tiết thông qua các bảng đối chuẩn hiệu năng và biểu đồ ma trận nhầm lẫn (Confusion Matrix) giữa 13 lớp đối tượng. Việc so sánh trực quan cho thấy Vision Transformer (ViT-Small) đạt hiệu suất thấp nhất (chỉ từ 37% đến 50%) do kiến trúc Transformer thiếu tính thiên vị quy nạp (inductive bias) khi huấn luyện trên tập dữ liệu dưới 5.000 mẫu. Ngược lại, kiến trúc ResNet18 cải tiến thể hiện ưu thế vượt bậc nhờ số lượng tham số gọn nhẹ và khả năng hội tụ nhanh.

Nguyên nhân khối CBAM nâng cấp mang lại hiệu quả vượt trội là nhờ hàm kích hoạt GELU giúp duy trì dòng gradient mượt mà hơn ReLU tại điểm 0, trong khi lớp Batch Normalization trong nhánh chú ý không gian triệt tiêu hiệu quả ánh sáng phản xạ và vết bẩn bám trên da lợn. Khi so sánh với các nghiên cứu nhận dạng gia súc bằng mạng VGG hay DenseNet tiêu chuẩn (độ chính xác chỉ dao động từ 71% đến 74%), giải pháp kết hợp giữa CBAM cải tiến, Barlow Twins và Focal Loss đã thiết lập một tiêu chuẩn mới về độ chính xác và tính ổn định trong môi trường chăn nuôi công nghiệp khắc nghiệt.

Đề xuất và khuyến nghị

Nhằm chuyển giao và ứng dụng hiệu quả kết quả nghiên cứu vào thực tiễn sản xuất, 4 khuyến nghị hành động trọng tâm được đề xuất:

• Tích hợp mô hình vào thiết bị tính toán biên (Edge AI): Doanh nghiệp công nghệ chăn nuôi và kỹ sư hệ thống cần triển khai cài đặt mô hình ResNet18-CBAM cải tiến lên các vi xử lý nhúng tại chuồng trại, hướng đến mục tiêu đạt tốc độ xử lý trên 30 khung hình/giây (FPS) với độ trễ dưới 50 mili-giây trong quý 3 năm 2024.
• Mở rộng cơ sở dữ liệu giám sát ban đêm bằng cảm biến hồng ngoại: Nhóm nghiên cứu thị giác máy tính cần ứng dụng mạng sinh đối kháng UNIT để mở rộng tập dữ liệu ảnh nhiệt ban đêm (IR), nâng tỷ lệ nhận diện cá thể trong điều kiện thiếu sáng đạt tối thiểu 88% trước năm 2025.
• Thực hiện nén mô hình và lượng tử hóa tham số: Chuyên viên kỹ thuật phần mềm cần áp dụng các phương pháp lượng tử hóa số nguyên 8-bit (INT8 Quantization) và cắt tỉa trọng số (Pruning) nhằm giảm dung lượng mô hình xuống dưới 15MB, tối ưu hóa mức tiêu thụ năng lượng của phần cứng trước tháng 12 năm 2024.
• Phát triển khung học bán giám sát tự động: Ban quản lý các dự án trang trại thông minh cần xây dựng hệ thống tự động gán nhãn bán giám sát trên kho lưu trữ hơn 10.000 video ghi nhận liên tục, đặt mục tiêu nâng độ chính xác phân loại toàn hệ thống lên 95% vào năm 2025.

Đối tượng nên tham khảo luận văn

Nội dung luận văn mang lại giá trị học thuật và giải pháp ứng dụng thiết thực cho 4 nhóm đối tượng:

• Học viên cao học và nghiên cứu sinh chuyên ngành Viễn thông, Trí tuệ nhân tạo: Cung cấp tài liệu tham khảo chuyên sâu về phương pháp cải tiến cơ chế chú ý CBAM, kỹ thuật huấn luyện tự học Barlow Twins và giải pháp xử lý mất cân bằng dữ liệu bằng Focal Loss.
• Kỹ sư thị giác máy tính và phát triển hệ thống nhúng: Tiếp cận toàn bộ quy trình thực nghiệm từ chuẩn hóa dữ liệu định dạng COCO JSON, tiền xử lý ảnh bằng Labelme đến kỹ thuật tinh chỉnh siêu tham số trên phần cứng GPU chuyên dụng.
• Doanh nghiệp phát triển công nghệ nông nghiệp thông minh (AgTech): Nắm bắt giải pháp công nghệ khả thi nhằm thay thế hệ thống RFID đắt đỏ, nâng cao năng lực cạnh tranh thông qua hệ thống tự động hóa chuồng trại 24/7.
• Chuyên gia chọn giống và quản lý trang trại chăn nuôi công nghiệp: Có được công cụ đắc lực để theo dõi chính xác từng cá thể trong đàn tối đa 12 con/chuồng, kịp thời phát hiện các hành vi bất thường như cắn phá, sốt hoặc bỏ ăn.

Câu hỏi thường gặp

Tại sao mô hình Vision Transformer (ViT) lại đạt độ chính xác thấp hơn ResNet18 trong nghiên cứu này? Mô hình Vision Transformer đòi hỏi tập dữ liệu khổng lồ hàng trăm nghìn mẫu để tự học các mối tương quan không gian. Trên tập dữ liệu thẻ tai đặc thù gồm khoảng 3.000 ảnh, ViT chỉ đạt F1-score 43% ở kích thước cắt 32x32 pixel, trong khi cấu trúc tích chập cục bộ của ResNet18 phát huy hiệu quả vượt trội với độ chính xác 75%.

Khối CBAM nâng cấp có điểm cải tiến kỹ thuật cụ thể nào so với phiên bản gốc? Trong nhánh chú ý kênh, hàm kích hoạt ReLU truyền thống được thay thế bằng GELU để tránh hiện tượng bão hòa gradient tại vùng giá trị âm. Đồng thời, nhánh chú ý không gian được bổ sung lớp Batch Normalization với độ giãn nở $d=4$, giúp mô hình ResNet18 tăng thêm 2% độ chính xác so với khi sử dụng CBAM nguyên bản.

Hàm mất mát Focal Loss giải quyết vấn đề mất cân bằng dữ liệu như thế nào? Focal Loss bổ sung hệ số điều chế gamma (được thiết lập ở mức 0.5 hoặc 2) giúp triệt tiêu độ lớn của hàm mất mát đối với các mẫu dễ phân loại, dồn trọng số cập nhật mạng vào các lớp thẻ tai hiếm hoặc khó nhận diện, nâng độ chính xác mô hình tự học từ 65.9% lên mức trên 91%.

Lý do lựa chọn kích thước ảnh cắt 32x32 pixel thay vì 16x16 hay 64x64 pixel là gì? Kích thước 16x16 pixel tuy đạt độ chính xác cao nhưng làm mất biên dạng ký tự, không khả thi cho nhận diện thực tế. Ngược lại, kích thước 64x64 pixel chứa quá nhiều nhiễu chuồng trại khiến độ chính xác tụt xuống 57%. Kích thước 32x32 pixel là điểm cân bằng hoàn hảo, giữ trọn vẹn đặc trưng thẻ tai.

Giải pháp phân loại thẻ tai này có thể chuyển giao sang các loại gia súc khác được không? Quy trình tiền xử lý và kiến trúc ResNet18 kết hợp CBAM cải tiến hoàn toàn có thể áp dụng cho bò, cừu hoặc dê. Bằng phương pháp học chuyển tiếp (Transfer Learning), hệ thống chỉ cần tinh chỉnh dưới 100 epochs trên tập dữ liệu mới là có thể đạt độ chính xác tương đương trên 90%.

Kết luận

• Xây dựng thành công quy trình chuẩn hóa và làm sạch dữ liệu hình ảnh thẻ tai gia súc, loại bỏ hoàn toàn 1.375 ảnh rác và chuẩn hóa hơn 3.000 mẫu ảnh sắc nét.
• Đề xuất cải tiến kiến trúc CBAM với hàm kích hoạt GELU và chuẩn hóa Batch Normalization, giúp tăng 12% độ chính xác cho mô hình đường cơ sở ResNet18.
• Ứng dụng đột phá phương pháp tự học Barlow Twins kết hợp Focal Loss, giải quyết triệt để vấn đề mất cân bằng lớp và tối ưu hóa biểu diễn đặc trưng chưa gán nhãn.
• Đạt độ chính xác nhận diện tổng thể vượt mốc 92% trên 13 lớp phân loại, chứng minh tính khả thi vượt bậc của hệ thống thị giác máy tính thay thế RFID.
• Công bố thành công 2 công trình khoa học uy tín tại Hội nghị NAFOSTED 2022 và Hội nghị quốc tế ISPCEM 2023 tại Montreal, Canada.

Công trình luận văn thạc sĩ đã mở ra hướng đi mang tính đột phá trong việc ứng dụng trí tuệ nhân tạo vào tự động hóa nông nghiệp công nghệ cao. Để hiện thực hóa mục tiêu tối ưu hóa quy trình chọn giống và chăm sóc vật nuôi, các đơn vị nghiên cứu và doanh nghiệp cần tiếp tục phối hợp triển khai thử nghiệm hệ thống trên diện rộng trong giai đoạn 2024-2025. Hãy liên hệ ngay với nhóm nghiên cứu hoặc truy cập kho học liệu mở để tiếp cận mã nguồn, trọng số mô hình và đồng hành phát triển nền chăn nuôi số hiện đại.

Trích đoạn nội dung tài liệu

Chương 1: Giới thiệu 5 Phạm Đức Thịnh Phát triển và tối ưu mô hình học sâu trong công nghiệp GVHD: GS. Lê Tiến Thường của ResNets cho thấy rằng nhiều lớp đóng góp rất ít, có thể bị loại bỏ ngẫu nhiên trong quá trình đào tạo và trạng thái của nó tương tự như tái diễn mạng thần kinh nhưng số lượng tham số lớn hơn đáng kể bởi vì mỗi lớp có trọng số của nó, bố cục mạng dày đặc tương tự như cấu trúc tầng và kết nối giữa các lớp chia sẻ thông tin giữa các lớp để sử dụng hiệu quả tài nguyên mạng mà vẫn đạt được khả năng thích ứng cao. Đối với tác giả, ban đầu, DenseNet đạt được tỷ lệ lỗi thấp hơn trong khi sử dụng ít tham số hơn ResNet và hoạt động tốt hơn với biên độ lớn mà không cần tăng cường dữ liệu. Ngoài ra, Tan và cộng sự đã trình bày EfficientNet [22] – ý tưởng cẩn thận cân bằng độ sâu, chiều rộng và độ phân giải của mạng để có thể dẫn đến hiệu suất tốt hơn khi sử dụng thành quả đơn giản mà hiệu quả cao trong năm 2019.

Vào năm 2021, sự kết hợp sáng tạo giữa tích chập theo chiều sâu và cơ chế tự chú ý thừa hưởng lợi thế từ Transformer [23] thông qua sự chú ý tương đối đơn giản trong CoAtNet [24] đã đạt được hiệu suất hiện đại nhất theo các bộ dữ liệu khác nhau của Dai et al. Vì thế, vấn đề phân loại được giải quyết dựa trên cách tiếp cận hiện có và tích hợp với thuật toán tối ưu hóa. Mô đun chú ý – Attention Module – là một trong những khái niệm thiết yếu còn thiếu trong các mô hình sẵn có hiện tại. Thông thường, Attention Module được biết đến nhiều trong Transformer hoặc Vision Transformer [38].

Trên thực tế, có một cơ chế chú ý khác cho miền hình ảnh đó là mô-đun chú ý khối tích chập (CBAM) – Convolution Block Attention Module [25]. Tính linh hoạt và toàn vẹn của CBAM được kết hợp vào nhiều kiến trúc CNN điển hình đã cải thiện kết quả một cách ấn tượng bằng cách tập trung nhiều hơn vào thông tin quan trọng thay vì tìm hiểu thông tin cơ bản xung quanh như lợn, chuồng lợn, v. CBAM được hình thành bởi hai khối liên tiếp: kênh chú ý mô-đun và mô-đun chú ý không gian. Trong chính mô-đun chú ý của kênh, tính năng đầu vào F sẽ chuyển theo hai cách: max pooling và average pooling thành nhận được nhiều tính năng đặc biệt hơn trên kênh.

Sau đó, một nhận thức đa lớp – multi-layer perceptron được chia sẻ (MLP) của một lớp ẩn với hàng loạt được chuẩn hóa bằng ReLU để có được giá trị phi tuyến tính đầu ra trước khi kết hợp hai đầu ra F′ cho sự chú ý của kênh trong khi F′ sẽ trải qua quá trình kết hợp các hoạt động tổng hợp để tạo ra một hệ thống hiệu quả đặc trưng trong miền không gian. Trong mô-đun CBAM, học viên có ý tưởng nâng cấp bằng cách thay thế ReLU bằng GELU [26] trong chú ý kênh và thêm Chuẩn hóa hàng loạt (BN) vào mô-đun chú ý không gian. Chương 1: Giới thiệu 6 Phạm Đức Thịnh Phát triển và tối ưu mô hình học sâu trong công nghiệp GVHD: GS. Lê Tiến Thường Hình 1.2: Lưu đồ của quá trình nghiên cứu – bằng tiếng anh [43].

Hơn nữa, học viên còn kết hợp Self-Supervised Learning (SSL) – là phương pháp học máy nhằm khai thác triệt để dữ liệu chưa được gắn nhãn để tạo ra các nhãn. SimCLR, BYOL và MoCo là những phương pháp tự giám sát nổi tiếng hiện nay [27]. Bên cạnh đó với nghiên cứu của Jure Zbontar và các cộng sự vào năm 2021 về phương pháp tự học, cụ thể là phương pháp Barlow Twins [28] đặc biệt với 2 kênh hình thành mạng những đặc tính và cải thiện về ma trận chéo sẽ được học viên sử dụng để tăng cường xương sống của mô hình CNN. Cuối cùng, vì SSL rất nhạy cảm với sự thay đổi của tập dữ liệu, đặc biệt là tập dữ liệu không cân bằng nên Focal loss – FL [6] – đã thay thế hàm Cross Entropy – CE – truyền thống để ngăn chặn điều này.

Các mục cụ thể sẽ nghiên cứu như sau: Chương 1: Giới thiệu 7 Phạm Đức Thịnh Phát triển và tối ưu mô hình học sâu trong công nghiệp GVHD: GS. Lê Tiến Thường • Dữ liệu được chú thích và xây dựng lại bộ dữ liệu. • Khảo sát về kích thước cắt xén, khảo sát sự phân bố của các chiến lược tăng dữ liệu để cải thiện tính tổng quát của mô hình. • Biểu diễn và ước lượng dữ liệu nén.

• Được khảo sát trên các mô hình sẵn có và kết hợp không gian và hướng sự chú ý vào các mô hình CNN. • Bên cạnh đó khảo sát mô hình CNN phù hợp nhất trên phương pháp tự học – Barlow Twins với Focal loss. • Một phân tích định lượng kỹ lưỡng đã được thực hiện trên các mô hình hiện đại cho thấy hiệu quả của các phương pháp.3: Quy trình thực hiện: Tiền xử lý ảnh và nâng cấp mô hình học sâu. Kết luận chương 1: Trong chương 1, học viên đã trình bày mở đầu, tổng quan về tập ảnh được sử dụng và mục tiêu các phương pháp khác nhau được sử dụng trong tác vụ phân loại ảnh.

Qua những phần tổng quan tài liệu, học viên đề ra mục tiêu nghiên cứu cùng với những giới hạn thực hiện cho đề tài luận văn tốt nghiệp. Chương 1: Giới thiệu 8 Phạm Đức Thịnh Phát triển và tối ưu mô hình học sâu trong công nghiệp GVHD: GS. Lê Tiến Thường Chương 2: Cơ sở lý thuyết 2. Xử lý dữ liệu: 2.

Giới thiệu thẻ đeo tai: Như đã giới thiệu lúc đầu, đây là tập dữ liệu của dự án PigBrother của công ty Norsvin AS, dữ liệu hình ảnh với chất lượng cao được trích xuất từ máy ảnh LOREX (4K Ultra HD IP NVR) và ELOTEC (4MP Bullet, IP67). Sau bước ước tính tư thế (pose estimation), dữ liệu sẽ được lưu trữ dưới các tệp định dạng JSON COCO tại khớp điểm ở tai phải, thẻ sẽ được cắt có chú thích và hình ảnh tương ứng. Tuy nhiên, có một số hình ảnh dư thừa không được bao gồm một thẻ hoặc ít nhất là bị nhiễu dư thừa xung quanh thẻ như chuồng hoặc sự chồng chéo (do lợn nằm chồng lên nhau). Vì định hướng ban đầu với phương pháp học có giám sát nên kết quả dữ liệu cung cấp vào mô hình cần phải được kiểm tra và lựa chọn trước khi dán nhãn thẻ trong công cụ Labelme [29].

Trong tập thẻ đeo tai, 16 thẻ tai được sử dụng trong công việc này để xác định từng con lợn trong chuồng – hình 1. Các thẻ sử dụng các ký tự chữ và số được in từ Destron FearingTMHogmax – được công ty lựa chọn với mục đích để dễ dàng quan sát. Vì số thẻ đeo tai sẽ tương ứng với số lượng heo trong chuồng, hiện tại, mỗi chuồng chỉ tối đa 12 con heo nên số lượng tập phân loại sẽ tương ứng với 12 tập.1: Minh họa bước tiền xử lý của lần cắt ảnh thứ nhất (a) và lần cắt ảnh thứ hai (b). Tiền xử lý: Theo hình 2.1, các tệp JSON dưới định dạng COCO (COCO annotated) nhận được từ giai đoạn ước tính tư thế (pose estimation) sẽ được cung cấp làm dữ liệu đầu vào để cắt Chương 2: Cơ sở lý thuyết 9 Phạm Đức Thịnh Phát triển và tối ưu mô hình học sâu trong công nghiệp GVHD: GS.

Lê Tiến Thường xén lần thứ nhất nhằm trích xuất được tai có chứa thẻ đeo. Sau khi nhận được tập dữ liệu được gắn nhãn có sẵn và xem xét kết quả của toàn bộ tập dữ liệu, học viên nhận thấy có rất nhiều dữ liệu rác - dữ liệu không bao gồm thẻ - trong thống kê hình 2.2 dẫn đến việc mất cân bằng trong tập dữ liệu và mô hình không thể học hiệu quả trên tập dữ liệu này. Sau đó, học viên quyết định thêm bước lọc và chọn thủ công, và gắn nhãn bằng công cụ: Labelme vào việc xử lý dữ liệu. Việc thực hiện cắt xén thứ hai là cần thiết để giữ cho dữ liệu sạch và giảm nhiễu, đồng thời cải thiện độ chính xác của mô hình - tham khảo bảng 1.

Từ bảng này, dữ liệu trước đó được đánh giá là mất cân bằng, chứa nhiều nhiễu và lượng dữ liệu là 1375 trong khi dữ liệu hiện tại tốt hơn, ít nhiễu hơn và lượng dữ liệu là hơn 3000 hình ảnh. Ngoài ra, quy ước về dữ liệu là 0: “0”, 1: “WW”, 2: “777”, 3: “Q Q”, 4: “YY”, 5: “HHH”, 6: “J J”, 7: “66”, 8: “PPP”, 9: “W”, 10: “N N”, 11: “T”, 12: “NaN”.2: Sơ đồ tiền xử lý dữ liệu. Do đó, kết quả sẽ có 13 lớp tương ứng với 12 thẻ được sử dụng và 1 lớp “NaN” được gán cho hình ảnh không chứa thẻ. Như được hiển thị trong bảng bên dưới, duy trì cùng một môi trường thiết lập như nhãn, số lượng lớp, kích thước lô, v., học viên đã thực hiện việc tăng kích thước của hình ảnh và sử dụng các mô hình tương tự: ResNet18, DenseNet121, EfficientNetB0, và CoAtNet để đánh giá ảnh hưởng của kích thước đến độ chính xác của mô hình.

Từ kết quả nhận được, độ chính xác sẽ giảm trong khi kích thước của hình ảnh đầu vào tăng lên vì hình ảnh càng lớn, dữ liệu trong hình ảnh càng nhiễu (ví dụ: chuồng, da lợn) và thẻ ít được chú ý hơn. Trong phân tích này, kích thước cắt 16x16 của hình ảnh là độ chính xác tốt nhất tuy nhiên toàn bộ thẻ không thể quan sát được, trong khi kích thước 32x32 có độ chính xác nhỏ hơn nhưng đổi lại ta có thể thấy đầy đủ thẻ. Ngoài ra, kích thước 64x64, cung cấp thẻ đầy đủ và cả phần dư thừa, là cho kết quả tệ nhất trong khi khảo sát. Chương 2: Cơ sở lý thuyết 10 Phạm Đức Thịnh Phát triển và tối ưu mô hình học sâu trong công nghiệp GVHD: GS.

Lê Tiến Thường Hình 2.3: Thống kê tập dữ liệu trước và sau tiền xử lý. Các phương pháp tăng cường được sử dụng: Trong học máy, tăng cường dữ liệu là quá trình mở rộng tập dữ liệu huấn luyện về cả quy mô và sự đa dạng từ dữ liệu hiện tại thông qua việc sử dụng các phép biến đổi và thay đổi bằng cách đào tạo trên một số bản sao dữ liệu hiện có được sửa đổi một chút giúp giảm tình trạng bị quá mức (overfitting) khi đào tạo mô hình học máy. Với mục đích nâng cao hiệu quả và tính tổng quát của các mô hình học máy nên các phương pháp tăng cường đã thường xuyên được áp dụng trong quá trình huấn luyện của các mô hình.