Chương 1: Giới thiệu 5 Phạm Đức Thịnh Phát triển và tối ưu mô hình học sâu trong công nghiệp GVHD: GS. Lê Tiến Thường của ResNets cho thấy rằng nhiều lớp đóng góp rất ít, có thể bị loại bỏ ngẫu nhiên trong quá trình đào tạo và trạng thái của nó tương tự như tái diễn mạng thần kinh nhưng số lượng tham số lớn hơn đáng kể bởi vì mỗi lớp có trọng số của nó, bố cục mạng dày đặc tương tự như cấu trúc tầng và kết nối giữa các lớp chia sẻ thông tin giữa các lớp để sử dụng hiệu quả tài nguyên mạng mà vẫn đạt được khả năng thích ứng cao. Đối với tác giả, ban đầu, DenseNet đạt được tỷ lệ lỗi thấp hơn trong khi sử dụng ít tham số hơn ResNet và hoạt động tốt hơn với biên độ lớn mà không cần tăng cường dữ liệu. Ngoài ra, Tan và cộng sự đã trình bày EfficientNet [22] – ý tưởng cẩn thận cân bằng độ sâu, chiều rộng và độ phân giải của mạng để có thể dẫn đến hiệu suất tốt hơn khi sử dụng thành quả đơn giản mà hiệu quả cao trong năm 2019.
Vào năm 2021, sự kết hợp sáng tạo giữa tích chập theo chiều sâu và cơ chế tự chú ý thừa hưởng lợi thế từ Transformer [23] thông qua sự chú ý tương đối đơn giản trong CoAtNet [24] đã đạt được hiệu suất hiện đại nhất theo các bộ dữ liệu khác nhau của Dai et al. Vì thế, vấn đề phân loại được giải quyết dựa trên cách tiếp cận hiện có và tích hợp với thuật toán tối ưu hóa. Mô đun chú ý – Attention Module – là một trong những khái niệm thiết yếu còn thiếu trong các mô hình sẵn có hiện tại. Thông thường, Attention Module được biết đến nhiều trong Transformer hoặc Vision Transformer [38].
Trên thực tế, có một cơ chế chú ý khác cho miền hình ảnh đó là mô-đun chú ý khối tích chập (CBAM) – Convolution Block Attention Module [25]. Tính linh hoạt và toàn vẹn của CBAM được kết hợp vào nhiều kiến trúc CNN điển hình đã cải thiện kết quả một cách ấn tượng bằng cách tập trung nhiều hơn vào thông tin quan trọng thay vì tìm hiểu thông tin cơ bản xung quanh như lợn, chuồng lợn, v. CBAM được hình thành bởi hai khối liên tiếp: kênh chú ý mô-đun và mô-đun chú ý không gian. Trong chính mô-đun chú ý của kênh, tính năng đầu vào F sẽ chuyển theo hai cách: max pooling và average pooling thành nhận được nhiều tính năng đặc biệt hơn trên kênh.
Sau đó, một nhận thức đa lớp – multi-layer perceptron được chia sẻ (MLP) của một lớp ẩn với hàng loạt được chuẩn hóa bằng ReLU để có được giá trị phi tuyến tính đầu ra trước khi kết hợp hai đầu ra F′ cho sự chú ý của kênh trong khi F′ sẽ trải qua quá trình kết hợp các hoạt động tổng hợp để tạo ra một hệ thống hiệu quả đặc trưng trong miền không gian. Trong mô-đun CBAM, học viên có ý tưởng nâng cấp bằng cách thay thế ReLU bằng GELU [26] trong chú ý kênh và thêm Chuẩn hóa hàng loạt (BN) vào mô-đun chú ý không gian. Chương 1: Giới thiệu 6 Phạm Đức Thịnh Phát triển và tối ưu mô hình học sâu trong công nghiệp GVHD: GS. Lê Tiến Thường Hình 1.2: Lưu đồ của quá trình nghiên cứu – bằng tiếng anh [43].
Hơn nữa, học viên còn kết hợp Self-Supervised Learning (SSL) – là phương pháp học máy nhằm khai thác triệt để dữ liệu chưa được gắn nhãn để tạo ra các nhãn. SimCLR, BYOL và MoCo là những phương pháp tự giám sát nổi tiếng hiện nay [27]. Bên cạnh đó với nghiên cứu của Jure Zbontar và các cộng sự vào năm 2021 về phương pháp tự học, cụ thể là phương pháp Barlow Twins [28] đặc biệt với 2 kênh hình thành mạng những đặc tính và cải thiện về ma trận chéo sẽ được học viên sử dụng để tăng cường xương sống của mô hình CNN. Cuối cùng, vì SSL rất nhạy cảm với sự thay đổi của tập dữ liệu, đặc biệt là tập dữ liệu không cân bằng nên Focal loss – FL [6] – đã thay thế hàm Cross Entropy – CE – truyền thống để ngăn chặn điều này.
Các mục cụ thể sẽ nghiên cứu như sau: Chương 1: Giới thiệu 7 Phạm Đức Thịnh Phát triển và tối ưu mô hình học sâu trong công nghiệp GVHD: GS. Lê Tiến Thường • Dữ liệu được chú thích và xây dựng lại bộ dữ liệu. • Khảo sát về kích thước cắt xén, khảo sát sự phân bố của các chiến lược tăng dữ liệu để cải thiện tính tổng quát của mô hình. • Biểu diễn và ước lượng dữ liệu nén.
• Được khảo sát trên các mô hình sẵn có và kết hợp không gian và hướng sự chú ý vào các mô hình CNN. • Bên cạnh đó khảo sát mô hình CNN phù hợp nhất trên phương pháp tự học – Barlow Twins với Focal loss. • Một phân tích định lượng kỹ lưỡng đã được thực hiện trên các mô hình hiện đại cho thấy hiệu quả của các phương pháp.3: Quy trình thực hiện: Tiền xử lý ảnh và nâng cấp mô hình học sâu. Kết luận chương 1: Trong chương 1, học viên đã trình bày mở đầu, tổng quan về tập ảnh được sử dụng và mục tiêu các phương pháp khác nhau được sử dụng trong tác vụ phân loại ảnh.
Qua những phần tổng quan tài liệu, học viên đề ra mục tiêu nghiên cứu cùng với những giới hạn thực hiện cho đề tài luận văn tốt nghiệp. Chương 1: Giới thiệu 8 Phạm Đức Thịnh Phát triển và tối ưu mô hình học sâu trong công nghiệp GVHD: GS. Lê Tiến Thường Chương 2: Cơ sở lý thuyết 2. Xử lý dữ liệu: 2.
Giới thiệu thẻ đeo tai: Như đã giới thiệu lúc đầu, đây là tập dữ liệu của dự án PigBrother của công ty Norsvin AS, dữ liệu hình ảnh với chất lượng cao được trích xuất từ máy ảnh LOREX (4K Ultra HD IP NVR) và ELOTEC (4MP Bullet, IP67). Sau bước ước tính tư thế (pose estimation), dữ liệu sẽ được lưu trữ dưới các tệp định dạng JSON COCO tại khớp điểm ở tai phải, thẻ sẽ được cắt có chú thích và hình ảnh tương ứng. Tuy nhiên, có một số hình ảnh dư thừa không được bao gồm một thẻ hoặc ít nhất là bị nhiễu dư thừa xung quanh thẻ như chuồng hoặc sự chồng chéo (do lợn nằm chồng lên nhau). Vì định hướng ban đầu với phương pháp học có giám sát nên kết quả dữ liệu cung cấp vào mô hình cần phải được kiểm tra và lựa chọn trước khi dán nhãn thẻ trong công cụ Labelme [29].
Trong tập thẻ đeo tai, 16 thẻ tai được sử dụng trong công việc này để xác định từng con lợn trong chuồng – hình 1. Các thẻ sử dụng các ký tự chữ và số được in từ Destron FearingTMHogmax – được công ty lựa chọn với mục đích để dễ dàng quan sát. Vì số thẻ đeo tai sẽ tương ứng với số lượng heo trong chuồng, hiện tại, mỗi chuồng chỉ tối đa 12 con heo nên số lượng tập phân loại sẽ tương ứng với 12 tập.1: Minh họa bước tiền xử lý của lần cắt ảnh thứ nhất (a) và lần cắt ảnh thứ hai (b). Tiền xử lý: Theo hình 2.1, các tệp JSON dưới định dạng COCO (COCO annotated) nhận được từ giai đoạn ước tính tư thế (pose estimation) sẽ được cung cấp làm dữ liệu đầu vào để cắt Chương 2: Cơ sở lý thuyết 9 Phạm Đức Thịnh Phát triển và tối ưu mô hình học sâu trong công nghiệp GVHD: GS.
Lê Tiến Thường xén lần thứ nhất nhằm trích xuất được tai có chứa thẻ đeo. Sau khi nhận được tập dữ liệu được gắn nhãn có sẵn và xem xét kết quả của toàn bộ tập dữ liệu, học viên nhận thấy có rất nhiều dữ liệu rác - dữ liệu không bao gồm thẻ - trong thống kê hình 2.2 dẫn đến việc mất cân bằng trong tập dữ liệu và mô hình không thể học hiệu quả trên tập dữ liệu này. Sau đó, học viên quyết định thêm bước lọc và chọn thủ công, và gắn nhãn bằng công cụ: Labelme vào việc xử lý dữ liệu. Việc thực hiện cắt xén thứ hai là cần thiết để giữ cho dữ liệu sạch và giảm nhiễu, đồng thời cải thiện độ chính xác của mô hình - tham khảo bảng 1.
Từ bảng này, dữ liệu trước đó được đánh giá là mất cân bằng, chứa nhiều nhiễu và lượng dữ liệu là 1375 trong khi dữ liệu hiện tại tốt hơn, ít nhiễu hơn và lượng dữ liệu là hơn 3000 hình ảnh. Ngoài ra, quy ước về dữ liệu là 0: “0”, 1: “WW”, 2: “777”, 3: “Q Q”, 4: “YY”, 5: “HHH”, 6: “J J”, 7: “66”, 8: “PPP”, 9: “W”, 10: “N N”, 11: “T”, 12: “NaN”.2: Sơ đồ tiền xử lý dữ liệu. Do đó, kết quả sẽ có 13 lớp tương ứng với 12 thẻ được sử dụng và 1 lớp “NaN” được gán cho hình ảnh không chứa thẻ. Như được hiển thị trong bảng bên dưới, duy trì cùng một môi trường thiết lập như nhãn, số lượng lớp, kích thước lô, v., học viên đã thực hiện việc tăng kích thước của hình ảnh và sử dụng các mô hình tương tự: ResNet18, DenseNet121, EfficientNetB0, và CoAtNet để đánh giá ảnh hưởng của kích thước đến độ chính xác của mô hình.
Từ kết quả nhận được, độ chính xác sẽ giảm trong khi kích thước của hình ảnh đầu vào tăng lên vì hình ảnh càng lớn, dữ liệu trong hình ảnh càng nhiễu (ví dụ: chuồng, da lợn) và thẻ ít được chú ý hơn. Trong phân tích này, kích thước cắt 16x16 của hình ảnh là độ chính xác tốt nhất tuy nhiên toàn bộ thẻ không thể quan sát được, trong khi kích thước 32x32 có độ chính xác nhỏ hơn nhưng đổi lại ta có thể thấy đầy đủ thẻ. Ngoài ra, kích thước 64x64, cung cấp thẻ đầy đủ và cả phần dư thừa, là cho kết quả tệ nhất trong khi khảo sát. Chương 2: Cơ sở lý thuyết 10 Phạm Đức Thịnh Phát triển và tối ưu mô hình học sâu trong công nghiệp GVHD: GS.
Lê Tiến Thường Hình 2.3: Thống kê tập dữ liệu trước và sau tiền xử lý. Các phương pháp tăng cường được sử dụng: Trong học máy, tăng cường dữ liệu là quá trình mở rộng tập dữ liệu huấn luyện về cả quy mô và sự đa dạng từ dữ liệu hiện tại thông qua việc sử dụng các phép biến đổi và thay đổi bằng cách đào tạo trên một số bản sao dữ liệu hiện có được sửa đổi một chút giúp giảm tình trạng bị quá mức (overfitting) khi đào tạo mô hình học máy. Với mục đích nâng cao hiệu quả và tính tổng quát của các mô hình học máy nên các phương pháp tăng cường đã thường xuyên được áp dụng trong quá trình huấn luyện của các mô hình.
