Thiết kế hệ thống phát hiện và nhận diện sản phẩm cho quầy bán hàng tự động sử dụng phương pháp học thích ứng miền

Khóa luận: Thiết kế hệ thống nhận diện sản phẩm quầy bán hàng tự động bằng thích ứng miền - ĐH SPKT TP.HCM

• Tác giả: Đặng Công Ty
• Người hướng dẫn: TS. Trần Vũ Hoàng
• Trường học: Đại học Sư phạm Kỹ thuật Thành phố Hồ Chí Minh
• Chuyên ngành: Công nghệ Kỹ thuật Điện - Điện tử
• Đề tài: Thiết kế hệ thống phát hiện và nhận diện sản phẩm cho quầy bán hàng tự động sử dụng phương pháp học thích ứng miền
• Loại tài liệu: Khóa luận tốt nghiệp
• Năm xuất bản: 2023
• Địa điểm: Hồ Chí Minh

Tóm tắt

I. Tổng quan nhận diện sản phẩm quầy bán hàng tự động

Hệ thống bán lẻ tự động phát triển mạnh mẽ trên toàn cầu. Mô hình quầy thanh toán tự động giúp tiết kiệm chi phí nhân công và tối ưu hóa trải nghiệm mua sắm. Trong hệ thống này, công nghệ nhận diện sản phẩm đóng vai trò then chốt. Máy tính cần xác định chính xác vị trí và tên từng mặt hàng trên khay hàng. Nghiên cứu tại Trường Đại học Sư phạm Kỹ thuật TP.HCM tập trung giải quyết bài toán cốt lõi này bằng kỹ thuật thị giác máy tính tiên tiến. Học sâu hiện đại đòi hỏi hàng chục nghìn hình ảnh có gán nhãn chi tiết. Việc chụp ảnh và dán nhãn thủ công cho từng loại sản phẩm tiêu tốn nhiều thời gian và tiền bạc. Để khắc phục rào cản trên, giải pháp học thích ứng miền ra đời. Kỹ thuật này tận dụng dữ liệu mô phỏng 3D tổng hợp để huấn luyện mô hình ban đầu. Sau đó, thuật toán tự động thích ứng với môi trường ảnh chụp thực tế tại quầy hàng. Hướng tiếp cận mở ra tiềm năng lớn cho ngành bán lẻ thông minh tại Việt Nam.

1.1. Bối cảnh nghiên cứu tại ĐH Sư phạm Kỹ thuật TP.HCM

Đồ án tốt nghiệp tại Khoa Điện - Điện tử thuộc Trường Đại học Sư phạm Kỹ thuật TP.HCM bắt nguồn từ nhu cầu tự động hóa dịch vụ bán lẻ. Các kỹ sư hướng tới việc xây dựng quầy thanh toán thông minh không cần nhân viên thu ngân. Hệ thống ghi nhận hình ảnh giỏ hàng qua camera gắn cố định. Mạng nơ-ron nhận diện lập tức phân loại sản phẩm và tính toán hóa đơn tức thời. Thử nghiệm thực tế chứng minh công nghệ xử lý hình ảnh giúp rút ngắn thời gian giao dịch đáng kể. Đề tài mở đường cho nhiều ứng dụng công nghiệp thông minh trong nước. Nghiên cứu tạo tiền đề vững chắc cho việc thương mại hóa các hệ thống bán lẻ tự hành tương lai.

1.2. Khái niệm cơ bản về phương pháp học thích ứng miền

Học thích ứng miền là một phân nhánh quan trọng trong lĩnh vực học máy. Kỹ thuật này giải quyết tình trạng chênh lệch phân phối giữa miền nguồn và miền đích. Miền nguồn chứa dữ liệu tổng hợp sinh ra từ máy tính với chi phí rất thấp. Miền đích đại diện cho các hình ảnh chụp thực tế tại môi trường bán lẻ. Khi phân phối hai miền khác nhau, mô hình học sâu truyền thống thường suy giảm độ chính xác nghiêm trọng. Thuật toán thích ứng miền thu hẹp khoảng cách này thông qua việc trích xuất các đặc trưng bất biến. Nhờ đó, mạng nơ-ron duy trì hiệu năng nhận diện vượt trội trên môi trường quầy hàng thực tế.

II. Thách thức nhận diện sản phẩm quầy bán hàng tự động

Triển khai mô hình nhận diện sản phẩm tại quầy thanh toán tự động đối mặt với nhiều khó khăn. Vấn đề lớn nhất là chi phí thu thập và gán nhãn tập dữ liệu thực tế. Quầy hàng bán lẻ có hàng nghìn mặt hàng với bao bì liên tục thay đổi. Mỗi sản phẩm cần hàng trăm góc chụp dưới nhiều điều kiện ánh sáng khác nhau. Việc gán nhãn thủ công đòi hỏi nguồn nhân lực khổng lồ và dễ phát sinh sai sót. Bên cạnh chi phí, hiện tượng dịch chuyển miền phân phối gây ra trở ngại kỹ thuật nghiêm trọng. Dữ liệu tổng hợp tạo bằng phần mềm đồ họa thường có độ bóng, đổ bóng và kết cấu vật liệu khác ảnh chụp camera thật. Mạng nơ-ron huấn luyện trực tiếp trên ảnh nhân tạo sẽ suy giảm hiệu năng nặng nề khi đưa vào quầy thực tế. Sự chênh lệch góc nhìn, hiện tượng che khuất lẫn nhau giữa các bao bì và ánh sáng trần phức tạp làm tăng tỷ lệ nhận diện nhầm. Điều này ảnh hưởng tiêu cực đến doanh thu cửa hàng và gây gián đoạn quy trình thanh toán.

2.1. Rào cản thu thập và gán nhãn dữ liệu thực tế

Thu thập dữ liệu thực tế trong ngành bán lẻ đòi hỏi sự đầu tư lớn. Mỗi khi nhà sản xuất thay đổi bao bì, kỹ thuật viên phải ghi hình lại toàn bộ mặt hàng. Quá trình đóng khung tọa độ và định danh từng sản phẩm tốn rất nhiều thời gian. Đối với các chuỗi siêu thị quy mô lớn, việc cập nhật nhãn liên tục trở thành gánh nặng vận hành. Hơn nữa, việc gán nhãn thủ công thường xuất hiện sai lệch do góc nhìn bị che khuất. Sự thiếu nhất quán trong tập dữ liệu thực nghiệm khiến mô hình học sâu khó hội tụ đạt độ chính xác tối ưu. Điều này làm chậm tiến độ đưa các giải pháp tự động hóa vào triển khai thương mại rộng rãi.

2.2. Vấn đề chênh lệch miền giữa ảnh tổng hợp và thực tế

Sự khác biệt miền đặc trưng là nguyên nhân chính khiến mô hình suy giảm chất lượng. Hình ảnh tổng hợp thường có kết cấu lý tưởng, thiếu nhiễu sáng và ít có biến dạng vật lý. Ngược lại, ảnh chụp tại quầy bán lẻ chịu tác động từ đèn trần, bóng phản chiếu và rung động camera. Khi đưa vào mô hình chưa tối ưu hóa thích ứng miền, các mạng trích xuất đặc trưng sẽ tập trung vào chi tiết bề mặt thay vì hình dạng cốt lõi của sản phẩm. Kết quả là tỷ lệ phát hiện vật thể sai lệch tăng cao. Khoảng cách miền này ngăn cản việc triển khai trực tiếp các thuật toán thị giác thông thường. Việc cân chỉnh miền là bắt buộc để thu hẹp khoảng cách phân phối đặc trưng giữa hai tập ảnh.

III. Giải pháp học thích ứng miền cho nhận diện sản phẩm

Nghiên cứu của Đại học Sư phạm Kỹ thuật TP.HCM tích hợp kỹ thuật học đối nghịch vào kiến trúc mạng YOLOv8. Phương pháp này huấn luyện mô hình dựa trên tập dữ liệu tổng hợp nhưng đạt hiệu năng cao trên dữ liệu thực tế. Cấu trúc hệ thống bao gồm hai thành phần chính: mạng phát hiện vật thể YOLOv8 và các khối phân biệt miền gọi là Critic. Trong quá trình học, bộ trích xuất đặc trưng cố gắng đánh lừa các Critic bằng cách tạo ra các biểu diễn không phân biệt được nguồn gốc ảnh. Mô hình áp dụng nhiều Critic tương ứng với từng Head của YOLOv8. Nhóm tác giả đề xuất thiết kế Critic đa tác vụ độc đáo nhằm tối ưu hóa riêng cho cả hai nhiệm vụ phân loại và định vị hộp bao. Kiến trúc Neck sử dụng khối C2f kết hợp nhiều BottleNeck, giúp gia tăng tốc độ tính toán và triệt tiêu hiện tượng triệt tiêu gradient. Khối Decoupled Head phân tách luồng phân loại và hồi quy tọa độ. Sự phối hợp này thu hẹp khoảng cách phân phối giữa hai miền, mang lại độ chính xác cao trên môi trường quầy hàng thực tế.

3.1. Cải tiến kiến trúc YOLOv8 và khối Critic đa tác vụ

Kiến trúc YOLOv8 cải tiến mang lại nền tảng vững chắc cho bài toán nhận dạng. Khối C2f trong phần Neck thay thế các tầng DenseNet cũ bằng chuỗi BottleNeck linh hoạt. Cải tiến này giúp giảm tải tính toán và tăng khả năng tổng hợp đặc trưng đa quy mô. Phần Decoupled Head phân chia độc lập nhánh phân loại và nhánh hồi quy tọa độ hộp bao. Điểm nhấn đột phá là đề xuất Critic đa tác vụ. Mỗi Critic giám sát trực tiếp một nhánh đầu ra của YOLOv8. Thiết kế này thúc đẩy quá trình học đối nghịch diễn ra đồng bộ trên cả thông tin ngữ nghĩa lẫn không gian hình học của vật thể. Nhờ vậy, mô hình nhận diện sản phẩm chính xác hơn ngay cả khi kích thước bao bì có nhiều sai khác.

3.2. Cơ chế học đối nghịch thu hẹp khoảng cách miền

Cơ chế học đối nghịch hoạt động theo nguyên lý tương tự mạng GAN cổ điển. Bộ trích xuất đặc trưng đóng vai trò là mạng sinh, trong khi các Critic giữ vai trò là mạng phân biệt. Critic cố gắng nhận biết một vector đặc trưng thuộc ảnh tổng hợp hay ảnh thực tế. Ngược lại, mạng trích xuất đặc trưng được tối ưu hóa để làm Critic nhầm lẫn tối đa. Quá trình cạnh tranh liên tục này loại bỏ các thông tin đặc thù của miền nhân tạo. Các đặc trưng còn lại mang tính khái quát cao và bất biến với miền dữ liệu. Kết quả huấn luyện cho phép hệ thống nhận diện sản phẩm ngoài đời thực chính xác mà không cần ảnh thực có nhãn.

IV. Ứng dụng nhận diện sản phẩm quầy bán hàng tự động

Nghiên cứu từ Đại học Sư phạm Kỹ thuật TP.HCM mở ra hướng đi đầy tiềm năng cho lĩnh vực tự động hóa bán lẻ. Kỹ thuật học thích ứng miền chứng minh tính khả thi cao khi giảm phụ thuộc vào việc thu thập dữ liệu thủ công. Giải pháp này giúp các doanh nghiệp bán lẻ tiết kiệm chi phí xây dựng cơ sở dữ liệu hình ảnh. Quá trình bổ sung sản phẩm mới vào danh mục thanh toán diễn ra nhanh chóng thông qua việc tạo lập mô hình 3D tổng hợp. Công nghệ nhận diện này tạo nền tảng vững chắc để xây dựng các mô hình cửa hàng thông minh không người bán. Khách hàng chỉ cần đặt sản phẩm lên bàn cân hoặc khay thanh toán. Camera sẽ tự động nhận dạng mã hàng trong tích tắc. Độ trễ xử lý thấp của YOLOv8 bảo đảm tốc độ quét giỏ hàng mượt mà. Trong tương lai, hệ thống có thể tích hợp thêm phần cứng chuyên dụng, mô-đun in hóa đơn tự động và cổng thanh toán điện tử an toàn. Ứng dụng này góp phần thúc đẩy chuyển đổi số mạnh mẽ cho hạ tầng thương mại Việt Nam.

4.1. Hiệu quả kinh tế cho hệ thống bán lẻ hiện đại

Việc ứng dụng học thích ứng miền mang lại lợi ích kinh tế trực tiếp cho các nhà bán lẻ. Thay vì thuê nhân sự chụp ảnh và dán nhãn hàng trăm nghìn mẫu hàng, doanh nghiệp chỉ cần tạo mô hình đồ họa 3D. Chi phí tạo dữ liệu tổng hợp thấp hơn nhiều so với thu thập dữ liệu thực địa. Ngoài ra, tốc độ đưa sản phẩm mới lên quầy thanh toán tự động được rút ngắn từ vài tuần xuống còn vài giờ. Thời gian chờ đợi của khách hàng tại quầy giảm thiểu rõ rệt. Nhờ đó, cửa hàng nâng cao năng suất phục vụ và giảm thiểu chi phí vận hành nhân sự lâu dài. Hệ thống tạo ra lợi thế cạnh tranh vượt bậc cho các doanh nghiệp tiên phong chuyển đổi số bán lẻ.

4.2. Hướng phát triển hoàn thiện hệ thống trong tương lai

Đồ án tốt nghiệp tại ĐH SPKT TP.HCM đã vạch ra các định hướng hoàn thiện giải pháp trong giai đoạn kế tiếp. Trọng tâm nghiên cứu tiếp theo là tối ưu hóa thuật toán trên các dòng vi xử lý nhúng chuyên dụng như Jetson Nano hoặc Raspberry Pi. Nhóm tác giả hướng đến thiết kế phần cứng hoàn chỉnh với giao diện thân thiện cho người dùng phổ thông. Bên cạnh đó, hệ thống sẽ tích hợp thêm tính năng in hóa đơn tự động và hoàn tiền thừa chuẩn xác. Việc kiểm thử trên các biến thể kiến trúc YOLO khác nhau cũng sẽ được triển khai nhằm nâng cao độ chính xác khi nhận diện sản phẩm bị che khuất một phần. Những cải tiến này hứa hẹn đưa sản phẩm nghiên cứu ứng dụng thành công vào môi trường thương mại thực tiễn.

Trích đoạn nội dung tài liệu

Chương 1: Giới thiệu. Chương này sẽ giới thiệu tổng quan tình hình nghiên cứu trước đây của các hệ thống tự động bán hàng để từ đó rút ra các hạn chế và đề xuất hướng giải quyết phù hợp. Cuối cùng là phần trình bày tổng quan bố cục đồ án. - Chương 2: Cơ sở lý thuyết.

Giới thiệu các thuật toán, các phương pháp như CNN, Object Detection, GAN, Domain Adaptation, Data Synthetic. - Chương 3: Thiết kế hệ thống. Chương này mô tả các bước để tìm ra giải pháp cho vấn đề và đặt yêu cầu cho hệ thống đề xuất. Phương pháp được mô tả từ tổng quan đến chi tiết của các thuật toán bên trong.

2 - Chương 4: Kết quả thực nghiệm. Đưa ra các kết quả thực nghiệm để từ đó đánh giá và lựa chọn thuật toán phù hợp nhất. - Chương 5: Kết luận và hướng phát triển. Chương tổng kết hoạt động và các giới hạn của hệ thống.

Từ đó, đưa ra các hướng phát triển. 3 Chương 2: CƠ SỞ LÝ THUYẾT Chương 2 giới thiệu về định nghĩa của Convolution Neuron Network (CNN), lý thuyết về Object Detection, đặc biệt là các mạng YOLO, GAN (Generative Adversarial Network) và học thích ứng miền cũng được giới thiệu ở chương này. Convolution Neuron Network Trước đây, do mô hình chỉ có các lớp kết nối đầy đủ (Fully Connected layers) nên mô hình neural không thể học sâu được. Bởi vì khi mạng càng sâu, số lượng tham số của mô hình sẽ tăng lên rất nhanh, ví dụ, đầu vào của mô hình là ảnh RGB có kích 28x28 thì lớp đầu vào sẽ có 2.

Giả sử số lượng nút ở lớp ẩn đầu tiên là 100 nút thì số lượng tham số giữa lớp đầu vào và lớp ẩn là 2. Tuy nhiên, đó mới chỉ có một lớp ẩn, nếu mô hình có số lớp ẩn nhiều hơn, chẳng hạn như 4, 5 thì số lượng tham số sẽ tăng lên rất nhiều. Điều này khiến mô hình mạng rất nặng và cần rất nhiều dữ liệu để huấn luyện cũng như thời gian tính toán lâu. Thêm vào đó, các điểm ảnh của hình ảnh không độc lập nhau mà có liên hệ với các điểm ảnh lân cận, vì thế, nếu đưa các điểm ảnh một cách độc lập vào mô hình sẽ không hợp lý.

Do đó, mạng neural tích chập (CNN) [6] ra đời để giải quyết các vấn đề trên. Kiến trúc của mạng tích chập phổ biến được thể hiện ở Hình 2. Ảnh đầu vào đi qua các lớp tích chập (Convolution Layers) và các lớp gộp (Pooling Layers) để trích xuất các đặc trưng, sau đó các đặc trưng được tổng hợp trước đó sẽ được gửi qua lớp kết nối đầy đủ (Fully Connected Layers) để đưa ra đầu ra dự đoán. Chi tiết về các lớp này sẽ được trình bày chi tiết ở các mục tiếp theo.1 Ví dụ về kiến trúc cơ bản của CNN.

Convolution Layer Convolution layer là lớp trích xuất các đặc trưng từ hình ảnh. Tham số của các lớp này này là các bộ lọc có thể học được. Các bộ lọc thường có hai chiều, thường gặp nhất là 3x3 và 5x5… Các đặc trưng của ảnh sẽ được trích xuất bằng các trượt các bộ lọc theo chiều ngang và dọc trên ảnh đầu vào. Một lớp tích chập được mô tả như Hình 2.

Để sử dụng các lớp Convolution một cách hiệu quả thì có một số định nghĩ cần phải biết bao gồm: Padding và Stride. Padding được thêm vào để tăng thêm các pixel xung quanh ảnh đầu vào được minh họa ở Hình 2. Stride được hiểu là bước dịch chuyển của các bộ lọc. Nếu Stride là 1 thì bộ lọc sẽ di chuyển qua 1 pixel tại một thời điểm, tương tự nếu Stride là N thì mỗi lần bộ lọc sẽ di chuyển qua N pixel.

Giá trị của Stride càng lớn thì đầu ra sẽ càng nhỏ được thể hiện qua Hình 2.2 Ví dụ về lớp tích chập [6].3 Ví dụ về lớp tích chập với Stride là 1 và Stride là 2. Pooling Layer Pooling layer thường được dùng giữa các Convolutional layer, để giảm chiều không gian của dữ liệu nhưng vẫn giữ được các thuộc tính quan trọng. Có nghĩa là, sau khi đầu vào đi qua các Convolution layer thì tiếp đến Pooling layer để lược bớt các thông tin không cần thiết. Trong quá trình này, quy tắc về Stride và Padding áp dụng như phép tính Convolution trên ảnh.

Thông thường, có hai dạng Pooling chính là Max Pooling và Average Pooling. Trong đó, Max Pooling chọn giá trị lớn nhất làm giá trị đầu ra còn Average Pooling thì chọn giá trị trung bình cộng.4 cho thấy ví dụ về hai loại Pooling với kích thước bộ lọc là 2×2 và stride=2.4 Ví dụ về Max Pooling và Average Pooling. Fully Connected Layer Sau khi ảnh được truyền qua nhiều Convolutional layer và Pooling layer thì đầu ra của lớp cuối cùng sẽ được làm phẳng thành vector và đưa vào Fully Connected layer như một mạng nơ-ron. Cuối cùng sử dụng Softmax hoặc Sigmoid để phân loại đầu ra.5 mô tả một khối Fully Connected layer cơ bản.5 Ví dụ về Fully Connected Layer.

Activation Function Dữ liệu hiện nay đều ở dạng không tuyến tính, vì thế nên khi đầu ra của mạng nơ- ron tuyến tính thì mô hình sẽ rất khó để phát hiện ra các mối quan hệ phức tạp trong dữ 6 liệu như bài toán dự đoán chứng khoán hoặc bài toán về ảnh. Do đó, việc sử dụng hàm phi tuyến sẽ giúp mô hình học được tốt hơn. Hiện nay, có rất nhiều hàm kích hoạt như là Sigmoid, Tanh, ReLU,. được ví dụ ở Hình 2.

Mỗi hàm đều có tính chất riêng là tùy theo bài toán cụ thể để có thể chọn hàm thích hợp.6 Ví dụ về một số hàm kích hoạt. Object Detection Object Detection là một trong những bài toán đang rất được quan tâm hiện nay. Nó có rất nhiều ứng dụng, như phát hiện khuôn mặt, phát hiện xe và được sử dụng trong hệ thống xe tự hành. Mô hình Object Detection sẽ xác định vị trí của các đối tượng trong hình ảnh, đánh dấu chúng bằng Bounding Box và gán nhãn cho từng Bounding Box tương ứng.

Để phát hiện được đối tượng, có rất nhiều phương pháp được sử dụng, nhưng chúng có thể được nhóm thành hai loại chính: Two-Stage Approach và One-Stage Approach. Nhóm đầu tiên, Two-Stage Approach, sử dụng hai mô hình riêng biệt để phát hiện và phân loại đối tượng. Mô hình đầu tiên sẽ làm nhiệm vụ phát hiện vùng chứa các đối tượng (Region of Interest) trong hình ảnh, sau đó, mô hình thứ hai sẽ phân loại và định vị các đối tượng đó. Phương pháp này cho ra độ chính xác cao, nhưng lại có tốc độ thấp và không phù hợp với những bài toán cần chạy trên thời gian thực.

Một số mô hình Two-Stage phổ biến là R-CNN [7], Fast-RCNN [8] và Faster-RCNN [9]. Nhóm thứ hai, One-Stage Approach, thực hiện cả hai nhiệm vụ phát hiện và phân loại đối tượng cùng một lúc. Do thực hiện cả hai nhiệm vụ trong một mô hình, cách tiếp cận này có tốc độ nhanh hơn các mô hình Two-Stage, trong khi độ chính xác vẫn không thấp hơn. Mô hình One-Stage nổi tiếng như SSD [10] (Single Shot Detection) và họ YOLO [11] [12] [13] [14] [15] [16] [17] [5](You Only Look Once).

YOLOv1 YOLO [11] (You Only Look Once) là một mô hình phát hiện đối tượng đột phá được giới thiệu vào năm 2016 bởi Joseph Redmon. Với tốc độ xử lý đáng kinh ngạc, YOLO vượt trội hơn các mô hình phát hiện đối tượng trước đó và có khả năng hoạt động trong thời gian thực. Ý tưởng chính của YOLO là chia ảnh thành lưới SxS, trong đó mỗi ô lưới chịu trách nhiệm phát hiện một đối tượng và tạo ra nhiều Bounding Box với các kích thước khác nhau. Ví dụ, trong YOLOv1 được minh họa trong Hình 2.7, một ảnh được chia thành lưới 7x7, và mô hình bắt đầu phát hiện đối tượng trong từng ô.

Nếu có đối tượng trong ô, mô hình sẽ tạo ra hai Bounding Box cho ô đó. Mỗi Bounding Box dự đoán vị trí trung tâm (x, y), kích thước (w, h) và điểm đánh giá (confidence) cho biết xác suất đối tượng nằm trong ô đó. Nhìn chung, mỗi Bounding Box được YOLO dự đoán bao gồm năm giá trị: (x, y, w, h, confidence), tất cả đều được chuẩn hóa để nằm trong khoảng từ 0 đến 1.8 cho thấy kiến trúc của mạng YOLOv1, được thiết kế để phát hiện 20 loại đối tượng, với đầu vào mạng là ảnh RGB (Red-Green- Blue) có kích thước là (448, 448, 3), và đầu ra là mảng có chiều là (S, S, Bx5+C) = (7, 7, 2x5+20) = (7, 7, 30). Mô hình bao gồm 24 lớp Convolution làm nhiệm vụ trích xuất đặc trưng ảnh, theo sau là 2 lớp Fully Connected chịu trách nhiệm dự đoán tọa độ và điểm đánh giá.

Tuy nhiên, kiến trúc YOLOv1 có một số hạn chế là rất khó để phát hiện vật thể nhỏ bên cạnh đó mỗi ô lưới chỉ phát hiện được một đối tượng dẫn đến việc các đối tượng bị chồng lấn nhau sẽ không được phát hiện.7 Ví dụ về YOLOv1 8 Hình 2.8 Kiến trúc mạng YOLOv1 2. YOLOv4 Từ phiên bản đầu tiên của YOLOv1 đến YOLOv4 [14], kiến trúc mô hình đã có rất nhiều thay đổi và có nhiều cải thiện trên cả độ chính xác và tốc độ nhờ vào các kỹ thuật như Anchor Box, SPP [18],. Kiến trúc của mô hình YOLOv4 được mô tả ở Hình 2.9, mô hình gồm 3 khối chính: Backbone, Neck, Heads. Chi tiết của các khối sẽ được đề cập chi tiết ở các phần tiếp theo.9 Kiến trúc mạng YOLOv4 2.

Backbone Backbone của mô hình YOLOv4 thường sử dụng các mô hình đã được huấn luyện trước trên các tập dữ liệu rất lớn như ImageNet [19], có nhiệm vụ trích xuất đặc trưng của ảnh đầu vào. Có nhiều loại Backbones như VGG16 [20], CSPResNet50 [21], 9 CSPDarknet53 [21], và EfficentNet [22]. Tuy nhiên, CSPDarkNet53 được chọn làm Backbone cho mô hình YOLOv4 do độ chính xác mà nó mang lại. CSPDarkNet53 là sự kết hợp của các khối CSP vào mạng DarkNet53 [13].

a) Khối CSP (Cross Stage Partial) Khối CSP dựa trên kiến trúc DenseNet [23] có tác dụng làm giảm số lượng tính toán cũng như tăng khả năng học của mô hình. Đầu vào của khối được chia thành 2 nhánh, nhánh đầu tiên sẽ đi qua khối tích chập và nhánh còn lại sẽ kết hợp trực tiếp với đầu ra của nhánh thứ nhất được mô tả ở Hình 2. Do đó, khối CSP sẽ biết được những đặc trưng nào không cần trích xuất, và đặc trưng nào cần trích xuất, dẫn đến mô hình sẽ có tốc độ nhanh hơn và độ chính xác cũng được cải thiện. Bên cạnh đó, việc kết nối trực tiếp sẽ giúp mô hình tránh được vấn đề Vanishing Gradient.10 Khối CSP b) Mạng DarkNet53 DarkNet53 là mạng nơ-ron tích chập để trích xuất đặc trưng.