Đồ án HCMUTE: Nhận diện phương tiện giao thông sử dụng bộ phát hiện Single Shot Multibox

Đồ án nghiên cứu hcmute nhận diện phương tiện giao thông sử dụng bộ phát hiện single shot multibox, áp dụng công nghệ tiên tiến, tối ưu giải pháp kỹ thuật cho bài toán .

• Tác giả: Lê Phúc Quốc Trình
• Người hướng dẫn: TS. Phan Văn Ca
• Trường học: Trường Đại Học Sư Phạm Kỹ Thuật Thành Phố Hồ Chí Minh
• Chuyên ngành: Công Nghệ Kỹ Thuật Máy Tính
• Đề tài: Nhận Diện Phương Tiện Giao Thông Sử Dụng Bộ Phát Hiện Single Shot Multibox Detector
• Loại tài liệu: đồ án tốt nghiệp
• Năm xuất bản: 2019
• Địa điểm: Thành phố Hồ Chí Minh

Mục lục chi tiết

• NHIỆM VỤ ĐỒ ÁN TỐT NGHIỆP
• PHIẾU NHẬN XÉT CỦA GIÁO VIÊN HƯỚNG DẪN
• PHIẾU NHẬN XÉT CỦA GIÁO VIÊN PHẢN BIỆN
• LỜI CẢM ƠN
• TÓM TẮT
• MỤC LỤC
• DANH SÁCH HÌNH
• DANH SÁCH BẢNG
• 1. CHƯƠNG 1: TỔNG QUAN
• 1.1. Đặt vấn đề
• 1.2. Tình hình nghiên cứu hiện nay
• 1.2.1. Tình hình nghiên cứu ngoài nước
• 1.2.2. Tình hình nghiên cứu trong nước
• 1.3. Mục đích và nội dung của đề tài
• 1.3.1. Mục đích đề tài
• 1.3.2. Nội dung của đề tài
• 1.4. Bố cục của luận văn
• 2. CHƯƠNG 2: CƠ SỞ LÝ THUYẾT
• 2.1. Phân loại hình ảnh và phát hiện đối tượng
• 2.1.1. Phân loại hình ảnh
• 2.1.2. Phát hiện đối tượng
• 2.2. Huấn luyện dữ liệu và đánh giá hệ thống
• 2.3. Mạng neural tích chập
• 2.3.1. Các lớp trong ConvNet
• 2.3.2. Một số kiến trúc mạng ConvNet
• 2.4. Các bộ dữ liệu
• 3. CHƯƠNG 3: BỘ NHẬN DIỆN SINGLE SHOT MULTIBOX DETECTOR
• 3.1. Tìm hiểu về Single Shot Detector (SSD)
• 3.2. Kiến trúc thuật toán Single Shot Detector
• 3.2.1. Quá trình dự đoán tích chập
• 3.2.2. Hộp mặc định và tỷ lệ hướng
• 3.3. Mục tiêu đào tạo
• 3.3.1. Ánh xạ các hộp mặc định
• 3.3.2. Đào tạo tìm ra vật thể
• 3.3.3. Chọn kích thước và tỷ lệ cho hộp mặc định
• 4. CHƯƠNG 4: XÂY DỰNG MÔ HÌNH NHẬN DIỆN PHƯƠNG TIỆN GIAO THÔNG
• 4.1. Giới thiệu và tóm tắt
• 4.1.1. Yêu cầu chung của mô hình
• 4.1.2. Đặc tả hệ thống
• 4.1.3. Phương án thiết kế
• 4.2. Sơ đồ tổng quan mô hình
• 4.3. Chuẩn bị dữ liệu
• 4.4. Tiền xử lý dữ liệu
• 4.5. Huấn luyện và xây dựng mô hình thời gian thực
• 5. CHƯƠNG 5: KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN
• 5.1. Kết luận
• 5.2. Hướng phát triển
• TÀI LIỆU THAM KHẢO

Tóm tắt

I. Tổng quan về nhận diện phương tiện giao thông

Nhận diện phương tiện giao thông là một lĩnh vực quan trọng trong nghiên cứu công nghệ hiện đại, đặc biệt trong bối cảnh đô thị hóa nhanh chóng. Việc sử dụng bộ phát hiện Single Shot Multibox (SSD) cho phép nhận diện các phương tiện giao thông một cách hiệu quả và chính xác. Theo báo cáo của TomTom, tình trạng tắc nghẽn giao thông đã gia tăng đáng kể trong những năm gần đây, đặc biệt tại các thành phố lớn như TP.HCM. Điều này đặt ra yêu cầu cấp thiết về việc phát triển các giải pháp công nghệ nhằm cải thiện tình hình giao thông. Việc áp dụng trí tuệ nhân tạo (AI) và học sâu (Deep Learning) trong nhận diện phương tiện không chỉ giúp giảm thiểu ùn tắc mà còn nâng cao an toàn giao thông. Như vậy, nghiên cứu này không chỉ mang tính lý thuyết mà còn có giá trị thực tiễn cao trong việc ứng dụng vào các hệ thống giao thông thông minh.

1.1. Tình hình nghiên cứu hiện nay

Nghiên cứu về nhận diện phương tiện giao thông đã được thực hiện rộng rãi trên thế giới. Các công ty như Tesla đã áp dụng công nghệ này trong việc phát triển xe tự hành, cho phép xe nhận diện và điều khiển mà không cần sự can thiệp của con người. Tại Việt Nam, mặc dù đã có một số hệ thống camera được lắp đặt để theo dõi tình hình giao thông, nhưng việc ứng dụng công nghệ nhận diện vẫn còn hạn chế. Việc phát triển một mô hình nhận diện phương tiện giao thông hiệu quả và chi phí thấp là rất cần thiết, nhằm cải thiện tình hình giao thông tại các thành phố lớn.

II. Cơ sở lý thuyết về bộ phát hiện Single Shot Multibox

Bộ phát hiện Single Shot Multibox (SSD) là một trong những thuật toán tiên tiến trong lĩnh vực thị giác máy tính (Computer Vision). SSD cho phép phát hiện nhiều đối tượng trong một hình ảnh chỉ trong một lần xử lý, giúp tiết kiệm thời gian và tài nguyên tính toán. Mô hình này sử dụng mạng nơ-ron tích chập (Convolutional Neural Network - CNN) để trích xuất đặc trưng từ hình ảnh, sau đó áp dụng các hộp giới hạn để xác định vị trí và loại đối tượng. Quá trình này không chỉ giúp nhận diện chính xác các phương tiện giao thông mà còn có thể hoạt động trong thời gian thực, điều này rất quan trọng trong việc giám sát giao thông. Việc áp dụng TensorFlow và PyTorch trong việc huấn luyện mô hình SSD đã cho thấy hiệu quả cao trong việc cải thiện độ chính xác của nhận diện.

2.1. Kiến trúc thuật toán SSD

Kiến trúc của SSD bao gồm nhiều lớp khác nhau, từ lớp đầu vào cho đến các lớp đầu ra. Mỗi lớp có nhiệm vụ riêng trong việc xử lý và phân tích hình ảnh. SSD sử dụng các hộp mặc định để dự đoán vị trí của các đối tượng trong hình ảnh. Điều này cho phép mô hình nhận diện được nhiều loại phương tiện khác nhau trong cùng một khung hình. Việc tối ưu hóa các tham số trong quá trình huấn luyện là rất quan trọng để đạt được độ chính xác cao. Các nghiên cứu đã chỉ ra rằng SSD có thể đạt được độ chính xác lên đến 70% trong việc nhận diện các phương tiện giao thông, điều này cho thấy tiềm năng lớn của công nghệ này trong việc ứng dụng vào thực tiễn.

III. Ứng dụng thực tiễn của mô hình nhận diện

Mô hình nhận diện phương tiện giao thông sử dụng bộ phát hiện Single Shot Multibox có nhiều ứng dụng thực tiễn trong việc kiểm soát giao thông thông minh. Việc nhận diện chính xác các phương tiện giúp các cơ quan chức năng có thể theo dõi và quản lý tình hình giao thông một cách hiệu quả hơn. Hệ thống có thể được tích hợp vào các ứng dụng di động để cung cấp thông tin về tình trạng giao thông cho người dân, từ đó giúp họ lựa chọn lộ trình di chuyển hợp lý. Ngoài ra, mô hình cũng có thể được sử dụng trong các hệ thống ADAS (Hệ thống hỗ trợ lái xe nâng cao), giúp nâng cao an toàn giao thông. Việc áp dụng AI trong giao thông không chỉ giúp giảm thiểu ùn tắc mà còn góp phần nâng cao chất lượng cuộc sống cho người dân.

3.1. Tương lai của công nghệ nhận diện giao thông

Với sự phát triển không ngừng của công nghệ, tương lai của nhận diện phương tiện giao thông hứa hẹn sẽ có nhiều bước tiến mới. Các nghiên cứu hiện tại đang hướng tới việc cải thiện độ chính xác và tốc độ xử lý của các mô hình nhận diện. Việc kết hợp giữa học sâu và thị giác máy tính sẽ mở ra nhiều cơ hội mới trong việc phát triển các ứng dụng giao thông thông minh. Hơn nữa, việc tích hợp các công nghệ mới như OpenCV vào quy trình nhận diện sẽ giúp nâng cao khả năng xử lý hình ảnh và video, từ đó cải thiện hiệu quả của các hệ thống giao thông thông minh.

Nội dung chính

Bối cảnh và vấn đề nghiên cứu

Ùn tắc giao thông tại các đô thị lớn đang là rào cản nghiêm trọng đối với sự phát triển kinh tế và xã hội. Dẫn liệu từ báo cáo chỉ số giao thông năm 2018 của tổ chức TomTom trên 403 thành phố thuộc 56 quốc gia cho thấy tình trạng ùn tắc giao thông toàn cầu có xu hướng gia tăng liên tục, với mức độ tắc nghẽn tăng 75% tại các thành phố được khảo sát so với năm 2017. Tại Việt Nam, tình trạng này diễn ra thường xuyên tại các đô thị hạt nhân như Thủ đô Hà Nội và Thành phố Hồ Chí Minh. Dẫn chứng nhận định của Tiến sĩ Vũ Thành Tự Anh (ngày 19/08/2019), đồ án nêu rõ Thành phố Hồ Chí Minh với quy mô dân số 13 triệu người, đóng góp khoảng 25% Tổng sản phẩm quốc nội (GDP) toàn quốc và tổng quy mô GDP trên 60 tỷ USD, mỗi năm chịu thiệt hại kinh tế ước tính từ 1% đến 2% GDP, tương đương thất thoát khoảng 600 triệu đến 1 tỷ USD do hệ quả trực tiếp từ ách tắc giao thông.

Nguyên nhân cốt lõi dẫn đến ùn tắc là mật độ và lưu lượng phương tiện gia tăng đột biến cục bộ trên từng đoạn tuyến tại những thời điểm nhất định. Các biện pháp mở rộng hạ tầng giao thông tuy mang tính căn cơ nhưng đòi hỏi nguồn vốn đầu tư rất lớn và tiến độ thi công kéo dài. Việc bố trí lực lượng trực tiếp điều tiết, quan sát tại các nút giao thông tiêu tốn nhiều nhân lực và không phát huy hiệu quả khi lưu thông thông suốt. Trong khi đó, hệ thống camera giám sát giao thông đã được lắp đặt tương đối dày đặc (điển hình tại Thành phố Hồ Chí Minh người dân có thể theo dõi qua ứng dụng Zalo hoặc cổng thông tin của Sở Giao thông Vận tải), song hầu hết chỉ mới dừng lại ở chức năng ghi hình và quan sát trực quan thủ công, chưa được khai thác tự động bằng công nghệ thị giác máy tính. Một số giải pháp đếm và phân loại phương tiện thương mại (như hệ thống của Viện Hàn lâm Khoa học và Công nghệ Việt Nam) lại có giá thành cao, gây khó khăn cho việc triển khai diện rộng. Xuất phát từ thực tế đó, đề tài hướng đến việc nghiên cứu giải pháp nhận diện phương tiện tự động có chi phí triển khai thấp, có khả năng chạy trên các thiết bị phần cứng thông thường.

Mục tiêu nghiên cứu của đồ án bao gồm:

1. Nghiên cứu và xây dựng mô hình nhận diện phương tiện giao thông dựa trên nền tảng học máy và học sâu.
2. Xây dựng mô hình có khả năng vận hành ổn định trên các hệ thống phần cứng có cấu hình giới hạn hoặc cấu hình thấp.
3. Đếm số lượng xe từ luồng hình ảnh và video do camera truyền về ngay trong môi trường thời gian thực, tạo cơ sở dữ liệu hỗ trợ cảnh báo tình trạng giao thông nhằm giảm thiểu ùn tắc.

Nhiệm vụ nghiên cứu được xác định qua 3 công đoạn cụ thể:

1. Thực hiện quá trình dò tìm các vùng chứa đối tượng phương tiện trong khung hình.
2. Nhận dạng và phân loại các đối tượng phương tiện từ kết quả dò tìm được.
3. Tính tổng số lượng đối tượng nhận dạng được trong chuỗi khung hình video.

Đối tượng và phạm vi nghiên cứu:

• Đối tượng nghiên cứu: Các loại phương tiện giao thông đường bộ xuất hiện trong dữ liệu hình ảnh và video giám sát.
• Phạm vi dữ liệu: Bộ dữ liệu giao thông đường bộ chuẩn KITTI 2D và tập ảnh đối chứng Pascal VOC.
• Phạm vi kỹ thuật: Triển khai mô hình thuật toán Single Shot MultiBox Detector (SSD) với mạng trích xuất đặc trưng VGG16, thực nghiệm đánh giá trên máy tính cá nhân sử dụng bộ xử lý đồ họa GPU tầm trung trong khoảng thời gian từ tháng 9/2019 đến tháng 12/2019 tại Trường Đại học Sư phạm Kỹ thuật Thành phố Hồ Chí Minh.

Cơ sở lý thuyết và phương pháp

Đồ án xây dựng nền tảng dựa trên các khái niệm cơ bản của thị giác máy tính, phân biệt rõ hai bài toán cốt lõi: phân loại hình ảnh (image classification) và phát hiện đối tượng (object detection). Trong phân loại ảnh, hệ thống ánh xạ một điểm dữ liệu đầu vào $x \in \mathbb{R}^d$ sang một nhãn duy nhất $y \in {1, 2, \dots, C}$. Đối với bài toán phát hiện đối tượng, hệ thống giải quyết đồng thời hai nhiệm vụ: xác định tọa độ vùng bao (bounding box) giới hạn vị trí không gian của đối tượng và phân loại nhãn tương ứng cho vùng bao đó.

Về mô hình học sâu, nghiên cứu dựa trên kiến trúc Mạng nơ-ron tích chập (Convolutional Neural Network - CNN), bao gồm các khối thành phần:

• Tầng tích chập (Convolutional layer): Sử dụng các nhân lọc (kernel) trượt qua ma trận ảnh với các thông số bước sải (stride) và bước đệm (padding) để trích xuất các bản đồ đặc trưng (feature maps) từ mức độ hình học cơ bản (cạnh, góc) đến các đặc trưng ngữ nghĩa phức tạp (bộ phận, toàn thể phương tiện).
• Tầng kích hoạt phi tuyến ReLU ($f(z) = \max(0, z)$): Tối ưu hóa tính toán đạo hàm, tăng tốc độ hội tụ và giảm thiểu hiện tượng triệt tiêu gradient (vanishing gradient) so với hàm kích hoạt hyperbolic tangent (tanh).
• Tầng gom cụm (Pooling layer): Bao gồm Max Pooling và Average Pooling nhằm giảm chiều không gian của dữ liệu, giảm thiểu khối lượng tham số và tăng tính bất biến cục bộ cho các đặc trưng.
• Tầng kết nối đầy đủ (Fully-Connected Layer): Tổng hợp thông tin từ các bản đồ đặc trưng để thực hiện suy luận phân loại ở các lớp cuối cùng.

Bên cạnh mạng tích chập tiêu chuẩn, tác giả khảo cứu và tổng hợp đặc tính kỹ thuật của các cấu trúc mạng kinh điển trong nghiên cứu thị giác máy tính:

Mô hình	Kích thước lưu trữ	Độ chính xác Top-1	Độ chính xác Top-5	Số lượng tham số	Độ sâu tầng
Xception	88 MB	0.790	0.945	22.9 triệu	126
VGG16	528 MB	0.715	0.898	138.4 triệu	16
GoogLeNet	Tối ưu	Tỷ lệ lỗi 6.7%	Tỷ lệ lỗi 7.3% (VGG)	5.0 triệu	22
MobileNet	Tối ưu nhúng	Phù hợp di động	Phù hợp nhúng	Tối ưu hóa cao	Sử dụng Depthwise & Pointwise Conv

Mô hình trung tâm của đề tài là bộ phát hiện Single Shot MultiBox Detector (SSD) do Wei Liu và cộng sự công bố năm 2015. Khác với kiến trúc R-CNN gồm 2 giai đoạn tạo vùng đề xuất (region proposals) gây độ trễ tính toán lớn, SSD loại bỏ khâu tạo vùng đề xuất riêng biệt bằng cách dự đoán trực tiếp tọa độ hộp bao và xác suất lớp trên nhiều tầng tích chập đa tỉ lệ.

Phương pháp nghiên cứu thực nghiệm được triển khai theo quy trình:

• Kỹ thuật học chuyển giao (Transfer Learning): Tận dụng các trọng số đã được tiền huấn luyện (pre-trained) trên tập dữ liệu chuẩn để giảm thiểu chi phí và thời gian đào tạo.
• Phương pháp phân cụm K-means: Phân cụm các khung hình thực tế để chọn ra các tỷ lệ hướng đại diện cho các hộp giới hạn mặc định (default bounding boxes).
• Kỹ thuật so khớp IoU (Intersection over Union / Jaccard Overlap): Xác định sự trùng khớp giữa hộp mặc định và hộp thực tế (ground truth box) theo công thức $J(A, B) = \frac{|A \cap B|}{|A \cup B|}$, lấy ngưỡng $IoU \ge 0.5$ làm mẫu dương tính.
• Kỹ thuật khai thác mẫu âm cứng (Hard Negative Mining): Sắp xếp các hộp mặc định âm tính theo độ tin cậy và chỉ giữ lại các hộp có mức mất mát cao nhất nhằm duy trì tỷ lệ giữa mẫu âm và mẫu dương tối đa là 3:1, đảm bảo tính cân bằng và ổn định cho quá trình huấn luyện.

Nguồn dữ liệu sử dụng:

• Bộ dữ liệu chính: KITTI 2D dành cho thị giác máy tính giao thông đường bộ, có quy mô gốc gồm 7.481 ảnh huấn luyện, 7.518 ảnh kiểm tra và 80.256 đối tượng dán nhãn. Nhóm nghiên cứu sử dụng tập hợp 7.500 ảnh, phân chia thành 90% phục vụ huấn luyện (training) và 10% phục vụ kiểm thử (testing).
• Bộ dữ liệu tham chiếu bổ trợ: Pascal VOC (sử dụng đối chứng nhận diện các lớp phương tiện), cùng các bộ dữ liệu ImageNet ILSVRC 2012, CIFAR-10 và Stanford Dogs được khảo sát trong phần lý thuyết.

Thiết kế và triển khai hệ thống

Hệ thống nhận diện phương tiện được thiết kế theo mô hình xử lý phân tầng, đảm bảo tính toán thời gian thực trên luồng dữ liệu hình ảnh và video.

Quy trình hoạt động tổng thể gồm 5 bước tuần tự:

1. Chuẩn bị dữ liệu: Chọn lọc và gán nhãn dữ liệu phương tiện từ bộ dữ liệu giao thông đường bộ KITTI 2D.
2. Tiền xử lý dữ liệu: Ảnh thô được chuyển đổi, lọc nhiễu và chuẩn hóa kích thước về độ phân giải chuẩn $300 \times 300$ pixel thông qua các giao diện lập trình ứng dụng (API) của TensorFlow.
3. Dò tìm vùng bao đối tượng: Tạo lập các hộp mặc định đa kích thước trên các bản đồ đặc trưng, xác định khoảng cách tâm và tọa độ tương đối.
4. Nhận dạng đối tượng: Tính toán hàm mất mát phân loại và định vị để dự đoán lớp phương tiện và tinh chỉnh hộp bao.
5. Suy luận kết quả: Tổng hợp các khung bao, loại bỏ chồng lấn và xuất thông tin số lượng xe trên hình ảnh hoặc luồng video.

Kiến trúc mạng sử dụng biến thể SSD300 với mạng cơ sở (base network) là VGG16 đã loại bỏ các tầng kết nối đầy đủ (fully connected layers) ở phần đuôi. Bản đồ đặc trưng trích xuất từ tầng Conv4_3 có kích thước không gian $38 \times 38 \times 512$. Tiếp sau mạng cơ sở, hệ thống bổ sung chuỗi các tầng tích chập đa quy mô nhằm thu nhỏ dần kích thước bản đồ đặc trưng: Conv6 (sử dụng nhân $3 \times 3 \times 1024$, kích thước đầu ra $19 \times 19 \times 1024$), Conv7, Conv8_2, Conv9, Conv10 và Conv11_2. Việc sử dụng các tầng đặc trưng có kích thước khác nhau cho phép mô hình phát hiện đối tượng đa kích thước: các tầng đầu có kích thước lớn phát hiện tốt phương tiện nhỏ (ở xa), trong khi các tầng cuối có kích thước nhỏ phục vụ phát hiện phương tiện lớn (ở gần).

Tổng số hộp giới hạn mặc định được khởi tạo trên 6 tầng tích chập là 8.732 hộp. Kích thước tỷ lệ $s_k$ của các hộp tại tầng thứ $k$ ($k \in [1, m]$ với $m=6$) được nội suy tuyến tính từ $s_{min} = 0.2$ (hoặc 0.1) đến $s_{max} = 0.9$ theo công thức: $$s_k = s_{min} + \frac{s_{max} - s_{min}}{m - 1}(k - 1)$$

Các tỷ lệ khung hình (aspect ratio) được áp dụng gồm $a_r \in {1, 2, 3, \frac{1}{2}, \frac{1}{3}}$. Chiều rộng $w$ và chiều cao $h$ của hộp mặc định tương ứng là $w = s_k \sqrt{a_r}$ và $h = s_k / \sqrt{a_r}$. Khi $a_r = 1$, một hộp mặc định bổ sung được thêm vào với tỷ lệ kích thước $s'k = \sqrt{s_k s{k+1}}$.

Hàm mất mát tổng thể (loss function) trong huấn luyện là tổng có trọng số giữa mất mát vị trí cục bộ ($L_{loc}$) và mất mát độ tin cậy phân loại ($L_{conf}$): $$L(x, c, p, g) = \frac{1}{N} \left( L_{conf}(x, c) + \alpha L_{loc}(x, p, g) \right)$$ Trong đó $N$ là số lượng hộp mặc định khớp với hộp thực tế; sai số vị trí $L_{loc}$ được tính bằng hàm Smooth L1 giữa các tham số hộp dự đoán ($p$) và hộp thực tế ($g$) quanh tọa độ tâm $(cx, cy)$ cùng kích thước $(w, h)$; sai số tin cậy $L_{conf}$ được tính bằng phân phối Softmax trên các lớp đối tượng và lớp nền (background).

Hệ thống được thiết lập các thông số huấn luyện cụ thể:

Tham số huấn luyện	Giá trị thiết lập
Kích thước mỗi phần (Batch size)	32
Thuật toán tối ưu hóa	SGD (Stochastic Gradient Descent)
Tỷ lệ học (Learning rate)	0.001
Tỷ lệ giảm trọng số (Weight decay)	0.0005
Ngưỡng tin cậy phân loại loại bỏ dương tính giả	0.7 (mức khuyến nghị thực tế: 0.9)

Cơ chế vận hành thời gian thực trên video được tối ưu hóa theo quy tắc bám vết khung hình:

• Thực hiện thuật toán triệt tiêu các hộp phát hiện trùng lặp cho cùng một phương tiện và tính trung bình các tọa độ phát hiện.
• Nhận diện phương tiện theo thứ tự không gian và kích thước chiều sâu để phân biệt chính xác khi xảy ra hiện tượng hai xe che khuất hoặc vượt qua nhau.
• Quy tắc ngưỡng xuất hiện: Phương tiện phải xuất hiện liên tục tối thiểu trong 10 khung hình mới được hệ thống xác nhận nhận diện và hiển thị số lượng; ngược lại, phương tiện không xuất hiện sau 10 khung hình liên tiếp sẽ tự động bị loại bỏ khỏi danh sách quản lý.

Hệ thống được triển khai và kiểm thử thực nghiệm trên thiết bị máy tính cá nhân (laptop) trang bị card đồ họa rời NVIDIA GeForce GTX 965.

Nội dung chính theo từng chương

Chương 1: Tổng quan

Chương 1 trình bày tổng quan tính cấp thiết của đề tài xuất phát từ bài toán ùn tắc giao thông đô thị và các tổn thất kinh tế đi kèm tại Thành phố Hồ Chí Minh (ước tính 600 triệu đến 1 tỷ USD mỗi năm theo số liệu của TS. Vũ Thành Tự Anh). Tác giả phân tích tình hình nghiên cứu ngoài nước với các ứng dụng thành công trong xe tự hành (Tesla, Audi, Mercedes), giao thông thông minh tại Nhật Bản và các ứng dụng định tuyến giao thông như Google Maps, MapQuest. Đối với tình hình trong nước, hệ thống camera giao thông tại Thành phố Hồ Chí Minh mới phục vụ việc giám sát trực quan (qua Zalo hoặc website Sở Giao thông Vận tải), còn hệ thống đếm xe tự động của Viện Hàn lâm Khoa học và Công nghệ Việt Nam có giá thành cao. Từ đó, chương xác định mục tiêu xây dựng giải pháp nhận diện và đếm phương tiện thời gian thực với chi phí thấp, chạy được trên phần cứng cấu hình khiêm tốn.

Chương 2: Cơ sở lý thuyết

Chương 2 cung cấp cơ sở lý thuyết về thị giác máy tính và học sâu. Nội dung đi sâu phân tích cấu trúc Mạng nơ-ron tích chập (CNN) gồm cơ chế trượt của tầng tích chập (kernel, stride, padding), đặc tính kích hoạt của hàm ReLU đối với việc khắc phục triệt tiêu gradient, chức năng giảm chiều của tầng Pooling và phân loại tại tầng Fully-Connected. Chương cũng khảo sát các kiến trúc mạng nơ-ron kinh điển: VGGNet (phiên bản VGG16 với 16 tầng và VGG19), GoogLeNet (module Inception tối ưu với 5 triệu tham số, giảm thiểu đáng kể so với 60 triệu tham số của AlexNet), và MobileNet với các phép tích chập SeparableConv và DepthwiseConv dành cho thiết bị di động. Đồng thời, chương giới thiệu các bộ dữ liệu quy chuẩn gồm ImageNet ILSVRC 2012 (1,2 triệu ảnh huấn luyện), CIFAR-10 (60.000 ảnh chia đều cho 10 lớp) và Stanford Dogs (20.580 ảnh cho 120 loài chó).

Chương 3: Bộ nhận diện Single Shot Multibox Detector

Chương 3 tập trung làm rõ cấu trúc toán học và nguyên lý vận hành của thuật toán SSD. Tác giả chỉ ra nhược điểm về thời gian xử lý và yêu cầu cấu hình cao của kiến trúc Faster R-CNN, từ đó phân tích ưu thế đơn tầng của SSD. Kiến trúc mạng cơ sở VGG16 được cải biến kết hợp cùng các tầng tích chập mở rộng nhằm tạo ra không gian dự đoán 8.732 hộp mặc định. Chương trình bày chi tiết công thức xác định tỷ lệ co giãn $s_k$, phân bổ tỷ lệ hướng của các hộp, chỉ số trùng khớp Jaccard Overlap ($IoU \ge 0.5$), phương pháp chuẩn hóa khoảng cách tâm và kích thước hộp bao, cùng cấu trúc hàm mất mát đa nhiệm kết hợp Smooth L1 và Softmax. Kỹ thuật Hard Negative Mining với tỷ lệ cân bằng mẫu âm/dương 3:1 cũng được trình bày như một giải pháp tối ưu hóa quá trình hội tụ của mạng.

Chương 4: Xây dựng mô hình nhận diện phương tiện giao thông

Chương 4 mô tả toàn bộ quá trình thiết kế kỹ thuật và thử nghiệm thực nghiệm mô hình. Tác giả trình bày phương án sử dụng dữ liệu KITTI 2D gồm 7.500 ảnh (chia tỉ lệ 90% huấn luyện và 10% kiểm thử), đường ống tiền xử lý chuẩn hóa ảnh về kích cỡ $300 \times 300$ bằng TensorFlow API, cùng bảng tham số huấn luyện (kích thước batch 32, tối ưu hóa SGD, learning rate 0.001, weight decay 0.0005). Quy trình nhận diện thời gian thực trên video được xây dựng kèm thuật toán lọc hộp trùng lặp, thiết lập ngưỡng tin cậy phân loại 0.7 và quy tắc kiểm định 10 khung hình liên tiếp. Kết quả thử nghiệm trên phần cứng GPU NVIDIA GeForce GTX 965 được ghi nhận chi tiết trên ảnh tĩnh và luồng video thực nghiệm.

Chương 5: Kết luận và hướng phát triển

Chương 5 đúc kết các kết quả đạt được so với mục tiêu đề ra ban đầu, khẳng định khả năng phát hiện phương tiện với độ chính xác và tốc độ đáp ứng yêu cầu thời gian thực trên phần cứng cấu hình thấp. Đồng thời, chương chỉ rõ các mặt hạn chế còn tồn tại liên quan đến hiện tượng lỗi nhận diện khi các xe vượt qua nhau hoặc chất lượng nguồn hình ảnh kém, và đề xuất các giải pháp nâng cấp trong tương lai như thay thế mạng nền bằng MobileNet hoặc chuyển đổi sang kiến trúc YOLO.

Kết quả và đóng góp

Mô hình thực nghiệm được đánh giá định lượng trên cả tập dữ liệu kiểm thử độc lập, ảnh tĩnh và video thực tế. Các số liệu đánh giá được tổng hợp như sau:

Tiêu chí / Chỉ số	Kết quả thực nghiệm trong đồ án
Độ chính xác trên tập kiểm thử (Test set)	Đạt xấp xỉ 70%
Độ chính xác kiểm tra trên tập ảnh Pascal VOC	Đạt khoảng 90%
Chỉ số trùng khớp vùng bao (IoU) phát hiện	Đạt trên 50% ($IoU > 0.5$)
Ngưỡng tin cậy phân loại kiểm soát dương tính giả	Thiết lập ngưỡng 0.7 (tỷ lệ dương tính giả rất thấp)
Ngưỡng khung hình theo dõi thời gian thực	Xuất hiện liên tục tối thiểu 10 khung hình để xác nhận, mất tích 10 khung hình để loại bỏ
Phần cứng thực nghiệm	Laptop trang bị GPU NVIDIA GeForce GTX 965

Các giải pháp kỹ thuật do tác giả đề xuất và triển khai:

• Đề xuất thuật toán lọc bỏ đa phát hiện trên cùng một phương tiện bằng cách tính trung bình các hộp bao dự đoán hợp lệ, kết hợp ngưỡng lọc tin cậy 0.7 nhằm triệt tiêu các kết quả dương tính giả.
• Thiết lập cơ chế lọc trễ thời gian thực với ngưỡng 10 khung hình, giúp loại bỏ các trường hợp nhận diện sai đột biến do nhiễu khung hình và đếm chính xác số lượng phương tiện lưu thông.
• Sắp xếp và quản lý các phương tiện được phát hiện theo thứ tự không gian và kích thước chiều sâu để phân tách tọa độ khi hai phương tiện di chuyển song song hoặc che khuất nhau.

Đóng góp tự nêu của đề tài:

• Đã hoàn thành việc tái huấn luyện (re-train) thành công thuật toán Single Shot MultiBox Detector cho bài toán đặc thù là nhận diện phương tiện giao thông.
• Chứng minh tính khả thi của việc vận hành mô hình học sâu nhận diện đối tượng thời gian thực trên các thiết bị phần cứng có cấu hình giới hạn (GPU laptop tầm trung), tạo tiền đề cho các giải pháp giám sát giao thông thông minh chi phí thấp thay thế các hệ thống thương mại đắt tiền.

Hạn chế và hướng nghiên cứu tiếp

Các hạn chế được văn bản đồ án chỉ rõ:

• Nhóm nghiên cứu chưa xây dựng được ứng dụng hoàn chỉnh trên nền tảng di động hoặc giao diện website để người tham gia giao thông có thể tương tác trực tiếp và nhận thông tin cảnh báo tình trạng đường sá.
• Hệ thống vẫn xuất hiện sai sót nhận diện khi chất lượng hình ảnh từ camera truyền về bị mờ, nhiễu hoặc trong điều kiện môi trường bất lợi.
• Thuật toán bám vết còn gặp khó khăn, nhận diện chưa chuẩn xác tại một số khung hình cụ thể khi hai xe có quỹ đạo vượt qua nhau hoặc che khuất lẫn nhau kéo dài.
• Tỷ lệ chính xác tổng thể trên tập kiểm thử dừng lại ở mức 70%, cần được tối ưu thêm trước khi đưa vào ứng dụng thực tiễn rộng rãi.

Các hướng phát triển tiếp theo được tác giả đề xuất:

• Cải tiến và tối ưu hóa thuật toán nhằm nâng cao độ chính xác, tăng cường khả năng nhận diện ổn định trong điều kiện tín hiệu hình ảnh bị nhiễu.
• Thay thế mạng trích xuất đặc trưng cơ sở VGG16 bằng các kiến trúc mạng nhẹ hơn như MobileNet nhằm giảm tải tính toán cho thiết bị nhúng, hoặc thử nghiệm kiến trúc YOLO để cải thiện độ chính xác và tốc độ xử lý.
• Khai thác thêm các tầng trích xuất đặc trưng chuyên biệt để phân loại chi tiết hơn từng chủng loại phương tiện cụ thể.
• Nâng cấp cấu hình phần cứng xử lý trung tâm và hoàn thiện thuật toán bám vết thời gian thực trên video.
• Xây dựng hệ thống ứng dụng đồng bộ trên điện thoại thông minh và nền tảng web nhằm cung cấp cảnh báo tình trạng ùn tắc giao thông, đồng thời gợi ý lộ trình di chuyển thay thế cho người dân.
• Mở rộng phạm vi phát hiện đối tượng hướng tới việc tích hợp vào các hệ thống hỗ trợ lái xe và cảnh báo va chạm tự động cho xe tự hành.

Giá trị tham khảo

Đồ án là tài liệu kỹ thuật có giá trị tham khảo thiết thực đối với:

• Sinh viên và học viên thuộc các ngành Công nghệ Kỹ thuật Máy tính, Công nghệ Thông tin, Kỹ thuật Điều khiển & Tự động hóa, Trí tuệ Nhân tạo đang làm đồ án tốt nghiệp hoặc nghiên cứu ứng dụng học sâu trong thị giác máy tính.
• Các kỹ sư và nhóm nghiên cứu đang xây dựng các hệ thống giao thông thông minh (ITS), hệ thống đếm xe tự động hoặc các ứng dụng giám sát an ninh trật tự trên nền tảng thiết bị biên (edge devices) có nguồn lực tính toán khiêm tốn.

Các nội dung có giá trị tham khảo kỹ thuật cao trong đồ án:

• Chương 3 cung cấp bản diễn giải toán học tương đối đầy đủ và chi tiết về cấu trúc của thuật toán Single Shot MultiBox Detector (SSD), từ cơ chế co giãn tỷ lệ hộp mặc định $s_k$, phân bổ tỷ lệ hướng, cách tính chỉ số Jaccard Overlap, đến việc xây dựng hàm mất mát kết hợp Smooth L1 và Softmax cùng kỹ thuật Hard Negative Mining.
• Chương 4 cung cấp quy trình thực nghiệm rõ ràng về cách thức tiền xử lý dữ liệu với TensorFlow API, cấu hình tham số huấn luyện (batch size, learning rate, weight decay) và giải thuật lọc nhiễu khung hình thời gian thực (quy tắc 10 frames) trong bài toán xử lý video trực tiếp.

Câu hỏi thường gặp

1. Mô hình sử dụng bộ dữ liệu nào để huấn luyện và kiểm thử, tỷ lệ phân chia cụ thể ra sao?
Mô hình sử dụng bộ dữ liệu giao thông đường bộ KITTI 2D (bộ dữ liệu gốc có 7.481 ảnh huấn luyện, 7.518 ảnh kiểm tra và 80.256 nhãn đối tượng). Nhóm tác giả đã lựa chọn 7.500 ảnh từ bộ dữ liệu này và phân chia theo tỷ lệ: 90% phục vụ cho quá trình huấn luyện (training) và 10% dành cho quá trình kiểm thử (testing). Ngoài ra, tập dữ liệu Pascal VOC cũng được dùng để kiểm tra đối chứng.

2. Cấu trúc mạng cơ sở (base network) và kích thước ảnh đầu vào của mô hình được thiết lập như thế nào?
Mô hình sử dụng biến thể SSD300 với mạng cơ sở là VGG16 đã loại bỏ các tầng kết nối đầy đủ (fully connected) ở cuối. Ảnh đầu vào được tiền xử lý và chuẩn hóa cố định về kích thước $300 \times 300 \times 3$ (chiều rộng $\times$ chiều cao $\times$ số kênh màu). Bản đồ đặc trưng trích xuất từ tầng Conv4_3 có kích thước $38 \times 38 \times 512$, sau đó kết hợp với các tầng tích chập mở rộng từ Conv6 đến Conv11_2 để tạo ra tổng cộng 8.732 hộp mặc định.

3. Hàm mất mát (loss function) của bộ nhận diện SSD được tính toán dựa trên các thành phần nào?
Hàm mất mát tổng thể $L(x, c, p, g)$ là tổng có trọng số của hai thành phần: mất mát vị trí cục bộ ($L_{loc}$) và mất mát độ tin cậy phân loại ($L_{conf}$). Trong đó, $L_{loc}$ sử dụng hàm Smooth L1 để đo sai số tọa độ tâm và kích thước giữa hộp dự đoán với hộp thực tế; $L_{conf}$ đo sai số dự báo nhãn lớp bằng hàm Softmax, có áp dụng kỹ thuật khai thác mẫu âm cứng (Hard Negative Mining) để duy trì tỷ lệ mẫu âm/dương không vượt quá 3:1.

4. Cơ chế nhận diện và theo dõi phương tiện trong môi trường thời gian thực trên video được xử lý như thế nào?
Hệ thống quản lý phương tiện theo thứ tự không gian và kích thước chiều sâu để xử lý tình huống các xe che khuất nhau. Đồng thời, áp dụng quy tắc lọc trễ khung hình: phương tiện mới phải xuất hiện liên tục tối thiểu trong 10 khung hình mới được hệ thống xác nhận và hiển thị kết quả đếm; ngược lại, phương tiện nếu không còn xuất hiện sau 10 khung hình liên tiếp sẽ tự động bị loại bỏ khỏi hệ thống.

5. Cấu hình phần cứng thực nghiệm và các chỉ số hiệu năng chính đạt được là bao nhiêu?
Hệ thống được thử nghiệm trên máy tính cá nhân sử dụng bộ xử lý đồ họa GPU NVIDIA GeForce GTX 965. Độ chính xác nhận diện trên tập dữ liệu kiểm thử đạt xấp xỉ 70%, độ chính xác kiểm tra trên tập ảnh Pascal VOC đạt khoảng 90%, chỉ số trùng khớp hộp bao $IoU > 50%$, và tỷ lệ dương tính giả rất thấp khi cài đặt ngưỡng tin cậy phân loại ở mức 0.7.

Kết luận

Đồ án tốt nghiệp của sinh viên Lê Phúc Quốc Trình và Trần Hoài Hưng đã nghiên cứu và triển khai thành công mô hình nhận diện phương tiện giao thông thời gian thực sử dụng thuật toán Single Shot MultiBox Detector (SSD) kết hợp mạng nền VGG16. Hệ thống đạt độ chính xác khoảng 70% trên tập kiểm thử KITTI 2D, chỉ số IoU vượt trên 50% và vận hành ổn định trên phần cứng máy tính trang bị card đồ họa GPU tầm trung NVIDIA GTX 965. Mặc dù còn hạn chế về mặt giao diện ứng dụng người dùng và khả năng xử lý khi các xe che khuất nhau, kết quả nghiên cứu đã cung cấp một quy trình thực nghiệm hoàn chỉnh, tạo cơ sở khoa học để tiếp tục tối ưu hóa sang các kiến trúc mạng nhẹ hơn và tích hợp vào các hệ thống quản lý giao thông thông minh trong tương lai.

Trích đoạn nội dung tài liệu

Đặt vấn đề, giới thiệu về tình hình nghiên cứu hiện nay. Chương 2: Nền tảng cơ sở lý thuyết liên quan đến luận văn, bao gồm một số thuật ngữ chính, các bộ dữ liệu mà chúng ta sẽ dùng, cơ bản về mạng thần kinh tích chập, phân loại ảnh và nhận dạng đối tượng. Chương 3: Trong chương này sẽ trình bày về bộ phát hiện “Single shot multibox detector”. Chương 4: Thiết kế và xây dựng mô hình nhận diện phương tiện giao thông bằng bộ phát hiện Single Shot Multibox Detector.

Chương 5: Đánh giá kết quả, đưa ra các giải pháp phát triển và kết luận của luận án cũng được đưa ra ở chương này. 5 do an Chương 2: CƠ SỞ LÝ THUYẾT Phần này sẽ cung cấp một cái nhìn tổng quan về các nền tảng lý thuyết có liên quan đến đề tài.1 Phân loại hình ảnh và phát hiện đối tượng 2.1 Phân loại hình ảnh Phân loại hình ảnh là một trong những công việc phổ biến nhất trong thị giác máy tính. Đây là một trong những vấn đề được nghiên cứu nhiều nhất trong học máy. Đối với vấn đề này, chương trình sẽ được yêu cầu chỉ ra các nhãn hay lớp của một điểm dữ liệu.

Nhãn này, thường là một phần tử trong một tập hợp có C phần tử khác nhau. Mỗi phần tử trong tập hợp này được gọi là một lớp và thường được đánh số từ 1 đến C phần tử. Để giải vấn đề này, ta thường phải xây dựng một hàm số f : ℝd → {1, 2,. Khi y = f(x), mô hình gán cho một điểm dữ liệu được mô tả bởi véc- tơ đặc trưng x với một nhãn được xác định bởi số y.2 Phát hiện đối tượng Hình 2.1 Phân loại hình ảnh và phát hiện đối tượng Phát hiện đối tượng là thuật ngữ chung dùng để mô tả một tập hợp các nhiệm vụ trong thị giác máy tính có liên quan chặt chẽ đến việc xác định đối tượng và phân loại các đối tượng trong hình ảnh.

Phân loại hình liên quan đến việc dự đoán để chia 6 do an lớp của một đối tượng trong một hình ảnh. Với phát hiện đối tượng thì tạo ra một khung hình bao chưa đối tượng được quan tâm và gán nhãn cho chúng.2 Huấn luyện dữ liệu và đánh giá hệ thống. Học sâu là một nhánh của máy học dựa trên một tập hợp các thuật toán để trừu tượng hóa mô hình dữ liệu ở mức cao bằng cách sử dụng nhiều lớp xử lý với các cấu trúc phức tạp, hoặc bằng các cách khác bao gồm nhiều phép biến đổi phi tuyến. Làm việc với học sâu là một quá trình gồm 2 giai đoạn: đào tạo và suy luận.

Đào tạo là giai đoạn trong đó một mạng neural cố gắng học hỏi từ dữ liệu. Suy luận là giai đoạn mà mạng neural sau khi được đào tạo sẽ triển khai vào môi trường sản phẩm để ứng dụng vào thực tế. Có các mục đích khác nhau trong việc đào tạo và suy luận cho một hệ thống. Thông thường, một mô hình có thể mất một thời gian dài để huấn luyện được được một mô hình tốt nhất, việc này giúp cho sự suy luận trở nên nhanh hơn và chính xác hơn.

Nhưng không phải lúc nào huấn luyện lâu nhất cũng điều chính xác nhất, kết quả của việc suy luận còn phụ thuộc vào những yếu tố khác nhau như: độ chính xác của thuật toán, tính ổn định của hệ thống, độ chính xác và phong phú của tập dữ liệu dành cho việc huấn luyện. Việc huấn luyện có thể được xử lý nhanh bằng cách xử dụng nhiều bộ xử lý GPU song song có cấu hình cao, sử dụng các hàm kích hoạt để tránh các lỗi không thể hội tụi (vanishing gradient) hay sử dụng các kiến trúc mạng cải tiến và các kỹ thuật học cải thiện (transfer learning).3 Mạng neural tích chập Những năm gần đây, chúng ta được chứng kiến sự phát triển mạnh mẽ trong ngành Thị giác máy tính. Những hệ thống xử lý ảnh lớn như của Facebook, Google, hay cả trong các hãng xe tự hành như Tesla đã đưa những công nghệ như nhận diện mặt người, nhận diện ký tự hay nhận diện các vật thể, đối tượng vào bên trong hệ thống của họ. Để thực hiện được việc xử lý này, thì một mô hình đã được ra đời với tên gọi Convolution Neural Network(CNN hay ConvNet) - mạng neural tích chập đã được 7 do an phát triển từ một những mô hình của học sâu với nhiều cải tiến vượt trội so với mạng neural thông thường.

Một ConvNet được tạo thành từ nhiều lớp kết hợp lại với nhau (Hình 2. Mỗi lớp có một API đơn giản: nó biến đổi một khối 3D đầu vào thành một khối 3D đầu ra với một số chức năng khác nhau có thể có hoặc không có tham số[9].1 Các lớp trong ConvNet Tầng chập Dựa vào nguyên lý biến đổi thông tin, các nhà nghiên cứu đã sử dụng tích chập trong xử lý tín hiệu số để xử lý các hình ảnh và các video số. Để hình dung ra điều này, ta sẽ xem tích chập như một cửa sổ trượt được đặt lên trên một ma trận (như hình 2. Bên trái là một ma trận hình ảnh đầu vào với mỗi giá trị của ma trận tương đương với một điểm ảnh(pixel), trong đó 0 là giá trị đại diện cho điểm ảnh đen và 1 đại diện cho điểm ảnh màu trắng.

Trong trường hợp ảnh là ảnh xám thì sẽ mang các gia trị từ 0 đến 255. Của sổ trượt là quá trình nhân kernel nhân trượt với từng thành phần tương ứng trên ma trận ảnh đầu vào.2 biểu diễn quá trình tích chập dùng nhân kernel có kích thước 3*3, nhân trượt với các phần tử của ma trận bên trái và kết quả ta được một ma trận mới như ma trận bên phải.2 Tầng tích chập[11] 8 do an Tầng chập là một khối xây dựng cốt lõi của ConvNet, thực thi hầu hết các phép toán phức tạp của mạng. Tích chập được sử dụng phổ biến trong lĩnh vực thị giác máy tính. Thông qua các phép tích chập, các đặc trưng chính của ảnh sẽ được trích xuất và truyền vào các lớp tích chập.

Mỗi một lớp tích chập sẽ bao gồm nhiều đơn vị mà kết quả của mỗi đơn vị là một phép biến đổi tích chập từ lớp trước đó thông qua phép nhân tích chập với bộ lọc. Độ phức tạp của đặc trưng được phát hiện bởi bộ lọc tỉ lệ thuận với độ sâu của lớp tích chập mà nó thuộc về. Trong mạng ConvNet, những lớp tích chập đầu tiên sử dụng bộ lọc hình học để phát hiện những đặc trưng đơn giản như cạnh ngang, dọc, chéo của bức ảnh. Những lớp tích chập sau đó được dùng để phát hiện đối tượng nhỏ, bán hoàn chỉnh như mắt, mũi, tóc, v.

Những lớp tích chập sâu nhất dùng để phát hiện đối tượng hoàn hỉnh như: chó, mèo, chim, ô tô, đèn giao thông,… Hình 2.3 Ví dụ minh họa các lớp của ConvNet[10] Trong quá trình chuyển tiếp, mỗi bộ lọc sẽ được tích hợp các chiều dài và chiều rộng của dung lượng đầu vào, sau đó trượt bộ lọc này theo chiều dài và chiều rộng của chúng để tạo ra vùng các đặc trưng (Hình 2. Tích chập ảnh đầu vào với kernel 3x3, stride 1 và padding 1. 9 do an Bước sải và bước đệm (Stride và padding) Bước sải là khoảng cách giữa 2 nhân khi quét. Với stride = 1, nhân sẽ quét 2 ô ngay cạnh nhau, nhưng với stride = 2, nhân sẽ quét ô số 1 và ô số 3.

Bỏ qua ô ở giữa. Điều này nhằm tránh việc lặp lại giá trị ở các ô bị quét. Thông thường, ta chọn stride và kích thước của nhân càng lớn thì kích thước của vùng đặc trưng càng nhỏ, một phần lý do đó là bởi nhân phải nằm hoàn toàn trong đầu vào. Có một cách để giữ nguyên kích cỡ của vùng đặc trưng so với ban đầu.

Đấy là bước đệm. Khi ta điều chỉnh padding = 1, tức là ta đã thêm 1 ô bọc xung quanh các cạnh của đầu vào, muốn phần bọc này càng dày thì ta cần phải tăng bước đệm lên. Tầng ReLU ReLU (Rectified Linear Unit) là hàm kích hoạt (activation function) được sử dụng rộng rãi gần đây vì tính đơn giản của nó. Hàm ReLU rất đơn giản, rất lợi về mặt tính toán, có công thức toán học như sau: f(z) = max(0, z) Đạo hàm của nó bằng 0 tại các điểm âm, bằng 1 tại các điểm dương.

ReLU được chứng minh giúp cho việc huấn luyện các mạng thần kinh đa tầng (multilayer neural network) và mạng sâu (deep network) có rất nhiều tầng ẩn(hidden layer) nhanh hơn rất nhiều so với hàm tanh [6]. Hàm ReLU và tốc độ hội tụ khi so sánh với hàm tanh[11] Hình 2.4 Ví dụ minh họa các lớp của ConvNet[10] 10 do an Tầng Pooling Lớp Pooling được sử dụng trong ConvNet để giảm kích thước đầu vào, tăng tốc độ tính toán và hiệu năng trong việc phát hiện các đặc trưng. Có nhiều hướng Pooling được sử dung, trong đó phổ biến nhất là pooling theo giá trị cực đại (max pooling) và pooling theo giá trị trung bình (average pooling)(Hình 2.5 Pooling Layer Fully-connected Layer Hình 2.5 Hidden layer trong neural network[13] 11 do an Mỗi tầng ẩn được kết nối đầy đủ với nhau được gọi là fully connected layer (hình 2. Mỗi nút (node) trong tầng ẩn được kết nối với tất cả các nút (node) trong các tầng trước đó.

Cả mô hình được gọi là fully connected neural network (FCN).2 Một số kiến trúc mạng ConvNet CNN đầu tiên có thành công lớn về phân loại hình ảnh là LeNet được đề xuất bởi Y. Người kế nhiệm AlexNet [15] đã chiến thắng thử thách ILSVRC năm 2012 và vượt trội đáng kể so với á quân (top 5 lỗi 16% so với á quân 26%). Sau đó, nhiều kiến trúc mạng xuất sắc đã được đề xuất. Phần này liệt kê một số kiến trúc mạng nổi tiếng có liên quan đến nghiên cứu này.

VGGNet Kiến trúc của mạng thần kinh này là một kiến trúc đơn giản với tỷ lệ lỗi 7. VGGNet bao gồm hai phiên bản: VGG16 và VGG19. Kiến trúc của VGG16 là một mạng thần kinh bao gồm 16 tầng, không bao gồm tầng liên kết lớn nhất và tầng softmax. Kiến trúc của VGG19 cũng tương tự như VGG16 nhưng nó có đến 19 tầng.

Nguyên tắc thiết kế chính của mạng VGG là dựa trên độ sâu của các tầng. Để tăng độ sâu, ban đầu sẽ có 2 hoặc 3 tầng chập và tiếp nối sau đó là 1 tầng liên kết lớn nhất 2D. Ngay sau tầng chập cuối cùng là 1 tầng làm phẳng để chuyển ma trận 4 chiều của tầng chập về ma trận 2 chiều. Và tiếp nối sau đó và các tầng Fully-connected và 1 tầng softmax.