Luận văn thạc sĩ: Nghiên cứu đối tượng dựa trên RPN

Đề tài khảo sát thạc sĩ về đối tượng dựa trên RPN với dữ liệu thực nghiệm, giải pháp cụ thể cho bài toán thực tế chuyên ngành tron

• Đề tài: Nghiên Cứu Thạc Sĩ Về Đối Tượng Dựa Trên RPN

Mục lục chi tiết

• Lời cam đoan
• Lời cảm ơn
• Danh mục các ký hiệu và chữ viết tắt
• Danh mục các bảng
• Danh mục các hình vẽ, đồ thị
• MỞ ĐẦU
• 1. CHƯƠNG 1: GIỚI THIỆU CHUNG
• 1.1. Giới thiệu đề tài
• 1.2. Nội dung đề tài
• 1.3. Mục tiêu của đề tài
• 1.4. Phương pháp và đối tượng nghiên cứu
• 1.4.1. Phương pháp nghiên cứu
• 1.4.2. Đối tượng nghiên cứu
• 1.5. Các công trình nghiên cứu liên quan
• 1.5.1. Các công trình nghiên cứu trong nước
• 1.5.2. Các công trình nghiên cứu ngoài nước
• 2. CHƯƠNG 2: CƠ SỞ LÝ THUYẾT
• 2.1. Tổng quan phương pháp phát hiện đối tượng
• 2.2. Mạng nơ-ron tích chập và các cải tiến
• 2.2.1. Kiến trúc mạng huấn luyện
• 2.3. Theo vết đối tượng
• 2.3.1. Theo vết đối tượng dựa trên phát hiện liên tục
• 2.3.2. Theo vết đối tượng dựa trên thư viện OpenCV API
• 2.4. Thư viện và công nghệ hỗ trợ
• 3. CHƯƠNG 3: PHƯƠNG PHÁP PHÁT HIỆN VÀ THEO VẾT ĐỐI TƯỢNG
• 3.1. Theo vết đối tượng dựa trên RPN của Faster R-CNN
• 3.2. Theo vết đối tượng dựa trên kết hợp máy dò Faster R-CNN và thư viện theo vết OpenCV API
• 3.3. Theo vết đối tượng dựa trên TLD
• 3.4. Theo vết đối tượng dựa trên GOTURN
• 4. CHƯƠNG 4: THỰC NGHIỆM VÀ ĐÁNH GIÁ KẾT QUẢ
• 4.1. Công nghệ và phương tiện thực nghiệm
• 4.2. Huấn luyện mô hình Faster R-CNN trên bộ dữ liệu
• 4.2.1. Thu thập dữ liệu huấn luyện
• 4.2.2. Xử lý dữ liệu
• 4.2.3. Phân chia dữ liệu huấn luyện
• 4.2.4. Cài đặt và huấn luyện mô hình thực nghiệm
• 4.3. Triển khai mô hình theo vết đối tượng
• TÀI LIỆU THAM KHẢO

Tóm tắt

I. Tổng quan nghiên cứu thạc sĩ về đối tượng dựa trên RPN

Nghiên cứu thạc sĩ về đối tượng dựa trên RPN tập trung giải quyết bài toán thị giác máy tính hiện đại. Nhiệm vụ chính gồm phát hiện vị trí và duy trì theo dõi quỹ đạo của đối tượng chuyển động. Các thuật toán truyền thống thường gặp khó khăn khi môi trường thay đổi nhanh. Sự xuất hiện của học sâu đã thay đổi hoàn toàn cách tiếp cận này. Mạng đề xuất vùng (Region Proposal Network - RPN) đóng vai trò trung tâm trong kiến trúc Faster R-CNN. Cơ chế này loại bỏ sự phụ thuộc vào các giải thuật thủ công kém hiệu quả. Đề tài khai thác sức mạnh của mạng nơ-ron tích chập sâu nhằm trích xuất đặc trưng hình ảnh trực tiếp. Các tầng tích chập tạo ra bản đồ đặc trưng biểu diễn cấu trúc không gian của vật thể. Sau đó, mạng RPN tạo ra các khung chữ nhật bao quanh đối tượng tiềm năng với độ tin cậy cao. Toàn bộ tiến trình vận hành theo mô hình đầu cuối thống nhất. Hệ thống không chỉ tăng tốc độ suy luận mà còn giảm chi phí tính toán đáng kể. Phương pháp này đặt nền tảng vững chắc cho các hệ thống giám sát thông minh.

1.1. Bối cảnh học thuật và mục tiêu đề tài

Theo vết đối tượng là bài toán kinh điển trong lĩnh vực thị giác máy tính. Nhiệm vụ đòi hỏi xác định tọa độ mục tiêu liên tục qua các khung hình video kế tiếp. Những yếu tố như che khuất, biến dạng và ánh sáng thay đổi thường gây mất dấu đối tượng. Đề tài luận văn thạc sĩ tại Trường Đại học Sư phạm TP.HCM đặt trọng tâm vào việc khắc phục các hạn chế này. Mục tiêu nghiên cứu là xây dựng quy trình phát hiện và theo vết tự động với độ tin cậy vượt trội. Công trình tập trung phân tích sâu cơ chế hoạt động của mạng đề xuất vùng RPN. Kết quả hướng tới việc ứng dụng thực tiễn trong bài toán giao thông đô thị và an ninh giám sát.

1.2. Vai trò đột phá của kiến trúc RPN

Kiến trúc Region Proposal Network đánh dấu bước chuyển mình quan trọng của mạng học sâu. Trước đây, các mô hình phát hiện đối tượng phụ thuộc vào thuật toán Selective Search. Phương pháp cũ này chạy trên CPU và tiêu tốn hàng giây cho mỗi khung hình ảnh. RPN ra đời đã tích hợp bước đề xuất vùng trực tiếp vào mạng nơ-ron tích chập. Mạng sử dụng chung các lớp trích xuất đặc trưng với mạng phân loại Faster R-CNN. Nhờ đó, thời gian tạo vùng đề xuất giảm xuống chỉ còn vài mili-giây. Độ chính xác vị trí khung bao quanh vật thể cũng tăng lên rõ rệt. RPN trở thành giải pháp cốt lõi cho các hệ thống thị giác máy tính thời gian thực.

II. Thách thức trong nghiên cứu thạc sĩ về đối tượng dựa trên RPN

Quá trình theo vết vật thể trong thực tế luôn đối mặt với nhiều rào cản kỹ thuật phức tạp. Đối tượng theo dõi có xu hướng thay đổi kích thước và hình dạng liên tục. Sự biến thiên của ánh sáng môi trường tạo ra nhiễu thông tin nghiêm trọng. Bên cạnh đó, hiện tượng che khuất một phần hoặc hoàn toàn khiến mô hình dễ đánh mất tọa độ chuẩn xác. Việc bám vết mục tiêu trong đám đông hỗn loạn đòi hỏi thuật toán phải có khả năng phân biệt cực kỳ nhạy bén. Về mặt tính toán, sự đánh đổi giữa tốc độ xử lý và độ chính xác là bài toán hóc búa nhất. Các phương pháp truyền thống như Selective Search tạo ra hàng nghìn vùng ứng viên nhưng xử lý rất chậm. Ngược lại, nếu giảm bớt số lượng vùng đề xuất, hệ thống sẽ bỏ sót nhiều đối tượng nhỏ hoặc bị mờ. Kiến trúc mạng tích chập càng sâu thì gánh nặng tính toán trên bộ nhớ GPU càng lớn. Điều này gây khó khăn khi triển khai trên các thiết bị giám sát thông thường. Nghiên cứu thạc sĩ tập trung phân tích kỹ lưỡng các điểm nghẽn này để tìm ra cấu hình cân bằng tối ưu.

2.1. Hạn chế của các phương pháp truyền thống

Các giải thuật theo vết truyền thống thường dựa trên bộ lọc tương quan hoặc kỹ thuật phân đoạn ảnh cổ điển. Các phương pháp này gặp khó khăn nghiêm trọng khi bối cảnh thay đổi đột ngột. Khi mục tiêu chuyển động nhanh, thuật toán dễ trôi dạt khung bao và mất dấu hoàn toàn. Trong khi đó, các bộ dò như R-CNN nguyên bản và Fast R-CNN lại phụ thuộc nặng nề vào thuật toán Selective Search. Thuật toán này quét ảnh bằng kỹ thuật phân cụm màu sắc và kết cấu bề mặt độc lập với mạng học sâu. Hậu quả là thời gian xử lý kéo dài hơn hai giây cho một khung hình, hoàn toàn không đáp ứng yêu cầu xử lý thời gian thực của hệ thống giám sát.

2.2. Điểm nghẽn tài nguyên phần cứng và trôi dạt mục tiêu

Vấn đề trôi dạt mục tiêu xảy ra khi bộ theo vết cập nhật nhầm thông tin nền vào mô hình đối tượng. Sai số tích lũy qua từng khung hình sẽ khiến hệ thống bám nhầm sang vật thể lân cận. Bên cạnh rào cản thuật toán, tài nguyên phần cứng cũng là bài toán nan giải. Việc huấn luyện mạng tích chập sâu như VGG-16 hoặc VGG-19 đòi hỏi dung lượng bộ nhớ đồ họa rất lớn. Quá trình tính toán lan truyền ngược trên hàng triệu tham số gây áp lực nặng nề lên GPU. Nếu cấu hình mô hình không hợp lý, tốc độ khung hình sẽ sụt giảm nghiêm trọng. Việc cân bằng giữa độ sâu mạng và tài nguyên tính toán là điều bắt buộc.

III. Giải pháp nghiên cứu thạc sĩ về đối tượng dựa trên RPN tối ưu

Giải pháp trọng tâm của đề tài là xây dựng hệ thống theo vết thông minh kết hợp mạng RPN với công nghệ xử lý ảnh tiên tiến. Kiến trúc Faster R-CNN được ứng dụng để thực hiện việc phát hiện đối tượng liên tục. Mạng trích xuất đặc trưng sử dụng các mô hình tích chập chuẩn như VGG-16 với 13 tầng tích chập và bộ lọc kích thước nhỏ 3x3. Tầng trích nét áp dụng kỹ thuật Max Pooling kích thước 2x2 nhằm giảm chiều dữ liệu hiệu quả. Các tầng tích chập này được chia sẻ hoàn toàn giữa mạng RPN và mạng phân loại cuối cùng. Mạng RPN trượt một cửa sổ nhỏ trên bản đồ đặc trưng để sinh ra tập hợp các vùng ứng viên chất lượng cao. Mỗi vị trí trượt đều kết hợp nhiều hộp neo (anchor boxes) với đa dạng tỷ lệ co giãn và kích thước. Cơ chế này giúp bao quát chuẩn xác cả phương tiện ô tô lẫn xe máy trong khung hình. Đề tài triển khai huấn luyện trên hệ điều hành Ubuntu, kết hợp thư viện Caffe và phần cứng đồ họa chuyên dụng GPU NVIDIA GTX. Sự kết hợp giữa máy dò Faster R-CNN và thư viện OpenCV API đã tạo nên một chu trình theo vết mạch lạc, hạn chế tối đa việc mất dấu đối tượng.

3.1. Cơ chế vận hành của mạng đề xuất vùng RPN

Mạng RPN nhận đầu vào là bản đồ đặc trưng từ tầng tích chập cuối cùng của mạng CNN gốc. Quá trình xử lý diễn ra qua hai bước chính. Đầu tiên, một mạng nơ-ron tích chập nhỏ trượt qua toàn bộ không gian bản đồ đặc trưng. Tại mỗi vị trí, mô hình sinh ra đồng thời nhiều vùng đề xuất ứng viên dựa trên hệ thống hộp neo đa tỷ lệ. Tiếp theo, RPN tính toán hai giá trị quan trọng: xác suất chứa vật thể và tham số hồi quy tọa độ khung bao. Những vùng có điểm tin cậy cao được giữ lại để đưa vào bộ phân loại. Cơ chế chia sẻ trọng số giúp quá trình tạo vùng đề xuất diễn ra gần như tức thì.

3.2. Tích hợp Faster R CNN với thư viện OpenCV API

Để tối ưu hóa chu trình giám sát, đề tài thiết kế phương án kết hợp linh hoạt giữa phát hiện và theo vết. Máy dò Faster R-CNN phụ trách định vị vật thể tại các khung hình định kỳ hoặc khi có biến động lớn. Sau khi có tọa độ ban đầu, các thuật toán theo vết trong thư viện OpenCV API sẽ tiếp quản nhiệm vụ bám đuổi qua từng khung hình kế tiếp. Giải pháp này giúp hệ thống không cần chạy mô hình học sâu nặng nề liên tục ở mọi thời điểm. Sự phối hợp giữa hai kỹ thuật vừa duy trì tốc độ khung hình cao, vừa đảm bảo quỹ đạo theo vết mượt mà và chuẩn xác.

IV. Kết luận nghiên cứu thạc sĩ về đối tượng dựa trên RPN thực tế

Kết quả thực nghiệm của nghiên cứu khẳng định tính khả thi vượt trội của phương pháp đề xuất. Mô hình được kiểm thử trên tập dữ liệu chuẩn Pascal VOC cùng bộ dữ liệu giao thông thực tế. Thử nghiệm so sánh giữa hai kiến trúc nền tảng VGG-16 và VGG-19 cho thấy kết quả rất khả quan. Mô hình VGG-16 đạt điểm số trung bình ấn tượng với độ chính xác nhận diện xe hơi lên tới 0.848. Đường cong Precision-Recall chứng minh hệ thống duy trì độ nhạy ổn định ngay cả trong điều kiện nhiều phương tiện chen chúc. Về mặt ứng dụng thực tiễn, công trình mở ra hướng đi hiệu quả cho các hệ thống giám sát giao thông đô thị. Công nghệ có thể tích hợp trực tiếp vào camera giám sát để đếm xe, phát hiện vi phạm và phân luồng tự động. Các hệ thống an ninh tòa nhà cũng hưởng lợi từ việc nhận diện người và vật thể xâm nhập theo thời gian thực. Đề tài đã hoàn thành xuất sắc mục tiêu học thuật, đồng thời tạo ra giá trị ứng dụng cao cho đời sống xã hội. Những cải tiến về thuật toán đặt nền móng cho các nghiên cứu chuyên sâu tiếp theo.

4.1. Đánh giá độ chính xác và hiệu năng mô hình

Quá trình đánh giá hiệu năng khẳng định ưu thế của kiến trúc Faster R-CNN sử dụng mạng RPN. Mô hình thử nghiệm trên hạ tầng phần cứng GPU NVIDIA GTX 1070 mang lại tốc độ xử lý ổn định. Các thông số đo lường qua biểu đồ Precision-Recall cho thấy tỷ lệ nhận diện nhầm ở mức rất thấp. Khi đối chiếu giữa VGG-16 và VGG-19, VGG-16 thể hiện sự cân bằng tốt hơn giữa thời gian phản hồi và độ chính xác phân loại. Tỷ lệ phát hiện đúng đối tượng xe ô tô đạt 84.8%, chứng tỏ khả năng nhận diện xuất sắc ngay cả khi góc quan sát bị hạn chế.

4.2. Tiềm năng triển khai và hướng mở rộng tương lai

Nghiên cứu mang lại tiềm năng ứng dụng thực tế rất lớn trong hệ thống giao thông thông minh. Mô hình phát huy hiệu quả cao trong việc điều tiết giao thông tại các giao lộ đông đúc. Hệ thống dễ dàng phát hiện các hành vi đi sai làn hoặc phương tiện dừng đỗ trái phép. Trong tương lai, mô hình có thể được tối ưu hóa hơn nữa bằng các kiến trúc mạng hiện đại như ResNet. Việc nén mô hình cũng là hướng đi triển vọng để triển khai trên các thiết bị nhúng và thiết bị biên hạn chế tài nguyên. Những cải tiến này hứa hẹn nâng cao năng lực giám sát thông minh toàn diện.

Nội dung chính

Tổng quan nghiên cứu

Theo vết đối tượng (Object Tracking) là một trong những bài toán cốt lõi của thị giác máy tính, với ứng dụng rộng rãi trong giám sát giao thông, điều hướng robot và hệ thống camera thông minh. Tính đến năm 2018, các thuật toán cổ điển xử lý mỗi ảnh mất từ 2 đến 50 giây, chưa đáp ứng được yêu cầu thời gian thực của hệ thống hiện đại.

Luận văn thạc sĩ "Theo Vết Đối Tượng Dựa Trên RPN" của học viên Nguyễn Khánh Duy, thực hiện tại Trường Đại học Sư phạm TP. Hồ Chí Minh dưới sự hướng dẫn của TS. Ngô Quốc Việt, tập trung giải quyết bài toán phát hiện và theo vết đối tượng trong video theo thời gian thực. Nghiên cứu được thực hiện trong năm 2018, thuộc chuyên ngành Khoa học Máy tính (mã số 8480101).

Mục tiêu cụ thể của đề tài là huấn luyện mô hình Faster R-CNN với kiến trúc RPN (Region Proposal Network) trên bộ dữ liệu gồm 4 lớp đối tượng — xe hơi, xe máy, xe đạp và người — sau đó tích hợp với các thuật toán theo vết tiên tiến như TLD và GOTURN để đạt hiệu suất xử lý dưới 0,2 giây mỗi khung hình. Phạm vi ứng dụng được xác định rõ tại môi trường sân trường học và tình huống vi phạm giao thông như chở quá số người quy định.

Ý nghĩa của nghiên cứu nằm ở chỗ kết hợp sức mạnh phát hiện nhanh của Faster R-CNN với khả năng theo vết bền vững của OpenCV API, tạo ra hệ thống tích hợp có thể xử lý cả theo vết đơn lẻ lẫn đa đối tượng trong video thực tế.

---

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Mạng nơ-ron tích chập (CNN — Convolutional Neural Network) là nền tảng lý thuyết trung tâm của luận văn. CNN bao gồm 4 tầng chính: tầng tích chập (Convolutional Layer), tầng kích hoạt phi tuyến ReLU (Rectified Linear Unit), tầng trích nét (Pooling Layer) và tầng kết nối đầy đủ (Fully-connected Layer). Kiến trúc VGG16 — với 13 tầng tích chập bộ lọc 3×3 và 5 tầng max pooling 2×2 — được chứng minh đạt độ lỗi chỉ 7,4% trong thử thách ImageNet 2014, là nền tảng mà nghiên cứu này chọn làm backbone chính.

Faster R-CNN với Region Proposal Network (RPN) là mô hình phát hiện đối tượng thế hệ mới do nhóm Microsoft Research (Shaoqing Ren, Kaiming He, Ross Girshick, Jian Sun) phát triển năm 2015. RPN thay thế thuật toán Selective Search chậm chạp bằng một mạng nơ-ron chuyên dụng, tạo ra các đề xuất khu vực (region proposals) với k=9 anchors (3 tỉ lệ × 3 kích thước) tại mỗi vị trí cửa sổ trượt. Anchor được phân loại là dương (positive) nếu giá trị IoU vượt ngưỡng 0,7 với ground truth box, và âm (negative) nếu IoU dưới 0,3.

Năm khái niệm kỹ thuật cốt lõi của luận văn bao gồm: (1) Region Proposal Network — mạng đề xuất khu vực; (2) Anchor boxes — các hộp neo đa tỉ lệ; (3) IoU (Intersection-over-Union) — chỉ số đánh giá chồng lấp; (4) mAP (mean Average Precision) — độ chính xác trung bình; (5) Tracking-by-Detection — theo vết thông qua phát hiện liên tục.

Phương pháp nghiên cứu

Nguồn dữ liệu: Bộ dữ liệu được xây dựng từ 2 nguồn — tự thu thập (637 ảnh) và tải từ các kho dữ liệu công khai như Kaggle và Stanford (2.245 ảnh) — tổng cộng 2.882 ảnh thuộc 4 lớp. Cụ thể: car (1.225 ảnh), motorbike (1.014 ảnh), bicycle (455 ảnh), people (188 ảnh). Ngoài ra, bộ dữ liệu Pascal VOC 2007 cũng được sử dụng để so sánh đối chiếu.

Phương pháp chọn mẫu và phân chia: Dữ liệu được phân chia theo tỉ lệ 70/30 cho mỗi lớp, trong đó 70% (2.019 ảnh) dùng để huấn luyện/kiểm chứng và 30% (863 ảnh) dùng để kiểm tra độc lập. Cách phân tầng theo từng lớp đối tượng giúp đảm bảo tính đại diện đồng đều, tránh thiên lệch mẫu khi lớp people chỉ có 188 ảnh so với car có 1.225 ảnh.

Phương pháp phân tích và timeline: Ảnh gốc được tiền xử lý về 3 kích thước chuẩn (500×375, 800×600, 1024×768 pixels) từ kích thước gốc lên đến 6.000×4.000 pixels. Mô hình Faster R-CNN được huấn luyện với 80.000 vòng lặp cho mỗi trong 4 giai đoạn (RPN → Fast R-CNN → RPN → Fast R-CNN), learning rate 0,001 và giảm xuống 1/10 sau 20.000 vòng lặp, momentum = 0,9. Toàn bộ quá trình được thực hiện trên GPU GTX 1070Ti 8GB với hệ điều hành Ubuntu 16.04, thư viện Caffe và Python 2.0.

---

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

Phát hiện 1: Faster R-CNN vượt trội hơn các thế hệ trước về tốc độ xử lý. So sánh trực tiếp giữa 3 thế hệ mô hình cho thấy R-CNN cần 50 giây/ảnh, Fast R-CNN cần 2 giây/ảnh, còn Faster R-CNN chỉ cần 0,2 giây/ảnh — nhanh hơn R-CNN gốc 250 lần. Về độ chính xác, Faster R-CNN đạt mAP 73% trên tập dữ liệu Pascal VOC 2007 với kiến trúc VGG16, trong khi R-CNN đạt 66,9%. Sự đột phá tốc độ này bắt nguồn từ việc chia sẻ chung tầng tích chập giữa RPN và bộ phân loại, loại bỏ hoàn toàn chi phí tính toán trùng lặp.

Phát hiện 2: Kiến trúc VGG16 cho kết quả huấn luyện ổn định với dữ liệu thực tế. Sau 80.000 vòng lặp, mô hình VGG16 đạt độ chính xác lớp car là 0,848 (84,8%) trên bộ dữ liệu thu thập. Đường cong Precision-Recall của cả hai kiến trúc VGG16 và VGG19 đều thể hiện xu hướng hội tụ ổn định, với diện tích dưới đường cong (AUC) cao. Biểu đồ Precision-Recall có thể được đọc theo trục ngang (Recall từ 0 đến 1,0) và trục dọc (Precision từ 0 đến 1,0) — đường cong càng sát góc trên bên phải, mô hình càng tốt.

Phát hiện 3: Phương pháp kết hợp Faster R-CNN + OpenCV Tracker vượt trội hơn từng thành phần đơn lẻ. Khi kết hợp máy dò Faster R-CNN với trình theo vết GOTURN hoặc TLD, hệ thống duy trì được danh tính đối tượng qua các khung hình ngay cả khi đối tượng di chuyển nhanh hoặc bị khuất tạm thời. Riêng GOTURN xử lý tốt theo vết trong điều kiện thay đổi ánh sáng nhờ được huấn luyện trước trên kiến trúc CaffeNet với hai khung hình liên tiếp làm đầu vào.

Phát hiện 4: Thuật toán MOSSE đạt tốc độ xử lý cao nhất trong nhóm OpenCV Trackers. MOSSE đạt 450 khung hình/giây, vượt trội so với các thuật toán còn lại, nhưng kém bền vững hơn TLD khi đối tượng xuất hiện trở lại sau khi biến mất. TLD bù đắp điểm này nhờ cơ chế học tập (Learning) tích hợp cho phép tự cập nhật bộ phân loại trong thời gian thực.

Thảo luận kết quả

Hiệu quả vượt trội của phương pháp dựa trên học sâu so với các thuật toán cổ điển xuất phát từ hai nguyên nhân cốt lõi. Thứ nhất, RPN học được biểu diễn đặc trưng phân cấp (hierarchical feature representation) thay vì phụ thuộc vào đặc trưng thủ công như Haar-Like Feature của Boosting. Thứ hai, việc sử dụng GPU GTX 1070Ti cho phép tính toán song song hàng ngàn anchors đồng thời, điều mà CPU không thể đáp ứng khi thời gian xử lý CPU kéo dài đến 2–3 phút mỗi ảnh.

So sánh với công trình của Fan Bu và cộng sự về Multiple Object Tracking dựa trên Faster R-CNN + KCF, luận văn này mở rộng phạm vi sang nhiều thuật toán theo vết hơn (TLD, GOTURN, MOSSE, MEDIAFLOW, Boosting) và áp dụng trực tiếp trên dữ liệu giao thông Việt Nam, tăng tính thực tiễn của kết quả. Công trình của Chahyati và cộng sự về theo vết người bằng CNN đạt mAP 0,75 — kết quả này khả quan so với kết quả 0,848 cho lớp xe hơi trong nghiên cứu này, phản ánh sự phù hợp của kiến trúc VGG16 với bài toán phát hiện phương tiện giao thông.

---

Đề xuất và khuyến nghị

Mở rộng bộ dữ liệu huấn luyện cho lớp thiểu số: Lớp "people" chỉ có 188 ảnh — bằng 15% lớp "car" — gây nguy cơ thiên lệch trong nhận diện. Nhóm nghiên cứu tiếp theo nên thu thập thêm tối thiểu 500 ảnh người từ các cảnh thực tế (sân trường, đường phố, bãi giữ xe) và áp dụng kỹ thuật tăng cường dữ liệu (data augmentation) như xoay ảnh ±15°, lật ngang và thay đổi độ sáng, nhằm cân bằng phân phối lớp trong vòng 3 tháng triển khai.

Tích hợp thuật toán Deep SORT để theo vết đa đối tượng bền vững hơn: Hệ thống hiện tại gặp hạn chế khi các đối tượng chồng chéo hoặc che khuất nhau. Các nhóm phát triển ứng dụng giám sát thông minh nên tích hợp thuật toán Deep SORT (Deep Simple Online and Realtime Tracking) kết hợp với Faster R-CNN, cho phép duy trì danh tính đối tượng (ReID) ngay cả khi bị khuất hoàn toàn. Mục tiêu đặt ra là giảm tỷ lệ mất danh tính (ID Switch) xuống dưới 5% trong điều kiện giao thông đông đúc.

Nâng cấp lên kiến trúc YOLO hoặc SSD cho ứng dụng edge computing: Faster R-CNN với VGG16 có kích thước mô hình vượt 533MB, không phù hợp triển khai trên thiết bị nhúng (camera thông minh, Raspberry Pi). Các đơn vị nghiên cứu và doanh nghiệp trong lĩnh vực giám sát giao thông nên thử nghiệm song song với YOLOv3 hoặc SSD MobileNet, có thể đạt tốc độ 30–60 fps trên GPU nhúng như NVIDIA Jetson Nano với kích thước mô hình dưới 100MB.

Xây dựng pipeline tự động hóa thu thập và gán nhãn dữ liệu: Gán nhãn thủ công là nút thắt cổ chai lớn nhất trong quy trình — với 2.882 ảnh cần gán nhãn từng đối tượng. Bộ phận IT của các cơ sở giáo dục và nghiên cứu nên triển khai công cụ bán tự động như Label Studio kết hợp với mô hình pre-trained để đề xuất nhãn sơ bộ, giảm thời gian gán nhãn từ vài tuần xuống còn 3–5 ngày cho quy mô tương đương.

---

Đối tượng nên tham khảo luận văn

Nhà nghiên cứu và học viên cao học ngành Khoa học Máy tính / Thị giác Máy tính sẽ tìm thấy trong luận văn một khung tham chiếu đầy đủ cho việc so sánh các kiến trúc CNN (VGG16, VGG19, ZFNet), cơ chế hoạt động chi tiết của RPN với 9 loại anchor, cùng phân tích định lượng về trade-off giữa tốc độ và độ chính xác qua bảng so sánh 3 thế hệ R-CNN. Đây là nền tảng lý thuyết thiết thực cho các đề tài mở rộng sang nhận diện khuôn mặt, phát hiện hành vi bất thường hoặc kiểm đếm mật độ giao thông.

Kỹ sư phần mềm và lập trình viên AI muốn xây dựng hệ thống camera giám sát thông minh có thể tham khảo toàn bộ pipeline triển khai thực tế: từ cài đặt Ubuntu 16.04 + CUDA 8.7 + Caffe, quy trình gán nhãn bằng phần mềm labelling, đến cách tích hợp OpenCV API phiên bản 3.4 với mô hình Faster R-CNN đã huấn luyện. Luận văn cung cấp thông số cấu hình cụ thể (GPU GTX 1070Ti, RAM 16GB) giúp ước lượng chi phí phần cứng cho dự án tương tự.

Đơn vị quản lý giao thông và an ninh đô thị quan tâm đến tự động hóa giám sát phương tiện (xe hơi, xe máy, xe đạp) có thể sử dụng kết quả thực nghiệm của luận văn như một proof-of-concept cho bài toán phát hiện vi phạm chở quá số người, theo vết phương tiện qua nhiều camera trong khuôn viên trường học hoặc khu dân cư.

Giảng viên và sinh viên đại học ngành Công nghệ Thông tin có thể dùng luận văn như tài liệu tham khảo hệ thống cho học phần Học sâu và Xử lý ảnh, với các ví dụ minh họa trực quan về Max Pooling, Avarage Pooling, kiến trúc mạng VGG16 qua hình vẽ chi tiết, và công thức tính kích thước đầu ra tầng tích chập.

---

Câu hỏi thường gặp

1. RPN (Region Proposal Network) là gì và tại sao quan trọng hơn Selective Search? RPN là một mạng nơ-ron tích chập chuyên tạo ra các đề xuất vùng chứa đối tượng tiềm năng, thay thế thuật toán Selective Search vốn mất đến 2 giây để tạo khoảng 2.000 đề xuất. RPN tạo ra các đề xuất tương đương chỉ trong vài mili-giây nhờ chia sẻ chung tầng đặc trưng với mạng phân loại, giúp Faster R-CNN nhanh hơn R-CNN gốc 250 lần trong khi vẫn duy trì độ chính xác mAP 73% trên Pascal VOC 2007.

2. Tại sao nghiên cứu chọn VGG16 thay vì các kiến trúc mới hơn như ResNet? VGG16 được chọn vì kiến trúc đơn giản, dễ hiểu và đã được kiểm chứng rộng rãi trong cộng đồng nghiên cứu, phù hợp với mục tiêu học thuật của luận văn thạc sĩ. Năm 2018, VGG16 vẫn là backbone phổ biến nhất cho Faster R-CNN với mô hình 533MB, đạt nhóm 5 kiến trúc có độ lỗi thấp nhất trong thử thách ILSVRC. ResNet sẽ là hướng cải tiến tự nhiên cho nghiên cứu tiếp theo, đặc biệt khi cần giảm kích thước mô hình.

3. Sự khác biệt giữa TLD và GOTURN trong bài toán theo vết đối tượng là gì? TLD (Tracking-Learning-Detection) hoạt động theo cơ chế ba thành phần — theo vết, học tập và phát hiện lại — cho phép hệ thống tự cập nhật bộ phân loại khi đối tượng tạm thời biến mất và xuất hiện trở lại. GOTURN dựa trên mạng CNN được huấn luyện trước (CaffeNet), nhận hai khung hình liên tiếp làm đầu vào và dự đoán trực tiếp tọa độ hộp bao quanh ở khung thứ hai. GOTURN xử lý tốt thay đổi ánh sáng nhưng không tự phục hồi sau khi đối tượng bị che khuất hoàn toàn như TLD.

4. Hệ thống có thể theo vết đồng thời nhiều đối tượng không? Có, nhưng với giới hạn nhất định. Phương pháp kết hợp Faster R-CNN + OpenCV Tracker có thể xử lý đa đối tượng (Multiple Object Tracking) khi máy dò phát hiện nhiều đối tượng trong một khung hình, sau đó khởi tạo trình theo vết riêng cho từng đối tượng. Thách thức chính xảy ra khi các đối tượng chồng chéo hoặc di chuyển theo quỹ đạo giao nhau — trong các tình huống này, thuật toán có thể bị nhầm lẫn danh tính giữa xe máy và xe đạp có kích thước tương đồng.

5. Chi phí phần cứng tối thiểu để tái hiện thực nghiệm của luận văn là bao nhiêu? Cấu hình thực nghiệm trong luận văn bao gồm CPU Intel Core i3-4130, RAM DDR3 16GB, GPU GTX 1070Ti 8GB và SSD 240GB. Đây là cấu hình tối thiểu thực tế — thử nghiệm ban đầu chỉ với CPU cho thấy tốc độ xử lý kéo dài 2–3 phút mỗi ảnh, hoàn toàn không khả thi. Với GPU tương đương (ví dụ RTX 3060 8GB hiện nay), chi phí phần cứng ước tính khoảng 8–12 triệu đồng, trong khi sử dụng Google Colab Pro có thể là lựa chọn kinh tế hơn cho mục đích nghiên cứu.

---

Kết luận

• Faster R-CNN với RPN là kiến trúc phù hợp nhất cho bài toán theo vết đối tượng thời gian thực, đạt tốc độ 0,2 giây/khung hình — cải thiện 250 lần so với R-CNN gốc.
• Bộ dữ liệu tự xây dựng (2.882 ảnh, 4 lớp) kết hợp với Pascal VOC 2007 cho phép kiểm chứng độ tổng quát của mô hình trên dữ liệu giao thông Việt Nam, với kết quả lớp xe hơi đạt 84,8%.
• Hệ thống tích hợp Faster R-CNN + TLD/GOTURN/OpenCV API cung cấp giải pháp linh hoạt, có thể lựa chọn thuật toán theo vết phù hợp từng ngữ cảnh triển khai.
• Hướng phát triển tiếp theo bao gồm: mở rộng sang kiến trúc YOLOv3/SSD cho thiết bị nhúng, tích hợp Deep SORT để cải thiện theo vết đa đối tượng, và tăng dữ liệu lớp "people" lên ít nhất 500 ảnh.
• Luận văn đóng vai trò nền tảng thực nghiệm có giá trị cho các nghiên cứu về giám sát giao thông thông minh, robot tự hành và hệ thống camera an ninh tại Việt Nam — lĩnh vực đang phát triển nhanh và cần các công trình tham chiếu bằng tiếng Việt.

Trích đoạn nội dung tài liệu

chương 1: Chương một đã nêu lên các ứng dụng của hệ thông theo vết đối tượng, trình bày về nội dung nghiên cứu, mục tiêu, phương pháp nghiên cứu và trình bày tổng quan về một số các công trình liên quan trong nước và ngoài nước nghiên cứu liên quan đến lĩnh vực theo vết đối tượng. CƠ SỞ LÝ THUYÉT Chương này chúng tôi sẽ trình bày tổng quan về mạng nơ-ron tích chập (Convolution neuron network), viet tat la CNN và các phuong phap cai tién cua CNN áp dụng trong phương pháp phát hiện và theo vết đối tượng. Và các thuật toán tiêu biểu trong thư viện OpenCV dùng áp dụng đề theo vết đối tượng được chúng tôi trình bày trong luận văn. Tổng quan phương pháp phát hiện đối tượng Trong phần này chúng tôi sẽ trình bày một trong những lĩnh vực quan trọng của Tri tué nhan tao (Artificial Intelligence) do 1a thi giac may tinh (Computer Vision).

Đây là một lĩnh vực bao gồm các phương pháp như thu nhận, xử lý ảnh kỹ thuật số, phân tích và nhận dạng các hình ảnh, phát hiện các đối tượng, tạo ảnh, siêu phân giải hình ảnh và nhiều hơn vậy. Phát hiện đối tượng (Object Defection) có lẽ là khía cạnh sâu sắc nhất của thị giác máy tính do số lần sử dụng trong thực tế của các ứng dụng. Phát hiện đối tượng (Øbject Detection) đề cập đến khả năng của hệ thống phần cứng máy tính và phần mềm, công cụ hỗ trợ đề giúp định vị các đối tượng trong một hình ảnh và xác định, nhận diện, định danh từng đối tượng. Vì thế phát hiện đối tượng đã được sử dụng rộng rãi để phát hiện khuôn mặt, phát hiện xe, đếm số người đi bộ, hệ thống bảo mật và xe không người lái.

Có nhiều cách đề nhận điện đồi tượng có thé được sử dụng cũng như trong nhiều lĩnh vực thực hành. Giống như mọi công nghệ khác, một loạt các ứng dụng sáng tạo và tuyệt vời của phát hiện đối tượng sẽ đến từ các lập trình viên và các nhà phát triển phần mềm. Bắt đầu sử dụng các phương pháp nhận diện đối tượng hiện đại trong các ứng dụng và hệ thống, cũng như xây dựng các ứng dụng mới dựa trên các phương pháp này. Việc phát hiện và nhận diện đối tượng sớm liên quan đến việc sử dụng các thuật toán cô điền, giống như các thuật toán được hỗ trợ trong OpenCV, thư viện thị giác máy tính phô biến nhất hiện nay.

Tuy nhiên, các thuật toán cô điển này không thé dat được hiệu suất đủ đề đáp ứng nhu cầu của các công việc hiện tại. Việc phát hiện đối tượng dựa trên thị giác máy tính là một vấn dé khó bởi vì hệ thông phải giải quyết với sự thay đôi về điều kiện tạo ảnh (ví dụ như sự thay đồi về các điều kiện ánh sáng và thời tiết) và sự thay đổi của các cảnh và môi trường. Nhiều phương pháp phát hiện đối tượng khác nhau sử dụng thị giác máy tính đã được phát triển và ứng dụng rộng rãi trong đời sóng thực tiễn. Các phương pháp này phát hiện đối tượng với ba bước chính.

Bước thứ nhất là dựa vào các thuộc tính của đối tượng như màu sắc, kết cầu bề mặt và hình dạng đề trích chọn các đặc trưng ảnh. Bước thứ hai là sử dụng tập dữ liệu mẫu để xác định các tham số cho các bộ nhận dạng đối tượng trong ảnh. Bước thứ ba là sử dụng bộ nhận dạng đề xác định đối tượng trong các ảnh đầu vào bất kỳ. Trong hệ thống phát hiện mục tiêu quân sự thì việc trích chọn đặc trưng ảnh đóng một vai trò quan trọng.

Có hai xu hướng chính trong việc trích chọn đặc trưng: một là sử dụng các đặc trưng cạnh; hai là sử dụng các đặc trưng màu và kết cầu bề mặt của các vùng ảnh. Các phương pháp dựa trên các đặc trưng cạnh xác định đối tượng trong ảnh bằng việc đi tìm các đường bao của đối tượng. Điểm mạnh của các phương pháp này là bất biến với các điều kiện ánh sáng và sự dịch chuyên của đối tượng. Tuy nhiên, các phương pháp dựa vào cạnh lại nhạy cảm với các cạnh nhiễu và không có hiệu quả khi trong ảnh xuất hiện nhiều cạnh nhiễu.

Mặt khác, hiệu quả của các phương pháp này lại phụ thuộc vào việc dò tìm các điểm cạnh. Các phương pháp sử dụng các đặc trưng màu và kết cầu bề mặt của các vùng ảnh có hiệu quả cao trong việc dò tìm các đối tượng mà chúng có màu sắc hoặc kết cầu bề mặt rất khác so với các đối tượng nền khác trong anh. Diém yéu của các phương pháp này là chúng rất nhạy cảm với sự thay đổi của các điều kiện ánh sáng và thường lỗi trong trường hợp đối tượng bị ảnh hưởng bởi các vùng rất sáng và các bóng râm. Ngoài ra thời gian xử lý cho mỗi đối tượng cho các yêu cầu phực tạp và đồi hỏi độ tin cậy cao thì kết quả thuật toán của các phương pháp này thường thấp.

Việc áp dụng đột phát và nhanh chóng của phuong phap hoc sau (Deep learning) vào năm 2012 đã đưa vào sự tồn tại các thuật toán và phương pháp phát hiện đồi tượng hiện đại và chính xac cao nhu R-CNN, Fast R-CNN, Faster R-CNN, RetinaNet va nhanh hơn nhưng rất chính xác như SSD và YOLO [10]. Sử dụng các phương pháp và thuật toán này, dựa trên học sâu và cũng dựa trên việc học máy đòi hỏi rất nhiều kiến thức về toán học áp dụng cho việc học sâu. Có hàng triệu chuyên gia lập trình và các nhà phát triển phần mềm muốn tích hợp và tạo ra các sản phẩm mới sử dụng. Nhưng công nghệ này xa tầm tay của họ, phức tạp đề hiểu và sử dụng thực tế của nó.

10 Trong nội dung tiếp theo này, chúng tôi trình bày trình bày tổng quan về mạng nơ-ron tích chập và các phương pháp cải tiến của nó được áp dụng trong phương pháp phát hiện. Và các thuật toán tiêu biều trong thư viện OpenCV dùng để áp dụng theo vét đối tượng trong luận văn này. Sau đó xem xét, so sánh các kết quả nhằm mục đích làm cơ sở lựa chọn phương pháp đạt hiệu suất tốt nhất đề thực hiện mục tiêu của đề tài. Mạng nơ-ron tích chập và các cải tiến Mang no-ron tich chap CNN (Convolution neuron nefwork) đã được nghiên cứu từ giữa thế kỷ trước [10] và đã trải qua một sự phát triển đột biến vào cuối thế kỷ trước.

Mạng nơ-ron là một phương pháp được sử dụng rộng rãi đề thực hiện việc học sau ANN, RNN va CNN. CNN 1a mot trong những mô hình học tập sau (Deep learning) tiên tiền giúp cho chúng ta xây dựng đựợc những hệ thống thông minh với độ chính xác cao. Dac biệt trong các lĩnh vực xử lý ảnh thì CNN đã rất thành công trong việc áp dụng đề phân lớp và nhận dạng ảnh với bộ dữ liệu ImageNet dataset [ I I]. Trong nội dung tiếp theo chúng tôi trình bày về kiến trúc của CNN bao gồm một dãy các tầng và các tầng của một CNN chuyền một thể tích kích hoạt sang một tầng khác thông qua một hàm khác biệt.

Về cơ bản mô hình mạng nơ-ron tích chập bao gồm các tầng sau: Tầng tích chập (Convoiurional), Tầng kích hoạt phi tuyến ReLU (Rectified Linear Unit), Tang nét trich (Pooling) và Tầng kết nói day du (Fully- connected), được thay đổi về số lượng và cách sắp xếp đề tạo ra các mô hình huấn luyện phù hợp cho từng bài toán khác nhau. Tang tich chap (Convolution layer) Đây là tang quan trọng vì nó chính là nơi thê hiện rõ nhiệm vụ ban đầu của mạng nơ-ron tích chập. Nó là kết quả của việc sử dụng một bộ cac bé6 loc (filter) c6 kich thước nhỏ so với ảnh thường là sử dụng là (3x3 hoặc 5x5) áp vào một vùng trong ảnh và tiền hành tính tích chập giữa bộ lọc và giá trị điểm ảnh trong vùng cục bộ đó. Bộ lọc sẽ lần lượt được dịch chuyên theo một giá trị bước trượt (s/r/đe) chạy dọc theo ảnh và quét toàn bộ anh, (xem Hình 2.

11 Cac diém anh géc Bộ lọc tích chập Giá trị điểm ảnh mới Hình 2. Tích chập với bộ lọc (3x3) [1 1] Trong ví dụ ở Hình 2.I, một bộ lọc (izer) được sử dụng là một ma trận có kích thước 3x3. Bộ lọc này được dịch chuyên lần lượt qua từng vùng ảnh đến khi hoàn thành quét toàn bộ bức ảnh, tạo ra một bức ảnh mới có kích thước nhỏ hơn hoặc bằng với kích thước ảnh đầu vào. Kích thước này được quyết định tùy theo kích thước các khoảng trắng được thêm ở viền bức ảnh gốc và được tính theo công thức (2.1) Ss Trong do: - o: là kích thước ảnh đầu ra ~ i: là kích thước ảnh đầu vào - p: là kích thước khoảng trắng phía ngoài viền của ảnh gốc - k: là kích thước bộ lọc - s: là bước trượt của bộ lọc Tầng kích hoat phi tuyén ReLU (Rectified Linear Unit) Tầng này được xây dựng với ý nghĩa đảm bảo tính phi tuyến của mô hình huấn luyện sau khi đã thực hiện một loạt các phép tính toán tuyến tính qua các tầng tích 12 chập.

Tầng kích hoạt phi tuyến nói chung sử dụng các hàm kích hoạt phi tuyến như hàm ReLU hoặc hàm Sigmoid,. dé giới hạn phạm vi biên độ cho phép của giá trị đầu ra. Trong số các hàm kích hoạt này, hàm ReLU thường được chọn sử dụng do cài đặt đơn giản, tốc độ xử lý nhanh nhưng vẫn đảm bảo được tính toán hiệu quả. Cụ thể, phép tính toán của hàm ReLU chỉ đơn giản (2.2) là chuyên tất cả các giá trị âm thành giá trị 0.2) Thông thường, tầng kích hoạt phi tuyến được áp dụng ngay phía sau tầng tích chập, với đầu ra là một ảnh mới có kích thước giống với ảnh đầu vào, các giá trị điểm ảnh cũng hoàn toàn tương tự trừ các giá trị âm đã bị loại bỏ.

Tầng nét trich (Pooling layer) Tang pooling (hay con goi subsampling hoac downsample) la m6t trong nhitng thành phần tính toán chính trong cầu trúc CNN. Thường được theo sau tang tích chập và tầng kích hoạt phi tuyến đề làm giảm kích thước kích thước ảnh đầu ra trong khi vẫn giữ được các thông tin quan trọng của ảnh đầu vào. Việc giảm kích thước dữ liệu có tác dụng làm giảm được số lượng tham số cũng như tăng hiệu quả tính toán. Tầng lấy mẫu cũng sử dụng một cửa số trượt để quét toàn bộ các vùng trong ảnh tương tự như tầng Tích chập, và thực hiện phép lay mau thay vì phép tích chập — tức là sẽ chon lưu lại một giá trị duy nhất đại diện cho toàn bộ thông tin của vùng ảnh đó.