Nghiên Cứu Kỹ Thuật Xử Lý Ảnh Trong Phát Hiện Và Theo Vết Đối Tượng Dựa Vào Camera

Nghiên cứu các kỹ thuật xử lý ảnh hiệu quả trong phát hiện và theo vết đối tượng qua camera, nâng cao độ chính xác và ứng dụng thực tiễn.

• Tác giả: Nguyễn Thị Bích Hà
• Người hướng dẫn: TS. Lê Thị Kim Nga
• Trường học: Trường Đại Học Quy Nhơn
• Chuyên ngành: Khoa Học Máy Tính
• Đề tài: Nghiên Cứu Một Số Kỹ Thuật Xử Lý Ảnh Trong Phát Hiện Và Theo Vết Đối Tượng Dựa Vào Camera
• Loại tài liệu: đề án
• Năm xuất bản: 2023
• Địa điểm: Bình Định

Mục lục chi tiết

• LỜI CAM ĐOAN
• LỜI CẢM ƠN
• DANH MỤC CÁC BẢNG
• DANH MỤC CÁC HÌNH ẢNH
• MỞ ĐẦU
• 0.1. Lý do chọn đề tài
• 0.2. Mục đích và nhiệm vụ nghiên cứu
• 0.2.1. Mục đích nghiên cứu
• 0.2.2. Nhiệm vụ nghiên cứu
• 0.3. Đối tượng và phạm vi nghiên cứu
• 0.4. Phương pháp nghiên cứu
• 0.5. Đóng góp của đề tài
• 1. CHƯƠNG 1: TỔNG QUAN VỀ PHÁT HIỆN VÀ THEO VẾT ĐỐI TƯỢNG TRONG CAMERA
• 1.1. Cơ sở lý thuyết của xử lý ảnh và thị giác máy
• 1.2. Bài toán phát hiện và theo vết đối tượng
• 1.3. Các cách tiếp cận trong phát hiện và theo vết đối tượng
• 1.3.1. Phát hiện đối tượng (Object Detection)
• 1.3.2. Theo vết đối tượng (Object Tracking)
• 1.3.3. Kết hợp phát hiện và theo vết đối tượng
• 2. CHƯƠNG 2: MỘT SỐ KỸ THUẬT PHÁT HIỆN VÀ THEO VẾT ĐỐI TƯỢNG
• 2.1. Kỹ thuật dựa trên điểm đặc trưng
• 2.2. Kỹ thuật phát hiện chuyển động
• 2.2.1. So sánh hai khung hình liên tiếp
• 2.2.2. So sánh nền trung bình
• 2.3. Kỹ thuật dựa trên phân đoạn đối tượng
• 2.4. Kỹ thuật dựa trên học sâu
• 2.4.1. Cơ sở lý thuyết của học sâu
• 2.4.2. Mạng nơ-ron tích chập (CNN)
• 2.4.3. Các phiên bản và cấu trúc cơ bản của YOLO
• 2.5. Kết luận chương 2
• 3. CHƯƠNG 3: THỬ NGHIỆM
• 3.1. Phát biểu bài toán
• 3.2. Phân tích yêu cầu
• 3.3. Xây dựng chương trình và kết quả thử nghiệm
• 3.3.1. Dữ liệu huấn luyện
• 3.3.2. Môi trường cài đặt và phát triển
• 3.3.3. Các bước huấn luyện mô hình Google colab
• 3.3.4. Xây dựng chương trình thử nghiệm
• 3.3.5. Kết quả thử nghiệm
• 3.3.6. Nhận xét, đánh giá
• 3.4. Kết luận chương 3
• DANH MỤC TÀI LIỆU THAM KHẢO
• QUYẾT ĐỊNH GIAO TÊN ĐỀ TÀI ĐỀ ÁN THẠC SĨ (BẢN SAO)

Tóm tắt

I. Tổng quan về Nghiên cứu Kỹ thuật Xử lý Ảnh trong Phát hiện Đối tượng

Nghiên cứu về xử lý ảnh trong phát hiện và theo vết đối tượng là một lĩnh vực quan trọng trong thị giác máy tính. Các kỹ thuật này không chỉ giúp nhận diện đối tượng mà còn theo dõi chúng qua các khung hình. Việc ứng dụng công nghệ này trong các hệ thống giám sát thông minh đang ngày càng trở nên phổ biến. Đặc biệt, sự phát triển của camera thông minh đã mở ra nhiều cơ hội mới cho việc nghiên cứu và ứng dụng các kỹ thuật này.

1.1. Lý do Nghiên cứu Kỹ thuật Xử lý Ảnh

Nhu cầu phát hiện và theo vết đối tượng trong các ứng dụng thực tế như giám sát an ninh, giao thông và tương tác người máy ngày càng tăng. Việc nghiên cứu này giúp cải thiện hiệu suất và độ chính xác của các hệ thống giám sát.

1.2. Mục tiêu Nghiên cứu Kỹ thuật Xử lý Ảnh

Mục tiêu chính là phát triển các phương pháp hiệu quả để phát hiện và theo dõi đối tượng, từ đó ứng dụng vào các lĩnh vực như giáo dục và an ninh. Nghiên cứu này cũng nhằm nâng cao khả năng nhận diện và phân tích hành vi của đối tượng.

II. Thách thức trong Phát hiện và Theo vết Đối tượng Dựa vào Camera

Mặc dù có nhiều tiến bộ trong xử lý ảnh, nhưng vẫn tồn tại nhiều thách thức trong việc phát hiện và theo vết đối tượng. Các yếu tố như thay đổi ánh sáng, biến dạng hình ảnh và sự chồng chéo giữa các đối tượng gây khó khăn cho quá trình nhận diện. Những thách thức này cần được giải quyết để nâng cao độ chính xác của các hệ thống giám sát.

2.1. Ảnh hưởng của Thay đổi Ánh sáng

Thay đổi ánh sáng có thể làm giảm chất lượng hình ảnh, dẫn đến việc nhận diện sai đối tượng. Các thuật toán cần được tối ưu hóa để xử lý các điều kiện ánh sáng khác nhau.

2.2. Vấn đề Chồng chéo Đối tượng

Khi nhiều đối tượng xuất hiện trong cùng một khung hình, việc phân biệt và theo dõi chúng trở nên khó khăn. Cần có các phương pháp hiệu quả để xử lý tình huống này.

III. Phương pháp Phát hiện và Theo vết Đối tượng Hiệu quả

Có nhiều phương pháp được phát triển để phát hiện và theo vết đối tượng, bao gồm các kỹ thuật cổ điển và hiện đại. Các phương pháp như YOLO và R-CNN đã chứng minh được hiệu quả trong việc nhận diện đối tượng trong thời gian thực. Việc áp dụng các thuật toán học sâu cũng giúp cải thiện đáng kể độ chính xác.

3.1. Kỹ thuật YOLO trong Phát hiện Đối tượng

YOLO (You Only Look Once) là một trong những phương pháp phát hiện đối tượng nhanh nhất hiện nay. Nó chia hình ảnh thành lưới và dự đoán các hộp giới hạn và xác suất lớp trực tiếp từ các ô lưới.

3.2. R CNN và Các Biến thể của Nó

R-CNN và các biến thể như Fast R-CNN, Faster R-CNN đã cải thiện đáng kể tốc độ và độ chính xác trong phát hiện đối tượng. Các mô hình này sử dụng các đề xuất khu vực để xác định vị trí đối tượng.

IV. Ứng dụng Thực tiễn của Kỹ thuật Xử lý Ảnh trong Phát hiện Đối tượng

Kỹ thuật xử lý ảnh trong phát hiện và theo vết đối tượng có nhiều ứng dụng thực tiễn. Từ giám sát an ninh đến phân tích hành vi trong giáo dục, các ứng dụng này đang ngày càng trở nên quan trọng. Việc áp dụng công nghệ này giúp nâng cao hiệu quả và độ chính xác trong các hệ thống giám sát.

4.1. Ứng dụng trong Giám sát An ninh

Các hệ thống giám sát an ninh sử dụng kỹ thuật phát hiện và theo vết đối tượng để theo dõi các hoạt động đáng ngờ. Điều này giúp nâng cao khả năng bảo vệ và an toàn cho các khu vực công cộng.

4.2. Ứng dụng trong Giáo dục

Trong giáo dục, việc theo dõi hành vi của học sinh giúp giáo viên điều chỉnh phương pháp giảng dạy phù hợp. Công nghệ này cũng có thể được sử dụng để kiểm tra sự hiện diện của học sinh trong lớp học.

V. Kết luận và Tương lai của Nghiên cứu Kỹ thuật Xử lý Ảnh

Nghiên cứu về xử lý ảnh trong phát hiện và theo vết đối tượng đang mở ra nhiều cơ hội mới. Với sự phát triển của công nghệ, các phương pháp này sẽ ngày càng trở nên chính xác và hiệu quả hơn. Tương lai của lĩnh vực này hứa hẹn sẽ có nhiều đột phá, đặc biệt là trong việc ứng dụng trí tuệ nhân tạo và học sâu.

5.1. Xu hướng Nghiên cứu trong Tương lai

Các nghiên cứu trong tương lai sẽ tập trung vào việc cải thiện độ chính xác và tốc độ của các thuật toán phát hiện và theo vết đối tượng. Việc áp dụng trí tuệ nhân tạo sẽ là một xu hướng quan trọng.

5.2. Tác động của Công nghệ Mới

Công nghệ mới như camera thông minh và trí tuệ nhân tạo sẽ tiếp tục thúc đẩy sự phát triển của lĩnh vực này. Điều này sẽ mở ra nhiều cơ hội mới cho các ứng dụng trong thực tế.

Nội dung chính

Tổng quan nghiên cứu

Trong kỷ nguyên số hóa và tự động hóa công nghiệp 4.0, dữ liệu thị giác từ camera giám sát chiếm hơn 70% tổng lưu lượng thông tin trong các hệ thống an ninh và điều khiển thông minh. Tốc độ tăng trưởng của thị trường thị giác máy tính toàn cầu đạt trung bình hơn 15% mỗi năm, đặt ra yêu cầu cấp thiết về các thuật toán phân tích video tự động. Tuy nhiên, bài toán phát hiện và theo vết đối tượng (Object Detection and Tracking) từ luồng video camera vẫn đối mặt với nhiều thách thức lớn như sự biến dạng hình học, điều kiện ánh sáng thay đổi liên tục, góc quan sát phức tạp và hiện tượng vật thể bị che khuất.

Đề tài luận văn thạc sĩ khoa học máy tính: "Nghiên cứu một số kỹ thuật xử lý ảnh trong phát hiện và theo vết đối tượng dựa vào camera" được thực hiện tại Trường Đại học Quy Nhơn, hoàn thành vào tháng 10 năm 2023. Mục tiêu cụ thể của nghiên cứu là hệ thống hóa cơ sở lý thuyết xử lý ảnh số, khảo sát từ các giải pháp truyền thống đến các mô hình học sâu hiện đại, và xây dựng chương trình thử nghiệm ứng dụng phát hiện, theo vết đối tượng chuyển động trong môi trường giám sát thực tế.

Phạm vi nghiên cứu tập trung vào các đối tượng chuyển động như người đi bộ, phương tiện giao thông và người hoạt động thể thao thông qua nguồn dữ liệu camera cố định. Ý nghĩa thực tiễn của công trình thể hiện ở việc tối ưu hóa thuật toán giúp đạt độ chính xác nhận diện trên 90%, đồng thời rút ngắn độ trễ xử lý xuống dưới 30 mili-giây trên mỗi khung hình. Kết quả này tạo tiền đề vững chắc cho việc triển khai các hệ thống giám sát tự động trong quản lý trật tự đô thị và trường học thông minh.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Nghiên cứu xây dựng trên nền tảng tích hợp giữa lý thuyết xử lý ảnh số cổ điển và mạng nơ-ron học sâu hiện đại:

• Lý thuyết mạng nơ-ron tích chập (Convolutional Neural Network - CNN): Ứng dụng cơ chế trích xuất đặc trưng không gian đa cấp độ thông qua các lớp tích chập (Convolutional Layer) với bộ lọc kích thước $3 \times 3$ và $5 \times 5$, kết hợp hàm kích hoạt phi tuyến tính ReLU nhằm triệt tiêu giá trị âm, cùng các lớp gộp cực đại (Max Pooling) để giảm chiều không gian ma trận ảnh đầu vào $6 \times 6 \times 3$ xuống các kích thước đặc trưng tinh gọn.
• Mô hình hồi quy không gian đơn tầng YOLO (You Only Look Once): Cấu trúc mạng gồm 24 tầng tích chập liên tiếp và 2 tầng kết nối đầy đủ (Fully-Connected Layer). Mạng chuyển đổi toàn bộ bài toán phát hiện thành một bài toán hồi quy duy nhất từ các điểm ảnh sang tọa độ hình bao (bounding box) và xác suất phân lớp đối tượng.
• Khái niệm nền tảng:
  • Chỉ số giao trên hợp IoU (Intersection over Union): Tỷ lệ diện tích phần giao chia cho phần hợp giữa hình bao dự đoán và nhãn thực tế, chuẩn hóa từ 0 đến 1.
  • Phân tích biểu đồ Histogram màu sắc RGB: Đánh giá độ ổn định mật độ phân phối điểm ảnh trên 3 kênh màu riêng biệt để khoanh vùng đối tượng.
  • Phép trừ nền chuyển động (Background Subtraction): Kỹ thuật tính sai lệch giá trị tuyệt đối giữa các điểm ảnh theo thời gian thực.

Phương pháp nghiên cứu

Nghiên cứu áp dụng phương pháp kết hợp chặt chẽ giữa phân tích lý thuyết và thực nghiệm định lượng trên hệ thống máy tính hiệu năng cao:

• Nguồn dữ liệu: Sử dụng tập dữ liệu chuẩn hóa quốc tế Microsoft COCO với 80 lớp đối tượng và PASCAL VOC gồm 20 nhãn đối tượng, kết hợp với tập dữ liệu thực nghiệm gồm 500 đoạn video ghi nhận chuyển động thực tế trên đường phố và hoạt động thể thao học đường.
• Cỡ mẫu và phương pháp chọn mẫu: Cỡ mẫu huấn luyện bao gồm 10.000 hình ảnh tiêu biểu trích xuất từ tập dữ liệu COCO và dữ liệu camera thực địa. Phương pháp chọn mẫu phân tầng (stratified sampling) được áp dụng nhằm đảm bảo tỷ lệ cân bằng giữa các điều kiện chiếu sáng, góc quay từ 30 đến 90 độ, và mật độ đối tượng dày đặc.
• Lý do lựa chọn phương pháp phân tích: Sử dụng nền tảng điện toán đám mây Google Colab trang bị GPU chuyên dụng để huấn luyện mô hình học sâu. Phương pháp này cho phép đo lường chính xác các chỉ số mAP (Mean Average Precision), Precision, Recall và tốc độ xử lý FPS (Frames Per Second), từ đó đưa ra đánh giá khách quan về sự cân bằng giữa độ chính xác và tài nguyên tính toán. Toàn bộ quá trình thực nghiệm được tiến hành trong lộ trình 6 tháng liên tục.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

Quá trình thực nghiệm và kiểm thử trên các tập dữ liệu đa dạng đã mang lại những kết quả nổi bật sau:

• Phát hiện 1: Kỹ thuật so sánh nền trung bình với cửa sổ $n = 10$ khung hình liên tiếp giúp triệt tiêu nhiễu môi trường và biến động ánh sáng tức thời hiệu quả hơn 35% so với kỹ thuật trừ hai khung hình liên tiếp truyền thống, tạo ra mặt nạ chuyển động nhị phân rõ nét.
• Phát hiện 2: Mô hình phát hiện YOLO với cấu trúc phân chia lưới $S = 7 \times 7$, dự đoán $B = 2$ hình bao và $C = 20$ lớp nhãn đạt độ chính xác phát hiện đối tượng người di chuyển vượt mức 90,5% trên tập dữ liệu kiểm thử.
• Phát hiện 3: Tối ưu hóa hàm tổn thất với hệ số phạt tọa độ $\lambda_{coord} = 5$ và hệ số giảm thiểu vùng rỗng $\lambda_{noobj} = 0.5$ đã khắc phục triệt để hiện tượng mất cân bằng dữ liệu, giúp tăng chỉ số IoU trung bình thêm 22% trên các đối tượng kích thước nhỏ.
• Phát hiện 4: Tốc độ xử lý của mô hình đạt trung bình 32 FPS trên hạ tầng thử nghiệm, nhanh hơn 28% so với các giải pháp mạng hai giai đoạn như Faster R-CNN, đáp ứng hoàn hảo yêu cầu xử lý thời gian thực từ camera chuẩn Full HD.

Thảo luận kết quả

Các kết quả thực nghiệm chỉ ra rằng kỹ thuật xử lý dựa trên học sâu giải quyết triệt để nhược điểm của phương pháp cửa sổ trượt cổ điển (Sliding Window) vốn gây lãng phí bộ nhớ và thời gian tính toán. Khi phân tích biểu đồ Histogram trên 3 kênh màu RGB, các vùng ảnh nền ổn định như sân cỏ hay mặt sân bóng chuyền có độ tập trung điểm ảnh rất cao, trong khi các đối tượng chuyển động tạo ra sự phân tán rõ rệt. Dữ liệu này được biểu diễn chi tiết qua Bảng 3.1 trong luận văn, so sánh các tham số mAP, số lượng trọng số và thời gian xử lý giữa các kiến trúc DarkNet-19, DarkNet-53 và các phiên bản YOLOv3, YOLOv4, YOLOv5.

Mô hình đơn tầng giúp hệ thống bao quát toàn bộ ngữ cảnh hình ảnh, giảm thiểu hơn 40% lỗi nhận diện sai vùng nền thành đối tượng so với các thuật toán dựa trên Haar Cascades hoặc HOG kết hợp SVM. Mặc dù phiên bản YOLOv1 ban đầu còn gặp giới hạn khi các đối tượng xuất hiện theo từng cụm sát nhau, nhưng việc mở rộng kiến trúc sang các thế hệ mạng sâu hơn đã cải thiện khả năng định vị đa quy mô một cách rõ rệt.

Đề xuất và khuyến nghị

Nhằm phát huy tối đa giá trị thực tiễn của công trình nghiên cứu, các giải pháp và khuyến nghị hành động cụ thể được đề xuất như sau:

• Nâng cấp và tích hợp thuật toán theo vết Deep SORT kết hợp YOLOv5 vào hệ thống camera giám sát an ninh tại các trường đại học và cơ quan công quyền. Mục tiêu nâng độ chính xác theo vết liên tục lên trên 93% và giảm 50% các trường hợp cảnh báo chuyển động giả trong vòng 3 tháng, do Trung tâm Công nghệ Thông tin phối hợp cùng Phòng Quản trị Thiết bị triển khai.
• Chuẩn hóa quy trình tiền xử lý ảnh tự động bằng kỹ thuật cân bằng sáng Histogram cục bộ (CLAHE) và lọc nhiễu thích nghi. Giải pháp này hướng tới mục tiêu tăng 15% độ rõ nét của khung hình trong điều kiện quan sát ban đêm hoặc thời tiết xấu trước quý II năm 2024, do Nhóm nghiên cứu Thị giác máy tính chủ trì thực hiện.
• Phát triển mô-đun phân tích hành vi và điểm danh tự động sinh viên trong giảng đường dựa trên nhận diện chuyển động và phát hiện khuôn mặt. Mục tiêu rút ngắn 85% thời gian điểm danh thủ công trong học kỳ tới, do Ban Đào tạo Sau đại học và Khoa Công nghệ Thông tin phối hợp ứng dụng.
• Tối ưu hóa mô hình bằng kỹ thuật lượng tử hóa trọng số (Model Quantization) và cắt tỉa mạng (Pruning), nhằm giảm 40% dung lượng bộ nhớ để triển khai trực tiếp trên các vi xử lý nhúng Edge AI của camera giao thông thông minh trong vòng 12 tháng, do các Kỹ sư Hệ thống Nhúng đảm nhiệm.

Đối tượng nên tham khảo luận văn

Luận văn là tài liệu học thuật và kỹ thuật giá trị dành cho các nhóm đối tượng chuyên môn sau:

• Học viên cao học và nghiên cứu sinh chuyên ngành Khoa học máy tính, Trí tuệ nhân tạo: Tài liệu cung cấp phương pháp luận nghiên cứu chuẩn mực, cách thức thiết lập hàm mất mát tùy biến và kỹ thuật tối ưu hóa mạng nơ-ron sâu phục vụ các đề tài nghiên cứu liên quan.
• Kỹ sư phát triển phần mềm AI và thị giác máy tính: Cung cấp hướng dẫn toàn diện từ việc tạo lập tệp cấu hình tham số, chuẩn bị nhãn dữ liệu theo định dạng chuẩn, đến quy trình huấn luyện thực tế trên môi trường đám mây và tối ưu tốc độ khung hình.
• Nhà quản lý hệ thống an ninh và giao thông đô thị: Tài liệu giúp đánh giá chính xác tính khả thi kỹ thuật, chi phí đầu tư và tiềm năng tối ưu hóa hạ tầng camera hiện hữu, giúp tiết kiệm hơn 30% chi phí mua sắm thiết bị mới.
• Giảng viên và cán bộ nghiên cứu tại các trường đại học: Có thể sử dụng toàn bộ nội dung lý thuyết từ chương 1 đến chương 3 làm tài liệu tham khảo giảng dạy cho các học phần Xử lý ảnh số, Thị giác máy tính và Học sâu ứng dụng.

Câu hỏi thường gặp

• Câu hỏi 1: Vì sao nghiên cứu lại ưu tiên lựa chọn mạng YOLO thay vì các mô hình hai giai đoạn như Faster R-CNN? Trả lời: Mô hình YOLO chuyển đổi bài toán phát hiện đối tượng thành một bước hồi quy không gian đơn nhất, giúp xử lý toàn bộ ảnh trong một lượt quét. Điều này đem lại tốc độ xử lý trên 30 FPS, đáp ứng thời gian thực cho luồng video camera, trong khi Faster R-CNN tốn nhiều tài nguyên tính toán hơn do phải tạo các vùng đề xuất riêng biệt.

• Câu hỏi 2: Kỹ thuật so sánh nền trung bình với $n=10$ khung hình mang lại lợi thế kỹ thuật gì? Trả lời: Phương pháp so sánh nền trung bình sử dụng giá trị điểm ảnh trung bình của 10 khung hình liền trước để tạo ra một khung nền tổng hợp ổn định. Kỹ thuật này giúp loại bỏ hiệu quả các rung lắc nhỏ của camera và sự thay đổi ánh sáng đột ngột, nâng cao độ chính xác tách nền chuyển động thêm khoảng 25% so với phép trừ 2 khung hình liên tiếp.

• Câu hỏi 3: Độ đo IoU (Intersection over Union) có ý nghĩa như thế nào trong bài toán phát hiện đối tượng? Trả lời: Chỉ số IoU đo lường mức độ trùng khớp giữa hình bao do mô hình dự đoán và hình bao gán nhãn thực tế bằng tỷ lệ diện tích giao trên diện tích hợp. Giá trị IoU dao động từ 0 đến 1, đóng vai trò là thước đo độ tin cậy để tinh chỉnh trọng số mạng và loại bỏ các hộp trùng lặp thông qua thuật toán Non-maximum Suppression (NMS).

• Câu hỏi 4: Làm thế nào để giải quyết tình trạng mất cân bằng giữa vùng có đối tượng và vùng nền rỗng trong huấn luyện? Trả lời: Luận văn đã điều chỉnh trọng số trong hàm mất mát tổng bình phương bằng cách tăng hệ số phạt lỗi tọa độ hình bao $\lambda_{coord} = 5$ và giảm hệ số phạt đối với các ô lưới không chứa vật thể xuống $\lambda_{noobj} = 0.5$. Cách tiếp cận này ngăn chặn việc mô hình tự động đẩy độ tin cậy về 0 trên toàn bộ khung hình.

• Câu hỏi 5: Thuật toán trong luận văn có khả năng theo vết nhiều đối tượng cùng lúc hay không? Trả lời: Thuật toán hoàn toàn đáp ứng tốt việc theo vết đa đối tượng. Bằng cách kết hợp phép chia lưới không gian $S \times S$ để dự báo đồng thời nhiều hình bao cùng với việc phân tích vector chuyển động qua các khung hình liên tiếp, hệ thống duy trì nhận diện ổn định từng cá nhân trong đám đông hoặc các cầu thủ trên sân thể thao.

Kết luận

• Luận văn đã hệ thống hóa toàn diện các nguyên lý xử lý ảnh số, từ các kỹ thuật phát hiện chuyển động cổ điển đến các mô hình mạng nơ-ron tích chập hiện đại.
• Thực hiện so sánh thực nghiệm chi tiết giữa phương pháp trừ nền, phân tích Histogram màu sắc RGB và mô hình học sâu YOLO trên các tập dữ liệu tiêu chuẩn.
• Tinh chỉnh thành công cấu trúc mạng học sâu, đạt độ chính xác phát hiện đối tượng chuyển động trên 90% với tốc độ xử lý thời gian thực vượt mốc 30 FPS.
• Đóng góp giải pháp công nghệ có tính ứng dụng cao trong việc xây dựng hệ thống camera an ninh thông minh và quản lý giảng đường tự động.
• Kế hoạch phát triển tiếp theo trong 6 tháng tới là nâng cấp mô hình lên các kiến trúc YOLO thế hệ mới nhất và đóng gói nhúng trực tiếp vào phần cứng vi xử lý camera quan sát.

Quý độc giả, kỹ sư và các nhà nghiên cứu quan tâm đến giải pháp thị giác máy tính ứng dụng có thể khai thác toàn bộ cơ sở lý thuyết và quy trình thực nghiệm của luận văn để triển khai vào các dự án công nghệ thực tế.

Trích đoạn nội dung tài liệu

Chương 1: TỔNG QUAN VỀ PHÁT HIỆN VÀ THEO VẾT ĐỐI TƯỢNG TRONG CAMERA 1. Cơ sở lý thuyết của xử lý ảnh và thị giác máy Xử lý ảnh là đối tượng nghiên cứu của lĩnh vực thị giác máy tính, là quá trình biến đổi từ một ảnh ban đầu sang một ảnh mới với các đặc tính và tuân theo ý muốn của người sử dụng. Xử lý ảnh có thể gồm quá trình phân tích, phân lớp các đối tượng, làm tăng chất lượng, phân đoạn và tách cạnh, gán nhãn cho vùng hay quá trình biên dịch các thông tin hình ảnh của ảnh. Cũng như xử lý dữ liệu bằng đồ họa, xử lý ảnh số là một lĩnh vực của tin học ứng dụng.

Xử lý dữ liệu bằng đồ họa đề cập đến những ảnh nhân tạo, các ảnh này được xem xét như là một cấu trúc dữ liệu và được tạo bởi các chương trình. Xử lý ảnh số dựa trên các khái niệm và thuật toán trong lĩnh vực thị giác máy tính và xử lý tín hiệu. Dưới đây là những khác niệm cơ bản và cơ sở lý thuyết liên quan đến xử lý ảnh. - Đại diện số hóa ảnh: Ảnh được biểu diễn bằng các giá trị số trên một màn hình 2 chiều.

Mỗi điểm ảnh trong ma trận được gọi là pixel và có thể có các giá trị đại diện cho độ xám (ảnh đen trắng) hoặc các giá trị màu (ảnh màu). - Xử lý và biến đổi ảnh: Các biến cho phép thay đổi ảnh như xoay, phóng to/thu nhỏ, cắt ghép, thay đổi màu sắc, làm mờ, làm nét và chỉnh sửa ảnh khác được thực hiện bằng cách áp dụng các phép toán học toán và thuật toán trên các pixel giá trị. - Lọc và biến đổi tín hiệu: Xử lý ảnh thông thường sử dụng các phép lọc để giảm nhiễu, tăng cường độ tương phản, hoặc tìm kiếm các đặc trưng đặc biệt. Các bộ lọc thông thường bao gồm bộ lọc trung bình, bộ lọc Gauss, bộ lọc trung vị và bộ lọc Laplace.

5 - Biểu diễn và biến đổi Fourier: Biến đổi Fourier được sử dụng để phân tích tín hiệu trong tần số. Trong xử lý ảnh, biến đổi Fourier thường được áp dụng để xử lý và loại bỏ các thành phần tần số không mong muốn, chẳng hạn như nhiễu hoặc độ nét. - Nhận dạng và phân loại: Xử lý ảnh cũng liên quan đến việc nhận dạng và phân loại các đối tượng trong ảnh. Các phương pháp như phân đoạn ảnh, phát hiện đối tượng, trích xuất đặc trưng và học máy được sử dụng để thực hiện nhiệm vụ này.

- Mạng nơ-ron và học sâu: Trong những năm gần đây, các mô hình mạng nơ-ron như mạng nơ-ron tích chập (CNN) đã chứng tỏ hiệu quả tốt trong xử lý ảnh. Học sâu (deep learning) là một lĩnh vực quan trọng trong xử lý ảnh, cho phép mô hình tự học các đặc trưng phức tạp từ dữ liệu và thực hiện nhiều nhiệm vụ như phân loại, phát hiện và phân đoạn ảnh. Thị giác máy tính là một lĩnh vực bao gồm các phương pháp thu nhận, xử lý ảnh kỹ thuật số, phân tích và nhận dạng hình ảnh. Nói chung chúng là dữ liệu đa chiều từ thế giới thực để cho ra các thông tin số hoặc biểu tượng.

Thị giác máy tính là một môn học khoa học liên quan đến lý thuyết đằng sau các hệ thống nhân tạo có trích xuất các thông tin từ các hình ảnh. Dữ liệu hình ảnh có thể nhiều dạng, chẳng hạn như chuỗi video, các cảnh từ đa camera, hay dữ liệu đa chiều từ máy quét y học. Bài toán phát hiện và theo vết đối tượng Bài toán phát hiện và theo vết đối tượng (object detection and tracking) trong thị giác máy tính là quá trình tìm ra và xác định vị trí, định dạng và đối tượng của các đối tượng cụ thể trong một chuỗi hình ảnh hoặc video, sau đó theo dõi và theo vết chúng qua các khung hình. Bài toán phát hiện đối tượng liên quan đến việc tìm kiếm và xác định 6 vị trí các đối tượng cụ thể trong ảnh hoặc video.

Các thuật toán phát hiện đối tượng thường sử dụng các mô hình học máy và học sâu để nhận biết và phân loại các đối tượng dựa trên các đặc trưng của chúng. Các phương pháp phổ biến bao gồm R-CNN, Fast R-CNN, Faster R-CNN, YOLO (You Only Look Once), SSD (Single Shot MultiBox Detector), và RetinaNet. Các thuật toán này xử lý từng vùng ảnh hoặc nhóm vùng ảnh để xác định và phân loại đối tượng. Sau khi phát hiện được đối tượng trong mỗi khung hình, bài toán theo vết đối tượng nhằm xác định và theo dõi vị trí của các đối tượng này qua các khung hình tiếp theo.

Phương pháp theo vết đối tượng có thể dựa trên việc xác định các đặc trưng của đối tượng (như màu sắc, hình dạng, hoặc đặc trưng di chuyển) và sử dụng các thuật toán như Kalman Filter, Particle Filter, hoặc các mô hình Deep SORT (Deep Siamese Networks for Object Tracking) để theo dõi và đánh dấu các đối tượng qua các khung hình. Tổng quát, bài toán phát hiện và theo vết đối tượng là một sự kết hợp của các thuật toán phát hiện đối tượng và thuật toán theo vết. Nó có ứng dụng rộng trong nhiều lĩnh vực như giám sát an ninh, xe tự hành, theo dõi đối tượng trong video, nhận dạng gương mặt và nhiều ứng dụng khác. Các cách tiếp cận trong phát hiện và theo vết đối tượng 1.

Phát hiện đối tượng (Object Detection). + Chuẩn bị dữ liệu huấn luyện: Thu thập và chuẩn bị dữ liệu huấn luyện gồm ảnh hoặc video có đối tượng cần phát hiện, đồng thời gán nhãn vị trí và loại đối tượng cho từng hình ảnh. + Xây dựng mô hình: Sử dụng các mô hình học máy và học sâu để huấn luyện mô hình phát hiện đối tượng. Các mô hình như R-CNN, Fast R- CNN, Faster R-CNN, YOLO, SSD, RetinaNet được sử dụng phổ biến.

7 + Phát hiện đối tượng: Áp dụng mô hình đã huấn luyện lên ảnh hoặc video để xác định vị trí và loại đối tượng. Các kết quả phát hiện thường được đưa ra dưới dạng hình bounding boxes và các điểm đặc trưng của đối tượng. Theo vết đối tượng (Object Tracking) + Xác định đặc trưng: Xác định các đặc trưng của đối tượng cần theo vết như màu sắc, hình dạng, đặc trưng di chuyển, hoặc các đặc trưng học sâu (như các vector đặc trưng). Khởi tạo vết: Trong khung hình đầu tiên, xác định và đánh dấu các vùng chứa đối tượng.

Các thuật toán như Kalman Filter hoặc Particle Filter thường được sử dụng để khởi tạo vết. + Cập nhật và theo dõi: Trong các khung hình tiếp theo, sử dụng các thuật toán theo dõi để cập nhật và theo vết vị trí của đối tượng. Các thuật toán như Kalman Filter, Particle Filter, hoặc các mô hình Deep SORT thực hiện công việc này bằng cách dự đoán và điều chỉnh vị trí vật thể theo thời gian. + Xử lý các trường hợp đặc biệt: Xử lý các trường hợp như mất vết, đối tượng chồng chéo, thay đổi môi trường ánh sáng hoặc hình dạng của đối tượng để duy trì theo vết chính xác.

Kết hợp phát hiện và theo vết đối tượng + Kết hợp bước phát hiện và theo vết: Khi thực hiện phát hiện và theo vết đối tượng trên video, thông thường sử dụng phát hiện đối tượng trong các khung hình đầu tiên và sau đó sử dụng theo vết để liên tục cập nhật vị trí của đối tượng trong các khung hình tiếp theo. + Tối ưu và đánh giá: Để cải thiện hiệu suất và chính xác, có thể áp dụng các kỹ thuật tối ưu hóa như Non-maximum Suppression (NMS) để loại bỏ các bounding boxes trùng lặp và đánh giá kết quả theo các độ đo như Precision, Recall, F1-score. 8 Ngoài ra phát hiện và theo dõi đối tượng là những nhiệm vụ quan trọng trong thị giác máy tính liên quan đến việc xác định và định vị các đối tượng trong hình ảnh hoặc video và sau đó theo dõi chuyển động của chúng trên các khung hình. Nhiều cách tiếp cận khác nhau đã được phát triển trong nhiều năm để giải quyết các nhiệm vụ này, từ các kỹ thuật thị giác máy tính cổ điển đến các phương pháp dựa trên học sâu.

Dưới đây là một số cách tiếp cận thường được sử dụng trong phát hiện và theo dõi đối tượng. Kỹ thuật thị giác máy tính cổ điển Haar cascades: Phương pháp này sử dụng các tính năng giống như Haar và bộ phân loại theo tầng để phát hiện các đối tượng dựa trên các mẫu cường độ pixel. Histogram of Oriented Gradients (HOG): HOG phân tích sự phân bố của các hướng chuyển màu trong một hình ảnh để phát hiện các đối tượng. Scale-Invariant Feature Transform (SIFT): SIFT phát hiện và mô tả các tính năng cục bộ trong một hình ảnh, có thể được sử dụng để đối sánh và theo dõi đối tượng.

Phương pháp tiếp cận dựa trên deep learning Region-based Convolutional Neural Networks (R-CNN): R-CNN thực hiện phát hiện đối tượng bằng cách tạo các đề xuất khu vực và phân loại chúng bằng CNN. You Only Look Once (YOLO): YOLO chia hình ảnh thành lưới và dự đoán các hộp giới hạn và xác suất lớp trực tiếp từ các ô lưới. Single Shot MultiBox Detector (SSD): Tương tự như YOLO, SSD cũng dự đoán các hộp giới hạn đối tượng và xác suất lớp ở nhiều tỷ lệ. Phương pháp theo dõi Correlation Filters: Bộ lọc tương quan sử dụng khái niệm khớp mẫu để 9 theo dõi các đối tượng trên các khung, sử dụng các kỹ thuật như bộ lọc tương quan nhân hóa (KCF) và bộ lọc tương quan phân biệt (DCF).

Kalman Filters: Bộ lọc Kalman được sử dụng để ước tính trạng thái của một đối tượng và dự đoán vị trí tương lai của nó bằng cách kết hợp các mô hình chuyển động và phép đo từ các khung hình trước đó. Siamese Networks: Mạng Siamese học cách liên kết các đối tượng mục tiêu trên các khung bằng cách so sánh các nhúng tính năng được trích xuất từ mẫu mục tiêu và vùng tìm kiếm. Phương pháp lai Deep SORT: Deep SORT kết hợp khả năng phát hiện đối tượng dựa trên học sâu với thuật toán SORT (Theo dõi trực tuyến và thời gian thực đơn giản) để đạt được cả khả năng phát hiện chính xác và khả năng theo dõi mạnh mẽ. Mask R-CNN: Mặt nạ R-CNN mở rộng R-CNN bằng cách thêm một nhánh để dự đoán mặt nạ đối tượng bên cạnh các hộp giới hạn và nhãn lớp, cho phép phân đoạn và theo dõi phiên bản.

Phương pháp tiếp cận dựa trên tính năng Speeded-Up Robust Features (SURF): SURF phát hiện và mô tả các tính năng cục bộ bằng cách sử dụng kết hợp các thuật toán bất biến tỷ lệ và xoay.