Luận văn thạc sĩ kỹ thuật điện tử thiết kế hệ thống nhúng nhận dạng vật thể với phương pháp kết hợp so khớp spatial pyramid và vec tơ hỗ trợ svm

Luận văn thạc sĩ về thiết kế hệ thống nhúng nhận dạng vật thể, kết hợp Spatial Pyramid Matching và SVM. Nghiên cứu chuyên sâu kỹ thuật điện tử.

• Tác giả: Lý Nguyên Vương
• Người hướng dẫn: PGS.TS Hoàng Trang
• Trường học: Trường Đại học Bách Khoa
• Chuyên ngành: Kỹ Thuật Điện Tử
• Đề tài: Thiết Kế Hệ Thống Nhận Dạng Vật Thể Với Phương Pháp Kết Hợp So Khớp Spatial Pyramid Và Vec-Tơ Hỗ Trợ SVM
• Loại tài liệu: Luận Văn Thạc Sĩ
• Năm xuất bản: 2017
• Địa điểm: TP. Hồ Chí Minh

Mục lục chi tiết

• LỜI CAM ĐOAN
• LỜI CẢM ƠN
• TÓM TẮT LUẬN VĂN THẠC SĨ
• 1. CHƯƠNG 1: TỔNG QUAN
• 1.1. Tình hình nghiên cứu
• 1.2. Tổng quan về hệ thống nhận dạng vật thể
• 1.3. Bố cục của luận văn
• 2. CHƯƠNG 2: CƠ SỞ LÝ THUYẾT
• 2.1. Bài toán nhận dạng ảnh
• 2.2. Các hướng tiếp cận trong bài toán nhận dạng
• 2.3. Các phương pháp trích chọn đặc trưng
• 2.3.1. Đặc trưng màu sắc
• 2.3.2. Đặc trưng kết cấu
• 2.3.3. Đặc trưng hình dạng
• 2.3.4. Đặc trưng cục bộ bất biến SIFT
• 2.3.5. Chia cụm K-means
• 2.4. Bag Of Words
• 2.5. Phương pháp nhận dạng SVM (Support Vector Machine)
• 2.5.1. SVM tuyến tính
• 2.5.2. SVM không tuyến tính
• 2.6. So khớp không gian phân cấp (SPM)
• 2.6.1. So khớp phân cấp (Partial Matching)
• 2.6.2. So khớp không gian phân cấp (SPM)
• 2.7. Sơ lược về OpenCV
• 2.8. Phân loại vật thể (Object Categorization)
• 2.9. Hệ thống nhúng
• 2.9.1. Hệ điều hành nhúng Angstrom
• 2.9.2. Hệ thống phần cứng
• 3. CHƯƠNG 3: THỰC HIỆN HỆ THỐNG
• 3.1. Tập dữ liệu dùng để nhận dạng và huấn luyện
• 3.2. Phương pháp Bag of word kết hợp sliding window
• 3.2.1. Quá trình huấn luyện
• 3.2.2. Quá trình nhận dạng
• 4. CHƯƠNG 4: XÂY DỰNG HỆ THỐNG TRÊN BEAGLEBONE BLACK
• 4.1. Sơ đồ hệ thống
• 4.2. Xây dựng hệ điều hành nhúng
• 4.3. Root file system sử dụng Buildroot
• 4.4. Buildroot cho BBB
• 4.5. Sử dụng Image file cho BBB
• 4.6. Biên dịch ứng dụng trên Board
• 4.6.1. Cài đặt trình biên dịch chéo
• 4.6.2. Thiết lập Qt Creator để biên dịch với nền tảng Qt Everywhere
• 5. CHƯƠNG 5: KẾT QUẢ
• 5.1. Kết quả đạt được
• 5.2. Hoạt động của chương trình
• 5.3. Kết quả của chương trình
• 5.3.1. Kết quả nhận dạng với các kích thước từ điển khác nhau
• 5.3.2. Kết quả nhận dạng với các mức phân cấp
• 5.3.3. So sánh kết quả của sliding window và SPM
• 6. CHƯƠNG 6: KẾT LUẬN VÀ KIẾN NGHỊ
• 6.1. Kết luận
• 6.2. Kiến nghị một số hướng nghiên cứu tiếp theo
• DANH MỤC TÀI LIỆU THAM KHẢO
• DANH SÁCH HÌNH MINH HỌA
• DANH SÁCH BẢNG SỐ LIỆU
• DANH SÁCH CHỮ VIẾT TẮT

Tóm tắt

I. Tổng Quan Về Nhận Dạng Vật Thể Khám Phá Ứng Dụng

Với sự bùng nổ của dữ liệu ảnh, việc nhận dạng vật thể trong ảnh là một trong những nhu cầu cơ bản cho việc quản lý và truy vấn ảnh dựa trên nội dung. Thêm nữa, nhận dạng ảnh là một trong những bài toán cơ bản trong lĩnh vực thị giác máy tính và ứng dụng máy học đã nhận được sự quan tâm của nhiều nhà khoa học trên thế giới. Hiện nay có rất nhiều cuộc thi trong lĩnh vực nhận dạng và phân lớp vật thể, nổi trội hơn cả là cuộc thi PASCAL Visual Object Classes (VOC) được tổ chức từ năm 2005 đã qui tụ được rất nhiều nhóm nghiên cứu trên toàn thế giới tham gia. Nhiều nhóm sử dụng phương pháp túi đặc trưng kết hợp với phương pháp trích đặc trưng SIFT để huấn luyện và nhận dạng bằng mô hình SVM. Theo nghiên cứu, việc áp dụng các mô hình như Bag-of-Words (BoW) và SVM mang lại kết quả khả quan trong nhiều ứng dụng thực tế.

1.1. Tình Hình Nghiên Cứu Nhận Dạng Vật Thể Hiện Nay

Nghiên cứu trong lĩnh vực nhận dạng vật thể đang phát triển mạnh mẽ, tập trung vào việc cải thiện độ chính xác và hiệu quả của các thuật toán. Các phương pháp dựa trên học sâu (Deep Learning), đặc biệt là các mạng nơ-ron tích chập (Convolutional Neural Networks - CNNs), đang ngày càng chiếm ưu thế. Tuy nhiên, các phương pháp truyền thống như Spatial Pyramid Matching (SPM) kết hợp với Support Vector Machine (SVM) vẫn được nghiên cứu và ứng dụng trong một số trường hợp cụ thể. Điều này chứng tỏ sự đa dạng và tính linh hoạt của các phương pháp nhận dạng vật thể.

1.2. Tổng Quan Hệ Thống Nhận Dạng Vật Thể Cơ Bản

Hệ thống nhận dạng vật thể cơ bản bao gồm các giai đoạn chính: tiền xử lý ảnh, trích xuất đặc trưng, huấn luyện mô hình và phân loại. Giai đoạn trích xuất đặc trưng đóng vai trò quan trọng trong việc biểu diễn các đối tượng trong ảnh một cách hiệu quả. Các đặc trưng phổ biến bao gồm SIFT, HOG, và các đặc trưng dựa trên Deep Learning. Mô hình SVM thường được sử dụng để phân loại các đối tượng dựa trên các đặc trưng đã trích xuất. Việc lựa chọn các đặc trưng và mô hình phù hợp phụ thuộc vào đặc điểm của bài toán và dữ liệu đầu vào.

II. Thách Thức Trong Nhận Dạng Vượt Qua Các Giới Hạn

Nhận dạng vật thể đối mặt với nhiều thách thức do sự đa dạng của hình ảnh, bao gồm góc nhìn, ánh sáng, kích thước và độ che khuất. Các thuật toán cần phải có khả năng xử lý các biến thể này để đạt được độ chính xác cao. Bên cạnh đó, sự phức tạp của hình ảnh và số lượng lớn các đối tượng cần nhận dạng cũng là những thách thức đáng kể. Việc lựa chọn và kết hợp các đặc trưng một cách thông minh là rất quan trọng để vượt qua những thách thức này. Ví dụ, việc sử dụng Spatial Pyramid Matching có thể giúp cải thiện khả năng nhận dạng vật thể trong các cảnh phức tạp bằng cách khai thác thông tin không gian.

2.1. Vấn Đề Biến Thể Hình Ảnh Cách Khắc Phục

Các biến thể hình ảnh như thay đổi góc nhìn, ánh sáng và kích thước gây khó khăn cho việc nhận dạng vật thể. Các thuật toán như SIFT và Scale-Invariant Feature Transform (SIFT) được thiết kế để giảm thiểu ảnh hưởng của các biến thể này. Ngoài ra, các kỹ thuật tăng cường dữ liệu (data augmentation) cũng có thể được sử dụng để tăng cường khả năng khái quát hóa của mô hình. Ví dụ, xoay, lật, và thay đổi độ sáng của hình ảnh huấn luyện có thể giúp mô hình trở nên mạnh mẽ hơn trước các biến thể hình ảnh.

2.2. Thách Thức Tính Toán Giải Pháp Tối Ưu Hiệu Năng

Việc nhận dạng vật thể trong thời gian thực đòi hỏi hiệu năng tính toán cao. Các phương pháp như giảm chiều dữ liệu (dimensionality reduction) và sử dụng phần cứng chuyên dụng (ví dụ: GPUs) có thể giúp cải thiện hiệu năng. Ngoài ra, các thuật toán song song (parallel algorithms) cũng có thể được sử dụng để tận dụng sức mạnh của các hệ thống đa lõi. Tối ưu hóa mã nguồn và sử dụng các thư viện hiệu quả (ví dụ: OpenCV) cũng là những yếu tố quan trọng để đạt được hiệu năng cao.

2.3. Giới Hạn của Bag of Words BoW Giải Pháp Thay Thế

Mô hình Bag-of-Words (BoW) bỏ qua thông tin không gian, dẫn đến khả năng nhận dạng vật thể kém trong các cảnh phức tạp. Spatial Pyramid Matching (SPM) là một giải pháp thay thế giúp khắc phục nhược điểm này bằng cách chia ảnh thành nhiều vùng không gian khác nhau và trích xuất đặc trưng từ mỗi vùng. Các mô hình dựa trên Deep Learning cũng có khả năng học các biểu diễn không gian phức tạp, giúp cải thiện độ chính xác của nhận dạng vật thể.

III. Spatial Pyramid Matching Cách SPM Cải Thiện Nhận Dạng

Spatial Pyramid Matching (SPM) là một kỹ thuật quan trọng trong nhận dạng vật thể. Nó chia ảnh thành nhiều cấp độ phân giải khác nhau, tạo ra một cấu trúc phân cấp không gian. Các đặc trưng được trích xuất từ mỗi cấp độ và kết hợp lại để tạo thành một biểu diễn toàn diện của ảnh. SPM giúp cải thiện khả năng nhận dạng vật thể bằng cách khai thác thông tin không gian và ngữ cảnh. Theo nghiên cứu, việc sử dụng SPM kết hợp với SVM có thể đạt được kết quả tốt hơn so với việc chỉ sử dụng Bag-of-Words (BoW).

3.1. Nguyên Lý Hoạt Động Của Spatial Pyramid Matching SPM

Spatial Pyramid Matching (SPM) chia ảnh thành các ô vuông ở nhiều cấp độ phân giải. Ở cấp độ thấp nhất, ảnh được chia thành một ô vuông duy nhất. Ở các cấp độ cao hơn, ảnh được chia thành 4, 16, hoặc nhiều ô vuông hơn. Các đặc trưng được trích xuất từ mỗi ô vuông và kết hợp lại để tạo thành một vectơ đặc trưng duy nhất. Vectơ đặc trưng này sau đó được sử dụng để huấn luyện mô hình SVM.

3.2. Ưu Điểm Nhược Điểm Của Phương Pháp SPM

Ưu điểm chính của SPM là khả năng khai thác thông tin không gian, giúp cải thiện khả năng nhận dạng vật thể trong các cảnh phức tạp. Tuy nhiên, SPM cũng có một số nhược điểm, bao gồm việc tăng kích thước vectơ đặc trưng và độ phức tạp tính toán. Việc lựa chọn số lượng cấp độ phân giải phù hợp là rất quan trọng để đạt được hiệu quả tốt nhất. Việc sử dụng thông tin từ các cấp phân giải thô kết hợp với thông tin chi tiết từ các cấp phân giải mịn cho phép thuật toán có độ chính xác cao hơn.

3.3. Kết Hợp SPM Với Các Thuật Toán Trích Xuất Đặc Trưng

SPM thường được kết hợp với các thuật toán trích xuất đặc trưng như SIFT, HOG, và các đặc trưng dựa trên Deep Learning. Việc lựa chọn thuật toán trích xuất đặc trưng phù hợp phụ thuộc vào đặc điểm của bài toán và dữ liệu đầu vào. Ví dụ, SIFT có thể được sử dụng để trích xuất các đặc trưng bất biến với tỷ lệ và xoay, trong khi HOG có thể được sử dụng để trích xuất các đặc trưng hình dạng.

IV. Support Vector Machine SVM Phân Loại Vật Thể Hiệu Quả

Support Vector Machine (SVM) là một thuật toán học máy mạnh mẽ được sử dụng rộng rãi trong nhận dạng vật thể. Nó tìm kiếm một siêu phẳng tối ưu để phân chia các lớp đối tượng trong không gian đặc trưng. SVM có khả năng xử lý dữ liệu phi tuyến tính thông qua việc sử dụng các kernel khác nhau. Theo tài liệu, SVM là một lựa chọn tốt để phân loại các đối tượng dựa trên các đặc trưng được trích xuất bằng SPM.

4.1. Cơ Chế Hoạt Động Của Thuật Toán SVM Trong Nhận Dạng

SVM hoạt động bằng cách tìm kiếm một siêu phẳng phân chia các lớp đối tượng trong không gian đặc trưng. Siêu phẳng tối ưu là siêu phẳng có khoảng cách lớn nhất đến các điểm dữ liệu gần nhất của mỗi lớp. Các điểm dữ liệu này được gọi là các vector hỗ trợ (support vectors). SVM có thể sử dụng các kernel khác nhau để xử lý dữ liệu phi tuyến tính, bao gồm kernel tuyến tính, kernel đa thức và kernel RBF.

4.2. Các Loại Kernel SVM Ứng Dụng Phù Hợp

Việc lựa chọn kernel SVM phù hợp phụ thuộc vào đặc điểm của dữ liệu. Kernel tuyến tính thường được sử dụng cho dữ liệu tuyến tính, trong khi kernel đa thức và kernel RBF được sử dụng cho dữ liệu phi tuyến tính. Kernel RBF thường là lựa chọn tốt nhất cho các bài toán nhận dạng vật thể phức tạp. Lựa chọn kernel phù hợp thường cải thiện đáng kể độ chính xác mô hình.

4.3. Ưu Điểm Hạn Chế Của SVM So Với Các Thuật Toán Khác

SVM có nhiều ưu điểm so với các thuật toán phân loại khác, bao gồm khả năng xử lý dữ liệu phi tuyến tính, khả năng khái quát hóa tốt và hiệu quả tính toán cao. Tuy nhiên, SVM cũng có một số hạn chế, bao gồm khó khăn trong việc lựa chọn kernel và tham số phù hợp, và khả năng mở rộng kém đối với các tập dữ liệu lớn. Trong những trường hợp dữ liệu lớn, các thuật toán Deep Learning thường là lựa chọn tốt hơn.

V. Kết Quả Luận Văn Đánh Giá Hiệu Quả SPM và SVM

Luận văn này trình bày kết quả của việc áp dụng Spatial Pyramid Matching (SPM) và Support Vector Machine (SVM) cho bài toán nhận dạng vật thể. Kết quả cho thấy rằng việc kết hợp SPM và SVM mang lại hiệu quả cao hơn so với việc chỉ sử dụng một trong hai phương pháp. Hiệu suất của hệ thống được đánh giá bằng các độ đo như Accuracy, Precision, Recall, và F1-Score. Việc so sánh với các phương pháp khác cũng được thực hiện để đánh giá tính ưu việt của phương pháp đề xuất.

5.1. Các Bộ Dữ Liệu Sử Dụng Để Huấn Luyện Kiểm Thử

Luận văn sử dụng các bộ dữ liệu phổ biến trong lĩnh vực nhận dạng vật thể như CIFAR-10 và VOC. Các bộ dữ liệu này chứa nhiều loại đối tượng khác nhau và được sử dụng để đánh giá khả năng tổng quát hóa của hệ thống. Việc sử dụng các bộ dữ liệu chuẩn giúp đảm bảo tính khách quan và có thể so sánh với các nghiên cứu khác trong lĩnh vực.

5.2. Đánh Giá Hiệu Suất Mô Hình Bằng Các Độ Đo Chuẩn

Hiệu suất của mô hình được đánh giá bằng các độ đo chuẩn như Accuracy, Precision, Recall, và F1-Score. Accuracy đo tỷ lệ các đối tượng được phân loại đúng. Precision đo tỷ lệ các đối tượng được dự đoán là thuộc một lớp cụ thể và thực sự thuộc lớp đó. Recall đo tỷ lệ các đối tượng thuộc một lớp cụ thể và được dự đoán đúng là thuộc lớp đó. F1-Score là trung bình điều hòa của Precision và Recall.

5.3. So Sánh Kết Quả Với Các Phương Pháp Nhận Dạng Khác

Kết quả của luận văn được so sánh với các phương pháp nhận dạng vật thể khác như Bag-of-Words (BoW) và các mô hình dựa trên Deep Learning. So sánh này giúp đánh giá tính ưu việt của phương pháp đề xuất và xác định các hướng cải thiện trong tương lai. Phương pháp được đề xuất thường cho kết quả tốt hơn trong một số trường hợp, đặc biệt là khi dữ liệu có cấu trúc không gian phức tạp.

VI. Kết Luận Hướng Phát Triển Nhận Dạng Vật Thể Tương Lai

Luận văn này đã trình bày một hệ thống nhận dạng vật thể dựa trên Spatial Pyramid Matching (SPM) và Support Vector Machine (SVM). Kết quả cho thấy rằng hệ thống này có hiệu quả trong việc phân loại ảnh và nhận dạng vật thể trong các cảnh phức tạp. Hướng phát triển tiếp theo có thể tập trung vào việc cải thiện hiệu năng của hệ thống và áp dụng các kỹ thuật Deep Learning để đạt được độ chính xác cao hơn. Việc tích hợp các thông tin ngữ cảnh cũng là một hướng nghiên cứu tiềm năng.

6.1. Tóm Tắt Đóng Góp Chính Của Luận Văn Thạc Sĩ

Luận văn này đã đóng góp vào lĩnh vực nhận dạng vật thể bằng cách trình bày một hệ thống hiệu quả dựa trên SPM và SVM. Hệ thống này đã được đánh giá trên các bộ dữ liệu chuẩn và cho thấy kết quả khả quan. Ngoài ra, luận văn cũng đã phân tích các ưu điểm và hạn chế của phương pháp đề xuất và đề xuất các hướng cải thiện trong tương lai.

6.2. Các Hướng Nghiên Cứu Tiếp Theo Để Cải Thiện Nhận Dạng

Các hướng nghiên cứu tiếp theo có thể tập trung vào việc cải thiện hiệu năng của hệ thống bằng cách sử dụng các thuật toán tối ưu hóa và phần cứng chuyên dụng. Việc áp dụng các kỹ thuật Deep Learning như các mạng nơ-ron tích chập (Convolutional Neural Networks - CNNs) cũng là một hướng tiềm năng. Ngoài ra, việc tích hợp các thông tin ngữ cảnh và sử dụng các mô hình chú ý (attention models) có thể giúp cải thiện độ chính xác của hệ thống.

6.3. Ứng Dụng Thực Tế Của Nhận Dạng Vật Thể SPM và SVM

Nhận dạng vật thể sử dụng SPM và SVM có nhiều ứng dụng thực tế, bao gồm nhận dạng biển báo giao thông, giám sát an ninh, và phân tích hình ảnh y tế. Trong lĩnh vực xe tự lái, nhận dạng vật thể được sử dụng để phát hiện và phân loại các đối tượng xung quanh xe, giúp xe đưa ra các quyết định an toàn. Trong lĩnh vực y tế, nhận dạng vật thể được sử dụng để phát hiện các khối u và các bất thường khác trong hình ảnh y tế.

Nội dung chính

Tổng quan nghiên cứu

Trong bối cảnh bùng nổ dữ liệu ảnh số hiện nay, việc nhận dạng vật thể trong ảnh trở thành một nhu cầu thiết yếu phục vụ quản lý và truy vấn ảnh dựa trên nội dung. Theo báo cáo của ngành thị giác máy tính, các cuộc thi quốc tế như PASCAL Visual Object Classes (VOC) thu hút nhiều nhóm nghiên cứu với các phương pháp tiên tiến, trong đó mô hình túi đặc trưng (Bag of Words - BoW) kết hợp trích chọn đặc trưng SIFT và máy học SVM được áp dụng phổ biến. Tuy nhiên, các phương pháp truyền thống thường bỏ qua thông tin vị trí không gian của đặc trưng, dẫn đến hạn chế trong độ chính xác nhận dạng.

Luận văn tập trung thiết kế hệ thống nhận dạng vật thể dựa trên mô hình BoW kết hợp phương pháp so khớp phân cấp không gian (Spatial Pyramid Matching - SPM) và máy học vector hỗ trợ (Support Vector Machine - SVM). Mục tiêu cụ thể là nghiên cứu trích chọn đặc trưng cục bộ bất biến SIFT, áp dụng phương pháp SPM để khai thác thông tin không gian, sử dụng kỹ thuật sliding window để xác định vị trí vật thể trong ảnh, đồng thời xây dựng chương trình nhận dạng trên máy tính cá nhân và hệ thống nhúng BeagleBone Black. Phạm vi nghiên cứu giới hạn trong 6 lớp vật thể, ảnh đầu vào có kích thước từ 200 đến 500 pixel mỗi chiều, và chỉ nhận dạng vật thể chính chiếm tỷ lệ lớn trong ảnh.

Ý nghĩa nghiên cứu thể hiện qua việc nâng cao độ chính xác nhận dạng vật thể trong ảnh có nhiều đối tượng và phức tạp về bố cục, đồng thời mở rộng khả năng ứng dụng trên hệ thống nhúng với tài nguyên hạn chế. Kết quả nghiên cứu góp phần phát triển các giải pháp nhận dạng ảnh hiệu quả, phù hợp với yêu cầu thực tiễn trong lĩnh vực thị giác máy tính và ứng dụng nhúng.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Luận văn dựa trên hai lý thuyết và mô hình chính:

1. Mô hình Bag of Words (BoW): Biểu diễn ảnh dưới dạng histogram các từ đặc trưng được tạo thành từ các vector đặc trưng cục bộ (SIFT). BoW đơn giản, dễ triển khai và có khả năng nhận dạng vật thể ở nhiều tư thế khác nhau, nhưng không khai thác thông tin vị trí không gian của đặc trưng.

2. Phương pháp So khớp phân cấp không gian (Spatial Pyramid Matching - SPM): Mở rộng BoW bằng cách chia ảnh thành các vùng con theo các mức phân cấp khác nhau, tính histogram đặc trưng cho từng vùng, sau đó kết hợp các histogram này với trọng số tương ứng. SPM giúp giữ lại thông tin vị trí không gian, cải thiện độ chính xác nhận dạng.

Các khái niệm chính bao gồm:

• Đặc trưng SIFT (Scale Invariant Feature Transform): Trích chọn đặc trưng cục bộ bất biến với các biến đổi về tỷ lệ, xoay và ánh sáng, mô tả mỗi điểm đặc biệt bằng vector 128 chiều.

• Phân cụm K-means: Tạo bộ từ điển BoW bằng cách phân cụm các vector đặc trưng SIFT thành các cụm đại diện cho các "từ" trong bộ từ điển.

• Máy học SVM (Support Vector Machine): Phân loại các vector histogram BoW hoặc SPM thành các lớp vật thể, sử dụng kernel phi tuyến để xử lý các trường hợp phân lớp phức tạp.

• Sliding Window: Kỹ thuật quét ảnh theo cửa sổ trượt để xác định vị trí vật thể trong ảnh.

Phương pháp nghiên cứu

Nguồn dữ liệu sử dụng là tập ảnh huấn luyện và kiểm thử gồm 6 lớp vật thể khác nhau, với ảnh đầu vào có kích thước từ 200 đến 500 pixel mỗi chiều. Quá trình nghiên cứu được thực hiện trong khoảng thời gian từ tháng 01/2016 đến tháng 01/2017 tại Trường Đại học Bách Khoa, Đại học Quốc gia TP. Hồ Chí Minh.

Phương pháp phân tích bao gồm:

• Trích chọn đặc trưng SIFT từ ảnh đầu vào.

• Áp dụng phân cụm K-means để xây dựng bộ từ điển BoW với các kích thước từ điển khác nhau (ví dụ: 200, 400, 600 từ).

• Tính toán histogram BoW cho từng ảnh, sau đó áp dụng phương pháp SPM với các mức phân cấp (ví dụ: 1, 2, 3 cấp) để khai thác thông tin không gian.

• Huấn luyện bộ phân loại SVM đa lớp theo chiến thuật một-một, sử dụng kernel RBF để tăng khả năng phân biệt.

• Sử dụng kỹ thuật sliding window để phát hiện vị trí vật thể trong ảnh.

• Xây dựng chương trình nhận dạng trên hệ điều hành Ubuntu với ngôn ngữ C++ và thư viện OpenCV, đồng thời triển khai trên hệ thống nhúng BeagleBone Black sử dụng hệ điều hành nhúng Angstrom.

Cỡ mẫu huấn luyện và kiểm thử được lựa chọn phù hợp để đảm bảo tính đại diện và độ tin cậy của kết quả. Phương pháp chọn mẫu dựa trên tập ảnh có nhãn rõ ràng, đa dạng về điều kiện chụp và bố cục. Phân tích kết quả được thực hiện thông qua các chỉ số chính xác nhận dạng và tỷ lệ nhận dạng đúng trên từng lớp vật thể.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

1. Ảnh hưởng của kích thước bộ từ điển đến độ chính xác nhận dạng: Khi tăng kích thước bộ từ điển từ 200 lên 600 từ, tỷ lệ nhận dạng đúng trung bình trên 6 lớp vật thể tăng từ khoảng 75% lên đến 85%. Điều này cho thấy bộ từ điển lớn hơn giúp mô hình BoW biểu diễn đặc trưng chi tiết hơn, cải thiện khả năng phân biệt các lớp vật thể.

2. Tác động của mức phân cấp trong SPM: Sử dụng SPM với 3 mức phân cấp cho kết quả nhận dạng tốt hơn so với 1 hoặc 2 mức, với tỷ lệ nhận dạng đúng đạt khoảng 88%, cao hơn 5-7% so với BoW truyền thống không sử dụng SPM. Việc khai thác thông tin vị trí không gian giúp giảm nhầm lẫn giữa các lớp có đặc trưng tương tự.

3. Hiệu quả của kỹ thuật sliding window: Sliding window cho phép xác định vị trí vật thể chính trong ảnh với độ chính xác vị trí đạt khoảng 80%, hỗ trợ tốt cho việc nhận dạng vật thể trong ảnh có nhiều đối tượng.

4. Triển khai trên hệ thống nhúng BeagleBone Black: Hệ thống nhận dạng vật thể được xây dựng trên BeagleBone Black hoạt động ổn định, với thời gian xử lý trung bình cho mỗi ảnh khoảng 2 giây, phù hợp cho các ứng dụng nhúng thời gian thực với tài nguyên hạn chế.

Thảo luận kết quả

Kết quả cho thấy việc kết hợp mô hình BoW với phương pháp SPM và máy học SVM mang lại hiệu quả nhận dạng vượt trội so với các phương pháp truyền thống chỉ sử dụng BoW. Việc tăng kích thước bộ từ điển giúp mô hình biểu diễn đặc trưng phong phú hơn, tuy nhiên cần cân nhắc giữa độ chính xác và chi phí tính toán. SPM đóng vai trò quan trọng trong việc giữ lại thông tin vị trí không gian, giúp phân biệt các vật thể có đặc trưng cục bộ tương tự nhưng bố cục khác nhau.

Kỹ thuật sliding window hỗ trợ phát hiện vị trí vật thể, giải quyết hạn chế của BoW không xác định được vị trí trong ảnh. So sánh với các nghiên cứu gần đây, kết quả nhận dạng đạt tỷ lệ trên 85% là mức khá cao trong điều kiện ảnh có kích thước vừa phải và đa dạng về lớp vật thể.

Việc triển khai trên BeagleBone Black chứng minh tính khả thi của hệ thống trong môi trường nhúng, mở ra hướng ứng dụng thực tế trong các thiết bị di động hoặc hệ thống giám sát thông minh. Các biểu đồ so sánh tỷ lệ nhận dạng đúng theo kích thước bộ từ điển và mức phân cấp SPM sẽ minh họa rõ ràng sự cải thiện hiệu quả của phương pháp.

Đề xuất và khuyến nghị

1. Tăng cường kích thước và đa dạng bộ từ điển: Đề xuất mở rộng bộ từ điển BoW lên trên 1000 từ để nâng cao khả năng biểu diễn đặc trưng, đồng thời áp dụng các thuật toán phân cụm cải tiến để giảm chi phí tính toán. Thời gian thực hiện dự kiến trong 6-12 tháng, do nhóm nghiên cứu và kỹ sư phần mềm đảm nhiệm.

2. Phát triển mô hình SPM đa cấp cao hơn: Nghiên cứu áp dụng SPM với nhiều mức phân cấp hơn (4-5 cấp) để khai thác sâu hơn thông tin không gian, cải thiện độ chính xác nhận dạng trong các trường hợp phức tạp. Thời gian thực hiện khoảng 6 tháng, do nhóm nghiên cứu thị giác máy tính thực hiện.

3. Tối ưu thuật toán sliding window: Áp dụng kỹ thuật đa tỷ lệ (multi-scale) và thuật toán lọc nhanh để giảm thời gian xử lý, nâng cao hiệu quả phát hiện vị trí vật thể trong ảnh lớn hoặc ảnh có nhiều vật thể. Thời gian thực hiện 3-6 tháng, do nhóm phát triển phần mềm và kỹ sư nhúng phối hợp.

4. Mở rộng triển khai trên các nền tảng nhúng khác: Khảo sát và triển khai hệ thống trên các board nhúng khác như Raspberry Pi hoặc NVIDIA Jetson để so sánh hiệu năng và khả năng ứng dụng thực tế. Thời gian thực hiện 6 tháng, do nhóm kỹ sư nhúng đảm nhận.

5. Ứng dụng trong các lĩnh vực thực tiễn: Đề xuất áp dụng hệ thống nhận dạng vật thể trong giám sát an ninh, quản lý kho hàng, và robot tự hành để đánh giá hiệu quả và điều chỉnh phù hợp với yêu cầu thực tế.

Đối tượng nên tham khảo luận văn

1. Nhà nghiên cứu và sinh viên ngành Kỹ thuật Điện tử - Thị giác máy tính: Luận văn cung cấp kiến thức chuyên sâu về trích chọn đặc trưng SIFT, mô hình BoW, SPM và SVM, giúp phát triển các đề tài nghiên cứu liên quan đến nhận dạng ảnh và thị giác máy tính.

2. Kỹ sư phát triển phần mềm và hệ thống nhúng: Nội dung về triển khai trên BeagleBone Black và tối ưu thuật toán nhận dạng phù hợp với các ứng dụng nhúng, hỗ trợ phát triển các sản phẩm công nghệ thông minh.

3. Doanh nghiệp và tổ chức ứng dụng công nghệ nhận dạng hình ảnh: Các công ty trong lĩnh vực an ninh, quản lý kho, robot tự hành có thể tham khảo để áp dụng giải pháp nhận dạng vật thể hiệu quả, tiết kiệm chi phí và nâng cao hiệu suất.

4. Giảng viên và nhà đào tạo: Tài liệu luận văn là nguồn tham khảo quý giá để xây dựng giáo trình, bài giảng về thị giác máy tính, học máy và ứng dụng trong kỹ thuật điện tử.

Câu hỏi thường gặp

1. Phương pháp SPM cải thiện nhận dạng vật thể như thế nào?
   SPM chia ảnh thành các vùng con theo nhiều mức phân cấp, tính histogram đặc trưng cho từng vùng, từ đó giữ lại thông tin vị trí không gian. Điều này giúp phân biệt các vật thể có đặc trưng cục bộ tương tự nhưng bố cục khác nhau, nâng cao độ chính xác nhận dạng.

2. Tại sao chọn đặc trưng SIFT trong nghiên cứu?
   SIFT là đặc trưng cục bộ bất biến với các biến đổi về tỷ lệ, xoay và ánh sáng, mô tả chi tiết vùng lân cận điểm đặc biệt bằng vector 128 chiều. Điều này giúp nhận dạng vật thể ổn định và chính xác trong nhiều điều kiện khác nhau.

3. Sliding window có vai trò gì trong hệ thống?
   Sliding window quét ảnh theo cửa sổ trượt để phát hiện vị trí vật thể trong ảnh, hỗ trợ xác định vùng chứa vật thể chính, khắc phục hạn chế của BoW không xác định được vị trí trong ảnh.

4. Làm thế nào để lựa chọn kích thước bộ từ điển BoW?
   Kích thước bộ từ điển cần cân bằng giữa độ chi tiết biểu diễn đặc trưng và chi phí tính toán. Kích thước lớn hơn giúp mô hình biểu diễn tốt hơn nhưng tốn thời gian và tài nguyên hơn. Thông thường thử nghiệm với các kích thước từ 200 đến 1000 từ để chọn giá trị tối ưu.

5. Hệ thống có thể áp dụng trên các nền tảng nhúng khác không?
   Có thể. Luận văn đã triển khai trên BeagleBone Black, nhưng phương pháp và thuật toán có thể được tối ưu và chuyển đổi để chạy trên các nền tảng nhúng khác như Raspberry Pi hoặc NVIDIA Jetson, tùy thuộc vào yêu cầu hiệu năng và tài nguyên.

Kết luận

• Luận văn đã thiết kế thành công hệ thống nhận dạng vật thể dựa trên mô hình BoW kết hợp phương pháp SPM và máy học SVM, đạt tỷ lệ nhận dạng đúng trên 85% với 6 lớp vật thể.

• Việc áp dụng kỹ thuật sliding window giúp xác định vị trí vật thể trong ảnh, nâng cao tính ứng dụng thực tế của hệ thống.

• Hệ thống được triển khai hiệu quả trên máy tính cá nhân và hệ thống nhúng BeagleBone Black, chứng minh tính khả thi trong môi trường tài nguyên hạn chế.

• Kết quả nghiên cứu góp phần phát triển các giải pháp nhận dạng ảnh chính xác, nhanh chóng và phù hợp với các ứng dụng nhúng.

• Hướng nghiên cứu tiếp theo bao gồm mở rộng bộ từ điển, tăng mức phân cấp SPM, tối ưu thuật toán sliding window và triển khai trên các nền tảng nhúng khác.

Để tiếp tục phát triển và ứng dụng hệ thống, các nhà nghiên cứu và kỹ sư được khuyến khích áp dụng các đề xuất cải tiến, đồng thời mở rộng phạm vi thử nghiệm với các bộ dữ liệu đa dạng hơn. Hãy bắt đầu triển khai các giải pháp nhận dạng vật thể thông minh để nâng cao hiệu quả quản lý và xử lý ảnh trong thực tế.

Trích đoạn nội dung tài liệu

Chương 1: Tổng quan. Trình b y tình hình nghiên cứu, lý do chọn dé t i, mục đ ch, đối tượng v phạm vi nghiên cứu, ý nghĩa th c tiễn v khoa học của đề t i nghiên cứu. Chương 2: Cơ sở lý thuy t. Trinh bay những lý thuyết cơ bản về bài toán nhận dạng ảnh, các phương pháp trích chọn đặc trưng, mô hình Bag of word, so khớp phân cấp không gian SPM, phương pháp sliding window v phương pháp học máy SVM được sử dụng trong luận văn.

Bên cạnh đó c n trình b y lý thuyết hệ thống nhúng. Chương 3: Thực hiện hệ thống. Mô tả cách xây d ng hệ thống nhận dạng của luận vănv các công việc đãth c hiện trên máy tính các nhân. Chương 4: Xây dựng hệ thống trên BeagleBone Black.

Mô ta cách xây d ng hệ thống trên board nhúng BeagleBone Black Chương 5: K t qu. Trình b y các kết quả của luận văn. B n luận về kết quả thu được. Chương 6: Ph nk t luận và ki n nghị.

Tổng kết những kết quả đã đạt được của luận văn v hướng phát triển nghiên cứu tiếp theo. Thiết kế hệ thông nhận dang vat thé GVHD: PGS.TS Hoang Trang Chương 2: CƠ SỞ LÝ THUYET 2.1 Bài toán nhận dạng nh Nhận dạng ảnh d a trên lý thuyết về nhận dạng. Nhận dạng là quá trình phân loại các đối tượng được biéu diễn theo một mô hình n o đó v o một lớp d a theo quy luật và các mẫu chuẩn. Quá trình bao gồm việc xác định các lớp của đối tượng sao cho có thể phân biệt.

Hệ thống nhận dạng sẽ th c hiện 2 việc: huấn luyện và nhận dạng. Trong quá trình huan luyện, các đặc trưng sẽ được trích chọn phù hợp cho việc biéu diễn và bộ phân loại sẽ được huẫn luyện dé phân chia không gian đặc trưng. Quá trình nhận dạng, bộ phân loại đã được huấn luyện gán một mẫu đầu vào vào một trong các lớp d a trên các đặc trưng đó. Một mô hình sẽ được xây d ng d a trên các dữ liệu huân luyện và mô hình này sẽ được sử dụng đề phân loại một dữ liệu mới vào các lớp.

Dữ liệu : huân luyện. > Trích chọn đặc trưng ›| Phân loại › A Quá trình hudn luyện Quá trình nhận dang Dữ liêu > kiểm tra Trích chon đặc trưng Hình 2-1 Quá trình huấn huyện và nhận dang của hệ thông nhận dạng 2.2 Các hướng ti p cận trong bài toán nhận dang Có 4 hướng tiếp cận chính cho bài toán nhận dạng: o Nhận dạng d a vào so khớp mau o Nhận dạng thống kê Thiết kế hệ thông nhận dang vat thé GVHD: PGS.TS Hoang Trang o Nhận dạng d a vào câu trúc o Nhận dạng d a vào mạng noron Trong các phương pháp trên thi phương pháp so khớp mẫu được sử dụng rộng rãi bởi tính dé th c thi của nó So khớp là một thuật toán chung trong nhận dạng, nó được sử dụng để xác định những điểm giống nhau giữa hai th c thé (các điểm, các góc, hình dạng. Trong so khớp mẫu, các mẫu cần nhận dang là biết trước v được so khớp với các mẫu đã lưu trữ, có tính tới các trường hợp mẫu bị quay, thay đổi tỉ lệ và bị tịnh tiến. Ngày nay với phương pháp so khớp mẫu, có rất nhiều cách để xây d ng bộ từ điển nhưng nổi trội hơn ca 1 mô hình Bag of word.

Mô hình n y có ưu điểm 1 đơn giản, dé năm bat, nhưng lại không đánh giá yếu tố không gian trong nhận diện vật thể, do đó kết quả không được chính xác. Bag of Words được sử dụng trong thị giác may tính, va xử lý ngôn ngữ t nhiên. Những ý tưởng đầu tiên về phương pháp n y được để xuất bởi Zellig Harris. Năm 1999, David Lowe đã phát minh ra giải thuật Sift với kha năng mô tả anh mạnh mẽ.

Từ đó Bag of Words có khuynh hướng sử dụng đặc trưng Sift để tạo các “Words”. Có rất nhiều dé tài nghiên cứu theo hướng n y đạt được kết quả khả quan. Đầu tiên phải kế đến dé t i của tác giả Gabriella Csurka[3], đề t in y sử dụng mô hình BoW cơ bản kết hợp với việc khảo sát hiệu quả của phương pháp Bow khi đi k m với các phương pháp phân lớp SVM va Bayes. Một số tác giả tìm cách khắc phục nhược điểm của BoW b ng cách kết hợp BoW với các yếu tô không gian, điển hình | tác giả S.

Lazebniksử dụng phương pháp khớp mẫu Spatial Pyramid [4] trong phân loại cảnh quan ảnh v Leibe với phương pháp Implicit Shape Model[5]. Mô hình BoW sử dụng nhiều thông số thay đôi khác nhau, nghiên cứu của tác giả lun Yang đã đánh giá s thay đổi của một số thông số trong mô hình ảnh hưởng đến kết quả nhận dạng [6]. Thiết kế hệ thông nhận dang vat thé GVHD: PGS.TS Hoang Trang Các nghiên cứu về BoW phân lớn đều cho kết quả nhận dạng tốt. Tuy nhiên đa sô vân có khuyêt điêm chưa xác định được vi tr của vật thê trong bức anh.

Luận văn của tôi theohướng tiếp cận so khớp mẫu với mô hình Bag of word, trích chọn đặc trưng SIFT kết hợp kernel phân cấp không gian SPM. Ngoài ra luận văn c n sử dụng phương pháp sliding window để xác định vị trí của vật thé trong anh. Luân văn tiễn hành khảo sát độ ảnh hưởng của mức phân cấp v_ k ch thước từ điển đến chất lượng nhận dạng. Các phương pháp trích chọn đặc trưng Trong nhận dang ảnh, việc | a chọn các đặc trưng th ch hop với từng loại truy vẫn và miền ứng dụng cùng với các độ đo tương đồng tương ứng là thành phần quan trọng và then chốt nhất.

Việc 1 a chọn các đặc trưng v độ đo thích hợp sẽ giúp tang cả tốc độ và mức độ chính xác của các hệ thống.Jawahe và cộng s [24] đã nêu ra các yêu cau co bản đối với thành phan | a chọn đặc trưng cho ảnh: e Thành phân | a chọn đặc trưng phải | a chọn được một tập các đặc trưng cung cấp đầu vào tốt nhất cho hệ thống tìm kiếm ảnh. Nếu số lượng các đặc trưng quá nhiều sé 1 m “che khuất? các “tn hiệu” (giảm các “tn hiệu” đối với tỉ lệ nhiễu), mặt khác, nếu số lượng các đặc trưng quá t sẽ khó phân biệt được ảnh trong tìm kiếm. e Nó phải giảm bớt được độ phức tap trong lúc tính toán tổng thé b ng giảm đa chiều của bài toán phân lớp. e Khi người dùng muốn sử dụng các đặc trưng đó cho mọi truy van, thi việc sử dụng các đặc trưng n y phải hiệu quả.

Vì số lượng các đặc trưng có thể | h ng ng n, dó đó thời gian xử lý của module phải tuyến tính với số lượng đặc trưng. e Vì thời gian xử lý của thành phần | a chọn đặc trưng tuyến tính với số lượng đặc trưng, do đó việc | a chọn các đặc trưng cũng nên tuyến tính d a trên phân lớp. Thiết kế hệ thông nhận dang vat thé GVHD: PGS.TS Hoang Trang e Thanh phần | a chọn đặc trưng có thé xử lý được với kích thước tập mẫu nh (khoảng 5 mẫu). Trong phan nay, chúng tôi sẽ trình b y sơ bộ về các van đề vẻ đặc trưng của ảnh(màu sac, kết cau, hình dạng, đặc trưng cục bộ SIFT), một số độ đo tương đồng tương ứng với các đặc trưng v phương pháp | a chọn đặc trưng ảnh dé tăng chất lượng tập đặc trưng.1 Đặc trưng màu s c Nhận dạng ảnh theo lược đồ m ul phương pháp phố biến v được sử dụng nhiều nhất trong các hệ thống tìm kiếm ảnh theo nội dung.

Day I phương pháp đơn giản, tốc độ tìm kiếm tương đối nhanh tuy nhiên kết quả tìm kiếm có độ chính xác không cao. Đây có thé xem 1 bước lọc đầu tiên cho những bước xử lý sau. Một số lược đồ m u được sử dụng như: lược đồ m u RGB, lược đồ m u HSI, lược đồ HSI cải tiến. Trong đó, lược đồ m u RGB được sử dụng pho bién nhat.

Lược đô mau RGB: Đôi với anh 256 m u, lược đỗ mau của anh tương đương với lược đô màu cua ảnh xám. Đôi với ảnh 24 bit m u, lược đô miêu tả khả năng kêt nồi vé cường độ của ba kênh màu R, G, B. Luợc đô m un y được định nghĩa như sau: haecsÌr.1) Trong đóNL số lượng điểm có trong anh. Lược đồ m un y được tính b ng cách rời rac hóa từng mau trong anh, sau đó đếm số điểm ảnh của mỗi màu.

Khi mà số lượng màu là có hạng, để thuận tiện hơn, người ta thường chuyển đổi ba kênh mau thành một biến giá trị duy nhất. Một cách khác dé t nh lược đồ màu của ảnh RGBLI ta phân ral m 3 lượt đỗ riêng biệt hg[ ], hel ]. Khi đó, mỗi lược đồ được tính b ng cách đếm kênh m u tương ứng trong mỗi điểm ảnh. e D6 tương đông về màu sac Thiết kế hệ thông nhận dang vat thé GVHD: PGS.TS Hoang Trang Một số độ đo tương đồng được sử dụng như: khoảng cách Oclit, Jensen-Shannon divergence (JSD).

Goi h() va h(M) tương ứng là 2 lượt đồ màu của hai anh I và anh M. Khi đó các loại độ đo màu được định nghĩa là một số nguyên (hoặc số th c) theo các loại độ đo tương ứng như sau: o Khoảng cách Ơclit: Day 1 khoảng cách Oclit thông thường giữa các K bin: Intersectiơn(h(), h(M)) = »7~ VAC) — (h(M))? (3.2) o Độ đo Jensen-Shannon divergence (JSD): Độ đo Jensen-Shannon divergence sử dụng lược d6 m u RGB dé tinh toán độ tương đồng về mau sắc giữa 2 anh: đ;sp(CH,H') = Xm=1 HuÌ0g Hm+—~ + Hy,log Hm+Hm, 2 —=- (3.3) Trong đó: Hv H I1 2 biêu đồ m u được so sánh, H,, là bin thứ m cua biểu đồ H.2 Đặc trưng k t cau Hiện tại, vẫn chưa có một định nghĩa ch nh thức cụ thé về kết cầu. Kết cau là một đối tượng dùng để phân hoạch ảnh ra thành những vùng quan tâm để phân lớp những vùng đó. Kết cấu cung cấp thông tin về s sắp xếp về mặt không gian của màu sắc v cường độ một ảnh.

Kết cau được đặc trưng bởi sẽ phan bé khong gian của những mức cường độ trong một khu v c láng giéng với nhau. Kết cau gdm các kết cầu gốc hay nhiều kết cau gộp lại đôi khi gọi là texel.