Nhận Diện Vật Thể Bằng Phương Pháp Bag of Words Kết Hợp Sliding-Window

Luận văn thạc sĩ nghiên cứu kỹ thuật điện tử nhận diện vật thể bằng phương pháp bag of words kết hợp sliding window, đánh giá hiện trạng, phân tích vấn đề, đề xuất biện pháp hoàn

• Tác giả: Dương Thiên Lý
• Người hướng dẫn: PGS.TS Hoàng Trang
• Trường học: Đại học Quốc gia TP.Hồ Chí Minh
• Chuyên ngành: Kỹ thuật điện tử
• Đề tài: Nhận Diện Vật Thể Bằng Phương Pháp Bag of Words Kết Hợp Sliding-Window
• Loại tài liệu: luận văn thạc sĩ
• Năm xuất bản: 2016
• Địa điểm: TP. Hồ Chí Minh

Mục lục chi tiết

• LỜI CAM ĐOAN
• LỜI CÁM ƠN
• 1. CHƯƠNG 1: MỞ ĐẦU
• 1.1. Nhận diện vật thể
• 1.2. Giới hạn đề tài
• 1.3. Cấu trúc luận văn
• 2. CHƯƠNG 2: TỔNG QUAN
• 2.1. Xu hướng nghiên cứu chính
• 2.2. Ưu điểm và khuyết điểm của Bag of Words
• 2.3. Deep Neural Network
• 2.4. Các nghiên cứu liên quan
• 2.5. Hướng nghiên cứu của luận văn
• 3. CHƯƠNG 3: CƠ SỞ LÝ THUYẾT
• 3.1. Giải thuật SIFT
• 3.1.1. Giới thiệu
• 3.1.2. Các bước thực hiện
• 3.1.3. Tính mô tả địa phương của điểm đặc biệt
• 3.2. Chia cụm k-mean
• 3.2.1. Phương pháp thực hiện
• 3.2.2. Ứng dụng của chia cụm k-mean
• 4. CHƯƠNG 4: HIỆN THỰC HỆ THỐNG
• 4.1. Xây dựng từ điển SIFT
• 4.2. Huấn luyện mẫu để xây dựng máy học SVM
• 4.3. Tạo sliding window
• 4.4. Xử lý dữ liệu từ sliding window
• 5. CHƯƠNG 5: KẾT QUẢ
• 5.1. Kết quả nhận dạng
• 5.2. Bàn luận kết quả
• 6. CHƯƠNG 6: KẾT LUẬN
• 6.1. Kết luận chung
• 6.2. Kiến nghị một số hướng nghiên cứu tiếp theo
• DANH MỤC TÀI LIỆU THAM KHẢO
• DANH SÁCH HÌNH MINH HỌA
• DANH SÁCH BẢNG SỐ LIỆU
• DANH MỤC CHỮ VIẾT TẮT

Tóm tắt

I. Tổng Quan Nhận Diện Vật Thể Bag of Words Sliding Window

Bài viết này giới thiệu tổng quan về phương pháp nhận diện đối tượng sử dụng Bag of Words (BoW) kết hợp với Sliding Window. Đây là một kỹ thuật cổ điển trong Computer Vision và Machine Learning được sử dụng để phát hiện và phân loại các đối tượng trong ảnh. Phương pháp này đặc biệt hữu ích khi đối tượng có thể xuất hiện ở nhiều vị trí khác nhau trong ảnh. Luận văn của Dương Thiên Lý tại Đại học Bách Khoa TP.HCM (2016) đã đi sâu vào việc xây dựng và đánh giá hệ thống nhận diện vật thể dựa trên mô hình này. Bài viết sẽ trình bày các thành phần chính của phương pháp, ưu nhược điểm, và các ứng dụng thực tế. Phương pháp này tuy đơn giản nhưng vẫn mang lại hiệu quả nhất định trong một số bài toán cụ thể. Luận văn gốc sử dụng 12 lớp đối tượng để kiểm chứng, đạt kết quả khả quan. Chúng ta sẽ tìm hiểu chi tiết về cách thức hoạt động của nó.

1.1. Giới thiệu phương pháp Bag of Words trong Computer Vision

Phương pháp Bag of Words (BoW), ban đầu được phát triển trong lĩnh vực xử lý ngôn ngữ tự nhiên, đã được ứng dụng thành công trong Computer Vision. Ý tưởng cơ bản là biểu diễn một hình ảnh như một tập hợp các "từ" trực quan, bỏ qua thông tin về vị trí và sự sắp xếp của chúng. Các "từ" này thường là các Feature Descriptors (SIFT, HOG, SURF) trích xuất từ ảnh. Việc tạo ra một Visual Vocabulary là bước quan trọng để xác định các "từ" này. Phương pháp này giúp đơn giản hóa quá trình Image Recognition và Image Classification. Zellig Harris là một trong những người đầu tiên đề xuất ý tưởng này. Trong lĩnh vực thị giác máy tính, David Lowe là người có đóng góp quan trọng với giải thuật SIFT.

1.2. Vai trò của Sliding Window trong Object Detection

Kỹ thuật Sliding Window đóng vai trò quan trọng trong việc Object Detection bằng cách duyệt qua ảnh theo từng "cửa sổ". Mỗi cửa sổ trượt sẽ được xử lý độc lập để xác định xem có đối tượng mục tiêu hay không. Window Size và Stride là hai tham số quan trọng ảnh hưởng đến hiệu suất của phương pháp. Patch Extraction từ mỗi cửa sổ là bước chuẩn bị cho việc Object Classification. Kỹ thuật này cho phép xác định vị trí của đối tượng trong ảnh, khắc phục nhược điểm của phương pháp BoW thuần túy. Luận văn gốc sử dụng Sliding Window để nhận diện đối tượng trong ảnh, kết hợp với kết quả phân loại từ mô hình BoW.

II. Thách Thức Nhận Diện Vấn Đề của Bag of Words Cần Khắc Phục

Mặc dù phương pháp Bag of Words mang lại nhiều ưu điểm, nhưng cũng tồn tại những thách thức cần vượt qua. Một trong những hạn chế lớn nhất là việc bỏ qua thông tin về không gian. Điều này có thể dẫn đến kết quả Image Classification không chính xác. Bài toán Object Localization cũng trở nên khó khăn hơn khi không có thông tin về vị trí tương đối của các đặc trưng. Ngoài ra, việc lựa chọn Feature Descriptors phù hợp và xây dựng một Visual Vocabulary hiệu quả cũng là một thách thức lớn. Theo Gabriella Csurka, hiệu quả của phương pháp BoW phụ thuộc nhiều vào sự kết hợp với các phương pháp phân loại khác. Cần có những giải pháp để khắc phục những hạn chế này và nâng cao độ chính xác của hệ thống nhận diện đối tượng.

2.1. Hạn chế về thông tin không gian trong mô hình BoW

Mô hình Bag of Words thuần túy bỏ qua hoàn toàn thông tin về vị trí của các đặc trưng trong ảnh. Điều này có nghĩa là một chiếc xe hơi được tạo thành từ các bộ phận rời rạc (bánh xe, cửa sổ, đèn) có thể bị nhầm lẫn với một tập hợp các đối tượng khác có cùng các bộ phận này nhưng được sắp xếp khác nhau. Do đó, việc cải thiện mô hình BoW bằng cách tích hợp thông tin không gian là một hướng nghiên cứu quan trọng. S. Lazebnik đã đề xuất phương pháp khớp mẫu Spatial Pyramid để cải thiện khả năng phân loại cảnh quan ảnh. Việc thiếu thông tin không gian ảnh hưởng trực tiếp đến Accuracy của hệ thống.

2.2. Ảnh hưởng của lựa chọn Feature Descriptors đến hiệu suất

Việc lựa chọn Feature Descriptors như SIFT, HOG, SURF có ảnh hưởng lớn đến hiệu suất của hệ thống nhận diện đối tượng. Mỗi loại Feature Descriptor có những ưu điểm và nhược điểm riêng, phù hợp với các loại đối tượng và điều kiện khác nhau. SIFT (Scale-invariant feature transform) có khả năng mô tả ảnh mạnh mẽ. HOG (Histogram of Oriented Gradients) thường được sử dụng cho nhận diện đối tượng người. Việc lựa chọn Feature Descriptors phù hợp cần dựa trên đặc điểm của bài toán cụ thể. Luận văn của Dương Thiên Lý sử dụng đặc trưng SIFT.

III. Phương Pháp Hiệu Quả Kết Hợp BoW và Sliding Window để Nhận Diện

Để khắc phục những hạn chế của Bag of Words, phương pháp kết hợp BoW và Sliding Window đã được đề xuất. Phương pháp này cho phép hệ thống không chỉ phân loại đối tượng mà còn xác định vị trí của nó trong ảnh. Sliding Window duyệt qua ảnh theo từng vùng nhỏ, và mỗi vùng được biểu diễn bằng mô hình BoW. Sau đó, một Classification Algorithm (ví dụ: SVM (Support Vector Machine)) được sử dụng để phân loại mỗi vùng. Quá trình này lặp lại cho đến khi toàn bộ ảnh được quét qua. Phương pháp này tuy tốn kém về mặt tính toán, nhưng mang lại kết quả Object Localization tốt hơn. Luận văn gốc tập trung vào việc cải thiện độ chính xác và khả năng Object Localization bằng cách kết hợp hai phương pháp này.

3.1. Sử dụng Sliding Window để trích xuất vùng ảnh chứa đối tượng

Kỹ thuật Sliding Window được sử dụng để trích xuất các vùng ảnh tiềm năng chứa đối tượng. Window Size và Stride là hai tham số quan trọng quyết định số lượng và kích thước của các vùng ảnh được trích xuất. Kích thước cửa sổ phải phù hợp với kích thước của đối tượng mục tiêu. Bước dịch chuyển (Stride) nhỏ giúp tăng khả năng phát hiện đối tượng, nhưng cũng làm tăng thời gian tính toán. Việc lựa chọn các tham số này cần cân nhắc giữa độ chính xác và hiệu suất. Hình 3-19 trong tài liệu gốc minh họa ví dụ về phát hiện gương mặt bằng sliding window.

3.2. Phân loại vùng ảnh bằng SVM sau khi biểu diễn BoW

Sau khi các vùng ảnh được trích xuất bằng Sliding Window, mỗi vùng được biểu diễn bằng mô hình Bag of Words. Tiếp theo, một Classification Algorithm như SVM (Support Vector Machine) được sử dụng để phân loại vùng ảnh đó. SVM là một thuật toán học máy mạnh mẽ, có khả năng xử lý dữ liệu phi tuyến tính. Việc huấn luyện mô hình SVM đòi hỏi một tập dữ liệu lớn và đa dạng. Kết quả Object Classification từ SVM được sử dụng để xác định xem vùng ảnh có chứa đối tượng mục tiêu hay không.

IV. Ứng Dụng Thực Tế Đánh Giá Hiệu Suất Nhận Diện Vật Thể

Phương pháp Bag of Words kết hợp Sliding Window đã được ứng dụng trong nhiều bài toán thực tế, bao gồm nhận diện đối tượng trong ảnh và video. Hiệu suất của phương pháp thường được đánh giá bằng các chỉ số như Accuracy, Precision, Recall, và F1-Score. Tập dữ liệu sử dụng để huấn luyện và kiểm tra mô hình cũng có ảnh hưởng lớn đến kết quả. Việc sử dụng các Datasets đa dạng và có chất lượng cao là rất quan trọng. Jun Yang đã đánh giá sự thay đổi của một số thông số trong mô hình ảnh hưởng đến kết quả nhận dạng [6]. Luận văn của Dương Thiên Lý thực hiện đánh giá hiệu suất trên các bộ ảnh khác nhau để kiểm tra tính ổn định của hệ thống.

4.1. Các chỉ số đánh giá hiệu suất Accuracy Precision Recall

Accuracy đo lường tỷ lệ các trường hợp được phân loại đúng trên tổng số trường hợp. Precision đo lường tỷ lệ các trường hợp được dự đoán là dương tính và thực sự là dương tính. Recall đo lường tỷ lệ các trường hợp dương tính thực sự được dự đoán là dương tính. F1-Score là trung bình điều hòa của Precision và Recall, cung cấp một đánh giá tổng quan về hiệu suất của mô hình. Các chỉ số này cần được xem xét cùng nhau để đánh giá toàn diện hiệu suất của hệ thống nhận diện đối tượng.

4.2. Ảnh hưởng của Datasets huấn luyện đến kết quả nhận diện

Chất lượng và số lượng của Datasets huấn luyện có ảnh hưởng lớn đến hiệu suất của hệ thống nhận diện đối tượng. Một tập dữ liệu lớn và đa dạng giúp mô hình học được các đặc trưng quan trọng và giảm thiểu hiện tượng quá khớp (overfitting). Việc sử dụng các kỹ thuật tăng cường dữ liệu (data augmentation) có thể giúp cải thiện hiệu suất của mô hình khi dữ liệu huấn luyện bị hạn chế. Luận văn gốc khảo sát ảnh hưởng của tính chất bộ mẫu sưu tầm đến chất lượng nhận dạng.

V. Kết Luận Hướng Phát Triển Tương Lai của Nhận Diện Vật Thể BoW

Phương pháp Bag of Words kết hợp Sliding Window là một kỹ thuật hiệu quả để nhận diện đối tượng trong ảnh. Mặc dù có những hạn chế, nhưng phương pháp này vẫn được sử dụng rộng rãi trong nhiều ứng dụng thực tế. Với sự phát triển của Deep Learning, các phương pháp dựa trên Convolutional Neural Networks (CNN) đã đạt được những tiến bộ vượt bậc trong lĩnh vực Computer Vision. Tuy nhiên, BoW vẫn là một lựa chọn phù hợp cho các bài toán đơn giản hoặc khi tài nguyên tính toán bị hạn chế. Nghiên cứu tiếp theo có thể tập trung vào việc kết hợp BoW với các kỹ thuật Deep Learning để tận dụng ưu điểm của cả hai phương pháp.

5.1. Ưu điểm và nhược điểm của phương pháp BoW kết hợp Sliding Window

Ưu điểm chính của phương pháp BoW kết hợp Sliding Window là tính đơn giản và dễ hiểu. Phương pháp này cũng cho phép xác định vị trí của đối tượng trong ảnh. Tuy nhiên, nhược điểm lớn nhất là tốn kém về mặt tính toán và bỏ qua thông tin về không gian. So với các phương pháp Deep Learning, BoW có độ chính xác thấp hơn và khả năng xử lý dữ liệu phức tạp hạn chế hơn.

5.2. Hướng nghiên cứu tiếp theo Kết hợp BoW và Deep Learning

Một hướng nghiên cứu tiềm năng là kết hợp BoW với các kỹ thuật Deep Learning. Ví dụ, có thể sử dụng CNN để trích xuất các Feature Descriptors mạnh mẽ hơn, sau đó sử dụng BoW để biểu diễn và phân loại đối tượng. Sự kết hợp này có thể tận dụng ưu điểm của cả hai phương pháp và đạt được hiệu suất tốt hơn so với việc sử dụng riêng lẻ. Ngoài ra, việc phát triển các thuật toán Sliding Window hiệu quả hơn cũng là một hướng nghiên cứu quan trọng.

Nội dung chính

Tổng quan nghiên cứu

Nhận diện vật thể trong ảnh là một lĩnh vực trọng yếu và đầy thách thức trong ngành thị giác máy tính, với ứng dụng rộng rãi trong robot có thị giác, hệ thống giám sát tự động và nhiều lĩnh vực khác. Trong khoảng thời gian nghiên cứu từ đầu năm 2016 đến giữa năm 2016, luận văn tập trung xây dựng hệ thống nhận diện 12 lớp vật thể phổ biến như máy bay, xe đạp, xe hơi, con mèo, con gà, chó đốm, máy bay trực thăng, bồ câu, laptop, hoa sen, hoa hướng dương và cây xanh. Mục tiêu chính là phát triển mô hình nhận diện vật thể trên máy tính cá nhân với tỉ lệ nhận dạng đúng tối thiểu 50%, sử dụng phương pháp Bag of Words (BoW) kết hợp kỹ thuật sliding window để xác định vị trí vật thể trong ảnh.

Phạm vi nghiên cứu giới hạn trong việc xử lý ảnh có kích thước từ 200 đến 500 pixel mỗi chiều, với dữ liệu huấn luyện và kiểm thử được thu thập từ các bộ ảnh đa dạng, bao gồm ảnh có nền phức tạp và nền trong suốt. Ý nghĩa của nghiên cứu thể hiện qua việc cải thiện độ chính xác nhận diện vật thể, đồng thời khảo sát ảnh hưởng của đặc điểm bộ mẫu huấn luyện đến hiệu quả nhận dạng. Kết quả cho thấy một số lớp vật thể đạt tỉ lệ nhận dạng trên 90%, trong khi lớp thấp nhất cũng vượt mức 50%, minh chứng cho tính khả thi và hiệu quả của phương pháp đề xuất.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Luận văn dựa trên hai lý thuyết và mô hình chính:

1. Mô hình Bag of Words (BoW): Đây là phương pháp biểu diễn ảnh dưới dạng tập hợp các "từ" đặc trưng, được tạo thành từ các vector đặc trưng SIFT (Scale-Invariant Feature Transform). BoW cho phép mô tả ảnh bằng histogram các từ trong bộ từ điển, giúp phân loại ảnh thành các lớp vật thể khác nhau. Ưu điểm của BoW là đơn giản, dễ triển khai và có khả năng nhận diện vật thể ở nhiều tư thế khác nhau. Tuy nhiên, BoW không xét đến yếu tố không gian và vị trí của các đặc trưng trong ảnh, dẫn đến hạn chế trong việc xác định vị trí vật thể và phân biệt các vật thể có hình dạng tương đồng.

2. Giải thuật SIFT: Là thuật toán trích xuất đặc trưng cục bộ bất biến với các biến đổi về kích thước, góc xoay và ánh sáng. Mỗi điểm đặc trưng SIFT được mô tả bằng vector 128 chiều, giúp mô tả chi tiết vùng lân cận điểm đặc biệt trong ảnh. SIFT là nền tảng để tạo ra các từ trong mô hình BoW.

3. Phương pháp phân cụm k-means: Được sử dụng để phân nhóm các vector đặc trưng SIFT thành các cụm, từ đó tạo bộ từ điển BoW với số lượng từ điển được chọn là 1500. Việc chọn số lượng cụm phù hợp giúp cân bằng giữa độ chính xác và thời gian tính toán.

4. Máy học phân lớp SVM (Support Vector Machine): Sử dụng phương pháp phân lớp tuyến tính để phân loại các vector histogram BoW thành 12 lớp vật thể. SVM được huấn luyện với chiến thuật "one-against-one" để xử lý bài toán đa lớp, với tổng số 66 máy phân lớp nhị phân.

5. Phương pháp Sliding Window: Kỹ thuật duyệt cửa sổ trượt trên ảnh với nhiều kích thước khác nhau nhằm phát hiện và xác định vị trí vật thể trong ảnh. Mỗi cửa sổ được trích đặc trưng và phân loại độc lập, giúp tăng độ chính xác nhận diện và xác định vị trí vật thể.

Phương pháp nghiên cứu

Nguồn dữ liệu gồm khoảng 2500 ảnh huấn luyện, mỗi ảnh có trung bình 200 điểm đặc trưng SIFT, được thu thập từ công cụ tìm kiếm ảnh trực tuyến với số lượng mẫu mỗi lớp từ 200 đến 400 ảnh. Bộ dữ liệu được chia đôi để huấn luyện và kiểm thử. Ảnh có kích thước từ 200 đến 500 pixel mỗi chiều, bao gồm ảnh có nền phức tạp và nền trong suốt.

Phương pháp phân tích gồm các bước:

• Trích xuất đặc trưng SIFT từ ảnh.
• Phân cụm k-means để tạo bộ từ điển BoW với 1500 từ.
• Tính histogram BoW cho từng ảnh.
• Huấn luyện máy học SVM với kernel tuyến tính, thời gian huấn luyện khoảng 15 phút cho 12 lớp.
• Áp dụng kỹ thuật sliding window với bước dịch chuyển bằng 1/10 chiều lớn nhất của ảnh, duyệt qua nhiều kích thước cửa sổ để phát hiện vật thể.
• Xử lý kết quả nhận dạng từ các cửa sổ trượt, gom các cửa sổ có kết quả tương tự và vị trí gần nhau thành cụm, chọn vật thể có điểm số cao nhất làm kết quả cuối cùng.

Timeline nghiên cứu kéo dài từ tháng 1 đến tháng 7 năm 2016, với thời gian tính toán phân cụm k-means lên đến khoảng 1 ngày do khối lượng tính toán lớn.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

1. Tỉ lệ nhận dạng vật thể đạt trên 50% cho tất cả 12 lớp: Lớp có kết quả nhận dạng thấp nhất cũng đạt trên 50%, trong khi một số lớp như xe đạp, xe hơi, cây xanh có tỉ lệ nhận dạng trên 90%. Ví dụ, với bộ ảnh huấn luyện có nền, tỉ lệ nhận dạng đúng của lớp xe đạp đạt khoảng 97%, trong khi lớp máy bay và trực thăng có sự nhầm lẫn do hình dạng tương đồng.

2. Ảnh hưởng của nền ảnh đến kết quả nhận dạng: Bộ mẫu huấn luyện có nền trong suốt cho kết quả nhận dạng chính xác cao hơn đáng kể so với bộ mẫu có nền phức tạp. Ví dụ, tỉ lệ nhận dạng đúng với bộ ảnh nền trong suốt đạt gần 99% cho lớp xe đạp, so với khoảng 63% khi dùng bộ ảnh có nền phức tạp.

3. Ảnh hưởng của hình dạng vật thể đến độ chính xác: Các vật thể có hình dạng ít biến đổi như cây xanh, hoa hướng dương có kết quả nhận dạng tốt hơn so với các vật thể có hình dạng đa dạng như máy bay, xe hơi. Điều này được thể hiện qua biểu đồ tỉ lệ nhận dạng đúng, với các lớp có hình dạng cố định đạt trên 90%, trong khi các lớp đa dạng chỉ đạt khoảng 50-70%.

4. Khả năng xác định vị trí vật thể bằng sliding window: Phương pháp sliding window giúp phát hiện chính xác vị trí vật thể trong ảnh, hỗ trợ nhận dạng chính xác hơn. Ví dụ, các ảnh thử nghiệm cho thấy xe hơi, con mèo, xe đạp được phát hiện và nhận dạng đúng vị trí trong ảnh.

Thảo luận kết quả

Nguyên nhân chính của các sai số nhận dạng là do sự tương đồng về hình dạng giữa các lớp vật thể như máy bay và trực thăng, con gà và bồ câu, hoa sen và hoa hướng dương. Ngoài ra, việc chỉ xử lý ảnh xám bỏ qua thông tin màu sắc cũng làm giảm khả năng phân biệt các vật thể có đặc điểm màu sắc khác biệt.

So với các nghiên cứu khác sử dụng mô hình BoW, kết quả của luận văn tương đồng về mặt tỉ lệ nhận dạng, đồng thời cải thiện khả năng xác định vị trí vật thể nhờ kết hợp sliding window. Tuy nhiên, so với các phương pháp Deep Neural Network như CNN, phương pháp này có ưu điểm về thời gian huấn luyện nhanh hơn và dễ triển khai trên máy tính cá nhân, nhưng vẫn còn hạn chế về độ chính xác tổng thể và khả năng xử lý ảnh phức tạp.

Dữ liệu có thể được trình bày qua các biểu đồ cột thể hiện tỉ lệ nhận dạng đúng từng lớp vật thể, bảng số liệu so sánh kết quả với bộ ảnh nền khác nhau, và hình ảnh minh họa kết quả phát hiện vật thể với sliding window.

Đề xuất và khuyến nghị

1. Tăng cường sử dụng thông tin màu sắc trong trích xuất đặc trưng: Bổ sung các đặc trưng màu sắc kết hợp với SIFT để cải thiện khả năng phân biệt các vật thể có hình dạng tương đồng nhưng màu sắc khác nhau, nhằm nâng cao tỉ lệ nhận dạng chính xác.

2. Phát triển mô hình kết hợp yếu tố không gian: Áp dụng các kỹ thuật như Spatial Pyramid Matching hoặc mô hình hình dạng ngầm (Implicit Shape Model) để bổ sung thông tin vị trí không gian của các đặc trưng, giúp giảm nhầm lẫn giữa các lớp vật thể.

3. Mở rộng bộ dữ liệu huấn luyện với đa dạng góc chụp và điều kiện ánh sáng: Thu thập thêm ảnh với nhiều góc độ và điều kiện ánh sáng khác nhau để tăng tính tổng quát của mô hình, giảm thiểu sai số do biến đổi hình dạng và ánh sáng.

4. Tối ưu hóa thuật toán sliding window: Sử dụng các kỹ thuật giảm số lượng cửa sổ cần duyệt như selective search hoặc region proposal để giảm thời gian xử lý mà vẫn giữ được độ chính xác cao.

5. Chủ thể thực hiện: Các nhóm nghiên cứu trong lĩnh vực thị giác máy tính, các công ty phát triển phần mềm nhận diện hình ảnh, và các tổ chức ứng dụng robot tự động nên phối hợp triển khai các giải pháp trên trong vòng 6-12 tháng tới để nâng cao hiệu quả nhận diện vật thể.

Đối tượng nên tham khảo luận văn

1. Sinh viên và nghiên cứu sinh ngành Kỹ thuật Điện tử, Thị giác máy tính: Luận văn cung cấp kiến thức nền tảng về mô hình BoW, giải thuật SIFT, và ứng dụng máy học SVM trong nhận diện vật thể, phù hợp để tham khảo cho các đề tài nghiên cứu liên quan.

2. Các nhà phát triển phần mềm xử lý ảnh và trí tuệ nhân tạo: Cung cấp hướng tiếp cận thực tiễn trong xây dựng hệ thống nhận diện vật thể trên máy tính cá nhân, giúp phát triển các ứng dụng nhận dạng hình ảnh hiệu quả.

3. Doanh nghiệp ứng dụng công nghệ nhận diện hình ảnh: Các công ty trong lĩnh vực an ninh, giám sát, robot tự động có thể áp dụng phương pháp và kết quả nghiên cứu để cải thiện hệ thống nhận diện vật thể trong sản phẩm của mình.

4. Giảng viên và chuyên gia trong lĩnh vực thị giác máy tính: Tham khảo để cập nhật các phương pháp truyền thống kết hợp kỹ thuật sliding window, từ đó phát triển các hướng nghiên cứu mới hoặc giảng dạy chuyên sâu.

Câu hỏi thường gặp

1. Phương pháp Bag of Words có ưu điểm gì so với Deep Neural Network?
   Bag of Words đơn giản, dễ triển khai trên máy tính cá nhân, thời gian huấn luyện nhanh hơn và không yêu cầu thư viện phức tạp. Tuy nhiên, nó không xét đến yếu tố không gian và thường có độ chính xác thấp hơn CNN.

2. Tại sao lại chọn đặc trưng SIFT trong nghiên cứu này?
   SIFT là đặc trưng bất biến với các biến đổi về kích thước, góc xoay và ánh sáng, giúp mô tả chi tiết vùng lân cận điểm đặc biệt trong ảnh, phù hợp cho việc nhận diện vật thể đa dạng.

3. Sliding window giúp gì trong việc nhận diện vật thể?
   Sliding window cho phép duyệt qua từng vùng nhỏ trong ảnh, giúp xác định vị trí chính xác của vật thể và cải thiện độ chính xác nhận dạng so với việc phân tích toàn bộ ảnh một lần.

4. Ảnh hưởng của nền ảnh đến kết quả nhận dạng như thế nào?
   Ảnh có nền trong suốt giúp giảm nhiễu và tăng tỉ lệ nhận dạng chính xác, trong khi nền phức tạp có thể gây nhầm lẫn do các vật thể không liên quan xuất hiện trong ảnh.

5. Làm thế nào để giảm nhầm lẫn giữa các vật thể có hình dạng tương đồng?
   Có thể bổ sung thông tin màu sắc, áp dụng mô hình kết hợp yếu tố không gian hoặc sử dụng các kỹ thuật học sâu để tăng khả năng phân biệt các vật thể tương tự.

Kết luận

• Luận văn đã xây dựng thành công hệ thống nhận diện 12 lớp vật thể sử dụng mô hình Bag of Words kết hợp sliding window trên máy tính cá nhân.
• Tỉ lệ nhận dạng đúng đạt tối thiểu 50%, với một số lớp vật thể đạt trên 90%, chứng minh hiệu quả của phương pháp.
• Sliding window giúp xác định vị trí vật thể trong ảnh, khắc phục hạn chế của mô hình BoW truyền thống.
• Kết quả nhận dạng chịu ảnh hưởng lớn bởi đặc điểm bộ mẫu huấn luyện và tính chất nền ảnh.
• Đề xuất các hướng nghiên cứu tiếp theo bao gồm bổ sung thông tin màu sắc, yếu tố không gian và tối ưu thuật toán sliding window để nâng cao hiệu quả nhận diện.

Tiếp theo, nghiên cứu có thể mở rộng áp dụng các kỹ thuật học sâu kết hợp với BoW để cải thiện độ chính xác và khả năng xử lý ảnh phức tạp. Độc giả và các nhà nghiên cứu được khuyến khích áp dụng và phát triển các giải pháp dựa trên nền tảng này nhằm phục vụ các ứng dụng thực tiễn trong thị giác máy tính.

Trích đoạn nội dung tài liệu

Chương 1: Mở dau Chương 2: Tổng quan. Phân tích đánh giá các công trình nghiên cứu của các tác giả khác liên quan đến dé tai. Chi ra những van dé mà dé tai cần tập trung giải quyết. Chương 3: Cơ sở lý thuyết.

Trình bày các cơ sở lý thuyết, các giả thuyết khoa học được sử dụng trong luận văn. Chương 4: Hiện thực hóa hệ thống. Mô tả cách xây dựng hệ thống nhận dạng của luận văn, các công việc đã thực hiện. Chương 5: Kết quả.

Trình bày các kết quả của luận văn.Bàn luận về kết quả thu được. Chương 6: Kết luận. Trình bày các kết luận của luận văn một cách ngắn gon và kiến nghị các phương án nghiên cứu tiếp theo. Danh mục tài liệu tham khảo.

Các công trình nghiên cứu của các tác giả khác mà luận văn đã tham khảo và nguồn các hình anh được sử dụng trong luận văn. Chương 2: Tổng quan Chương 2: Tong quan Trong vân đê nghiên cứu vật thê, trong mười năm gân đây nôi lên hai xu hướng nghiên cứu chính: e Bag of Words (BoW) e Deep Neural Network Bag of Words có rất nhiều ưu điểm: e Đơn giản, dễ nam bắt. e Khuyết điểm của phương pháp này là e Không đánh giá yếu tô không gian trong nhận diện vật thé, do đó kết quả không được chính xác. e Khong xác định được vi trí của vật thể trong ảnh có nhiều vật thé khác nhau.

Deep Neural Network là một dạng mang Neural với nhiéu lớp để học một cách phức tạp. Trong xử lý ảnh kiến trúc CNN (Convolution Neural Network) đang chiễm ưu thế với chất lượng nhận dạng cao. CNN bản chất là một dạng mang Neural nhiéu lớp cho ảnh, với số lượng rat lớn tham số can huấn luyện. CNN có một số khuyết điểm: e Thời gian huấn luyện lâu.

e Kích thước ảnh đầu vào cé định. e CNN đòi hỏi có thư viện huấn luyện phức tạp. e _ Tương tự như Bag of Words, CNN cũng không xác định vi trí của vật thể. Do những khuyết điểm của CNN, đặc biệt là việc khó khăn trong việc tìm kiếm thư viện hỗ trợ, nên tác giả thực hiện luận văn này theo mô hình Bag of Words.

Bag of Words được sử dụng trong thị giác máy tính, và xử lý ngôn ngữ tự nhiên. Những ý tưởng dau tiên về phương pháp nay được dé xuất bởi Zellig Harris [1]. Năm 1999, David Lowe đã phat minh ra giải thuật Sift với khả năng mô tả ảnh mạnh mẽ [2]. Từ đó Bag of Words có khuynh hướng sử dụng đặc trưng Sift dé tạo các “Words”.

Có rất nhiều dé tài nghiên cứu theo hướng này đạt được kết quả khả quan. Đầu tiên 3 Chương 2: Tổng quan phải kế đến đề tài của tác giả Gabriella Csurka [3], để tài này sử dụng mô hình BoW cơ bản kết hợp với việc khảo sát hiệu quả của phương pháp Bow khi đi kèm với các phương pháp phân lớp SVM và Bayes. Một số tác giả tìm cách khắc phục nhược điểm của BoW bang cách kết hợp BoW với các yếu tố không gian, điển hình là tác giả S. Lazebnik sử dụng phương pháp khớp mau Spatial Pyramid [4] trong phân loại cảnh quan ảnh và Leibe với phương pháp Implicit Shape Model [5].

Mô hình BoW sử dụng nhiều thông số thay đôi khác nhau, nghiên cứu của tác giả Jun Yang đã đánh giá sự thay đổi của một số thông số trong mô hình ảnh hưởng đến kết quả nhận dạng [6]. Các nghiên cứu về BoW phan lớn đều cho kết quả nhận dạng tốt. Tuy nhiên đa sô van có khuyêt điêm chưa xác định được vi trí của vật thê trong bức ảnh. Luận văn đưa ra hướng nghiên cứu nhận diện vật thể dựa trên mô hình BoW, kết hợp với cửa số trượt (sliding-window) dé tang độ nhận dạng chính xác va xác định vi trí của vật thể trong ảnh.

Ngoài ra luận văn còn khảo sát ảnh hưởng của tính chất bộ mâu sưu tâm đên chât lượng nhận dạng. Chương 3: Cơ sở lý thuyết Chương 3: Cơ sở lý thuyết 3.1 Giải thuật Sift Scale-invariant feature transform (SIFT) là một giải thuật trong thị giác máy tính để phát hiện và mô tả các đặc tính địa phương của ảnh. Giải thuật được phát minh bởi David Lowe trong năm 1999, 3.1 Giới thiệu: Trong các ảnh, điểm đặc biệt trong ảnh có thé được trích xuất dé mô tả được vật thé trong ảnh. Những mô ta đó được thu thập trong quá trình huấn luyện và được dùng để nhận dạng vật thể trong ảnh sau đó.

Dé có thé sử dụng trong nhận dạng vật thể trong nhiều bức ảnh khác nhau. các đặc trưng đó phải được phát hiện và trích xuất được ngay cả khi một số điều kiện của ảnh thay đổi như: độ lớn, độ sáng, góc chụp. Một điểm quan trọng nữa là vị trí của điểm đặc biệt phải không thay đổi trong các góc chụp khác nhau. SIFT là một giải thuật mạnh mẽ trong lĩnh vực nhận diện vật thé.

Bởi vì mô ta của đặc trưng SIFT không bị biến đối với các kích thước ảnh khác nhau, các hướng xoay khác nhau và thậm chí có thé không biến đổi trong điều kiện ánh sáng khác nhau và méo dạng.2 Các bước thực hiện: Xác định vi trí điêm đặc biệt (Key localization): Anh dau vào được nhân tích chap với bộ lọc Gaussian với các giá trị o khác nhau để tạo ra ảnh mới với các độ mờ khác nhau. L(x,y,Ø) = G(x, y, a) + I(%, y) Với I(x, y) là ảnh đầu vào và G(x, y, ø) là bộ lọc Gaussian với số ơ. DoG (Difference of Gaussian) là phương pháp dùng để nỗi rõ các chi tiết của ảnh. Chương 3: Cơ sở lý thuyết DŒ,y,Ø) = L(x,y,kØ) — L(x,y,Ø) Trong phương pháp xác định góc Harris, ta thay rang vẫn có thé phát hiện ra góc nếu anh bị xoay.

Tuy nhiên khi ảnh bị thay đối kích thước, một góc có thé không còn là một góc nữa. Như hình minh họa bên dưới đây: : aa © Hình 3-1 Góc ở bức ảnh lớn hơn có thé không còn là góc nữa Nguon: http://docs.0/da/dfs/tutorial py_sift_intro.tab=0 Như vi dụ ở trên ta thấy khi anh thay đổi kích thước, một yếu tố nào đó có thé không còn là bất biến nữa. Do vậy dé tìm được yếu tổ bất biến qua nhiều kích thước ảnh khác nhau, ta cần khảo sát DoG ở nhiều kích thước ảnh. Chương 3: Cơ sở lý thuyết Scale (next octave} Scale (first octave) Difference of Gaussian Gaussian (DOG) Hình 3-2 Tinh DoG ở các kích thước khac nhau cua anh.

Nguon: http://docs.0/da/dfd/tutorial_ py_sift_intro.tab=0 Khi DoG đã được xác định, mỗi pixel trong ma trận DoG sẽ được so sánh với 8 pixel ở xung quanh nó và 9 pixel ở Scale tiếp theo va Scale trước đó. Nếu một điểm là điểm lớn nhất hoặc nhỏ nhất trong các lân cận mà nó so sánh thì nó là điểm đặc biệt tiêm năng. Pe a oe Hình 3-3 Khao sát các gia tri DoG dé lọc tim ra điểm đặc biệt. Chương 3: Cơ sở lý thuyết Nguon: http://docs.0/da/dfs/tutorial_py_sift_intro.tab=0 Tinh vi tri chính xác các diém đặc biệt: Một số điểm đặc biệt đã tìm ở bước trước không 6n định.

Bước này sẽ trình bay cách tính toán vi trí các diém một cách chính xác hơn. Các điểm có độ tương phản thấp hoặc vị trí năm trên cạnh cũng bị loại bỏ. Nguồn: https://en.org/wiki/Scale-invariant_feature_transform Tính mồ tả địa phương của điểm đặc biệt: Người ta sử dụng một vùng lân cận 16x16 xung quanh điểm đặc biệt để tính toán mô tả của nó. Ô 16x16 được phân thành 4 ô con, mỗi ô con lại có kích thước 4x4.

Với mỗi 6 con kích thước 4x4,d6 lớn của gradient hướng được tính. Những sự định hướng này được xếp vào 8 loại: 0-44 độ, 45-89 độ, 90-134 độ,.Người ta lập histogram theo 8 loại. Nhu vậy ta đã tính độ định hướng của 16 pixel để tạo thành histogram 8 loại. Ta tốn 8 giá trị dé mô tả histogram 8 loại này.

Làm tương tự với tat cả 16 6 kích thước 4x4 ta cần 16x8 = 128 giá tri dé mô tả. Chương 3: Cơ sở lý thuyết Nhu vậy với môi điêm đặc biệt ta trích xuat được một vector có 28 giá tri dé mô tả lân cận xung quanh đó. Vector đó ta gọi là Descriptor. 16x16 window @ Keypoint Hình 3-5 Vùng có kích thước 16x16 xung quanh điểm đặc biệt.

Nguồn: http://aishack.in/tutorials/sift-scale-invariant-feature-transform-features/ 128 dimensional vector + ” oo >2 i= » =* * * rd Said ». n vi A~ De, * * vo ar, ha > +x. ” Ñ v 7 vs + +n “iA vas Hình 3-6 Vùng lan cận cua điểm đặc biệt được chia thành 16 ô nhỏ. Nguồn: http://aishack.in/tutorials/sift-scale-invariant-feature-transform-features/ Chương 3: Cơ sở lý thuyết \ |.

|/Ị7 iy Hình 3-7 Tinh gradient hướng ở mỗi vùng con 4x4. Nguồn: http://aishack.in/tutorials/sift-scale-invariant-feature-transform-features/ 3.2 Chia cụm kmean Phân cụm k-mean là một phương pháp lượng tử tử vector. Mục đích của phương pháp này là phân n mẫu đầu vào thành k cụm mà trong từng cum mà mỗi mẫu gan với điêm trung vi của cụm đó nhât so với điềm trung vi của các cụm còn lại. Phương pháp thực hiện: e K diém trung vi được chọn ngẫu nhiên trong miền dữ liệu.

e Tính khoảng cách giữa các mẫu đầu vào và k điểm trung vị. Khoảng cách nào gan nhất ta sẽ phân mẫu dau vào vào cum đó. e Tính điểm trung vi mới của k cụm mới tạo thành. e Lap lại bước 2 và bước 3 cho đến khi không có sự thay đổi cụm giữa các điểm đầu vào xảy ra.

Tức bài toán đã hội tụ. Các đặc điểm nổi bật của phương pháp k-mean: e Khoảng cách Euclide được dùng để xác định khoảng cách giữa các điểm trong thuật toán 10 Chương 3: Cơ sở lý thuyết Chỉ số k là chỉ số đầu vào do người dùng chọn. Việc xác định k không chính xác sé dân dén két qua sai lệch rat nhiêu so với thực tê. Hình 3-8 Cac tam môi cụm được chọn ngau nhIÊH.

Nguồn: https://en.org/wiki/K-means_clustering Hình 3-9 Các cụm được hình thành bằng cách tìm tâm gân nhất. Nguồn: https://en.org/wiki/K-means_clustering II Chương 3: Cơ sở lý thuyết _ a poe 5ca We, ` Hình 3-10 Các tam cua môi cụm được tính lại là các diém trung bình của cụm đó. Nguồn: https://en.org/wiki/K-means_clustering Hình 3-11 Bước 2 và bước 3 lặp lại đến khi bài toán hội tụ, tức không côn sự thay đổi tâm nữa. Nguồn: https://en.org/wiki/K-means_clustering Ứng dụng của chia cụm k-mean [1]: e Luong tử hóa vector: o k-mean được su dung trong lĩnh vực xử lý tính hiệu.

Vi dụ, trong lĩnh vực đồ họa máy tính, k-mean được sử dụng để giảm số mau sử dụng của một bức ảnh thành số chính xác là k. k-mean được sử dụng trong việc nay và thường cho kết quả rat tốt. e Phân tích cụm: o_ Trong phân tích cụm, k-mean được sử dụng để phân các dữ liệu đầu vào k cụm khác nhau.