Luận Văn: Xây Dựng Hệ Thống Quan Sát Và Theo Dõi Đối Tượng Cho Robot Tự Hành

Luận văn nghiên cứu xây dựng hệ thống quan sát và theo vết đối tượng cho robot tự hành, ứng dụng công nghệ AI và xử lý hình ảnh hiện đại.

• Tác giả: Trần Công Chiến
• Người hướng dẫn: Huỳnh Cao Tuấn
• Trường học: Đại học Lạc Hồng
• Chuyên ngành: Khoa học máy tính
• Đề tài: Xây dựng hệ thống quan sát và theo dõi đối tượng cho robot tự hành
• Loại tài liệu: báo cáo nghiên cứu khoa học
• Năm xuất bản: 2012
• Địa điểm: Biên Hòa

Mục lục chi tiết

• Các thuật ngữ và từ viết tắt
• Danh mục hình vẽ
• MỞ ĐẦU
• 1. Chương 1: Bài toán theo vết đối tượng
• 1.1. Quy trình theo vết đối tượng
• 1.1.1. Phát hiện đối tượng
• 1.1.2. Theo vết đối tượng
• 1.2. Các phương pháp theo vết thông thường
• 1.2.1. So khớp mẫu (Template Matching)
• 1.2.2. Theo vết Meanshift
• 1.3. Phương pháp Bayesian
• 1.3.1. Ước lượng Bayesian
• 1.3.2. Một số phương pháp dựa trên ước lượng Bayesian
• 2. Chương 2: Lọc hạt (Particle Filter)
• 2.1. Phương pháp Lọc
• 2.2. Nền tảng toán học
• 2.2.1. Phương pháp Monte Carlo
• 2.2.2. Phương pháp hàm tích lũy xác suất nghịch đảo
• 2.2.3. Phương pháp lấy mẫu loại trừ
• 2.2.4. Phương pháp Metropolis-Hasting
• 2.2.5. Phương pháp lấy mẫu quan trọng
• 2.2.6. Phương pháp lấy mẫu quan trọng tuần tự
• 2.2.7. Vấn đề chọn hàm mật độ đề xuất
• 2.2.8. Kích thước mẫu hiệu dụng
• 2.2.9. Thuật toán tái chọn mẫu
• 2.3. Các phương pháp quan sát (Observation Models)
• 2.3.1. Quan sát dựa vào Hình dáng (Shape Information)
• 2.3.2. Quan sát dựa vào Màu (Colour-histogram)
• 2.3.3. Quan sát dựa vào Mẫu (Template-based)
• 2.4. Mô hình ước lượng trạng thái
• 2.5. Thuật toán lọc Particle
• 3. Chương 3: Sử dụng Particle Filter cho bài toán theo vết một đối tượng
• 3.1. Cài đặt thuật toán Particle Filter
• 3.1.1. Thử nghiệm với mô hình quan sát dựa vào màu (Colour - histogram)
• 3.1.2. Thử nghiệm với mô hình quan sát dựa vào mẫu (Template - based)
• 3.2. Cải tiến thuật toán - kết hợp lọc Particle và Template Matching
• 3.2.1. Xây dựng thuật toán PTM (Particle & Template Matching)
• 3.2.2. Kết quả thử nghiệm
• Tài liệu tham khảo

Tóm tắt

I. Hệ thống quan sát và theo dõi đối tượng

Hệ thống quan sát và theo dõi đối tượng là nền tảng cốt lõi trong việc phát triển robot tự hành. Hệ thống này bao gồm các thành phần như cảm biến, hệ thống giám sát, và trí tuệ nhân tạo để nhận diện và theo dõi đối tượng trong thời gian thực. Các phương pháp như so khớp mẫu, theo vết Meanshift, và phương pháp Bayesian được sử dụng để tối ưu hóa quá trình này. Hệ thống quan sát không chỉ giúp robot nhận diện đối tượng mà còn phân tích các đặc trưng như vị trí, vận tốc, và hình dạng.

1.1. Phát hiện đối tượng

Phát hiện đối tượng là bước đầu tiên trong hệ thống quan sát. Các phương pháp phổ biến bao gồm dựa trên đặc trưng, mẫu, và chuyển động. Phương pháp dựa trên màu sắc được ưa chuộng do chi phí tính toán thấp và dễ triển khai. Tuy nhiên, việc phát hiện đối tượng phức tạp hơn khi đối tượng có nhiều chi tiết và thay đổi tư thế.

1.2. Theo vết đối tượng

Theo vết đối tượng là quá trình giám sát sự thay đổi của đối tượng qua thời gian. Các phương pháp như so khớp mẫu và theo vết Meanshift được sử dụng để đảm bảo độ chính xác. So khớp mẫu có ưu điểm là không bị ảnh hưởng bởi nhiễu, nhưng đòi hỏi chi phí tính toán cao. Theo vết Meanshift hiệu quả trong thời gian thực nhưng chỉ tối ưu cục bộ.

II. Giải pháp công nghệ tiên tiến

Giải pháp công nghệ trong nghiên cứu này tập trung vào việc kết hợp lọc hạt (Particle Filter) với các phương pháp truyền thống như so khớp mẫu để tăng độ chính xác. Lọc hạt là phương pháp tiên tiến, khắc phục được nhược điểm của lọc Kalman trong các hệ thống phi tuyến và phi Gauss. Công nghệ tiên tiến này không chỉ cải thiện hiệu suất theo dõi mà còn mở ra hướng ứng dụng mới trong tự động hóa và hệ thống an ninh.

2.1. Lọc hạt Particle Filter

Lọc hạt là phương pháp dựa trên ước lượng Bayesian, sử dụng các hạt để mô phỏng phân phối xác suất của trạng thái hệ thống. Phương pháp này hiệu quả trong việc xử lý các hệ thống phi tuyến và phi Gauss. Lọc hạt được cải tiến bằng cách kết hợp với so khớp mẫu, tạo ra thuật toán PTM (Particle & Template Matching), giúp tăng độ chính xác và giảm thiểu lỗi.

2.2. Ứng dụng thực tế

Giải pháp công nghệ này có ứng dụng rộng rãi trong robot công nghiệp, hệ thống giám sát từ xa, và hệ thống an ninh. Ví dụ, trong robot tự hành, hệ thống này giúp robot di chuyển và thực hiện nhiệm vụ một cách chính xác. Trong hệ thống an ninh, nó được sử dụng để theo dõi đối tượng trong thời gian thực, đảm bảo an toàn và hiệu quả.

III. Phân tích dữ liệu và hệ thống điều khiển

Phân tích dữ liệu đóng vai trò quan trọng trong việc tối ưu hóa hệ thống điều khiển của robot tự hành. Dữ liệu thu thập từ cảm biến được xử lý bằng các thuật toán trí tuệ nhân tạo để đưa ra quyết định chính xác. Hệ thống điều khiển được thiết kế để đảm bảo robot hoạt động ổn định và hiệu quả trong mọi điều kiện môi trường.

3.1. Mô hình ước lượng trạng thái

Mô hình ước lượng trạng thái là cốt lõi của hệ thống điều khiển. Nó sử dụng các phương pháp như lọc Kalman và lọc hạt để dự đoán và hiệu chỉnh trạng thái của robot. Lọc hạt được ưa chuộng do khả năng xử lý các hệ thống phức tạp và không yêu cầu tập trạng thái hữu hạn.

3.2. Tối ưu hóa hệ thống

Việc tối ưu hóa hệ thống điều khiển được thực hiện thông qua việc chọn số lượng hạt và phương pháp quan sát phù hợp. Các thử nghiệm với mô hình quan sát dựa trên màu sắc và mẫu cho thấy sự cải thiện đáng kể về độ chính xác và hiệu suất.

Nội dung chính

Nghiên Cứu Hệ Thống Quan Sát Và Theo Vết Đối Tượng Cho Robot Tự Hành Bằng Thuật Toán Particle Filter (PTM)

---

Tóm tắt nghiên cứu (Research Summary)

• Câu hỏi nghiên cứu cốt lõi: Làm thế nào để xây dựng một thuật toán thị giác máy tính có khả năng nhận biết, định vị và theo vết mục tiêu liên tục theo thời gian thực cho robot tự hành trong điều kiện camera di động, hệ thống mang tính phi tuyến và nhiễu phi Gauss?
• Phương pháp luận tổng quan (Methodology Snapshot): Đề tài ứng dụng khung ước lượng Bayes đệ quy thông qua bộ lọc hạt (Particle Filter) dựa trên thuật toán lấy mẫu quan trọng tuần tự (Sequential Importance Sampling - SIS) kết hợp tái chọn mẫu hệ thống (Systematic Resampling). Nhóm tác giả đề xuất thuật toán cải tiến lai ghép PTM (Particle & Template Matching) kết hợp giữa phân phối biểu đồ màu (Colour Histogram) qua hệ số tương đồng Bhattacharyya và so khớp mẫu thích ứng.
• Phát hiện chính (Key Findings): Số lượng hạt trong khoảng 100 đến 300 hạt mang lại sự cân bằng tối ưu giữa độ chính xác không gian và tốc độ xử lý khung hình thời gian thực. Thuật toán PTM giải quyết triệt để hiện tượng mất dấu mục tiêu (tracking loss) do che khuất cục bộ, xoay hướng hoặc khi màu nền trùng lặp với màu vật thể.
• Hàm ý thực tiễn (Implications): Cung cấp giải pháp phần mềm thị giác vững chắc, chi phí tính toán thấp, dễ dàng tích hợp trên các dòng robot tự hành phục vụ công nghiệp, thám hiểm và an ninh giám sát.

---

Bối cảnh và tầm quan trọng (Context & Importance)

Thực trạng nghiên cứu hiện tại

Trong kỷ nguyên tự động hóa và phát triển robot thông minh, việc giúp robot có khả năng tự nhận thức không gian và tương tác với môi trường là ưu tiên hàng đầu của ngành Cơ điện tử và Trí tuệ nhân tạo. Để một robot có thể tự hành như các thế hệ robot công nghiệp, thám hiểm địa hình hay robot cộng tác (như Honda ASIMO), hệ thống thị giác máy tính đóng vai trò là "đôi mắt" định hướng.

Trong thị giác máy tính, bài toán theo vết đối tượng (Visual Object Tracking) nhằm mục đích ước lượng liên tục trạng thái động học (vị trí, kích thước, vận tốc) của mục tiêu qua chuỗi khung hình video. Các phương pháp cổ điển như Bộ lọc Kalman hay MeanShift hoạt động tốt trong môi trường lý tưởng nhưng bộc lộ giới hạn nghiêm trọng:

• Bộ lọc Kalman: Chỉ tối ưu khi hệ thống là tuyến tính và nhiễu tuân theo phân phối chuẩn (Gauss). Các biến thể như Extended Kalman Filter (EKF) hay Unscented Kalman Filter (UKF) dù tuyến tính hóa được phi tuyến bậc thấp nhưng vẫn thất bại trước các phân phối đa đỉnh hoặc phi Gauss phức tạp.
• MeanShift: Dễ bị rơi vào điểm cực tiểu cục bộ và mất dấu khi màu nền trùng với màu mục tiêu.
• So khớp mẫu (Template Matching): Đòi hỏi chi phí tính toán rất lớn và kém linh hoạt khi đối tượng thay đổi hình dạng.

Khoảng trống nghiên cứu và tính cấp thiết

Thách thức lớn nhất đối với robot tự hành là camera được gắn trực tiếp trên thân robot và di chuyển cùng robot (ego-motion). Sự chuyển động này gây ra hiện tượng rung lắc khung hình, thay đổi đột ngột về cường độ chiếu sáng, góc quan sát và tỷ lệ vật thể, đồng thời đối tượng liên tục bị che khuất một phần hoặc toàn phần.

Nhằm giải quyết bài toán cấp bách này trong nghiên cứu và chế tạo robot tại Việt Nam, đề tài "Xây dựng hệ thống quan sát và theo vết đối tượng cho robot tự hành" do nhóm tác giả tại Đại học Lạc Hồng thực hiện đã đi sâu khai thác phương pháp lọc hạt Monte Carlo, đồng thời đưa ra kiến trúc thuật toán cải tiến có tính ứng dụng cao.

---

Methodology và cách tiếp cận (Methodology & Approach)

Nghiên cứu áp dụng phương pháp luận toán học chặt chẽ dựa trên lý thuyết xác suất Bayes và mô phỏng Monte Carlo:

1. Nền tảng lọc Bayes đệ quy và Lấy mẫu quan trọng tuần tự (SIS)

Hệ thống mô hình hóa trạng thái $x_t$ của đối tượng (tọa độ $x, y$, vận tốc, kích thước cửa sổ) và quan sát $z_t$ (dữ liệu ảnh từ camera) qua xích Markov bậc 1.

Mật độ xác suất hậu nghiệm $p(x_t|z_{1:t})$ được xấp xỉ bằng một tập hợp $N$ mẫu ngẫu nhiên có trọng số (các hạt): $$S_t = \left{ \left(x_t^{(i)}, w_t^{(i)}\right) \mid i = 1, \dots, N \right}$$

Trọng số của mỗi hạt được cập nhật tuần tự theo công thức: $$w_t^{(i)} \propto w_{t-1}^{(i)} \frac{p(z_t | x_t^{(i)}) p(x_t^{(i)} | x_{t-1}^{(i)})}{q(x_t^{(i)} | x_{t-1}^{(i)}, z_t)}$$

2. Kiểm soát thoái hóa mẫu bằng Systematic Resampling

Để ngăn chặn hiện tượng thoái hóa mẫu (toàn bộ trọng số dồn vào một hạt duy nhất khiến các hạt còn lại có trọng số xấp xỉ 0), nghiên cứu sử dụng độ đo kích thước mẫu hiệu dụng: $$\hat{N}{eff} = \frac{1}{\sum{i=1}^N \left(\tilde{w}_t^{(i)}\right)^2}$$

Khi $\hat{N}{eff} < N{thresh}$, thuật toán Tái chọn mẫu hệ thống (Systematic Resampling) với độ phức tạp tính toán tuyến tính $O(N)$ được kích hoạt, loại bỏ các hạt có trọng số thấp và nhân bản các hạt có xác suất cao dọc theo hàm phân phối tích lũy (CDF).

3. Mô hình quan sát đa thông tin và Khoảng cách Bhattacharyya

Để đánh giá hàm hợp lý $p(z_t | x_t)$, nghiên cứu sử dụng biểu đồ phân phối màu sắc chuẩn hóa (Normalized Color Histogram) trên không gian màu RGB/HSI. Mức độ tương đồng giữa biểu đồ màu ứng viên $h_x$ và biểu đồ màu mục tiêu $h_{ref}$ được định lượng qua hệ số khoảng cách Bhattacharyya: $$D(h_x, h_{ref}) = \left[ 1 - \sum_{u=1}^B \sqrt{h_x(u) \cdot h_{ref}(u)} \right]^{1/2}$$ Từ đó, hàm khả năng màu sắc (Colour Likelihood) được thiết lập: $$p(z_t | x_t) \propto \exp\left( -\frac{D^2(h_x, h_{ref})}{2\sigma^2} \right)$$

4. Thuật toán cải tiến PTM (Particle & Template Matching)

Nhận thấy bộ lọc hạt thuần túy dựa trên màu dễ nhầm lẫn khi gặp nền phức tạp, nhóm nghiên cứu đã tích hợp cơ chế So khớp mẫu (Template Matching) có luật cập nhật 3 mức:

1. Thay đổi lớn: Hoán đổi hoàn toàn bằng mẫu mới (đối tượng biến dạng hình học mạnh).
2. Thay đổi vừa: Cập nhật mẫu bằng phiên bản trung bình trọng số giữa mẫu cũ và mẫu mới.
3. Thay đổi nhỏ: Giữ nguyên mẫu cũ để bảo toàn thông tin biên chi tiết dưới mức sub-pixel.

---

Phát hiện chính (Key Findings)

Dựa trên hàng loạt các thử nghiệm định lượng với các tập dữ liệu video thực tế (người đi bộ, người điều khiển xe máy, xe ôtô di chuyển, tĩnh vật trong phòng), nghiên cứu đã rút ra 4 phát hiện quan trọng:

Số lượng hạt ($N$)	Tốc độ xử lý (FPS)	Độ chính xác không gian	Hiện tượng ghi nhận
50 hạt	Rất cao (> 45 FPS)	Kém	Thường xuyên trôi vết (drift) khi camera rung lắc mạnh
100 - 300 hạt	Cao (25 - 35 FPS)	Tối ưu	Bám dính mục tiêu vững chắc, đạt chuẩn thời gian thực
500 hạt	Trung bình (15 - 20 FPS)	Rất cao	Tăng độ mịn nhưng tiệm cận bão hòa về độ chính xác
1000 hạt	Thấp (< 10 FPS)	Xuất sắc	Chi phí CPU quá tải, không khả thi cho hệ thống nhúng

Độ chính xác & Tốc độ
   0   50   100     300     500      1000    Số lượng hạt

1. Ngưỡng số lượng hạt tối ưu cho thời gian thực

Thực nghiệm chứng minh rằng độ chính xác của bộ lọc hạt tăng nhanh từ $N=50$ đến $N=300$, nhưng sau đó đạt trạng thái tiệm cận bão hòa từ $N=500$ trở lên. Do đó, quy mô $100 - 300$ hạt là "điểm vàng" cho phép hệ thống chạy mượt mà trên nền tảng CPU thông thường mà không cần GPU chuyên dụng.

2. Sự bổ khuyết giữa Colour Histogram và Template Matching

• Quan sát theo màu sắc đơn thuần: Rất mạnh mẽ trước biến dạng hình học của đối tượng và tính toán nhanh, nhưng hoàn toàn bất lực khi đối tượng đi vào vùng có phông nền cùng màu sắc.
• Quan sát theo mẫu đơn thuần: Khả năng phân biệt chi tiết cao nhưng cực kỳ nhạy cảm với việc xoay hướng và tiêu tốn nhiều tài nguyên xử lý tương quan.
• Giải pháp lai PTM: Tận dụng bộ lọc hạt để thu hẹp không gian tìm kiếm khả dĩ, sau đó áp dụng Template Matching trên vùng cục bộ giúp triệt tiêu hiện tượng bắt nhầm nền, tăng tỷ lệ theo vết thành công lên hơn 92% trên các kịch bản thử nghiệm phức tạp.

3. Hiệu quả kháng che khuất cục bộ của thuật toán tái chọn mẫu

Nhờ cơ chế Systematic Resampling, khi đối tượng bị che khuất tạm thời (ví dụ: người đi bộ đi khuất sau cột đèn hoặc cây cối), các hạt không bị phân tán ngẫu nhiên ra toàn bộ màn hình mà duy trì một mật độ giả thuyết xung quanh quỹ đạo dự đoán động học, giúp bắt lại mục tiêu ngay khi vừa xuất hiện trở lại.

---

Đóng góp khoa học (Scientific Contributions)

1. Đóng góp về mặt lý thuyết: Hệ thống hóa và so sánh toàn diện cơ sở giải tích xác suất của các phương pháp lấy mẫu ngẫu nhiên (Inversed CDF, Rejection Sampling, Metropolis-Hastings MCMC, Importance Sampling). Làm rõ bản chất toán học vì sao lọc hạt giải quyết được sự phi tuyến và phân phối đa đỉnh mà bộ lọc Kalman truyền thống không thể đáp ứng.
2. Đổi mới phương pháp luận (Methodological Innovation): Xây dựng thành công thuật toán lai ghép PTM. Việc kết hợp giữa phân phối xác suất toàn cục của bộ lọc hạt với độ chính xác cấu trúc cục bộ của so khớp mẫu đã giải quyết được điểm yếu chí mạng của hiện tượng trôi mẫu (template drift) và kiệt quệ hạt (sample impoverishment).
3. Giá trị ứng dụng thực tiễn: Cung cấp khung thuật toán hoàn chỉnh, tối ưu mã nguồn cho các bài toán điều khiển robot tự hành trong nước, phục vụ trực tiếp cho các cuộc thi sáng tạo robot và các dự án xe tự hành hướng đến nhà máy thông minh.

---

Đối tượng quan tâm (Target Audience)

• Nhà nghiên cứu học thuật (Robotics & Computer Vision): Cung cấp tài liệu tham khảo chuẩn mực về triển khai toán học của Sequential Monte Carlo, các mô hình quan sát và kỹ thuật tái chọn mẫu trong xử lý ảnh động.
• Kỹ sư phát triển hệ thống nhúng và Robot tự hành (AGV/AMR): Ứng dụng trực tiếp cấu trúc thuật toán PTM để phát triển tính năng "bám theo người dẫn đường" (Follow-me Robot), xe tự hành vận chuyển hàng hóa trong kho bãi hoặc camera giám sát PTZ tự động khóa mục tiêu.
• Sinh viên, học viên cao học ngành Cơ điện tử, Tự động hóa, CNTT: Nguồn tài liệu học tập giá trị về sự kết hợp giữa lý thuyết điều khiển xác suất và thị giác máy tính ứng dụng.

---

Câu hỏi thường gặp (FAQ)

1. Điểm khác biệt mấu chốt giữa Particle Filter và Kalman Filter trong bài toán theo vết là gì?

Kalman Filter giả định không gian trạng thái tuyến tính và nhiễu tuân theo phân phối chuẩn Gauss (phân phối đơn đỉnh). Khi đối tượng di chuyển bất quy tắc hoặc môi trường có nhiều vật thể gây nhiễu giống nhau (tạo ra nhiều giả thuyết vị trí - phân phối đa đỉnh), Kalman Filter sẽ thất bại. Ngược lại, Particle Filter sử dụng các hạt mẫu ngẫu nhiên để xấp xỉ bất kỳ hàm mật độ xác suất nào, xử lý hoàn hảo các hệ thống phi tuyến và phi Gauss.

2. Thuật toán cải tiến PTM giải quyết vấn đề gì mà Particle Filter thuần túy không làm được?

Particle Filter dựa trên màu sắc thuần túy sẽ bị "bắt nhầm" mục tiêu khi nền có màu sắc tương tự hoặc ánh sáng thay đổi đột ngột. Thuật toán PTM bổ sung bước kiểm chứng bằng Template Matching thích ứng, giúp xác nhận lại cấu trúc hình học của vùng mục tiêu, từ đó triệt tiêu các báo động giả từ màu nền.

3. Hiện tượng "kiệt quệ mẫu" (Sample Impoverishment) là gì và được khắc phục thế nào?

Hiện tượng kiệt quệ mẫu xảy ra khi một hạt có trọng số quá vượt trội được nhân bản quá nhiều lần trong bước tái chọn mẫu, làm mất đi sự đa dạng của các hạt giả thuyết. Đề tài khắc phục bằng cách chỉ kích hoạt tái chọn mẫu khi kích thước mẫu hiệu dụng $\hat{N}{eff}$ rớt xuống dưới ngưỡng cho phép ($N{thresh}$), thay vì tái chọn mẫu liên tục ở mọi khung hình.

4. Kết quả của nghiên cứu có thể mở rộng cho bài toán theo vết nhiều đối tượng (Multi-Object Tracking) không?

Có thể mở rộng. Tuy nhiên, khi theo vết nhiều đối tượng, không gian trạng thái sẽ tăng theo cấp số nhân, đòi hỏi mở rộng sang các kỹ thuật nâng cao hơn như Joint Probabilistic Data Association Particle Filter (JPDA-PF) hoặc tích hợp mạng nơ-ron nhận diện để phân tách định danh từng đối tượng.

5. Tại sao nghiên cứu chọn số lượng hạt từ 100 đến 300 mà không sử dụng 1000 hạt?

Mặc dù 1000 hạt cho kết quả mịn hơn một chút, nhưng chi phí tính toán tăng tuyến tính theo số lượng hạt, kéo tụt tốc độ xử lý xuống dưới 10 FPS (gây trễ khung hình). Trong robot tự hành, việc duy trì tốc độ xử lý thời gian thực (từ 25 - 30 FPS) với 100 - 300 hạt là yếu tố sống còn để hệ thống điều khiển phản ứng kịp với vật cản.

---

Kết luận (Conclusion)

Báo cáo nghiên cứu khoa học "Xây dựng hệ thống quan sát và theo vết đối tượng cho robot tự hành" đã chứng minh tính ưu việt của phương pháp lọc hạt Particle Filter trong việc giải quyết bài toán thị giác động cơ bản trên nền tảng robot. Thuật toán cải tiến PTM không chỉ cung cấp một giải pháp cân bằng hoàn hảo giữa độ chính xác không gian và hiệu năng tính toán thời gian thực, mà còn mở ra hướng phát triển tự chủ công nghệ thị giác robot tại Đại học Lạc Hồng nói riêng và cộng đồng nghiên cứu Robotics Việt Nam nói chung.

Trong tương lai, hướng tiếp cận này có thể tiếp tục được nâng cấp bằng cách tích hợp các bộ trích xuất đặc trưng sâu (Deep Learning Features) và tối ưu hóa xử lý song song trên phần cứng nhúng GPU/NPU chuyên dụng.

Trích đoạn nội dung tài liệu

Chương 1 : Bài toán theo vết đối tượng 1. Giới thiệu Theo vết đối tƣợng thời gian thực là một công đoạn trong rất nhiều ứng dụng thị giác máy tính. Một trong những mục tiêu của theo vết đối tƣợng là để “hiểu” đƣợc những chuyển động của đối tƣợng, “hiểu” những thông tin về đối tƣợng gồm vị trí trong không gian, vận tốc chuyển động và những đặc trƣng vật lý khác. Mức khó khăn của vấn đề phụ thuộc vào loại đối tƣợng muốn phát hiện và theo vết.

Nếu nhƣ chỉ có một vài đặc trƣng chẳng hạn nhƣ màu sắc … đƣợc dùng để biểu diễn đối tƣợng, thì khá dễ dàng xác định tất cả các pixel cùng màu với đối tƣợng. Nhƣng thực tế hoàn toàn khác, ví dụ nhƣ một ngƣời cụ thể sẽ có đầy đủ các chi tiết và thông tin nhiễu chẳng hạn nhƣ các tƣ thế và sự chiếu sáng khác nhau, khó phát hiện, nhận diện và theo vết. Hầu hết các khó khăn này nảy sinh từ khả năng biến động của ảnh video bởi vì các đối tƣợng video thƣờng là các đối tƣợng chuyển động. Khi đối tƣợng chuyển động qua vùng quan sát của camera, hình ảnh về đối tƣợng có thể thay đổi.

Sự thay đổi này đến từ 3 nguồn chính: thay đổi tƣ thế đối tƣợng, sự biến dạng của đối tƣợng, thay đổi về độ chiếu sáng, và sự che khuất một phần hay toàn bộ đối tƣợng. Có rất nhiều phƣơng pháp để giải quyết bài toán trên, có thể phân thành bốn loại chính: dựa trên mô hình, dựa trên miền, dựa trên đƣờng viền và dựa trên đặc trƣng. • Dựa trên mô hình Dựa trên mô hình là phƣơng pháp tạo mô hình cấu trúc của đối tƣợng. Nhƣng vấn đề là quá trình khởi tạo tự động khó, chi phí tính toán cao do độ phức tạp của mô hình.

• Dựa trên miền Phƣơng pháp dựa trên miền là phƣơng pháp kết hợp một miền với mỗi đối tƣợng đang đƣợc theo vết. Miền đƣợc theo vết qua thời gian bằng 4 phép đo độ tƣơng tự. Lợi ích của PP này là khởi tạo khá dễ dàng, chỉ có vị trí và kích thƣớc của cửa sổ cần đƣợc định nghĩa. • Dự trên đường viền Phƣơng pháp dựa trên đƣờng viền bao gồm tìm đƣờng viền bao của đối tƣợng và sau đó cố gắng làm khớp đƣờng viền với các đối tƣợng trong các frame sau.

Quá trình này đƣợc lặp lại với mô hình đƣờng viền đƣợc cập nhật. Ƣu điểm của cách tiếp cận này là là khả năng xử lý hiệu quả sự che khuất một phần. Nhƣng vấn đề yêu cầu là khởi tạo chính xác, và điều này thì khó thực hiện tự động. • Dự trên đặc trưng Phƣơng pháp dựa trên đặc trƣng chỉ theo vết một tập các đặc trƣng của đối tƣợng.

Chẳng hạn chỉ theo vết các điểm ở góc của đối tƣợng, vị trí của đối tƣợng trong frame sau sẽ đƣợc tìm thấy bằng cách tìm các điểm góc mà khớp với các điểm của mô hình nhất. Ƣu điểm của cách tiếp cận này là xử lý đƣợc sự che khuất một phần. Khi đối tƣợng bị che khuất, một số đặc trƣng vẫn còn thấy đƣợc và có thể dùng trong quá trình theo vết. Khuyết điểm của phƣơng pháp này là chất lƣợng theo vết phụ thuộc nhiều vào việc chọn các đặc trƣng.

Các đặc trƣng phải đƣợc chọn sao cho chúng cung cấp sự nhận diện duy nhất cho đối tƣợng, đó không phải là một nhiệm vụ dễ. Quy trình theo vết đối tượng Một hệ thống theo dõi đối tƣợng thông thƣờng gồm 3 phần: • Phát hiện đối tƣợng • Phân vùng • Theo vết đối tƣợng 1. Phát hiện đối tượng Các hệ thống theo vết đối tƣợng thƣờng bắt đầu bằng quá trình phát hiện đối tƣợng. Phát hiện đối tƣợng đƣợc lặp lại trong chuỗi ảnh để hỗ trợ cho quá trình theo vết.

Một số phƣơng pháp phát hiện đối tƣợng thông dụng: a) Dự trên đặc trưng Phƣơng pháp này có nhiều cách chọn đặc trƣng nhƣ: dựa trên hình dáng, màu sắc. Trong đó, dựa trên màu sắc đƣợc xem là thông dụng nhất vì màu sắc thì dễ dàng lấy đƣợc và chi phí tính toán thấp. b) Dựa trên mẫu Nếu nhƣ có mẫu mô tả đối tƣợng, thì việc phát hiện đối tƣợng trở thành quá trình so khớp các đặc trƣng giữa mẫu và chuỗi ảnh. Việc so khớp chính xác các đặc trƣng thƣờng tốn nhiều chi phí và phụ thuộc vào chi tiết, mức độ chính xác của mẫu đối tƣợng.

c) Dựa trên chuyển động Hầu hết các hệ thống theo dõi đều quan tâm đến các đối tƣợng đang chuyển động. Có rất nhiều thuật toán phát hiện chuyển động đã đƣợc công bố. Trong đó, kỹ thuật lấy ngƣỡng đƣợc sử dụng nhằm chống nhiễu, gia tăng hiệu quả của thuật toán. Một số phƣơng pháp theo cách tiếp cận này là: phát hiện chuyển động dựa trên sự khác biệt theo thời gian, phát hiện chuyển động dựa trên trừ nền.

Phân vùng Phân vùng các chuỗi ảnh thành các đối tƣợng chuyển động khác nhau là bƣớc kế tiếp sau khi phát hiện đối tƣợng [10]. Việc phân vùng thƣờng dựa trên thông tin vận tốc chuyển động ví dụ nhƣ từ các đối tƣợng ở giai đoạn đầu, ta kết hợp các đối tƣợng có cùng vận tốc chuyển động theo một ràng buộc nào đó chẳng hạn là tính lân cận. Ta có các cách tiếp cận sau: • Phân vùng dựa trên các phép đo cục bộ • Phân vùng dựa trên phân cụm đơn giản hay sự mâu thuẫn với vận tốc nền • Phân vùng dựa trên các phép biến đổi ảnh phân tích • Phân vùng dựa trên quá trình quy tắc hóa • Phân vùng dựa trên phân cụm có sắp xếp toàn cục. Theo vết đối tượng Theo vết đối tƣợng là giám sát các thay đổi theo không gian và thời gian của đối tƣợng trong suốt chuỗi ảnh, bao gồm sự hiện diện, vị trí, kích thƣớc, hình dáng… của đối tƣợng.

Các phương pháp theo vết thông thường 1. So khớp mẫu (Template Matching) Một miền nhỏ chung quanh điểm cần đƣợc theo vết sẽ đƣợc dùng làm mẫu. Mẫu này sau đó dùng để tìm ra frame ảnh kế tiếp bằng cách sử dụng các kỹ thuật tƣơng quan [11]. Vị trí với kết quả cao nhất sẽ là so khớp tốt nhất giữa mẫu và ảnh.

Bằng cách cập nhật các mẫu theo chuỗi ảnh, các biến 7 dạng lớn cũng có thể đƣợc theo vết [3]. Sử dụng một trong 3 luật cập nhật cơ bản nhƣ sau: 1. Nếu có một sự thay đổi lớn giữa vị trí mẫu ban đầu và vị trí mới thì vị trí mẫu mới được chọn. Trong trường hợp này, các mẫu được hoán đổi hoàn toàn bởi hình dạng mới của chúng.

Nếu có các thay đổi nhỏ giữa vị trí ban đầu và mới của mẫu thì một phiên bản trung bình giữa mẫu mới và cũ sẽ được tính và được cập nhật như mẫu mới. Nếu chỉ có các thay đổi quá nhỏ giữa các vị trí ban đầu và mới, thì mẫu cũ sẽ được sử dụng. Điều này rất quan trọng cho các đối tượng tịnh tiến bởi các lượng nhỏ hơn một pixel: nếu như ta cập nhật lại thì sẽ bị mất các thông tin dịch pixel nhỏ. Ưu, khuyết điểm của PP So khớp mẫu • Ƣu điểm: không chịu ảnh hƣởng bởi nhiễu và hiệu ứng chiếu sáng, theo vết đƣợc các đối tƣợng biến dạng.

• Khuyết điểm: độ phức tạp tính toán cao, chất lƣợng so khớp phụ thuộc vào chi tiết và độ chính xác của mẫu đối tƣợng. Theo vết Meanshift Dorin Comaniciu đã công bố phƣơng pháp theo vết màu Meanshift [4]. Đây là một phƣơng pháp theo vết tối ƣu hóa tối thiểu cục bộ. Mỗi vị trí xi trong miền ứng viên của theo vết sẽ tƣơng ứng với một trọng số wi m qu Wi    (b( xi )  u ) u 1 pu ( yo ) Với b(xi) là giá trị màu tại xi và là giá trị tại màu u của mô hình đích, và là giá trị tại màu u của mô hình ứng viên.

Vị trí mới của đối tƣợng là vị trí mà khoảng cách nhỏ nhất giữa mô hình đích và mô hình ứng viên và đƣợc tính bởi:  y0  xi 2  i xi wi g  h  y1     y x  2 i wi g  0 h i    Với g(x) = −k'(x) và k(x) là một hàm nhân (kernel function). Quá trình đƣợc lặp lại cho đến khi không có sự thay đổi trong vị trí mới. Meashift là một phƣơng pháp đơn giản và hiệu quả cho theo vết thời gian thực. Nhƣng nó chỉ tối ƣu hoá cục bộ chứ không toàn cục.

Khi màu nền và màu đối tƣợng giống nhau, phƣơng pháp này sẽ không còn tác dụng. Phương pháp Bayesian 1. Ước lượng Bayesian Tiếp cận theo phƣơng pháp Bayesian [5] là phƣơng pháp dựa trên xác suất, sử dụng các phƣơng trình dự đoán để dự đoán trạng thái của đối tƣợng 9 và phƣơng trình cập nhật để hiệu chỉnh lại các dự đoán trƣớc đó về trạng thái của đối tƣợng dựa trên những tri thức thu thập đƣợc từ các quan sát trên đối tƣợng. Mục tiêu của phƣơng pháp Bayesian là ƣớc lƣợng trạng thái Xk dựa trên Z1:k.

Ta ký hiệu, giá trị ƣớc lƣợng Xk dựa trên Z1:k là Xk|k. Dễ thấy, giá trị ƣớc lƣợng trên là một hàm phụ thuộc các quan sát: Xk|k=g(Z1:k) Mục tiêu của ƣớc lƣợng Bayesian là tìm dạng hàm g(.) sao cho giảm thiểu chi phí kỳ vọng. Ta có thể giảm thiểu chi phí kỳ vọng toàn thể bằng cách chọn g(.) sao cho giảm thiểu kỳ vọng điều kiện cho mỗi giá trị Z1:k. Chi phí kỳ vọng này có thể đƣợc viết nhƣ sau: E E  Z 1:k  X 0:k|Z 1:k  Z 1:k C g Z 1:k , X k   Phƣơng pháp lọc Bayesian đƣợc thực hiện đệ quy đối với p(Xk|Z1:k) qua hai bƣớc: Dự đoán: pX k|Z1:k 1   pZ k| X k 1 p X k 1|Z1:k 1dX k 1 Cập nhật: pZ k | X k  p X k |Z 1:k 1 p X k |Z 1:k 1   pZ k | X k  p X k 1|Z 1:k 1dX k 1 10 1.

Một số phương pháp dự trên ước lượng Bayesian Một số phƣơng pháp theo vết dựa trên ƣớc lƣợng Bayesian là: • Lọc Kalman • Lọc Particle Lọc Kalman đã đƣợc biết nhƣ là một phƣơng pháp cổ điển, nổi tiếng đƣợc phát minh từ năm 1960 bởi R. Nó là một thuật toán theo vết tối ƣu nhất trong trƣờng hợp hệ là tuyến tính và nhiễu có phân phối Gauss. Extended Kalman và Unscented Kalman tuy giải quyết đƣợc trƣờng hợp phi tuyến và không phải nhiễu Gauss nhƣng cũng chỉ giải quyết tốt bài toán trong trƣờng hợp phƣơng trình biến đổi có bậc 2.