Luận văn BKHN - Nguyễn Hoài Nam: Xử lý video phát hiện đối tượng chuyển động

Luận văn cao học về xử lý tín hiệu video. Trình bày các thuật toán phát hiện, theo dõi và phân loại đối tượng chuyển động, ứng dụng thư viện OpenCV.

• Tác giả: Nguyễn Hoài Nam
• Người hướng dẫn: TS. Phạm Văn Tiền
• Trường học: Đại Học Bách Khoa Hà Nội
• Chuyên ngành: Điện Tử - Viễn Thông
• Đề tài: Xử Lý Video: Phát Hiện Và Kiểm Soát Đối Tượng Chuyển Động
• Loại tài liệu: Luận Văn Tốt Nghiệp Cao Học
• Địa điểm: Hà Nội

Tóm tắt

I. Khái Niệm Cơ Bản Về Xử Lý Video và Phát Hiện Đối Tượng Chuyển Động

Xử lý video là quá trình phân tích và xử lý các chuỗi ảnh liên tiếp theo thời gian để trích xuất thông tin hữu ích. Video được định nghĩa là một chuỗi các hình ảnh S = f(x,y,t), trong đó x,y là tọa độ không gian và t là thông tin thời gian. Phát hiện đối tượng chuyển động là một công nghệ quan trọng trong xử lý video, cho phép xác định và theo dõi các vật thể di chuyển trong khung hình. Công nghệ này ứng dụng rộng rãi trong camera giám sát, phân tích giao thông, và các hệ thống an ninh thông minh. Việc phát hiện chuyển động dựa trên việc so sánh các khung hình liên tiếp để tìm ra những thay đổi đáng kể trong hình ảnh.

1.1. Video Tương Tự và Video Số

Video tương tự được truyền dưới dạng tín hiệu điện liên tục và sử dụng các chuẩn như NTSC, PAL, SECAM. Video số được lấy mẫu theo chiều đọc (scanning) và chuyển đổi thành dữ liệu kỹ thuật số. Video số có ưu điểm là dễ lưu trữ, truyền tải và xử lý, nhưng yêu cầu băng thông lớn hơn.

1.2. Phương Pháp Quét Video

Có hai phương pháp quét chính: quét liên tục (progressive scanning) quét toàn bộ hình ảnh trong một lần, và quét xen kẽ (interlace scanning) chia hình ảnh thành các dòng lẻ và chẵn. Quét liên tục cho chất lượng tốt hơn nhưng tiêu tốn băng thông nhiều hơn.

II. Các Kỹ Thuật Phát Hiện Đối Tượng Chuyển Động

Để thực hiện phát hiện chuyển động hiệu quả, cần áp dụng các kỹ thuật tiên tiến trong xử lý ảnh. Trừ nền (background subtraction) là phương pháp phổ biến nhất, so sánh từng khung hình với một mô hình nền để xác định các vùng thay đổi. Mô hình hỗn hợp Gaussian (Gaussian Mixture Model) là một trong những thuật toán hiệu quả nhất, cho phép thích ứng động với những thay đổi trong môi trường. Sự khác biệt theo thời gian so sánh các khung hình liên tiếp để phát hiện chuyển động. Các kỹ thuật này thường kết hợp với các bước hậu xử lý để loại bỏ nhiễu và cải thiện độ chính xác của phát hiện.

2.1. Mô Hình Trừ Nền Thích Ứng

Mô hình trừ nền xây dựng một ảnh nền tham chiếu từ các khung hình video. Khả năng thích ứng động cho phép mô hình tự động cập nhật khi điều kiện ánh sáng hoặc nền thay đổi. Điều này giúp hệ thống hoạt động ổn định trong các điều kiện khác nhau như thay đổi thời tiết hoặc ánh sáng.

2.2. Gaussian Mixture Model và Hậu Xử Lý

GMM sử dụng các hàm Gaussian để mô hình hóa mỗi pixel, cho phép phân biệt giữa nền động và đối tượng chuyển động. Hậu xử lý điểm ảnh loại bỏ nhiễu và điểm ảnh cô lập, cải thiện chất lượng mặt nạ phát hiện chuyển động đáng kể.

III. Đánh Dấu và Phân Loại Đối Tượng

Sau khi phát hiện chuyển động, bước tiếp theo là đánh dấu và phân loại đối tượng để theo dõi chúng. Phát hiện các vùng liên tục xác định các nhóm pixel liên kết tạo thành các đối tượng riêng biệt. Trích rút các đặc trưng của đối tượng như diện tích, chu vi, tâm, là cơ sở cho việc phân loại. Tham chiếu tương tự so sánh các đối tượng trong các khung hình liên tiếp để theo dõi chuyển động. Việc kiểm soát sự chồng chéo giữa các đối tượng và phát hiện các đối tượng bị che khuất là những thách thức quan trọng. Phân loại đối tượng dựa trên mẫu hình chiếu và cơ sở dữ liệu tham chiếu giúp xác định loại đối tượng chuyển động.

3.1. Trích Rút Đặc Trưng và Tham Chiếu

Trích rút đặc trưng từ các vùng được phát hiện bao gồm các thông số hình học và màu sắc. Tham chiếu tương tự sử dụng các tiêu chí như khoảng cách Euclidean hoặc bộ lọc Kalman để gán lại các đối tượng giữa các khung hình. Điều này cho phép theo dõi liên tục chuyển động.

3.2. Xử Lý Các Trường Hợp Đặc Biệt

Điều khiển sự chồng chéo xảy ra khi đối tượng va chạm hoặc che khuất nhau. Phát hiện các đối tượng bị che khuất sử dụng dự đoán vị trí để duy trì theo dõi. Phát hiện đối tượng tách ra xử lý tình huống khi một đối tượng chia thành nhiều phần, điều chỉnh số lượng đối tượng được theo dõi.

IV. Ứng Dụng Thực Tiễn và Công Nghệ Triển Khai

Xử lý video và phát hiện đối tượng chuyển động được áp dụng rộng rãi trong các hệ thống thực tế. OpenCV là thư viện mã nguồn mở phổ biến cung cấp các thuật toán xử lý ảnh và video hiệu quả. Arduino UNO và động cơ servo được sử dụng để xây dựng các hệ thống tự động phản ứng với phát hiện chuyển động. Visual Studio là môi trường phát triển được sử dụng để lập trình ứng dụng xử lý video. Các giới hạn quay của camera servo được điều khiển bằng PWM (Pulse Width Modulation). Các ứng dụng thực tế bao gồm giám sát an ninh, phân tích giao thông, và các hệ thống robot tự động. Xu hướng phát triển tương lai hướng tới sử dụng trí tuệ nhân tạo và deep learning để nâng cao độ chính xác phát hiện.

4.1. Công Cụ và Thư Viện Phần Mềm

OpenCV cung cấp các hàm cho phát hiện chuyển động, theo dõi đối tượng, và xử lý ảnh. Visual Studio 2010 Ultimate hỗ trợ phát triển ứng dụng với giao diện người dùng mạnh mẽ. Sự kết hợp giữa các công cụ này tạo nên một nền tảng hoàn chỉnh cho xử lý video chuyên nghiệp.

4.2. Hệ Thống Kiểm Soát Tự Động

Động cơ servo được điều khiển qua Arduino UNO để thực hiện các hành động dựa trên phát hiện đối tượng chuyển động. PWM điều chỉnh tốc độ và hướng quay. Các hệ thống này ứng dụng trong robot theo dõi, camera giám sát thông minh, và các thiết bị tự động hóa công nghiệp.

Trích đoạn nội dung tài liệu

MỞ ĐẦU Hiện nay phản lớn lượng thông tin con người thu vào là dưới dạng hình ảnh. Thông tin dưới dạng hình ảnh lả thông tin trực quan nên con người dé dang tiếp nhận nó. Với sự ra đời của nhiều máy mỏc hiện đại như là máy ảnh sỏ, máy quay số, các máy thu hình, máy vi tính. thì lượng thỏng tin con người thu được cảng, nhiều.

Con người không chỉ muốn tiếp thu thông tia một cách thụ động mả còn muốn biết cách xử lý nó, làm cho nó hữu ích hơn. Do đỏ con người đã tiền hành nghiên cứu các phương pháp xử lý tin hiệu video để phục vụ cho các nhu cầu can thiết của mình. Việc nghiên cứu vẻ ảnh số vả video số đã phát triển rộng rãi. Các trường đại học đều cỏ một ngành riêng để nghiên cửu vấn đề nảy gọi là ngảnh thị giác may tinh (computer vision), Bén cạnh đỏ, hệ thông camera quan sát ngày cảng được sử dụng một cách rộng rãi với mục đích hỗ trợ an ninh cho các cửa hàng, công ty,.

Từ yêu cầu thực tế được đặt ra, việc xây dựng một hệ thống phát hiện vả theo dõi chuyền động tử tin hiệu video thu được thông qua hệ thống camera quan sát với sự hỗ trợ của kỹ thuật theo vết trong lĩnh vực thị giác máy tính (computer vision) là một điều cần thiết. Do đó, luận văn nảy phân tích tín hiệu video phát hiện và kiểm soát đổi tượng chuyên động “Trên định hướng đó, luận văn được chia thành ba chương như sau: Chương 1: Tổng quan về xử lý video và phát hiện đối tượng chuyển động Chương nay sẽ trình bảy các khái niệm ve video, các chuẩn video tương tự và video số, các khái niệm vẻ chuyển động và ước lượng chuyền động Chương 2: Phát hiện, đánh dấu, phân loại đối tượng chuyển động trong video Trong chương nảy sẽ trình bảy các phương pháp phát hiện đối tượng, đánh dâu đối tượng, phân loại các đôi tượng chuyển đông và thuật toán phát hiện đổi tượng chuyên động, thuật toán bám theo đổi tượng. Chương 3: Kết quả đạt được trong quá trình thực hiện Luận văn tốt nghiệp cao hoc Chuong I: TONG QUAN VE XU LY VIDEO VA PHAT HIEN DOI TƯỢNG CHUYEN DONG 1. Khái niệm về video Video hay còn gọi là chuỗi ảnh (image sequence) tượng trưng cho thông tin hình ảnh.

Đó lả một chuỗi các hình ảnh truyền liên tục theo thời gian [8] S= f(xy,t) (1) trong do:x,y€R: tọa độ của điểm ảnh (thông tin vẻ không gian). t€R: thông tin vẻ thời gian. Dựa trên công thức, ta có thể thay anh tinh là một trường hợp đặc biệt của video. Khi đỏ nó là một chuỗi các ảnh không thay đổi theo thời gian F(x,y.xy€R (12) Video thường được thu, lưu trữ, chuyển đổi ở dạng tương tự (analog) nên chủng ta sẽ bắt đầu từ video tương tự.

Khái iệm về video tương tự 1. Tín hiệu video tương tự Tín hiệu video tương tự được xem như lả tin hiệu điện một chiều theo thời gian f(t) va duoc lay mau theo chiêu đọc. Việc lây mẫu theo chu kỷ nảy được gọi là quét (scanning). Các phương pháp quét thường được sử dụng nhất là quét liên tục (progressive scanning) và quét xen ké (interlace scanning) [8] © Queétlién tuc A Cc Luận văn tốt nghiệp cao học DANH MỤC CHỮ VIẾT TAT Từ viết tắt Giải nghĩa tiếng Anh Giải nghĩa tiếng Việt Electrically Eraseble Bồ nhớ có khả năng lập trình EEPROM Programmable Read Only.

lại được Memory Joint Photographic Experts - - JPEG Nhóm các chuyên gia ảnh. Group LED Light Emmitting Diode Đit phát quang MPEG Movinging: Picture Codinng Nhom chuyén yen g) gia ma hoa P phim Experts Group anh National Television System | Hệ truyền hình sử dụng ở Bắc NTSC Committee Mỹ Hệ truyền hình sử dụng ở Châu. PAL Phase Alternating Line i " Au PWM Pulse Width Modulation Điều chỉnh độ rộng xung. Sequential Color with Hệ truyền hình sử dụng ở SECAM i " ms Memory Đông Âu SPI Serial Perippheral Interface —_ | Giao tiép ngoai vi noi tiep Static Random Access Bồ nhớ truy xuất ngẫu nhiên SRAM Memory tĩnh Luận văn tốt nghiệp cao học LỜI CAM ĐOAN Lời đầu tiên tôi xm chân thành cảm ơn tới các thấy cô trong Viện Điện tử - Viễn thông, trường Đại học Bách khoa Hà Nội đã cho tôi một môi trường học tập và nghiên cứu.

Tôi cũng xin gửi lời cảm ơn đến các thây cô trong Viện Đảo tạo Sau đại học đã quan tâm giúp đỡ chúng tôi, tạo điều kiện cho các học viên có điều kiện thuận lợi để học tập và nghiên cứu. Đặc biệt tôi xin gửi lời cảm ơn sâu sắc đến thây giáo TS. Phạm Văn Tiền đã tân tỉnh chỉ bảo, hướng dẫn và sửa chữa cho nội dung của luận văn này. Tôi xin cam đoan rằng nội dung của luận văn này lả hoản toàn do tôi tìm hiểu, nghiên cửu vả viết ra.

Tất cả đều được tôi thực hiện cản thận vả cỏ sự định hướng, của giáo viên hướng dẫn. Tôi xin chịu trách nhiệm với những nội dung đã trình bày trong luận văn nay. Tác giả Nguyễn Hoài Nam Luận văn tốt nghiệp cao học DANH MỤC CHỮ VIẾT TAT Từ viết tắt Giải nghĩa tiếng Anh Giải nghĩa tiếng Việt Electrically Eraseble Bồ nhớ có khả năng lập trình EEPROM Programmable Read Only. lại được Memory Joint Photographic Experts - - JPEG Nhóm các chuyên gia ảnh.

Group LED Light Emmitting Diode Đit phát quang MPEG Movinging: Picture Codinng Nhom chuyén yen g) gia ma hoa P phim Experts Group anh National Television System | Hệ truyền hình sử dụng ở Bắc NTSC Committee Mỹ Hệ truyền hình sử dụng ở Châu. PAL Phase Alternating Line i " Au PWM Pulse Width Modulation Điều chỉnh độ rộng xung. Sequential Color with Hệ truyền hình sử dụng ở SECAM i " ms Memory Đông Âu SPI Serial Perippheral Interface —_ | Giao tiép ngoai vi noi tiep Static Random Access Bồ nhớ truy xuất ngẫu nhiên SRAM Memory tĩnh Luận văn tốt nghiệp cao học DANH MỤC HÌNH VẼ Hình 1. Quét liên tục.

Các dòng quét bắt đầu từ A đền B, Sân tục đến C vả cứ thê đến D rồi quay trở lại A [8]. ER a sssanauslÔ) Hình 1. Quét xen kẽ. Dòng quét bắt đầu từ A đến B, chuyên qua € và tiếp tue cho đền khi tới D sẽ trở vẻ E vả tiếp tục quét đến F [8] s sis) Hình 1.

s2 sunnroe TH nhghrre 12 Hình 1. Các chuẩn về studio số [8] comets Helelanawinenls' Hình 1. Các chuẩn vẻ ảnh và video nén số [§]. Phép chiếu phôi cảnh của một đoạn thẳng [4].

Kết quả của phương pháp so sảnh sự khác biệt [4]. Hai đối tượng trong phương pháp trừ nên [4]. Sơ đề khỏi hệ thông [1 ]. Sơ đỏ hệ thông đánh dâu đôi tượng [1] 31 Hình 2.

Phương pháp tham chiều đổi tượng phủ hợp cơ bản [1]. Sơ đồ thuật toánsive hiện chuyển động dựa trên kỹ thuật trừ nên [10]. HH HH HH HH HH are saeo. Lưu đồ thuật toán bám theo đi tượng [10].

Sơ đỏ khối mô hình thực nghiệm. Câu tạo động cơ servo [14] 7 Ni 42 Hình 3. Mạch điều khiển Arduino NO [16]. Các công vảo/ra trên mạch Arduino UNO [16].

Bảng điều khiển cải đặt màu sắc cần quan sát. ảnh gốc của tín hiệu thu được, vat thể mau hong cân quan sát được đánh dau trong vong tròn mảu đỏ. anh can quan sat là điểm mâu trắng.ˆ Luận văn tốt nghiệp cao học DANH MỤC CHỮ VIẾT TAT Từ viết tắt Giải nghĩa tiếng Anh Giải nghĩa tiếng Việt Electrically Eraseble Bồ nhớ có khả năng lập trình EEPROM Programmable Read Only. lại được Memory Joint Photographic Experts - - JPEG Nhóm các chuyên gia ảnh.

Group LED Light Emmitting Diode Đit phát quang MPEG Movinging: Picture Codinng Nhom chuyén yen g) gia ma hoa P phim Experts Group anh National Television System | Hệ truyền hình sử dụng ở Bắc NTSC Committee Mỹ Hệ truyền hình sử dụng ở Châu. PAL Phase Alternating Line i " Au PWM Pulse Width Modulation Điều chỉnh độ rộng xung. Sequential Color with Hệ truyền hình sử dụng ở SECAM i " ms Memory Đông Âu SPI Serial Perippheral Interface —_ | Giao tiép ngoai vi noi tiep Static Random Access Bồ nhớ truy xuất ngẫu nhiên SRAM Memory tĩnh Luận văn tốt nghiệp cao học Chương này sẽ mô phỏng kết quả đạt được thông qua các cộng cụ hỗ trợ là Visual Studio C++ 2010 Ultimate, OpenCV 2.Chương trình mô. phỏng sé cho thấy sự phát hiện đôi tượng mới xuất hiện trong khu vực cân quan sat và tự động bám theo sự di chuyên của đối tượng.

Do điều kiên vẻ thời gian và kiển thức hiểu biết vẻ lĩnh vực nảy còn hạn chế, nên luận văn không thẻ tránh được những thiếu sót, rất mong được su đỏng góp Ý kiến của mọi người. Tôi xin chân thành cam on thay giáo TS. Phạm Văn Tiền, đã tận tình giúp đỡ, tạo điều kiện thuận lợi vả hiệu chỉnh cho luận văn. Cám ơn các thầy giáo, cô giáo Viên Điện tử ~ Viễn thông đã giúp đỡ tôi hoản thành cuồn luận văn này.

Luận văn tốt nghiệp cao hoc Chuong I: TONG QUAN VE XU LY VIDEO VA PHAT HIEN DOI TƯỢNG CHUYEN DONG 1. Khái niệm về video Video hay còn gọi là chuỗi ảnh (image sequence) tượng trưng cho thông tin hình ảnh. Đó lả một chuỗi các hình ảnh truyền liên tục theo thời gian [8] S= f(xy,t) (1) trong do:x,y€R: tọa độ của điểm ảnh (thông tin vẻ không gian). t€R: thông tin vẻ thời gian.

Dựa trên công thức, ta có thể thay anh tinh là một trường hợp đặc biệt của video. Khi đỏ nó là một chuỗi các ảnh không thay đổi theo thời gian F(x,y.xy€R (12) Video thường được thu, lưu trữ, chuyển đổi ở dạng tương tự (analog) nên chủng ta sẽ bắt đầu từ video tương tự. Khái iệm về video tương tự 1. Tín hiệu video tương tự Tín hiệu video tương tự được xem như lả tin hiệu điện một chiều theo thời gian f(t) va duoc lay mau theo chiêu đọc.

Việc lây mẫu theo chu kỷ nảy được gọi là quét (scanning). Các phương pháp quét thường được sử dụng nhất là quét liên tục (progressive scanning) và quét xen ké (interlace scanning) [8] © Queétlién tuc A Cc Luận văn tốt nghiệp cao hoc MỞ ĐẦU Hiện nay phản lớn lượng thông tin con người thu vào là dưới dạng hình ảnh. Thông tin dưới dạng hình ảnh lả thông tin trực quan nên con người dé dang tiếp nhận nó. Với sự ra đời của nhiều máy mỏc hiện đại như là máy ảnh sỏ, máy quay số, các máy thu hình, máy vi tính.

thì lượng thỏng tin con người thu được cảng, nhiều. Con người không chỉ muốn tiếp thu thông tia một cách thụ động mả còn muốn biết cách xử lý nó, làm cho nó hữu ích hơn.