MỞ ĐẦU. Lý do chọn đề tài. Mục đích nghiên cứu. Đối tƣợng và phạm vi nghiên cứu.
Phƣơng pháp nghiên cứu. Ý nghĩa khoa học và thực tiễn của đề tài. TỔNG QUAN VỀ KHỬ RUNG VIDEO. Khái quát về xử lý ảnh, xử lý khử rung video.
Khái quát về xử lý ảnh. Khái quát về xử lý video. Xử lý khử rung video. Bài toán khử rung video.
Một số tiếp cận khử rung video. Tiếp cận dựa vào quang học. Tiếp cận dựa vào theo vết đặc trƣng. Tiếp cận dựa vào các đặt trƣng bất biến tỉ lệ.
Ổn định video với camera độ sâu. Một số ứng dụng của khử rung video. Kết luận chƣơng 1. KỸ THUẬT KHỬ RUNG VIDEO DỰA VÀO ĐẶC TRƢNG BẤT BIẾN TỈ LỆ.
Đặc trƣng bất biến tỉ lệ (SIFT). Đặc trƣng bất biến. Trích chọn điểm bất biến tỉ lệ. Xây dựng mô hình đặc trƣng bất biến tỉ lệ.
Ƣớc lƣợng chuyển động dựa vào đặc trƣng bất biến. Làm trơn (làm mịn) chuyển động. Bù chuyển động. Thuật toán khử rung video dựa vào đặc trƣng bất biến tỉ lệ.
Thuật toán khử rung video dựa vào đặc trƣng bất biến tỷ lệ. Đánh giá thuật toán. THỬ NGHIỆM ỨNG DỤNG KHỬ RUNG VIDEO. Giới thiệu bài toán.
Phân tích bài toán. Xây dựng chƣơng trình và thử nghiệm. Mô tả dữ liệu. Môi trƣờng cài đặt.
Quy trình thực hiện. Xây dựng thuật toán. Đánh giá kết quả và khả năng mở rộng của chƣơng trình. Kết quả thử nghiệm.
Kết luận chƣơng 3. Nội dung nghiên cứu và kết quả đạt đƣợc của luận văn. Kiến nghị và hƣớng nghiên cứu tiếp theo. 73 DANH MỤC CÁC TÀI LIỆU THAM KHẢO.
76 QUYẾT ĐỊNH GIAO ĐỀ TÀI LUẬN VĂN THẠC SĨ (bản sao) DANH MỤC CÁC CHỮ VIẾT TẮT Chữ tắt Dạng đầy đủ Nghĩa tiếng Việt Pixel Picture Element Điểm ảnh DoG Difference of Gaussians Sự khác biệt của Gaussians Scale Invariant Feature Biến đổi đặc trƣng bất biến SIFT Transform tỷ lệ 2D Two-dimensional space Không gian hai chiều 3D Three-dimensional space Không gian ba chiều DANH MỤC CÁC HÌNH ẢNH Số hiệu Tên hình Trang 1.1 Quá trình xử lý ảnh.2 Hệ thống xử lý ảnh.3 Theo dõi điểm đặc trƣng trong các video.4 Đƣờng đi tạo khung video.5 So sánh các video ổn định do biến dạng cong vênh.6 So sánh các video ổn định do chao đảo trong nền. 29 So sánh video ổn định dùng camera độ sâu với video ổn 1. 30 Cơ chế hoạt động của công nghệ Fused Video 1.9 Các dao động xoay chiều.10 So sánh ảnh của GoPro 6 và Sony FDR-3000.1 Bản vá lỗi định hƣớng đa quy mô.2 Trích xuất các bản vá định hƣớng ở nhiều tỷ lệ.3 Quá trình tính không gian đo (L) và hàm sai khác D.4 Quá trình tìm điểm cực trị trong các hàm sai khác DoG.5 Minh họa quá trình lựa chọn các điểm keypoints.6 Tạo bộ mô tả cục bộ.7 Các giai đoạn ổn định video.8 Kết quả video ổn định.9 Đƣờng cong nhiễu và đƣờng cong đƣợc làm mịn.1 Sơ đồ khối của bài toán.2 Tiến trình khử rung video của chƣơng trình.3 Ảnh tiến trình xử lý khử rung các video.4 Ảnh chụp video đầu vào và video đầu ra. Lý do chọn đề tài Hiện nay xử lý ảnh là một ngành khoa học còn mới so với nhiều ngành khoa học khác, nhƣng tốc độ phát triển của nó rất nhanh, khả năng ứng dụng vô cùng to lớn.
Xử lý ảnh là một lĩnh vực khoa học máy tính nghiên cứu trên cơ sở toán học bao gồm: các thuật toán, các kỹ thuật tạo hình, hiển thị và điều khiển hình ảnh trên màn hình máy tính, nó có nhiều ứng dụng trong cuộc sống. Các ứng dụng nổi bật của xử lý ảnh nhƣ nhận dạng khuôn mặt, vân tay, nhận dạng biển số xe, nhận dạng chữ viết, phục chế ảnh, dựng ảnh 3D, giám sát thực thể, nén ảnh, xử lý ảnh thiên văn, ảnh y tế, nén video, khử rung video… nó đã đem lại nhiều lợi ích to lớn trong nhiều lĩnh vực khác nhau nhƣ giải trí, học tập, lao động, an ninh, quân sự, quản lý, điều hành… Khi dùng hình ảnh để ứng dụng vào đời sống, thì rất cần phải có đƣợc hình ảnh hay một video với chất lƣợng cao, trung thực gần nhƣ thực tế để ứng dụng xử lý nhanh chính xác hay trong lĩnh vực phim có đƣợc ảnh rõ nét. Nhƣng trong quá trình chụp ghi hình ảnh từ camera, hiện tƣợng hình ảnh bị nhòe mất độ sắc nét, tức là cảnh trong các khung hình liên tiếp sẽ bị dịch chuyển vì rung động của camera, nguyên nhân do ngƣời sử dụng rung tay khi cầm camera, hay camera đƣợc đặt trên các phƣơng tiện di chuyển nhƣ xe, tàu, máy bay… Để khắc phục hiện tƣợng trên thì ngoài đòi hỏi camera có chất lƣợng tốt (phần cứng) thì còn cần phải có công nghệ, phần mềm xử lý hình ảnh của nó đƣợc tối ƣu nhất, khử rung mềm (thuật toán) gọi là công nghệ chống rung số hay nói chung là ổn định video, tiếng anh là: video stabilization. 2 Khử rung là kỹ thuật giúp cho ta chụp ảnh ít bị rung hơn và khi quay video cũng ổn định hơn.
Kỹ thuật này giúp camera hấp thụ đi những rung động nhỏ, do đó ảnh chụp ra sẽ ổn định hơn. Có hai loại ổn định video là kỹ thuật số và quang học, nghĩa là ổn định kỹ thuật số thì sử dụng phần mềm để xử lý, còn ổn định quang học thì dùng phần cứng để xử lý. Đề tài này nghiên cứu cơ sở lý thuyết của một số kỹ thuật khử rung dựa vào đặc trƣng bất biến, trên cơ sở đó ứng dụng thử nghiệm phƣơng pháp kỹ thuật SIFT để xây dựng một chƣơng trình phần mềm đọc vào một video bị rung và xuất ra một video ổn định. Chƣơng trình có thể trợ giúp đắc lực cho công tác chế tạo xe tự lái và có thể cải tiến để áp dụng cho một số lĩnh vực khác.
Vì thế tôi chọn đề tài “Nghiên cứu kỹ thuật khử rung Video dựa vào đặc trưng bất biến”. Mục đích nghiên cứu Nghiên cứu tổng quan một số kỹ thuật khử rung video dựa vào đặt trƣng. Nghiên cứu phƣơng pháp, kỹ thuật khử rung video dựa vào đặc trƣng bất biến tỉ lệ SIFT. Ứng dụng kỹ thuật khử rung video SIFT cho bài toán chống rung video, khi camera đƣợc lắp đặt trên xe khi ghi hình.
Sử dụng một chƣơng trình chống rung video để thực hiện việc khử rung cho video. Đối tƣợng và phạm vi nghiên cứu 3. Đối tƣợng nghiên cứu Video thu đƣợc từ camera đặt trên xe và các thuật toán thực hiện việc chống rung video. Phạm vi nghiên cứu Phạm vi nghiên cứu của đề tài này là áp dụng kỹ thuật đặc trƣng bất biến tỉ lệ SIFT để chống rung video.
Nhƣ vậy, đề tài cần ghi một đoạn video từ thực tế để xây dựng cơ sở dữ liệu, từ đó tiến hành chống rung cho đoạn video đó. Phƣơng pháp nghiên cứu Nghiên cứu lý thuyết kết hợp với thực nghiệm. Nghiên cứu về mặt lý thuyết các phƣơng pháp, kỹ thuật đặc trƣng SIFT, cách thức thu thập và biểu diễn video vào máy tính dựa trên một số phƣơng pháp nào đó phù hợp để thuật tiện cho việc giải quyết bài toán chống rung video sau này. Nghiên cứu về mặt lý thuyết bài toán chống rung video dựa trên kỹ thuật đặc trƣng bất biến tỉ lệ SIFT, để từ đó làm cơ sở xây dựng chƣơng trình xử lý cụ thể.
Xây dựng chƣơng trình thực nghiệm: Tiến hành nghiên cứu các kỹ thuật đặc trƣng bất biến tỉ lệ SIFT, lập trình xử lý chống rung video từ video đã ghi đƣợc. Minh họa kết quả qua các kỹ thuật đã trình bày, nhận xét kết quả đạt đƣợc. Ý nghĩa khoa học và thực tiễn của đề tài 5. Ý nghĩa khoa học Kỹ thuật SIFT là kỹ thuật trích chọn đặc trƣng bất biến tỉ lệ, nó có khả năng phát triển nhanh với tiềm năng đáng kể, và nên cần đƣợc khai thác cho phù hợp.
Ý nghĩa thực tiễn Các nhà nghiên cứu cần áp dụng kỹ thuật SIFT trong việc chế tạo xe tự lái trên đƣờng. Cần tiến hành các nghiên cứu thí điểm về SIFT để xác định lợi ích, chi phí của kỹ thuật SIFT và sử dụng cho việc cụ thể có thể có nhiều lợi ích. Áp dụng thực tiễn trong các lĩnh vực khác nhau. Nêu những kết quả đạt đƣợc của đề tài và trình bày tính mới của phƣơng pháp nghiên cứu.
NỘI DUNG CHÍNH Nội dung của đề tài đƣợc chia thành 3 chƣơng. Chƣơng 1: Tổng quan về xử lý video và bài toán xử lý video. Trong chƣơng này, đề tài giới thiệu tổng quan về các khái niệm cơ bản trong lĩnh vực xử lý ảnh; xử lý video; bài toán xử lý video; những khó khăn trong xử lý chống rung video; các cách tiếp cận xử lý chống rung video và sơ đồ chung để giải quyết bài toán đặt ra. Chƣơng 2: Sử dụng kỹ thuật đặc trƣng bất biến SIFT để xử lý chống rung video.
Xử lý khử rung video đƣợc tiến hành theo các bƣớc: 1. Ƣớc lƣợng chuyển động dựa vào SIFT; 2. Làm trơn chuyển động; 3. Bù chuyển động.
Thuật toán khử rung video dựa vào SIFT. Chƣơng 3: Chƣơng trình thử nghiệm. Chƣơng này thực hiện các công việc đối với bài toán đƣợc đặt ra: Mô tả 5 bài toán; phân tích bài toán; xây dựng thuật toán; mô tả dữ liệu; cài đặt thử nghiệm; và đánh giá kết quả thực nghiệm khi giải quyết bài toán theo thực tế. TỔNG QUAN VỀ KHỬ RUNG VIDEO 1.
Khái quát về xử lý ảnh, xử lý khử rung video. Khái quát về xử lý ảnh Con ngƣời thu nhận thông tin qua các giác quan, trong đó thị giác đóng vai trò quan trọng nhất. Những năm trở lại đây với sự phát triển của phần cứng máy tính, xử lý ảnh và đồ họa máy tính đã phát triển một cách mạnh mẽ và có nhiều ứng dụng trong cuộc sống. Xử lý ảnh và đồ họa đóng một vai trò quan trọng trong tƣơng tác giữa ngƣời và máy.
Ảnh có thể xem là tập hợp các điểm ảnh, và mỗi điểm ảnh đƣợc xem nhƣ là đặc trƣng cƣờng độ sáng, hay một dấu hiệu nào đó tại một vị trí nào đó của đối tƣợng trong không gian, và nó có thể xem nhƣ một hàm n biến P(c1, c2,. Do đó, ảnh trong xử lý ảnh có thể xem nhƣ ảnh n chiều [1]. Xử lý ảnh là một trong những mảng quan trọng nhất trong kỹ thuật thị giác máy tính, là tiền đề cho nhiều nhà nghiên cứu thuộc lĩnh vực này.