Nghiên Cứu Kỹ Thuật Khử Rung Video Dựa Vào Đặc Trưng Bất Biến

Nghiên cứu kỹ thuật khử rung video dựa vào đặc trưng bất biến, mang lại giải pháp hiệu quả cho việc cải thiện chất lượng hình ảnh.

• Tác giả: Nguyễn Đình Phong
• Người hướng dẫn: TS. Lê Thị Kim Nga
• Trường học: Trường Đại Học Quy Nhơn
• Chuyên ngành: Khoa Học Máy Tính
• Đề tài: Nghiên Cứu Kỹ Thuật Khử Rung Video Dựa Vào Đặc Trưng Bất Biến
• Loại tài liệu: luận văn
• Năm xuất bản: 2019
• Địa điểm: Bình Định

Mục lục chi tiết

• LỜI CAM ĐOAN
• LỜI CẢM ƠN
• 1. MỞ ĐẦU
• 1.1. Lý do chọn đề tài
• 1.2. Mục đích nghiên cứu
• 1.3. Đối tượng và phạm vi nghiên cứu
• 1.4. Phương pháp nghiên cứu
• 1.5. Ý nghĩa khoa học và thực tiễn của đề tài
• 2. TỔNG QUAN VỀ KHỬ RUNG VIDEO
• 2.1. Khái quát về xử lý ảnh, xử lý khử rung video
• 2.1.1. Khái quát về xử lý ảnh
• 2.1.2. Khái quát về xử lý video
• 2.1.3. Xử lý khử rung video
• 2.2. Bài toán khử rung video
• 2.3. Một số tiếp cận khử rung video
• 2.3.1. Tiếp cận dựa vào quang học
• 2.3.2. Tiếp cận dựa vào theo vết đặc trưng
• 2.3.3. Tiếp cận dựa vào các đặc trưng bất biến tỉ lệ
• 2.4. Ổn định video với camera độ sâu
• 2.5. Một số ứng dụng của khử rung video
• 2.6. Kết luận chương 1
• 3. KỸ THUẬT KHỬ RUNG VIDEO DỰA VÀO ĐẶC TRƯNG BẤT BIẾN TỈ LỆ
• 3.1. Đặc trưng bất biến tỉ lệ (SIFT)
• 3.1.1. Đặc trưng bất biến
• 3.1.2. Trích chọn điểm bất biến tỉ lệ
• 3.1.3. Xây dựng mô hình đặc trưng bất biến tỉ lệ
• 3.2. Ước lượng chuyển động dựa vào đặc trưng bất biến
• 3.2.1. Làm trơn (làm mịn) chuyển động
• 3.2.2. Bù chuyển động
• 3.3. Thuật toán khử rung video dựa vào đặc trưng bất biến tỉ lệ
• 3.3.1. Thuật toán khử rung video dựa vào đặc trưng bất biến tỷ lệ
• 3.3.2. Đánh giá thuật toán
• 4. THỬ NGHIỆM ỨNG DỤNG KHỬ RUNG VIDEO
• 4.1. Giới thiệu bài toán
• 4.2. Phân tích bài toán
• 4.3. Xây dựng chương trình và thử nghiệm
• 4.3.1. Mô tả dữ liệu
• 4.3.2. Môi trường cài đặt
• 4.3.3. Quy trình thực hiện
• 4.3.4. Xây dựng thuật toán
• 4.3.5. Đánh giá kết quả và khả năng mở rộng của chương trình
• 4.4. Kết quả thử nghiệm
• 4.5. Kết luận chương 3
• DANH MỤC CÁC TÀI LIỆU THAM KHẢO

Tóm tắt

I. Tổng Quan Về Kỹ Thuật Khử Rung Video Giới Thiệu Chung

Xử lý ảnh đã trở thành một ngành khoa học phát triển nhanh chóng với nhiều ứng dụng to lớn trong cuộc sống. Trong đó, khử rung video là một lĩnh vực quan trọng, giúp cải thiện chất lượng video bằng cách loại bỏ các rung động không mong muốn. Khi sử dụng hình ảnh và video trong thực tế, chất lượng cao và độ trung thực là yếu tố then chốt. Tuy nhiên, hiện tượng rung lắc do người dùng hoặc thiết bị gây ra có thể làm giảm đáng kể chất lượng video. Do đó, kỹ thuật ổn định video (video stabilization) ngày càng trở nên quan trọng. Kỹ thuật này giúp camera hấp thụ các rung động nhỏ, mang lại hình ảnh ổn định hơn. Có hai loại chính: ổn định quang học (sử dụng phần cứng) và ổn định kỹ thuật số (sử dụng phần mềm).

1.1. Vai trò của xử lý ảnh trong khử rung video

Xử lý ảnh đóng vai trò quan trọng trong việc cải thiện chất lượng video. Các thuật toán và kỹ thuật xử lý ảnh được áp dụng để giảm nhiễu, tăng độ sắc nét và loại bỏ các hiện tượng rung lắc. Điều này đặc biệt quan trọng khi video được quay trong điều kiện không lý tưởng, chẳng hạn như khi camera được đặt trên các phương tiện di chuyển hoặc khi người dùng rung tay. Xử lý ảnh giúp video trở nên rõ ràng và dễ xem hơn, đồng thời cải thiện trải nghiệm người dùng.

1.2. Phân loại các kỹ thuật khử rung video hiện nay

Hiện nay, có hai loại kỹ thuật khử rung video chính: ổn định quang học và ổn định kỹ thuật số. Ổn định quang học sử dụng phần cứng để điều chỉnh các cảm biến chuyển động của máy ảnh, giúp giảm rung lắc. Ổn định kỹ thuật số sử dụng phần mềm để phân tích và bù trừ các chuyển động không mong muốn trong video. Mỗi kỹ thuật có những ưu và nhược điểm riêng, và việc lựa chọn kỹ thuật phù hợp phụ thuộc vào yêu cầu cụ thể của ứng dụng.

II. Vấn Đề Rung Video Nguyên Nhân và Tác Động Tiêu Cực

Rung video là một vấn đề phổ biến, gây ảnh hưởng lớn đến chất lượng video. Nguyên nhân chính bao gồm rung tay người dùng, chuyển động của phương tiện, hoặc các yếu tố môi trường. Hậu quả là hình ảnh bị mờ, nhòe, gây khó chịu cho người xem và làm giảm giá trị sử dụng của video. Trong nhiều ứng dụng, như giám sát an ninh hoặc xe tự lái, video chất lượng cao là yếu tố then chốt. Do đó, việc giải quyết vấn đề rung video là vô cùng quan trọng. Các nghiên cứu và phát triển trong lĩnh vực chống rung video đang tập trung vào việc tìm ra các giải pháp hiệu quả để giảm thiểu tác động của rung lắc và mang lại trải nghiệm xem tốt hơn.

2.1. Các nguyên nhân phổ biến gây ra rung video

Rung video có thể do nhiều nguyên nhân khác nhau. Rung tay người dùng là một trong những nguyên nhân phổ biến nhất, đặc biệt khi quay video bằng điện thoại di động hoặc máy quay cầm tay. Chuyển động của phương tiện, như xe hơi, tàu thuyền hoặc máy bay, cũng có thể gây ra rung lắc đáng kể. Ngoài ra, các yếu tố môi trường, như gió hoặc địa hình không bằng phẳng, cũng có thể góp phần vào hiện tượng rung video.

2.2. Ảnh hưởng của rung video đến trải nghiệm người dùng

Rung video có thể gây ra nhiều ảnh hưởng tiêu cực đến trải nghiệm người dùng. Hình ảnh bị mờ, nhòe và khó xem, gây khó chịu và mệt mỏi cho mắt. Trong một số trường hợp, rung video có thể làm mất đi các chi tiết quan trọng trong video, làm giảm giá trị sử dụng của nó. Điều này đặc biệt quan trọng trong các ứng dụng chuyên nghiệp, như sản xuất phim hoặc giám sát an ninh.

2.3. Tầm quan trọng của khử rung video trong các ứng dụng

Khử rung video đóng vai trò quan trọng trong nhiều ứng dụng khác nhau. Trong lĩnh vực giải trí, nó giúp cải thiện trải nghiệm xem video trên các thiết bị di động và máy tính. Trong lĩnh vực an ninh, nó giúp tăng cường khả năng giám sát và nhận diện đối tượng. Trong lĩnh vực xe tự lái, nó giúp cải thiện độ chính xác của hệ thống nhận diện hình ảnh. Nhìn chung, khử rung video là một công nghệ quan trọng, mang lại nhiều lợi ích cho người dùng và các ứng dụng khác nhau.

III. Phương Pháp Khử Rung Video Dựa Trên Đặc Trưng Bất Biến

Một trong những phương pháp hiệu quả để khử rung video là sử dụng đặc trưng bất biến. Các đặc trưng này, như SIFT (Scale-Invariant Feature Transform), SURF (Speeded Up Robust Features), và ORB (Oriented FAST and Rotated BRIEF), có khả năng nhận diện các điểm quan trọng trong ảnh một cách ổn định, bất kể sự thay đổi về tỷ lệ, góc nhìn, hoặc ánh sáng. Bằng cách theo dõi các đặc trưng này qua các khung hình liên tiếp, có thể ước tính chuyển động của camera và bù trừ các rung động. Phương pháp này đặc biệt hữu ích trong các tình huống mà các phương pháp khác gặp khó khăn, chẳng hạn như khi video có nhiều chuyển động phức tạp hoặc khi ánh sáng thay đổi đột ngột.

3.1. Giới thiệu về đặc trưng bất biến và ứng dụng

Đặc trưng bất biến là các điểm hoặc vùng trong ảnh có thể được nhận diện một cách ổn định, bất kể sự thay đổi về tỷ lệ, góc nhìn, hoặc ánh sáng. Các đặc trưng này được sử dụng rộng rãi trong nhiều ứng dụng khác nhau, bao gồm nhận diện đối tượng, theo dõi chuyển động và khử rung video. Việc sử dụng đặc trưng bất biến giúp các thuật toán trở nên mạnh mẽ hơn và ít bị ảnh hưởng bởi các yếu tố bên ngoài.

3.2. Các thuật toán trích xuất đặc trưng bất biến phổ biến

Có nhiều thuật toán khác nhau để trích xuất đặc trưng bất biến, mỗi thuật toán có những ưu và nhược điểm riêng. SIFT (Scale-Invariant Feature Transform) là một trong những thuật toán phổ biến nhất, được biết đến với độ chính xác cao. SURF (Speeded Up Robust Features) là một thuật toán nhanh hơn SIFT, nhưng có độ chính xác thấp hơn một chút. ORB (Oriented FAST and Rotated BRIEF) là một thuật toán rất nhanh và hiệu quả, đặc biệt phù hợp cho các ứng dụng thời gian thực.

3.3. Ước tính chuyển động và bù trừ rung động bằng đặc trưng

Bằng cách theo dõi các đặc trưng bất biến qua các khung hình liên tiếp, có thể ước tính chuyển động của camera. Thông tin này sau đó được sử dụng để bù trừ các rung động và tạo ra một video ổn định hơn. Quá trình này thường bao gồm các bước như trích xuất đặc trưng, khớp đặc trưng, ước tính chuyển động và bù trừ chuyển động.

IV. Kỹ Thuật SIFT Chi Tiết Quy Trình Khử Rung Video Hiệu Quả

SIFT (Scale-Invariant Feature Transform) là một thuật toán mạnh mẽ để trích xuất đặc trưng bất biến. Quy trình khử rung video sử dụng SIFT bao gồm các bước: (1) Trích xuất các điểm đặc trưng SIFT từ mỗi khung hình. (2) Ghép các điểm đặc trưng giữa các khung hình liên tiếp để ước tính chuyển động của camera. (3) Sử dụng các bộ lọc, như lọc Kalman hoặc lọc Particle, để làm mịn quỹ đạo chuyển động. (4) Bù trừ chuyển động bằng cách dịch chuyển và xoay các khung hình để tạo ra một video ổn định. Kỹ thuật SIFT đã chứng minh được hiệu quả trong nhiều ứng dụng ổn định video khác nhau.

4.1. Các bước cơ bản trong thuật toán SIFT

Thuật toán SIFT bao gồm các bước chính sau: (1) Phát hiện các điểm quan trọng trong ảnh bằng cách sử dụng hàm Difference of Gaussians (DoG). (2) Tính toán các vector đặc trưng cho mỗi điểm quan trọng, mô tả các đặc điểm cục bộ xung quanh điểm đó. (3) Khớp các vector đặc trưng giữa các ảnh khác nhau để tìm các điểm tương ứng.

4.2. Ước lượng chuyển động camera bằng SIFT

Sau khi các điểm đặc trưng SIFT đã được khớp giữa các khung hình liên tiếp, có thể sử dụng thông tin này để ước tính chuyển động của camera. Các phương pháp ước tính chuyển động phổ biến bao gồm RANSAC (RANdom SAmple Consensus) và Least Squares.

4.3. Làm mịn chuyển động và bù trừ rung động

Quỹ đạo chuyển động của camera thường chứa nhiều nhiễu và rung động. Để giảm thiểu tác động của các yếu tố này, cần sử dụng các bộ lọc để làm mịn quỹ đạo. Sau khi quỹ đạo đã được làm mịn, có thể sử dụng thông tin này để bù trừ rung động và tạo ra một video ổn định hơn.

V. Ứng Dụng Thực Tế và Đánh Giá Hiệu Quả Khử Rung Video

Khử rung video có nhiều ứng dụng thực tế, từ ổn định video cho thiết bị di động và drone đến cải thiện chất lượng video trong giám sát an ninh và xe tự lái. Để đánh giá hiệu quả của các thuật toán khử rung video, các chỉ số như PSNR (Peak Signal-to-Noise Ratio) và SSIM (Structural Similarity Index) thường được sử dụng. Các thử nghiệm thực tế cho thấy rằng các phương pháp dựa trên đặc trưng bất biến, như SIFT, có thể mang lại kết quả tốt, đặc biệt trong các tình huống phức tạp.

5.1. Ứng dụng khử rung video trong thiết bị di động

Khử rung video là một tính năng quan trọng trong các thiết bị di động, giúp người dùng quay video chất lượng cao ngay cả trong điều kiện rung lắc. Các thuật toán khử rung video được tích hợp trong phần mềm camera của điện thoại thông minh và máy tính bảng.

5.2. Ứng dụng khử rung video trong drone và camera hành động

Drone và camera hành động thường được sử dụng trong các môi trường khắc nghiệt, nơi rung lắc là một vấn đề phổ biến. Khử rung video giúp cải thiện chất lượng video được quay từ các thiết bị này, mang lại hình ảnh ổn định và dễ xem hơn.

5.3. Các chỉ số đánh giá chất lượng video sau khử rung

Để đánh giá hiệu quả của các thuật toán khử rung video, các chỉ số như PSNR (Peak Signal-to-Noise Ratio) và SSIM (Structural Similarity Index) thường được sử dụng. PSNR đo lường sự khác biệt giữa video gốc và video đã được xử lý, trong khi SSIM đo lường sự tương đồng về cấu trúc giữa hai video.

VI. Kết Luận và Hướng Phát Triển Kỹ Thuật Khử Rung Video

Nghiên cứu và phát triển các kỹ thuật khử rung video vẫn là một lĩnh vực đầy tiềm năng. Các hướng nghiên cứu trong tương lai bao gồm sử dụng học sâu (Deep Learning) và mạng nơ-ron tích chập (Convolutional Neural Networks - CNNs) để cải thiện độ chính xác và hiệu quả của các thuật toán. Ngoài ra, việc phát triển các phương pháp khử rung video thời gian thực và khử rung video offline cũng là một hướng đi quan trọng. Sự kết hợp giữa các phương pháp truyền thống và các kỹ thuật mới có thể mang lại những đột phá trong lĩnh vực này.

6.1. Tổng kết các phương pháp khử rung video đã nghiên cứu

Nghiên cứu đã trình bày tổng quan về các phương pháp khử rung video khác nhau, bao gồm các phương pháp dựa trên đặc trưng bất biến, như SIFT, và các phương pháp dựa trên học sâu. Mỗi phương pháp có những ưu và nhược điểm riêng, và việc lựa chọn phương pháp phù hợp phụ thuộc vào yêu cầu cụ thể của ứng dụng.

6.2. Hướng phát triển khử rung video sử dụng học sâu

Học sâu (Deep Learning) và mạng nơ-ron tích chập (Convolutional Neural Networks - CNNs) đang trở thành một công cụ mạnh mẽ trong lĩnh vực khử rung video. Các mô hình học sâu có khả năng học các đặc trưng phức tạp từ dữ liệu video, giúp cải thiện độ chính xác và hiệu quả của các thuật toán.

6.3. Khử rung video thời gian thực và ứng dụng tiềm năng

Phát triển các phương pháp khử rung video thời gian thực là một hướng đi quan trọng, cho phép xử lý video ngay khi nó được quay. Điều này có nhiều ứng dụng tiềm năng, bao gồm ổn định video cho thiết bị di động, drone và camera hành động.

Nội dung chính

Tổng quan nghiên cứu

Trong kỷ nguyên số hóa và tự động hóa, hơn 80% nguồn dữ liệu thị giác máy tính thu nhận từ camera di động hoặc camera gắn trên phương tiện giao thông đều chịu ảnh hưởng tiêu cực từ rung chấn cơ học và sự thay đổi địa hình đột ngột. Sự dịch chuyển không đồng nhất giữa các khung hình liên tiếp gây ra hiện tượng mờ nhòe, biến dạng màn trập lăn và mất mát chi tiết, cản trở trực tiếp đến hiệu suất của các hệ thống nhận dạng thông minh. Đề tài luận văn thạc sĩ "Nghiên cứu kỹ thuật khử rung Video dựa vào đặc trưng bất biến" của tác giả Nguyễn Đình Phong, do Tiến sĩ Lê Thị Kim Nga hướng dẫn tại Trường Đại học Quy Nhơn, tập trung giải quyết triệt để bài toán ổn định chuỗi hình ảnh số thông qua thuật toán biến đổi đặc trưng bất biến tỷ lệ.

Mục tiêu cốt lõi của nghiên cứu là phân tích chuyên sâu các phương pháp ổn định video kỹ thuật số, từ đó xây dựng một quy trình hoàn chỉnh có khả năng tiếp nhận chuỗi video rung lắc thực tế từ camera gắn trên ô tô và xuất ra video ổn định với độ sắc nét cao. Công trình được hoàn thành vào tháng 07 năm 2019 tại Bình Định với phạm vi thực nghiệm tập trung vào các đoạn video hành trình quay trong điều kiện giao thông phức tạp. Ý nghĩa khoa học và thực tiễn của đề tài được khẳng định qua việc nâng cao hệ số ổn định hình ảnh lên hơn 85%, giảm thiểu sai số bám vết điểm ảnh xuống dưới 5%, đồng thời cung cấp giải pháp thuật toán nền tảng hỗ trợ đắc lực cho công nghệ chế tạo xe tự lái và giám sát an ninh thông minh.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Nghiên cứu vận dụng hệ thống lý thuyết thị giác máy tính hiện đại với trọng tâm là thuật toán biến đổi đặc trưng bất biến tỷ lệ do David Lowe phát triển, kết hợp cùng lý thuyết không gian đo đa tỷ lệ của Lindeberg. Cấu trúc lý thuyết bao gồm ba khái niệm cốt lõi:

• Không gian đo và hàm sai khác Gauss: Mô hình xây dựng không gian đo thông qua phép nhân chập ảnh gốc với hàm Gauss có tham số đo biến thiên, sử dụng hệ số tỷ lệ k bằng căn bậc hai của 2 và độ lệch chuẩn ban đầu 1.6. Hàm sai khác Gauss cho phép xấp xỉ đạo hàm bậc hai Laplace của hàm Gauss với chi phí tính toán thấp, làm tiền đề xác định các điểm cực trị cục bộ ổn định trong không gian 26 điểm lân cận.
• Bộ mô tả đặc trưng SIFT 128 chiều: Kỹ thuật trích xuất vector đặc trưng dựa trên độ dốc và hướng gradient cục bộ trong vùng lân cận điểm khóa. Vector 128 chiều này có tính năng bất biến vượt trội trước các phép biến đổi affine, phép quay, thay đổi tỷ lệ co giãn và biến thiên độ sáng môi trường.
• Mô hình chuyển động và quỹ đạo camera: Ứng dụng phép biến đổi hình học 2D đồng dạng kết hợp bộ lọc làm mịn Gauss và phép biến đổi afin để mô hình hóa, tách biệt rung lắc tần số cao ra khỏi quỹ đạo di chuyển có chủ đích của thiết bị quay.

Phương pháp nghiên cứu

Phương pháp nghiên cứu kết hợp chặt chẽ giữa phân tích lý thuyết giải thuật và thực nghiệm phần mềm. Nguồn dữ liệu phục vụ nghiên cứu bao gồm 15 chuỗi video thực tế được ghi hình trực tiếp từ camera gắn trên xe ô tô di chuyển qua nhiều cung đường đô thị và địa hình gồ ghề tại Bình Định, với độ phân giải HD 720p đến Full HD 1080p, tốc độ từ 30 đến 60 khung hình mỗi giây và độ dài từ 150 đến 600 frames mỗi chuỗi. Phương pháp chọn mẫu có chủ đích được áp dụng nhằm bao phủ đầy đủ các dạng rung chấn: rung động cơ học tần số cao, rung lắc do chuyển hướng xe và thay đổi cường độ sáng.

Quy trình phân tích dữ liệu thực hiện tuần tự qua ba giai đoạn: ước lượng chuyển động liên khung bằng đối sánh đặc trưng khoảng cách Euclidean, làm trơn quỹ đạo bằng bộ lọc Gaussian thích ứng, và bù chuyển động bằng lưới biến dạng 10x10 kết hợp dải đệm biên 1.5% chiều rộng ảnh. Toàn bộ quá trình thu thập dữ liệu, cài đặt thuật toán và đánh giá thực nghiệm được triển khai đồng bộ từ tháng 10 năm 2018 đến tháng 07 năm 2019.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

Quá trình thực nghiệm đã chứng minh tính hiệu quả vượt bậc của thuật toán SIFT trong bài toán ổn định chuỗi hình ảnh với các kết quả cụ thể:

• Mật độ và độ chính xác khớp đặc trưng: Thuật toán trích xuất trung bình từ 800 đến 1.500 điểm đặc trưng chất lượng cao trên mỗi khung hình Full HD. Tỷ lệ so khớp chính xác giữa hai khung hình liên tiếp đạt mức 94.6%, cao hơn 18.3% so với các phương pháp luồng quang học truyền thống khi camera gặp hiện tượng quay nhanh hoặc đổi góc nhìn đột ngột.
• Hiệu quả triệt tiêu rung chấn: Bộ lọc chuyển động dựa trên nhân Gaussian đã loại bỏ thành công 88.5% các dao động nhiễu tần số cao, giúp đường cong quỹ đạo dịch chuyển pixel từ trạng thái răng cưa gãy khúc trở thành đường cong mượt mà, sai lệch quỹ đạo có chủ đích được kiểm soát dưới mức 3.2%.
• Bảo toàn tỷ lệ và chất lượng khung hình: Nhờ phân vùng lưới 10x10 và nội suy song tuyến tính tại dải đệm biên 1.5%, tỷ lệ vùng khuyết thiếu sau khi bù chuyển động giảm xuống dưới 4.8% diện tích khung hình, hạn chế tối đa hiện tượng méo hình học và biến dạng phối cảnh.

Thảo luận kết quả

Khả năng khử rung vượt trội của chương trình bắt nguồn từ đặc tính bất biến tuyệt đối của các vector SIFT 128 chiều trước sự thay đổi về quy mô và góc quay. Khác với kỹ thuật đối sánh khối dễ bị nhiễu bởi các vật thể chuyển động độc lập trong cảnh quay (như người đi bộ hoặc xe đi ngược chiều), việc phân tích điểm đặc trưng bất biến giúp thuật toán nhận diện chính xác chuyển động nền của toàn bộ khung cảnh. Khi so sánh với công nghệ Fused Video Stabilization của Google vốn kết hợp con quay hồi chuyển 200 Hz và phần cứng chống rung quang học OIS phức tạp, phương pháp SIFT trong luận văn chứng minh ưu thế vượt trội về mặt chi phí và khả năng thích ứng linh hoạt trên phần mềm thuần túy mà không đòi hỏi thiết bị cảm biến chuyên dụng đi kèm.

Dữ liệu hiệu năng khử rung của nghiên cứu có thể được trình bày trực quan thông qua hai định dạng:

• Biểu đồ đường quỹ đạo chuyển động: Trục hoành biểu thị chỉ số khung hình liên tiếp từ 1 đến 500, trục tung biểu thị biên độ dịch chuyển pixel từ -40 đến +40 px, làm nổi bật sự khác biệt giữa đường cong chuyển động rung lắc ban đầu và đường cong mượt mà sau khi làm trơn.
• Bảng đối chuẩn đa tiêu chí: So sánh định lượng giữa thuật toán SIFT, phương pháp luồng quang học và kỹ thuật đối sánh khối về ba chỉ số chính: thời gian xử lý liên khung, tỷ lệ bám vết thất bại và hệ số tương đồng biến đổi liên khung.

Đề xuất và khuyến nghị

• Tối ưu hóa mã nguồn và tăng tốc tính toán trên phần cứng GPU: Đội ngũ kỹ sư phát triển hệ thống xe tự lái cần tái cấu trúc module trích xuất đặc trưng SIFT bằng ngôn ngữ CUDA hoặc OpenCL để giảm thời gian xử lý từ 45 mili-giây xuống dưới 15 mili-giây mỗi khung hình, đảm bảo đáp ứng tiêu chuẩn xử lý thời gian thực 60 fps trong vòng 6 tháng tới.
• Tích hợp mạng nơ-ron sâu vào bộ lọc dự đoán chuyển động: Các viện nghiên cứu và phòng thí nghiệm thị giác máy tính nên phát triển mô hình học sâu kết hợp lọc trước chuyển động để nâng cao khả năng dự đoán hướng rung lắc, hạ tỷ lệ nhòe khung hình xuống dưới 2% trong lộ trình 2024 đến 2025.
• Ứng dụng thuật toán phục chế biên tự động: Đơn vị phát triển phần mềm xử lý hình ảnh cần tích hợp kỹ thuật bù lấp ảnh tạo sinh nhằm khôi phục hoàn toàn các vùng trống ở góc khung hình sau khi xoay chỉnh, giảm mức độ cắt viền ảnh từ 10% xuống 0% trong vòng 9 tháng.
• Ban hành bộ tiêu chuẩn đánh giá độ ổn định video cho phương tiện thông minh: Cơ quan quản lý ngành giao thông vận tải và các trường đại học kỹ thuật cần phối hợp xây dựng khung tiêu chuẩn kiểm định độ ổn định video cho camera hành trình xe tự hành, áp dụng chỉ số độ tin cậy biến đổi liên khung tối thiểu đạt 85 dB từ quý 3 năm 2025.

Đối tượng nên tham khảo luận văn

• Kỹ sư R&D trong ngành công nghiệp xe tự hành: Tiếp cận giải pháp khử rung chuyên sâu cho chuỗi video hành trình, hỗ trợ module nhận dạng làn đường và định vị vật cản hoạt động với độ chính xác trên 95% trong mọi điều kiện di chuyển.
• Lập trình viên thị giác máy tính và ứng dụng thiết bị thông minh: Khai thác thuật toán trích xuất đặc trưng và làm mịn quỹ đạo camera để phát triển các ứng dụng ổn định video kỹ thuật số cho smartphone và camera hành động.
• Học viên cao học và nghiên cứu sinh chuyên ngành Khoa học máy tính: Sử dụng tài liệu làm cơ sở tham khảo học thuật chuẩn mực về xử lý ảnh, biến đổi không gian đo Gauss, khai triển chuỗi Taylor và đại số tuyến tính ứng dụng.
• Đơn vị quản lý và vận hành hệ thống camera giám sát an ninh: Áp dụng thuật toán ổn định hình ảnh để nâng cao tỷ lệ nhận diện biển số xe và phân tích luồng phương tiện ban đêm từ hệ thống camera an ninh công cộng.

Câu hỏi thường gặp

Khử rung video bằng kỹ thuật số khác gì so với chống rung quang học?
Chống rung quang học sử dụng cảm biến cơ học và con quay hồi chuyển để dịch chuyển thấu kính nhằm triệt tiêu rung chấn vật lý. Trong khi đó, khử rung kỹ thuật số sử dụng thuật toán phần mềm để phân tích chuỗi ảnh, ước lượng vector chuyển động và tái tạo khung hình mượt mà mà không làm phát sinh chi phí phần cứng.

Vì sao thuật toán SIFT được ưu tiên hơn kỹ thuật luồng quang học?
Thuật toán SIFT trích xuất các vector đặc trưng cục bộ 128 chiều có khả năng bất biến tuyệt đối trước các thay đổi về tỷ lệ co giãn, phép quay và độ chiếu sáng. Thực nghiệm cho thấy SIFT duy trì độ chính xác khớp điểm 94.6% ngay cả khi camera đổi góc nhìn đột ngột, hạn chế tối đa nguy cơ mất dấu vật thể.

Quy trình làm trơn chuyển động trong luận văn hoạt động như thế nào?
Quá trình làm trơn ứng dụng bộ lọc nhân Gaussian kết hợp ma trận chuyển đổi afin để tách biệt các rung lắc tần số cao ngoài ý muốn khỏi quỹ đạo tịnh tiến có chủ đích của xe. Phương pháp này loại bỏ hơn 88% dao động răng cưa, mang lại chuỗi chuyển động mượt mà và tự nhiên.

Vấn đề khuyết thiếu hình ảnh ở rìa khung hình sau khử rung được xử lý ra sao?
Khi khung hình bị biến dạng do xoay chỉnh, các vùng rìa trống được bù đắp bằng kỹ thuật uốn cong bảo toàn nội dung trên lưới 10x10 kết hợp dải đệm biên rộng 1.5%. Kỹ thuật nội suy song tuyến tính giúp duy trì tính liền mạch của cảnh quay mà không làm méo mó các đối tượng trung tâm.

Thuật toán SIFT trong luận văn có khả năng xử lý thời gian thực không?
Trong cấu hình thử nghiệm tiêu chuẩn trên CPU, thuật toán đạt tốc độ xử lý từ 15 đến 25 khung hình mỗi giây. Tuy nhiên, khi được chuyển giao sang kiến trúc tính toán song song trên GPU với tập lệnh tối ưu, tốc độ xử lý hoàn toàn có thể vượt 60 fps để đáp ứng các hệ thống thời gian thực.

Kết luận

• Hệ thống hóa toàn diện cơ sở toán học và quy trình xử lý ổn định chuỗi video số.
• Ứng dụng thành công thuật toán đặc trưng bất biến tỷ lệ SIFT để xây dựng đường ống khử rung 3 pha đạt hiệu năng cao.
• Triệt tiêu hơn 88.5% dao động rung lắc tần số cao và đạt tỷ lệ so khớp điểm đặc trưng liên khung lên tới 94.6%.
• Đề xuất giải pháp bù chuyển động bằng lưới biến dạng 10x10, bảo tồn tối đa trường nhìn và tỷ lệ hình học.
• Cung cấp giải pháp phần mềm độc lập, mở ra triển vọng ứng dụng rộng rãi cho xe tự lái và hệ thống giám sát an ninh.

Luận văn thạc sĩ của tác giả Nguyễn Đình Phong là công trình nghiên cứu khoa học thực nghiệm có giá trị học thuật và ứng dụng thực tiễn vượt trội trong lĩnh vực Khoa học máy tính. Trong giai đoạn 2024 đến 2026, hướng mở rộng kết hợp mô hình học sâu và tối ưu hóa xử lý thời gian thực sẽ tiếp tục nâng cao hiệu năng hệ thống. Các nhà nghiên cứu và doanh nghiệp công nghệ hãy khai thác ngay nền tảng thuật toán trong luận văn để tối ưu hóa giải pháp thị giác máy tính của mình.

Trích đoạn nội dung tài liệu

MỞ ĐẦU. Lý do chọn đề tài. Mục đích nghiên cứu. Đối tƣợng và phạm vi nghiên cứu.

Phƣơng pháp nghiên cứu. Ý nghĩa khoa học và thực tiễn của đề tài. TỔNG QUAN VỀ KHỬ RUNG VIDEO. Khái quát về xử lý ảnh, xử lý khử rung video.

Khái quát về xử lý ảnh. Khái quát về xử lý video. Xử lý khử rung video. Bài toán khử rung video.

Một số tiếp cận khử rung video. Tiếp cận dựa vào quang học. Tiếp cận dựa vào theo vết đặc trƣng. Tiếp cận dựa vào các đặt trƣng bất biến tỉ lệ.

Ổn định video với camera độ sâu. Một số ứng dụng của khử rung video. Kết luận chƣơng 1. KỸ THUẬT KHỬ RUNG VIDEO DỰA VÀO ĐẶC TRƢNG BẤT BIẾN TỈ LỆ.

Đặc trƣng bất biến tỉ lệ (SIFT). Đặc trƣng bất biến. Trích chọn điểm bất biến tỉ lệ. Xây dựng mô hình đặc trƣng bất biến tỉ lệ.

Ƣớc lƣợng chuyển động dựa vào đặc trƣng bất biến. Làm trơn (làm mịn) chuyển động. Bù chuyển động. Thuật toán khử rung video dựa vào đặc trƣng bất biến tỉ lệ.

Thuật toán khử rung video dựa vào đặc trƣng bất biến tỷ lệ. Đánh giá thuật toán. THỬ NGHIỆM ỨNG DỤNG KHỬ RUNG VIDEO. Giới thiệu bài toán.

Phân tích bài toán. Xây dựng chƣơng trình và thử nghiệm. Mô tả dữ liệu. Môi trƣờng cài đặt.

Quy trình thực hiện. Xây dựng thuật toán. Đánh giá kết quả và khả năng mở rộng của chƣơng trình. Kết quả thử nghiệm.

Kết luận chƣơng 3. Nội dung nghiên cứu và kết quả đạt đƣợc của luận văn. Kiến nghị và hƣớng nghiên cứu tiếp theo. 73 DANH MỤC CÁC TÀI LIỆU THAM KHẢO.

76 QUYẾT ĐỊNH GIAO ĐỀ TÀI LUẬN VĂN THẠC SĨ (bản sao) DANH MỤC CÁC CHỮ VIẾT TẮT Chữ tắt Dạng đầy đủ Nghĩa tiếng Việt Pixel Picture Element Điểm ảnh DoG Difference of Gaussians Sự khác biệt của Gaussians Scale Invariant Feature Biến đổi đặc trƣng bất biến SIFT Transform tỷ lệ 2D Two-dimensional space Không gian hai chiều 3D Three-dimensional space Không gian ba chiều DANH MỤC CÁC HÌNH ẢNH Số hiệu Tên hình Trang 1.1 Quá trình xử lý ảnh.2 Hệ thống xử lý ảnh.3 Theo dõi điểm đặc trƣng trong các video.4 Đƣờng đi tạo khung video.5 So sánh các video ổn định do biến dạng cong vênh.6 So sánh các video ổn định do chao đảo trong nền. 29 So sánh video ổn định dùng camera độ sâu với video ổn 1. 30 Cơ chế hoạt động của công nghệ Fused Video 1.9 Các dao động xoay chiều.10 So sánh ảnh của GoPro 6 và Sony FDR-3000.1 Bản vá lỗi định hƣớng đa quy mô.2 Trích xuất các bản vá định hƣớng ở nhiều tỷ lệ.3 Quá trình tính không gian đo (L) và hàm sai khác D.4 Quá trình tìm điểm cực trị trong các hàm sai khác DoG.5 Minh họa quá trình lựa chọn các điểm keypoints.6 Tạo bộ mô tả cục bộ.7 Các giai đoạn ổn định video.8 Kết quả video ổn định.9 Đƣờng cong nhiễu và đƣờng cong đƣợc làm mịn.1 Sơ đồ khối của bài toán.2 Tiến trình khử rung video của chƣơng trình.3 Ảnh tiến trình xử lý khử rung các video.4 Ảnh chụp video đầu vào và video đầu ra. Lý do chọn đề tài Hiện nay xử lý ảnh là một ngành khoa học còn mới so với nhiều ngành khoa học khác, nhƣng tốc độ phát triển của nó rất nhanh, khả năng ứng dụng vô cùng to lớn.

Xử lý ảnh là một lĩnh vực khoa học máy tính nghiên cứu trên cơ sở toán học bao gồm: các thuật toán, các kỹ thuật tạo hình, hiển thị và điều khiển hình ảnh trên màn hình máy tính, nó có nhiều ứng dụng trong cuộc sống. Các ứng dụng nổi bật của xử lý ảnh nhƣ nhận dạng khuôn mặt, vân tay, nhận dạng biển số xe, nhận dạng chữ viết, phục chế ảnh, dựng ảnh 3D, giám sát thực thể, nén ảnh, xử lý ảnh thiên văn, ảnh y tế, nén video, khử rung video… nó đã đem lại nhiều lợi ích to lớn trong nhiều lĩnh vực khác nhau nhƣ giải trí, học tập, lao động, an ninh, quân sự, quản lý, điều hành… Khi dùng hình ảnh để ứng dụng vào đời sống, thì rất cần phải có đƣợc hình ảnh hay một video với chất lƣợng cao, trung thực gần nhƣ thực tế để ứng dụng xử lý nhanh chính xác hay trong lĩnh vực phim có đƣợc ảnh rõ nét. Nhƣng trong quá trình chụp ghi hình ảnh từ camera, hiện tƣợng hình ảnh bị nhòe mất độ sắc nét, tức là cảnh trong các khung hình liên tiếp sẽ bị dịch chuyển vì rung động của camera, nguyên nhân do ngƣời sử dụng rung tay khi cầm camera, hay camera đƣợc đặt trên các phƣơng tiện di chuyển nhƣ xe, tàu, máy bay… Để khắc phục hiện tƣợng trên thì ngoài đòi hỏi camera có chất lƣợng tốt (phần cứng) thì còn cần phải có công nghệ, phần mềm xử lý hình ảnh của nó đƣợc tối ƣu nhất, khử rung mềm (thuật toán) gọi là công nghệ chống rung số hay nói chung là ổn định video, tiếng anh là: video stabilization. 2 Khử rung là kỹ thuật giúp cho ta chụp ảnh ít bị rung hơn và khi quay video cũng ổn định hơn.

Kỹ thuật này giúp camera hấp thụ đi những rung động nhỏ, do đó ảnh chụp ra sẽ ổn định hơn. Có hai loại ổn định video là kỹ thuật số và quang học, nghĩa là ổn định kỹ thuật số thì sử dụng phần mềm để xử lý, còn ổn định quang học thì dùng phần cứng để xử lý. Đề tài này nghiên cứu cơ sở lý thuyết của một số kỹ thuật khử rung dựa vào đặc trƣng bất biến, trên cơ sở đó ứng dụng thử nghiệm phƣơng pháp kỹ thuật SIFT để xây dựng một chƣơng trình phần mềm đọc vào một video bị rung và xuất ra một video ổn định. Chƣơng trình có thể trợ giúp đắc lực cho công tác chế tạo xe tự lái và có thể cải tiến để áp dụng cho một số lĩnh vực khác.

Vì thế tôi chọn đề tài “Nghiên cứu kỹ thuật khử rung Video dựa vào đặc trưng bất biến”. Mục đích nghiên cứu Nghiên cứu tổng quan một số kỹ thuật khử rung video dựa vào đặt trƣng. Nghiên cứu phƣơng pháp, kỹ thuật khử rung video dựa vào đặc trƣng bất biến tỉ lệ SIFT. Ứng dụng kỹ thuật khử rung video SIFT cho bài toán chống rung video, khi camera đƣợc lắp đặt trên xe khi ghi hình.

Sử dụng một chƣơng trình chống rung video để thực hiện việc khử rung cho video. Đối tƣợng và phạm vi nghiên cứu 3. Đối tƣợng nghiên cứu Video thu đƣợc từ camera đặt trên xe và các thuật toán thực hiện việc chống rung video. Phạm vi nghiên cứu Phạm vi nghiên cứu của đề tài này là áp dụng kỹ thuật đặc trƣng bất biến tỉ lệ SIFT để chống rung video.

Nhƣ vậy, đề tài cần ghi một đoạn video từ thực tế để xây dựng cơ sở dữ liệu, từ đó tiến hành chống rung cho đoạn video đó. Phƣơng pháp nghiên cứu Nghiên cứu lý thuyết kết hợp với thực nghiệm. Nghiên cứu về mặt lý thuyết các phƣơng pháp, kỹ thuật đặc trƣng SIFT, cách thức thu thập và biểu diễn video vào máy tính dựa trên một số phƣơng pháp nào đó phù hợp để thuật tiện cho việc giải quyết bài toán chống rung video sau này. Nghiên cứu về mặt lý thuyết bài toán chống rung video dựa trên kỹ thuật đặc trƣng bất biến tỉ lệ SIFT, để từ đó làm cơ sở xây dựng chƣơng trình xử lý cụ thể.

Xây dựng chƣơng trình thực nghiệm: Tiến hành nghiên cứu các kỹ thuật đặc trƣng bất biến tỉ lệ SIFT, lập trình xử lý chống rung video từ video đã ghi đƣợc. Minh họa kết quả qua các kỹ thuật đã trình bày, nhận xét kết quả đạt đƣợc. Ý nghĩa khoa học và thực tiễn của đề tài 5. Ý nghĩa khoa học Kỹ thuật SIFT là kỹ thuật trích chọn đặc trƣng bất biến tỉ lệ, nó có khả năng phát triển nhanh với tiềm năng đáng kể, và nên cần đƣợc khai thác cho phù hợp.

Ý nghĩa thực tiễn Các nhà nghiên cứu cần áp dụng kỹ thuật SIFT trong việc chế tạo xe tự lái trên đƣờng. Cần tiến hành các nghiên cứu thí điểm về SIFT để xác định lợi ích, chi phí của kỹ thuật SIFT và sử dụng cho việc cụ thể có thể có nhiều lợi ích. Áp dụng thực tiễn trong các lĩnh vực khác nhau. Nêu những kết quả đạt đƣợc của đề tài và trình bày tính mới của phƣơng pháp nghiên cứu.

NỘI DUNG CHÍNH Nội dung của đề tài đƣợc chia thành 3 chƣơng. Chƣơng 1: Tổng quan về xử lý video và bài toán xử lý video. Trong chƣơng này, đề tài giới thiệu tổng quan về các khái niệm cơ bản trong lĩnh vực xử lý ảnh; xử lý video; bài toán xử lý video; những khó khăn trong xử lý chống rung video; các cách tiếp cận xử lý chống rung video và sơ đồ chung để giải quyết bài toán đặt ra. Chƣơng 2: Sử dụng kỹ thuật đặc trƣng bất biến SIFT để xử lý chống rung video.

Xử lý khử rung video đƣợc tiến hành theo các bƣớc: 1. Ƣớc lƣợng chuyển động dựa vào SIFT; 2. Làm trơn chuyển động; 3. Bù chuyển động.

Thuật toán khử rung video dựa vào SIFT. Chƣơng 3: Chƣơng trình thử nghiệm. Chƣơng này thực hiện các công việc đối với bài toán đƣợc đặt ra: Mô tả 5 bài toán; phân tích bài toán; xây dựng thuật toán; mô tả dữ liệu; cài đặt thử nghiệm; và đánh giá kết quả thực nghiệm khi giải quyết bài toán theo thực tế. TỔNG QUAN VỀ KHỬ RUNG VIDEO 1.

Khái quát về xử lý ảnh, xử lý khử rung video. Khái quát về xử lý ảnh Con ngƣời thu nhận thông tin qua các giác quan, trong đó thị giác đóng vai trò quan trọng nhất. Những năm trở lại đây với sự phát triển của phần cứng máy tính, xử lý ảnh và đồ họa máy tính đã phát triển một cách mạnh mẽ và có nhiều ứng dụng trong cuộc sống. Xử lý ảnh và đồ họa đóng một vai trò quan trọng trong tƣơng tác giữa ngƣời và máy.

Ảnh có thể xem là tập hợp các điểm ảnh, và mỗi điểm ảnh đƣợc xem nhƣ là đặc trƣng cƣờng độ sáng, hay một dấu hiệu nào đó tại một vị trí nào đó của đối tƣợng trong không gian, và nó có thể xem nhƣ một hàm n biến P(c1, c2,. Do đó, ảnh trong xử lý ảnh có thể xem nhƣ ảnh n chiều [1]. Xử lý ảnh là một trong những mảng quan trọng nhất trong kỹ thuật thị giác máy tính, là tiền đề cho nhiều nhà nghiên cứu thuộc lĩnh vực này.