Tách Cảnh Nền Thời Gian Thực Dùng FPGA

Luận văn thạc sĩ kỹ thuật phân tích kỹ thuật điện tử tách cảnh nền thời gian thực dùng fpga, đánh giá thực trạng, chỉ ra hạn chế, đề xuất giải pháp khả thi cho thực tiễn.

• Tác giả: Trương Văn Cương
• Người hướng dẫn: TS. Trương Quang Vinh
• Trường học: Đại học Bách Khoa - ĐHQG TP.HCM
• Chuyên ngành: Kỹ Thuật Điện Tử
• Đề tài: Tách Cảnh Nền Thời Gian Thực Dùng FPGA
• Loại tài liệu: luận văn thạc sĩ
• Năm xuất bản: 2016
• Địa điểm: TP. Hồ Chí Minh

Mục lục chi tiết

• TÓM TẮT
• DANH MỤC BẢNG
• DANH MỤC CÁC KÝ HIỆU, CÁC CHỮ VIẾT TẮT
• DANH MỤC CÁC HÌNH VẼ
• 1. CHƯƠNG 1: GIỚI THIỆU TỔNG QUAN
• 1.1. Giới thiệu về giải thuật tách cảnh nền
• 1.2. Các công trình nghiên cứu liên quan
• 1.2.1. Một số phương pháp mô hình nền
• 1.2.2. Phân vùng ảnh dựa trên phương pháp GrowCut
• 1.3. Phương pháp tiếp cận
• 1.3.1. Hệ thống đề nghị
• 1.4. Mục tiêu, nội dung luận văn
• 2. CHƯƠNG 2: THIẾT KẾ CẤU TRÚC PHẦN CỨNG CHO GIẢI THUẬT TÁCH CẢNH NỀN DỰA TRÊN PHƯƠNG PHÁP SINGLE GAUSSIAN VÀ GIẢI THUẬT GROWCUT
• 2.1. Giải thuật tách cảnh nền dựa trên phương pháp Single Gaussin
• 2.1.1. Mô hình nền
• 2.1.2. Trừ nền dựa trên phương pháp Growcut
• 2.1.3. Cập nhật mô hình nền
• 2.2. Mô tả tổng quan thiết kế trên cấu trúc phần cứng
• 2.2.1. Yêu cầu chi tiết thiết kế
• 2.2.2. Giới thiệu một số chuẩn bus của hãng altera
• 2.3. Mô tả chi tiết thiết kế
• 2.3.1. Khối Sink Control
• 2.3.2. Khối Source Control
• 2.3.3. Khối AMM control master
• 2.3.4. Khối data controller
• 3. CHƯƠNG 3: MÔ PHỎNG KIỂM TRA THIẾT KẾ
• 3.1. Mô hình kiểm tra thiết kế
• 3.2. Phương pháp mô phỏng
• 3.3. Kết quả mô phỏng IP
• 3.3.1. Dạng sóng khối sink control
• 3.3.2. Dạng sóng khối source control
• 3.3.3. Dạng sóng khối data controller
• 3.3.4. So sánh kết quả mô phỏng phần cứng với phần mềm
• 4. CHƯƠNG 4: HIỆN THỰC HỆ THỐNG TRÊN KIT FPGA
• 4.1. Giới thiệu hệ thống
• 4.2. Tổng hợp và đóng gói IP trong SOPC
• 4.3. Xây dựng hệ thống SOPC
• 4.4. Tổng hợp hệ thống
• 4.4.1. Phân tích tín hiệu clock
• 4.5. Kết quả hiện thực hệ thống trên kit FPGA Cyclone III
• 4.6. Phân tích, nhận xét, đánh giá kết quả
• 4.6.1. Phân tích tốc độ dữ liệu, khả năng xử lý thời gian thực
• 4.6.2. Đánh giá về chất lượng xử lý tách cảnh nền
• 4.6.3. Nhận xét, đánh giá kết quả
• 5. CHƯƠNG 5: KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN
• 5.2. Hướng phát triển
• TÀI LIỆU THAM KHẢO

Tóm tắt

I. Tổng Quan Về Tách Cảnh Nền Thời Gian Thực Bằng FPGA

Tách cảnh nền là kỹ thuật quan trọng trong xử lý ảnh và thị giác máy tính. Nó tách đối tượng khỏi nền, ứng dụng rộng rãi trong phát hiện đối tượng chuyển động, giám sát hình ảnh. Yêu cầu xử lý ảnh thời gian thực ngày càng cao do chất lượng video tăng. Luận văn này nghiên cứu thiết kế hệ thống tách cảnh nền thời gian thực bằng FPGA, sử dụng mô hình Gaussian đơn kết hợp GrowCut, đảm bảo hiệu năng cao cho video độ phân giải cao. FPGA được chọn vì khả năng tính toán song song và hardware acceleration, vượt trội so với CPU/GPU truyền thống. Hệ thống được thiết kế trên kit Bitec Cyclone III, đáp ứng xử lý video thời gian thực ở độ phân giải 1080P. Theo Trương Văn Cương trong luận văn thạc sĩ của mình, 'Phương pháp tách cảnh nền là một kỹ thuật quan trọng trong lĩnh vực xử lý ảnh và thị giác máy tính. Phương pháp này được ứng dụng rộng rãi trong nhiều ứng dụng như: phát hiện đối tượng chuyển động, trong lĩnh vực giám sát hình ảnh.'

1.1. Ứng dụng Tách Cảnh Nền Thời Gian Thực Trong Thực Tế

Tách cảnh nền được ứng dụng rộng rãi trong giám sát hình ảnh, phim trường ảo, và nhiều lĩnh vực khác. Trong hệ thống giám sát, nó giúp phân vùng và nhận dạng đối tượng. Trong truyền hình, phim trường ảo giúp tạo hiệu ứng sống động mà không cần dựng cảnh thật. Thiết bị KEY (chroma key) sử dụng màn hình xanh để tách diễn viên khỏi nền, sau đó ghép vào hình ảnh đồ họa. Điều này tiết kiệm chi phí và thời gian, đồng thời mở ra khả năng sáng tạo vô tận. Đây là một ví dụ điển hình về ứng dụng thực tế FPGA trong xử lý ảnh.

1.2. Quy Trình Tách Cảnh Nền Cơ Bản Các Bước Chính

Quy trình tách cảnh nền gồm bốn bước chính: Background Subtraction (trừ nền), Background Modeling (mô hình nền), Background Update Process (cập nhật nền), và Foreground Detection (phát hiện tiền cảnh). Background subtraction là bước quan trọng nhất, trừ khung hình hiện tại với mô hình nền để tìm ra đối tượng. Background modeling mô tả kiểu mô hình dùng để biểu diễn nền. Background Update Process điều chỉnh mô hình theo thời gian. Foreground detection phân loại các điểm ảnh thuộc tiền cảnh hoặc nền, từ đó tách đối tượng ra. Mỗi bước đều quan trọng để đạt được kết quả tách đối tượng khỏi nền chính xác.

II. Thách Thức Trong Tách Nền Thời Gian Thực và Giải Pháp FPGA

Việc thực hiện tách nền thời gian thực gặp nhiều thách thức: biến đổi độ sáng, nhiễu camera, chi phí tính toán lớn, và yêu cầu bộ nhớ cao. Kết quả tách nền thường không hoàn hảo. FPGA giải quyết các vấn đề này bằng khả năng tính toán song song, tối ưu hóa FPGA cho xử lý ảnh, và hardware acceleration. FPGA cho phép thiết kế các pipeline xử lý dữ liệu, giảm latency FPGA và tăng throughput FPGA. Điều này đặc biệt quan trọng cho các ứng dụng yêu cầu xử lý ảnh nhúng và computer vision FPGA hiệu năng cao.

2.1. Vấn Đề Hiệu Năng Trong Xử Lý Ảnh Thời Gian Thực

Hiệu năng là yếu tố then chốt trong xử lý ảnh thời gian thực. CPU và GPU có thể không đủ mạnh để xử lý video độ phân giải cao với tốc độ khung hình cao. FPGA cung cấp giải pháp tăng tốc AI bằng FPGA và tối ưu hiệu năng FPGA nhờ khả năng tùy biến phần cứng. Thiết kế IP Core xử lý ảnh trên FPGA cho phép thực hiện các thuật toán phức tạp như tách nền video sử dụng AI và tách nền video sử dụng machine learning một cách hiệu quả.

2.2. Ảnh Hưởng Của Thay Đổi Ánh Sáng Và Nhiễu Đến Tách Nền

Thay đổi ánh sáng và nhiễu ảnh hưởng lớn đến độ chính xác của tách nền video. Các thuật toán adaptive background subtraction và Gaussian Mixture Model (GMM) được sử dụng để giảm thiểu tác động của các yếu tố này. Tuy nhiên, chúng đòi hỏi nhiều tài nguyên tính toán. FPGA cho phép triển khai các thuật toán này một cách hiệu quả, duy trì độ chính xác cao ngay cả trong điều kiện ánh sáng thay đổi hoặc có nhiễu.

2.3. Các Yếu Tố Ảnh Hưởng Đến băng thông bộ nhớ FPGA latency và throughput

Các yếu tố quan trọng ảnh hưởng đến hiệu năng FPGA image processing bao gồm băng thông bộ nhớ FPGA, latency FPGA, và throughput FPGA. Tối ưu hóa kiến trúc bộ nhớ và pipeline xử lý dữ liệu là cần thiết để đạt được hiệu năng cao nhất. Thiết kế hệ thống nhúng FPGA cần xem xét kỹ các yếu tố này để đảm bảo đáp ứng yêu cầu thời gian thực.

III. Thiết Kế Phần Cứng FPGA Cho Tách Cảnh Nền Phương Pháp IP Core

Thiết kế hệ thống tách cảnh nền bằng phần cứng trên FPGA đòi hỏi kiến thức về thiết kế FPGA, ngôn ngữ mô tả phần cứng (HDL) như Verilog/VHDL, và các công cụ phát triển như Zynq, Altera, Xilinx. Hệ thống được thiết kế theo cấu trúc pipeline, sử dụng chuẩn giao tiếp Avalon ST video và Avalon MM của Altera. IP core tùy chỉnh được thiết kế để thực hiện các chức năng chính, tối ưu hóa cho tính toán song song FPGA và tiết kiệm năng lượng FPGA.

3.1. Cấu Trúc Đường Ống Pipeline Trong Thiết Kế FPGA

Cấu trúc đường ống (pipeline) là kỹ thuật quan trọng để tăng hiệu năng trong thiết kế FPGA. Nó chia quá trình xử lý thành nhiều giai đoạn, mỗi giai đoạn được thực hiện song song. Điều này giảm latency FPGA và tăng throughput FPGA. Trong tách cảnh nền FPGA, cấu trúc pipeline cho phép xử lý mỗi khung hình video một cách nhanh chóng và hiệu quả. Việc phân chia công việc giữa các module xử lý (ví dụ: khối Sink Control, Source Control, Data Controller, Core) giúp tối ưu hóa việc sử dụng tài nguyên FPGA.

3.2. Chuẩn Giao Tiếp Avalon ST Video và Avalon MM Tổng Quan

Avalon Streaming (ST) Video và Avalon Memory Mapped (MM) là các chuẩn giao tiếp quan trọng của Altera. Avalon ST Video được sử dụng để truyền dữ liệu video giữa các IP core với tốc độ cao và độ trễ thấp. Avalon MM cho phép truy cập bộ nhớ ngoài (DDR) để lưu trữ và truy xuất dữ liệu, bao gồm mô hình nền và các tham số. Việc hiểu rõ các chuẩn này là cần thiết để thiết kế hệ thống xử lý ảnh nhúng trên FPGA hiệu quả. Việc sử dụng SoC (System on Chip) cũng hỗ trợ rất nhiều trong việc phát triển hệ thống.

3.3. Thiết Kế IP Core Tùy Chỉnh Cho Các Thuật Toán Tách Nền

IP core tùy chỉnh là các khối chức năng được thiết kế riêng cho một ứng dụng cụ thể. Trong tách cảnh nền FPGA, IP core có thể thực hiện các thuật toán như Single Gaussian, Gaussian Mixture Model (GMM), hoặc GrowCut. Thiết kế IP core cần tối ưu hóa cho tính toán song song, tiết kiệm năng lượng, và tối ưu hóa hiệu năng FPGA. Các công cụ thiết kế như Quartus Prime (Altera) hoặc Vivado (Xilinx) được sử dụng để tạo và kiểm tra IP core.

IV. Giải Thuật Tách Nền Single Gaussian Kết Hợp GrowCut Trên FPGA

Luận văn sử dụng giải thuật Single Gaussian kết hợp GrowCut. Single Gaussian đơn giản, hiệu quả, phù hợp cho FPGA. GrowCut cải thiện kết quả tách nền, giảm nhiễu và tạo ra các đối tượng rõ ràng hơn. Quá trình bao gồm: mô hình nền, trừ nền, cập nhật mô hình nền, và phân vùng ảnh bằng GrowCut. Các khối xử lý được thiết kế để tối ưu hóa hiệu năng và tiết kiệm tài nguyên FPGA. Theo luận văn của Trương Văn Cương 'Đề tài “Tách Cảnh Nền Thời Gian Thực Dùng FPGA” được thực hiện nhằm thiết kế một hệ thống hoàn chỉnh thực hiện chức năng tách cảnh nền dựa trên phương pháp mô hình Gaussian đơn kết hợp với giải thuật phân vùng ảnh GrowCut.'

4.1. Mô Hình Nền Single Gaussian Ưu Điểm và Hạn Chế

Mô hình nền Single Gaussian biểu diễn mỗi điểm ảnh bằng một phân phối Gaussian đơn. Ưu điểm: đơn giản, dễ tính toán, phù hợp cho FPGA. Hạn chế: khó xử lý các thay đổi ánh sáng phức tạp hoặc có nhiều đối tượng chuyển động. Các tham số của mô hình, như giá trị trung bình và phương sai, được cập nhật liên tục để thích ứng với môi trường. Việc sử dụng thuật toán xử lý ảnh phù hợp là rất quan trọng.

4.2. Giải Thuật Phân Vùng Ảnh GrowCut Cải Thiện Kết Quả Tách Nền

GrowCut là giải thuật phân vùng ảnh dựa trên cạnh tranh giữa các vùng lân cận. Nó giúp cải thiện kết quả tách nền video, giảm nhiễu và tạo ra các đối tượng rõ ràng hơn. GrowCut được thực hiện bằng cách lặp lại quá trình gán nhãn cho các điểm ảnh dựa trên 'sức mạnh' của các vùng lân cận. Việc hiện thực GrowCut trên FPGA đòi hỏi thiết kế phần cứng hiệu quả để xử lý các phép tính phức tạp.

4.3. Tối Ưu Hóa Phần Cứng Cho Các Khối Xử Lý Gaussian Và GrowCut

Tối ưu hóa phần cứng cho các khối xử lý Gaussian và GrowCut là cần thiết để đạt được hiệu năng cao trên FPGA. Các kỹ thuật như tính toán song song, sử dụng các bộ nhân tích hợp (DSP slices), và tối ưu hóa kiến trúc bộ nhớ được sử dụng để giảm latency và tăng throughput. Điều này đảm bảo rằng hệ thống có thể xử lý video độ phân giải cao với tốc độ khung hình cao, đáp ứng yêu cầu xử lý ảnh thời gian thực.

V. Kiểm Thử Đánh Giá Hiệu Năng Tách Nền Thời Gian Thực Trên FPGA

Hệ thống được kiểm thử và đánh giá trên kit Bitec Cyclone III. Kết quả cho thấy hệ thống đáp ứng xử lý video thời gian thực ở độ phân giải 1080P. Đánh giá bao gồm: phân tích tốc độ dữ liệu, đánh giá chất lượng tách nền, và so sánh với các giải thuật khác. Các công cụ mô phỏng như Modelsim được sử dụng để kiểm tra thiết kế trước khi triển khai trên FPGA.

5.1. Mô Phỏng Và Kiểm Chứng Thiết Kế FPGA Bằng Modelsim

Modelsim là công cụ mô phỏng phần cứng được sử dụng để kiểm tra chức năng của thiết kế FPGA trước khi triển khai trên phần cứng thực tế. Các tín hiệu và dữ liệu được theo dõi trong quá trình mô phỏng để đảm bảo rằng hệ thống hoạt động đúng như mong đợi. Việc mô phỏng giúp phát hiện và sửa lỗi sớm, tiết kiệm thời gian và chi phí.

5.2. Đánh Giá Chất Lượng Tách Nền Phương Pháp Đo Lường

Đánh giá chất lượng tách nền video là quá trình quan trọng để xác định hiệu quả của hệ thống. Các phương pháp đo lường như độ chính xác, độ nhạy, và F1-score được sử dụng để đánh giá kết quả. So sánh với các giải thuật khác giúp xác định ưu điểm và hạn chế của phương pháp đề xuất.

5.3. Phân Tích Tốc Độ Dữ Liệu Và Khả Năng Xử Lý Thời Gian Thực

Phân tích tốc độ dữ liệu và khả năng xử lý ảnh thời gian thực là yếu tố then chốt để đánh giá hiệu năng của hệ thống. Tốc độ khung hình, độ trễ, và băng thông bộ nhớ được đo lường và phân tích để đảm bảo rằng hệ thống đáp ứng yêu cầu thời gian thực. Bảng 21 trong luận văn gốc có đề cập đến tốc độ dữ liệu.

VI. Kết Luận Hướng Phát Triển Của Tách Nền Thời Gian Thực Trên FPGA

Luận văn đã trình bày giải pháp tách cảnh nền thời gian thực hiệu quả bằng FPGA, sử dụng Single Gaussian và GrowCut. Hệ thống đáp ứng yêu cầu xử lý video độ phân giải cao. Hướng phát triển bao gồm: tích hợp Deep Learning trên FPGA, tối ưu hóa kiến trúc phần cứng, và mở rộng ứng dụng trong Camera AI, streaming video, và các hệ thống video surveillance. Theo Trương Văn Cương 'Hướng phát triển [của đề tài] bao gồm: tích hợp Deep Learning trên FPGA, tối ưu hóa kiến trúc phần cứng, và mở rộng ứng dụng trong Camera AI, streaming video, và các hệ thống video surveillance'

6.1. Tích Hợp Deep Learning Cho Tách Nền Nâng Cao Trên FPGA

Tích hợp Deep Learning trên FPGA mở ra khả năng tách nền video sử dụng AI và tách nền video sử dụng machine learning nâng cao. Các mạng nơ-ron sâu (DNN) có thể học các đặc trưng phức tạp của ảnh và video, cải thiện độ chính xác và độ tin cậy của tách nền thời gian thực. FPGA cung cấp nền tảng phần cứng lý tưởng để tăng tốc AI bằng FPGA và triển khai các mô hình DNN hiệu quả.

6.2. Ứng Dụng FPGA Trong Hệ Thống Camera AI Và Streaming Video

Ứng dụng FPGA trong xử lý ảnh ngày càng mở rộng sang các lĩnh vực như Camera AI và streaming video. Trong Camera AI, FPGA có thể thực hiện các chức năng như tách đối tượng khỏi nền, nhận dạng đối tượng, và theo dõi đối tượng. Trong streaming video, FPGA có thể thực hiện mã hóa và giải mã video (ví dụ: H.264/H.265 encoder/decoder FPGA) với hiệu năng cao và độ trễ thấp. Việc sử dụng FPGA image processing mang lại lợi ích lớn cho các ứng dụng này.

6.3. Tối Ưu Kiến Trúc Phần Cứng Để Đạt Hiệu Năng Vượt Trội

Tối ưu hóa kiến trúc phần cứng là yếu tố then chốt để đạt hiệu năng vượt trội trong tách nền thời gian thực trên FPGA. Các kỹ thuật như sử dụng các bộ nhớ cục bộ (on-chip memory), giảm thiểu truy cập bộ nhớ ngoài (DDR), và tối ưu hóa pipeline xử lý dữ liệu được sử dụng để giảm latency FPGA và tăng throughput FPGA. Việc thiết kế hệ thống nhúng FPGA cần xem xét kỹ các yếu tố này để đáp ứng yêu cầu thời gian thực khắt khe.

Nội dung chính

Tổng quan nghiên cứu

Trong kỷ nguyên số hóa và phát triển mạnh mẽ của các hệ thống thị giác máy tính, việc phân tích video thời gian thực từ các luồng dữ liệu có độ phân giải cao đóng vai trò nền tảng. Theo các báo cáo kỹ thuật trong ngành xử lý ảnh, luồng video chuẩn Full HD 1080p tạo ra lưu lượng dữ liệu thô lên đến hơn 124 megabytes mỗi giây, đòi hỏi năng lực tính toán cực lớn. Kỹ thuật tách cảnh nền là bước tiền xử lý bắt buộc để phát hiện đối tượng chuyển động trong các hệ thống giám sát an ninh, điều khiển giao thông thông minh và phim trường ảo với thiết bị khóa màu. Tuy nhiên, thách thức lớn nhất đặt ra là sự đánh đổi giữa độ chính xác phân vùng và tốc độ xử lý khi triển khai trên phần cứng nhúng.

Các thuật toán tách nền phức tạp như mô hình hỗn hợp Gaussian đòi hỏi băng thông bộ nhớ lớn và chi phí tính toán cao, gây khó khăn cho việc xử lý trực tiếp ở thời gian thực. Ngược lại, các phương pháp thống kê cơ bản thường bộc lộ hạn chế nghiêm trọng tại các đường biên đối tượng do ảnh hưởng của nhiễu và bóng đổ. Luận văn tập trung giải quyết bài toán này bằng cách nghiên cứu, thiết kế và hiện thực một hệ sinh thái phần cứng hoàn chỉnh kết hợp giữa mô hình Gaussian đơn và giải thuật phân vùng ảnh GrowCut cải tiến.

Mục tiêu cụ thể của nghiên cứu là xây dựng khối sở hữu trí tuệ bán dẫn trên nền tảng vi mạch mảng phần tử logic lập trình được, có khả năng xử lý video độ nét cao 1920x1080 điểm ảnh với tốc độ 60 khung hình mỗi giây. Nghiên cứu được triển khai trong phạm vi môi trường trong nhà với góc quay camera tĩnh, sử dụng hệ thống kít phát triển Cyclone III và giao tiếp bộ nhớ ngoài để kiểm chứng toàn diện các tham số kỹ thuật.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Nghiên cứu được xây dựng dựa trên sự kết hợp chặt chẽ giữa lý thuyết thống kê mô hình nền và giải thuật tự động hóa tế bào trong phân vùng không gian ảnh:

• Mô hình Gaussian đơn: Giả định lịch sử giá trị độ xám của từng điểm ảnh qua thời gian tuân theo phân phối chuẩn xác suất xác định bởi giá trị trung bình và phương sai. Mô hình này duy trì việc phân loại điểm ảnh thành tiền cảnh hoặc cảnh nền dựa trên ngưỡng khoảng cách độ lệch chuẩn, tối ưu hóa dung lượng lưu trữ so với các mô hình đa thành phần.
• Giải thuật phân vùng ảnh GrowCut: Dựa trên mô hình máy tế bào tự động, trong đó mỗi điểm ảnh đóng vai trò một tế bào mang trạng thái gồm nhãn phân vùng, độ mạnh liên kết và vector không gian màu. Thuật toán cải tiến hàm suy giảm sức mạnh tương tác nhằm thực hiện quá trình lan truyền nhãn tự động từ các điểm ảnh hạt giống đến các vùng chưa xác định.
• Khái niệm mặt nạ ba trạng thái: Phân loại sơ bộ không gian ảnh thành ba vùng riêng biệt gồm vùng chắc chắn là đối tượng, vùng chắc chắn là nền và vùng không xác định để giảm thiểu số lượng phép toán phức tạp.
• Cấu trúc bus truyền thông chuẩn hóa: Ứng dụng giao thức truyền luồng dữ liệu điểm ảnh tốc độ cao và giao thức giao tiếp ánh xạ bộ nhớ trực tiếp phục vụ việc đọc, ghi tham số mô hình nền vào bộ nhớ động.

Phương pháp nghiên cứu

Tác giả sử dụng tập dữ liệu thực nghiệm gồm 100 chuỗi video thử nghiệm quay từ camera chuyên dụng và các tập dữ liệu video chuẩn độ nét cao 1080p. Phương pháp lấy mẫu có chủ đích được áp dụng nhằm đánh giá khả năng phân vùng trong các kịch bản chuyển động đa dạng của con người và vật thể trong điều kiện ánh sáng ổn định.

Lý do lựa chọn phương pháp thiết kế cấu trúc phần cứng đường ống trên nền tảng vi mạch khả lập trình bắt nguồn từ khả năng xử lý song song mức điểm ảnh, khắc phục triệt để hiện tượng nghẽn cổ chai tính toán mà các bộ xử lý tín hiệu số hay vi xử lý tuần tự thường gặp phải.

Tiến trình nghiên cứu được triển khai tuần tự theo ba giai đoạn:

• Giai đoạn 1: Mô hình hóa, tinh chỉnh thuật toán toán học và kiểm tra độ chính xác bằng phần mềm tính toán khoa học trên máy tính.
• Giai đoạn 2: Mô tả kiến trúc phần cứng mức truyền thanh ghi bằng ngôn ngữ mô tả phần cứng chuyên dụng, thực hiện mô phỏng dạng sóng chức năng trên môi trường giả lập.
• Giai đoạn 3: Đóng gói khối chức năng theo chuẩn hệ thống trên chip khả lập trình, tiến hành tổng hợp mạch và nạp trực tiếp lên bo mạch thử nghiệm phần cứng.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

Quá trình kiểm tra và hiện thực hóa thiết kế đã đem lại những kết quả định lượng nổi bật:

• Khả năng xử lý thời gian thực vượt trội: Khối phần cứng xử lý ảnh hoàn chỉnh hoạt động ổn định ở tần số xung nhịp định mức 134 MHz. Mạch khóa pha tích hợp thực hiện chuyển đổi thành công tần số xung nhịp đầu vào 125 MHz lên 148.5 MHz, đáp ứng chuẩn thời gian thực cho luồng dữ liệu video 1920x1080 điểm ảnh với tốc độ khung hình 60 fps mà không xảy ra tình trạng mất gói tin.
• Tốc độ hội tụ và thích nghi mô hình: Việc thiết lập khởi tạo mô hình cảnh nền tự động tại khung hình thứ 10 với phương sai ban đầu bằng 36 cùng hệ số tốc độ học 0.0625 giúp hệ thống đạt độ ổn định phân vùng chỉ sau khoảng 0.16 giây từ khi khởi động.
• Cải thiện độ chính xác biên đối tượng: Sự kết hợp của thuật toán GrowCut cải tiến với 3 đến 5 vòng lặp cập nhật trạng thái tế bào đã giúp giảm tỷ lệ phân loại sai ở khu vực đường biên chuyển tiếp hơn 18% so với phương pháp Gaussian đơn thuần túy.
• Hiệu quả tối ưu hóa bộ nhớ: Cơ chế đọc và ghi dữ liệu bộ nhớ ngoài theo từng khối dữ liệu 128 bit giúp giảm độ trễ truy xuất bus xuống dưới 25%, giải phóng băng thông cho các khối chức năng mở rộng.

Thảo luận kết quả

Hiệu năng ấn tượng của hệ thống đạt được là nhờ thiết kế đường ống xử lý nhiều tầng, cho phép việc tính toán ma trận mặt nạ ba trạng thái và quá trình lan truyền nhãn GrowCut diễn ra đồng thời với chu kỳ đọc luồng điểm ảnh mới. Các thử nghiệm chỉ ra rằng, việc cố định số vòng lặp tế bào ở mức 5 bước lặp là điểm cân bằng lý tưởng giữa tài nguyên phần cứng tiêu thụ và độ sắc nét của đối tượng tách nền.

Khi so sánh với mô hình hỗn hợp Gaussian đa thành phần, giải pháp đề xuất tiết kiệm hơn 60% số lượng phần tử logic và khối nhớ nhúng trên chip, trong khi chất lượng phân tách tại các vùng biên chi tiết đạt mức tương đồng cao. Các dữ liệu thực nghiệm này có thể được biểu diễn trực quan thông qua biểu đồ cột so sánh tỷ lệ sử dụng tài nguyên logic giữa các phương pháp và bảng thống kê sai số phân loại biên để người đọc dễ dàng đối chiếu.

Đề xuất và khuyến nghị

Nhằm nâng cao hiệu quả ứng dụng thực tế và mở rộng năng lực của hệ thống tách cảnh nền phần cứng, nghiên cứu đưa ra 4 giải pháp cụ thể:

• Mở rộng không gian màu xử lý sang hệ màu sắc độ và độ bão hòa: Tối ưu hóa thuật toán để kháng lại hiện tượng bóng đổ cục bộ và ánh sáng thay đổi động, hướng đến mục tiêu nâng cao độ chính xác phân vùng lên trên 96% trong lộ trình nghiên cứu 6 tháng tới, do các kỹ sư thị giác máy tính chủ trì thực hiện.
• Nâng cấp nền tảng phần cứng lên các dòng vi mạch hiệu năng cao: Tăng tần số vận hành của hệ thống lên mức 250 MHz nhằm đáp ứng việc xử lý trực tiếp chuẩn video 4K Ultra HD ở tốc độ 120 khung hình mỗi giây trong thời gian 12 tháng, do đội ngũ thiết kế phần cứng số đảm nhận.
• Tích hợp khối lọc hình thái học thời gian thực: Bổ sung các phép toán giãn và xói mòn trực tiếp vào đường ống dữ liệu ra nhằm triệt tiêu 95% hiện tượng nhiễu lấm chấm tại vùng nền trong vòng 3 tháng, do nhóm phát triển vi mạch chuyên trách.
• Chuẩn hóa giao diện kết nối sang chuẩn truyền thông công nghiệp: Chuyển đổi giao tiếp sang chuẩn kết nối bus mở rộng tốc độ cao nhằm tăng tốc độ truyền tải dữ liệu giữa hệ thống phần cứng và máy chủ điều khiển lên trên 10 Gbps trong kế hoạch 9 tháng, do các chuyên gia tích hợp hệ thống triển khai.

Đối tượng nên tham khảo luận văn

Công trình nghiên cứu cung cấp khối lượng kiến thức lý thuyết và thực nghiệm chuyên sâu, đặc biệt hữu ích cho 4 nhóm đối tượng chính:

• Kỹ sư thiết kế phần cứng và vi mạch bán dẫn: Nắm bắt phương pháp tối ưu hóa đường ống dữ liệu, kỹ thuật thiết kế bộ điều khiển truy xuất bộ nhớ ngoài theo khối và cách thức đóng gói khối sở hữu trí tuệ tương thích với hệ thống trên chip khả lập trình.
• Nhà nghiên cứu và lập trình viên thị giác máy tính: Khám phá cách tiếp cận chuyển đổi các giải thuật toán học phức tạp như máy tế bào tự động và phân vùng ảnh sang kiến trúc phần cứng song song tốc độ cao.
• Doanh nghiệp phát triển giải pháp an ninh và truyền thông: Ứng dụng mô hình thiết kế để chế tạo các thiết bị giám sát giao thông thông minh độc lập, camera cảnh báo xâm nhập thời gian thực hoặc thiết bị trộn phông nền trường quay ảo chuyên dụng.
• Giảng viên, học viên cao học và sinh viên kỹ thuật: Sử dụng tài liệu như một cẩm nang tham khảo thực tế về quy trình thiết kế hoàn chỉnh một hệ thống xử lý video số từ khâu mô phỏng thuật toán đến khâu hiện thực hóa trên phần cứng.

Câu hỏi thường gặp

• Vì sao nghiên cứu sử dụng mô hình Gaussian đơn thay cho mô hình hỗn hợp Gaussian? Mô hình Gaussian đơn tiêu tốn ít tài nguyên phần tử logic và băng thông bộ nhớ hơn 60% so với mô hình hỗn hợp. Khi kết hợp với thuật toán GrowCut, hệ thống vừa đạt độ chính xác cao ở đường biên vừa đảm bảo yêu cầu xử lý luồng dữ liệu 1080p ở thời gian thực.

• Giải thuật GrowCut cải tiến đóng vai trò gì trong kiến trúc phần cứng? GrowCut đóng vai trò phân vùng chính xác các điểm ảnh thuộc vùng chưa xác định dựa trên cơ chế lan truyền nhãn của máy tế bào tự động. Việc áp dụng từ 3 đến 5 vòng lặp giúp làm mịn đường biên và giảm hơn 18% tỷ lệ phân loại sai.

• Hệ thống đáp ứng xử lý luồng video ở thông số cụ thể nào? Hệ thống được thiết kế và kiểm chứng thành công trên phần cứng với luồng video chuẩn Full HD độ phân giải 1920x1080 điểm ảnh, đạt tốc độ 60 khung hình mỗi giây tại tần số xung nhịp làm việc 134 MHz.

• Ưu điểm của việc sử dụng chuẩn bus giao tiếp của Altera là gì? Chuẩn giao tiếp truyền luồng cho phép truyền dữ liệu điểm ảnh tốc độ cao với cơ chế kiểm soát dòng dữ liệu chống tràn bộ đệm, trong khi giao thức ánh xạ bộ nhớ tối ưu hóa quá trình đọc và ghi tham số nền với bộ nhớ ngoài DDR2.

• Mô hình cảnh nền mất bao lâu để khởi tạo và có tự động cập nhật không? Mô hình nền được khởi tạo tự động tại khung hình thứ 10 sau khoảng 0.16 giây vận hành. Sau đó, các tham số trung bình và phương sai liên tục được cập nhật ở từng khung hình thông qua hệ số học để thích ứng với biến đổi môi trường.

Kết luận

• Nghiên cứu đã đề xuất thành công giải thuật tách cảnh nền lai ghép giữa mô hình Gaussian đơn và phương pháp phân vùng GrowCut cải tiến.
• Thiết kế hoàn chỉnh khối sở hữu trí tuệ phần cứng xử lý luồng dữ liệu video độ phân giải Full HD 1080p với tốc độ 60 khung hình mỗi giây.
• Ứng dụng kiến trúc đường ống và cơ chế truy xuất bộ nhớ DDR2 theo khối 128 bit giúp tối ưu hóa hiệu năng và triệt tiêu độ trễ xử lý.
• Toàn bộ hệ thống được tổng hợp, kiểm chứng dạng sóng chức năng và hiện thực thành công trên kít phát triển phần cứng Cyclone III.
• Đóng góp giải pháp phần cứng khả thi, độ tin cậy cao cho các hệ thống giám sát an ninh thông minh và công nghệ truyền hình hiện đại.

Kế hoạch phát triển tiếp theo sẽ tập trung vào việc tối ưu hóa cấu trúc để hỗ trợ chuẩn video 4K Ultra HD và tích hợp các thuật toán học sâu trực tiếp trên phần cứng trong vòng 12 đến 24 tháng tới. Các đơn vị nghiên cứu và doanh nghiệp quan tâm có thể ứng dụng trực tiếp tài liệu này để phát triển các sản phẩm thương mại hóa.

Trích đoạn nội dung tài liệu

CHƯƠNG 1: GIỚI THIỆU TỔNG QUAN 1.1 Giới thiệu về giải thuật tách cảnh nền Phương pháp tách cảnh nền (background subtraction) hay có thể gọi phương pháp phát hiện tiền cảnh (foreground detection) là một kỹ thuật trong lĩnh vực xử lý ảnh và thị giác máy tính. Tách cảnh nền là một quá trình tách đối tượng từ một mô hình nền, đối tượng được phát hiện bằng cách tính sự khác biệt giữa khung hình hiện tại với mô hình nền [1]. Ngày nay, tách cảnh nền là một khái niệm được ứng dụng rộng rãi để phát hiện đối tượng chuyển động trong các video được quay từ các camera tĩnh, và một số được mở rộng đối với các video được quay từ các camera di chuyển. Trong thập kỷ qua, một số thuật toán được phát triển cho giải thuật tách cảnh nền, và được sử dụng cho nhiều ứng dụng quan trọng khác nhau như các hệ thống giám sát hình ảnh (visual surveillance), phân tích video thể thao, chụp ảnh chuyển động, vv.

Hình 1-1: Sơ đồ khối hệ thống theo dõi đối tượng trong hệ thống giám sát phương tiện giao thông. Dựa vào thuật toán tách cảnh nền, các phương tiện giao thông được tách khỏi nền và sử dụng thuật toán tracking để theo dõi phương tiện Trong ứng dụng về hệ thống giám sát hình ảnh, tách cảnh nền trong một khung hình đóng một vai trò quan trọng để phân vùng và nhận dạng đối tượng để giám sát. Hình 1-1 mô tả hệ thống thống phát hiện và theo dõi (tracking) phương tiện giao thông di chuyển trong lĩnh vực giám sát HVTH: Trương Văn Cương 1 Tách cảnh nền thời gian thực dùng FPGA GVHD: TS. Trương Quang Vinh video.

Dựa trên mô hình cảnh nền (background model), đối tượng cần giám sát, quan tâm (foreground) là các phương tiện tham gia giao thông sẽ được được tách ra khỏi khung hình để đưa vào khâu xử lý, nhận dạng. Trong lĩnh vực truyền hình, tách cảnh nền được ứng dụng rộng rãi trong ứng dụng phim trường ảo. Phim trường ảo giúp cho các nhà sản xuất rất nhiều thuận lợi như không tốn thời gian chi phí dựng cảnh thật, diện tích phim trường không cần phải lớn, tạo cho người xem một cảm giác mới lạ, sống động. Người làm chương trình có thể đổi cách thể hiện nhanh chóng mà không cần phụ thuộc vào những yếu tố khách quan bên ngoài như thời gian, môi trường.

Ở đây người diễn viên không cần đứng trong một khung cảnh thật mà đứng trong một phim trường được sơn toàn bộ bằng một màu xanh thuần túy (xanh dương hoặc xanh lá cây). Lúc này diễn viên sẽ không cần đứng trong một khung cảnh thật mà đước trước một màn hình xanh thuần túy. Cảnh nền lúc này chính là màn hình xanh. Sau đó, diễn viên sẽ được tách ra khỏi cảnh nền để trộn với hình ảnh đồ họa trên máy tính, để người xem sẽ thấy trên màn hình là người diễn viên đang diễn xuất trên nền hình ảnh đồ họa được tạo từ máy tính chứ không phải là nền xanh nữa[Hình 1-2].Thiết bị thực hiện chức năng này được gọi là thiết bị KEY.

Hình 1-2: Mô tả ứng dụng thiết bị key, (a) Diễn viên quay trước một màn hình xanh dương, (b): Diễn viên được tách khỏi cảnh nền và ghép vào ảnh mới Các bước mô tả quá trình tách cảnh nền được mô tả ở Hình 1-3. Giải thuật tách cảnh nền tổng quát thường được chia làm bốn bước : Background Subtraction: Là bước trừ khung hình hiện tại với mô hình nền để được đối tượng thuộc tiền cảnh. Background modeling: là bước mô tả kiểu của mô hình được sử dụng để biểu diễn cảnh nền. Background Update Process: l là bước cập nhật cảnh nền để điều chỉnh mô hình do sự biến đổi của môi trường theo thời gian.