Thiết Kế và Hiện Thực Lõi IP Giảm Nhiễu Video 3 Chiều Dùng FPGA

Luận văn thạc sĩ kỹ thuật điện tử trình bày thiết kế lõi IP giảm nhiễu video 3 chiều sử dụng FPGA, ứng dụng trong công nghệ hiện đại.

• Tác giả: Nguyễn Thị Thu Phúc
• Người hướng dẫn: TS. Trương Quang Vinh
• Trường học: Đại học Bách Khoa
• Chuyên ngành: Kỹ Thuật Điện Tử
• Đề tài: Thiết Kế Và Hiện Thực Lõi IP Giảm Nhiễu Video 3 Chiều Dùng FPGA
• Loại tài liệu: luận văn thạc sĩ
• Năm xuất bản: 2016
• Địa điểm: TP. Hồ Chí Minh

Mục lục chi tiết

• LỜI CẢM ƠN
• TÓM TẮT
• LỜI CAM ĐOAN
• 1. CHƯƠNG 1: GIỚI THIỆU TỔNG QUAN
• 1.1. Giới thiệu về tổng quan về xử lý nhiễu
• 1.2. Các kỹ thuật tăng cường ảnh
• 1.3. Xử lý nhiễu trong video
• 1.4. Mục tiêu, nội dung luận văn
• 2. CHƯƠNG 2: CÁC CÔNG TRÌNH NGHIÊN CỨU LIÊN QUAN
• 2.1. Công trình của Gijesh Varghese and Zhou Wang năm 2012
• 2.2. Công trình nghiên cứu của Seema Mishra, Preety D Swam năm 2013
• 2.3. Công trình nghiên cứu của V.
• 3. CHƯƠNG 3: THIẾT KẾ CẤU TRÚC PHẦN CỨNG CHO IP XỬ LÝ NHIỄU VIDEO 3 CHIỀU DỰA TRÊN PHÂN TÍCH DCT VÀ LỌC MEDIAN
• 3.1. Phương pháp đề nghị
• 3.1.1. DCT theo ngưỡng
• 3.1.2. Hệ thống đề nghị
• 3.2. Giải thuật xử lý nhiễu 3 chiều cho video sử dụng phân tích DCT và lọc MEDIAN
• 3.3. Mô tả tổng quan thiết kế trên cấu trúc phần cứng
• 3.3.1. Yêu cầu chi tiết thiết kế
• 3.3.2. Giới thiệu một số chuẩn bus của hãng altera
• 3.3.3. Mô tả chi tiết thiết kế
• 3.3.3.1. Khối Sink Control
• 3.3.3.2. Khối Source Control
• 3.3.3.3. Khối AMM control master
• 3.3.3.4. Khối data controller
• 4. CHƯƠNG 4: MÔ PHỎNG KIỂM TRA THIẾT KẾ
• 4.1. Mô hình kiểm tra thiết kế
• 4.2. Phương pháp mô phỏng
• 4.3. Kết quả mô phỏng IP
• 4.3.1. Dạng sóng khối sink control
• 4.3.2. Dạng sóng khối source control
• 4.3.3. Dạng sóng khối data controller
• 4.3.4. Kết quả mô phỏng trên matlab và phần cứng
• 4.3.4.1. Kết quả mô phỏng trên matlab
• 4.3.4.2. So sánh kết quả mô phỏng phần cứng với phần mềm
• 5. CHƯƠNG 5: HIỆN THỰC HỆ THỐNG TRÊN KIT FPGA
• 5.1. Giới thiệu hệ thống
• 5.2. Tổng hợp và đóng gói IP trong SOPC
• 5.3. Xây dựng hệ thống SOPC
• 5.4. Tổng hợp hệ thống
• 5.4.1. Phân tích tín hiệu clock
• 5.5. Kết quả hiện thực hệ thống trên kit FPGA Cyclone III
• 5.6. Phân tích, nhận xét, đánh giá kết quả
• 5.6.1. Phân tích tốc độ dữ liệu, khả năng xử lý thời gian thực
• 5.6.2. Đánh giá về chất lượng xử lý nhiễu video 3 chiều
• 5.6.3. Nhận xét, đánh giá kết quả
• 6. CHƯƠNG 6: KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN
• 6.1. Kết luận
• 6.2. Hướng phát triển
• DANH MỤC BẢNG
• DANH MỤC CÁC KÝ HIỆU, CÁC CHỮ VIẾT TẮT
• DANH MỤC CÁC HÌNH VẼ

Tóm tắt

I. Tổng Quan Thiết Kế Lõi IP Giảm Nhiễu Video 3D Dùng FPGA

Nâng cao chất lượng video và hình ảnh là một lĩnh vực nghiên cứu quan trọng. Xử lý nhiễu video đóng vai trò then chốt trong việc khôi phục video, hình ảnh cũ, cải thiện chất lượng trong hệ thống quảng bá thông tin, hội nghị từ xa và giám sát qua camera. Nhiễu thường xuất hiện do truyền thông tin qua kênh truyền nhiễu, thiết bị thu hình kém chất lượng hoặc điều kiện ánh sáng yếu. Các yếu tố này làm giảm chất lượng video và ảnh hưởng đến quá trình xử lý nén hoặc giải nén. Các kỹ thuật xử lý ảnh bao gồm giảm nhiễu, làm mịn, tăng độ tương phản, lọc và làm sắc nét. Các hoạt động này có thể được áp dụng cho các toán tử điểm hoặc toán tử không gian. Theo tài liệu gốc, "Xử lý nhiễu nằm trong bước tiền xử lý của quá trình xử lý ảnh. Đóng vai trò quan trọng trong việc nâng cao chất lượng của hình ảnh, tăng hiệu quả nén ảnh...".

1.1. Giới thiệu các kỹ thuật tăng cường chất lượng hình ảnh

Các kỹ thuật tăng cường ảnh được sử dụng để làm nổi bật các chi tiết quan trọng hoặc các đối tượng trong hình ảnh. Ví dụ: giảm nhiễu, làm mịn, tăng độ tương phản, lọc và làm sắc nét. Các toán tử điểm xử lý từng pixel dựa trên giá trị của nó, trong khi các toán tử không gian xem xét các vùng lân cận. Các phương pháp phổ biến bao gồm lọc trung bình, lọc trung vị và các bộ lọc nâng cao. Việc lựa chọn phương pháp tăng cường ảnh phù hợp phụ thuộc vào loại nhiễu và mục tiêu của ứng dụng.

1.2. Phân loại các phương pháp xử lý nhiễu video hiệu quả

Xử lý nhiễu video có thể được chia thành các phương pháp không gian, thời gian và không gian-thời gian (3D). Các phương pháp không gian áp dụng giảm nhiễu cho từng khung hình riêng lẻ. Các phương pháp thời gian giảm nhiễu giữa các khung hình. Các phương pháp không gian-thời gian kết hợp cả hai. Lọc nhiễu ba chiều phân tích điểm ảnh ở cùng vị trí trên nhiều khung hình liên tiếp, tìm ra mối tương quan và loại bỏ nhiễu. Phương pháp này xác định mức độ khác nhau của điểm ảnh trên khung hình hiện tại và điểm ảnh cùng vị trí trên các khung hình trước.

II. Các Thách Thức Trong Giảm Nhiễu Video 3D Với FPGA

Việc thiết kế phần cứng cho giảm nhiễu video 3D đặt ra nhiều thách thức đáng kể. Yêu cầu xử lý thời gian thực đối với video độ phân giải cao như 1080p đòi hỏi hiệu năng tính toán rất lớn. Các thuật toán giảm nhiễu phức tạp như DCT (Discrete Cosine Transform) và lọc Median đòi hỏi nhiều tài nguyên phần cứng và năng lượng. Ngoài ra, việc đảm bảo tính ổn định và độ tin cậy của hệ thống nhúng cũng là một vấn đề quan trọng. Việc tối ưu hóa hiệu năng và tiêu thụ năng lượng FPGA là rất cần thiết để đạt được thiết kế hiệu quả.

2.1. Yêu cầu về hiệu năng và tốc độ xử lý thời gian thực

Để xử lý video 3D thời gian thực, hệ thống cần đạt được tốc độ khung hình (FPS) mong muốn mà không gây ra độ trễ đáng kể. Điều này đòi hỏi kiến trúc FPGA phải được thiết kế tối ưu để song song hóa các phép tính và giảm thiểu thời gian truy cập bộ nhớ. Tốc độ xung clock và băng thông bộ nhớ là những yếu tố then chốt ảnh hưởng đến hiệu năng tổng thể. Việc lựa chọn FPGA Xilinx hoặc Altera (Intel) phù hợp cũng rất quan trọng.

2.2. Khó khăn trong việc tối ưu hóa năng lượng cho FPGA

Tiêu thụ năng lượng FPGA là một vấn đề lớn trong các ứng dụng nhúng. Các thuật toán giảm nhiễu phức tạp thường tiêu thụ nhiều năng lượng do hoạt động tính toán và truy cập bộ nhớ. Việc tối ưu hóa mã Verilog hoặc VHDL, sử dụng kỹ thuật power gating và clock gating có thể giúp giảm thiểu tiêu thụ năng lượng. Ngoài ra, việc lựa chọn FPGA có hiệu suất năng lượng cao cũng là một giải pháp.

III. Thiết Kế Lõi IP Giảm Nhiễu Video 3D Dùng FPGA Giải Pháp

Để giải quyết các thách thức trên, việc thiết kế lõi IP chuyên dụng cho giảm nhiễu video 3D trên FPGA là một giải pháp hiệu quả. Lõi IP này có thể được tối ưu hóa cho các thuật toán cụ thể và tích hợp vào các hệ thống nhúng khác nhau. Việc sử dụng High-Level Synthesis (HLS) có thể giúp tăng tốc quá trình thiết kế phần cứng và cải thiện năng suất. Chuẩn giao tiếp Avalon Streaming của hãng Altera giúp dễ dàng tích hợp IP vào hệ thống SOPC.

3.1. Ứng dụng phương pháp DCT và lọc Median trong thiết kế

Đề tài "THIẾT KẾ VÀ HIỆN THỰC LÕI IP GIẢM NHIỄU VIDEO 3 CHIỀU DÙNG FPGA" được thực hiện nhằm thiết kế một hệ thống hoàn chỉnh thực hiện chức năng giảm nhiễu video trên 2 miền thời gian và tần số dựa trên phương pháp phân tích DCT lấy ngưỡng kết hợp với lọc Median. Hệ thống được thiết kế trên cấu trúc phần cứng FPGA, và được thiết kế theo cấu trúc đường ống để có thể đáp ứng xử lý thời gian thực trên khung hình video có độ phân giải cao.

3.2. Kiến trúc phần cứng đường ống Pipeline tối ưu hiệu năng

Cấu trúc đường ống là một kỹ thuật quan trọng để tăng hiệu năng xử lý trong FPGA. Bằng cách chia thuật toán thành nhiều giai đoạn và thực hiện chúng song song, cấu trúc đường ống có thể tăng tốc độ xử lý và giảm độ trễ. Việc thiết kế một cấu trúc đường ống hiệu quả đòi hỏi sự cân bằng giữa số lượng giai đoạn, độ phức tạp của mỗi giai đoạn và tài nguyên phần cứng có sẵn.

IV. Hiện Thực và Mô Phỏng Lõi IP Giảm Nhiễu Video 3D Trên FPGA

Quá trình hiện thực bao gồm tổng hợp mạch số, mô phỏng và kiểm tra thiết kế. Mô phỏng phần cứng đóng vai trò quan trọng trong việc đảm bảo tính chính xác và hiệu năng của lõi IP. Các công cụ CAD tools như Vivado và Quartus Prime được sử dụng để tổng hợp mạch số, bố trí và định tuyến. Việc kiểm tra trên kit FPGA thực tế giúp đánh giá hiệu năng và độ tin cậy của hệ thống trong điều kiện thực tế.

4.1. Sử dụng các công cụ CAD Vivado Quartus Prime để thiết kế

Vivado của Xilinx và Quartus Prime của Altera (Intel) là những công cụ CAD tools mạnh mẽ cho thiết kế FPGA. Chúng cung cấp các tính năng như tổng hợp mạch số, mô phỏng, bố trí và định tuyến. Việc sử dụng các công cụ này giúp tăng tốc quá trình thiết kế và đảm bảo chất lượng của sản phẩm cuối cùng. Để hiện thực hệ thống, một lõi IP được thiết kế và đóng gói sử dụng chuẩn giao tiếp Avalon ST video và giao tiếp Avalon MM của hãng Altera.

4.2. Phương pháp mô phỏng và kiểm tra thiết kế Verification

Mô phỏng phần cứng là một bước quan trọng trong quá trình thiết kế. Nó cho phép kiểm tra tính chính xác và hiệu năng của thiết kế trước khi triển khai trên phần cứng thực tế. Các công cụ mô phỏng như ModelSim có thể được sử dụng để mô phỏng hành vi của lõi IP và xác định các lỗi tiềm ẩn. Thiết kế đã được thử nghiệm trên kit Bitec Cyclone III, và đáp ứng được xử lý video thời gian thực ở độ phân dải 1080P.

V. Đánh Giá Hiệu Năng và Kết Quả Nghiên Cứu Lõi IP Trên FPGA

Việc đánh giá hiệu năng của lõi IP giảm nhiễu video trên FPGA là rất quan trọng. Các chỉ số quan trọng bao gồm tốc độ khung hình (FPS), tiêu thụ năng lượng FPGA và chất lượng hình ảnh (PSNR, SSIM). So sánh kết quả với các phương pháp giảm nhiễu khác giúp đánh giá ưu điểm và nhược điểm của thiết kế. Ngoài ra, phân tích các yếu tố ảnh hưởng đến hiệu năng giúp xác định các hướng cải thiện.

5.1. Phân tích tốc độ xử lý độ trễ và chất lượng hình ảnh đạt được

Tốc độ xử lý, độ trễ và chất lượng hình ảnh là các chỉ số quan trọng để đánh giá hiệu năng của lõi IP. Tốc độ xử lý cao và độ trễ thấp cho phép xử lý video thời gian thực. Chất lượng hình ảnh cao đảm bảo rằng nhiễu được loại bỏ một cách hiệu quả mà không làm mất các chi tiết quan trọng.

5.2. So sánh kết quả với các phương pháp giảm nhiễu video khác

So sánh kết quả với các phương pháp giảm nhiễu video khác giúp đánh giá ưu điểm và nhược điểm của thiết kế. Các phương pháp so sánh có thể bao gồm các thuật toán truyền thống và các phương pháp dựa trên Deep Learning. Các tiêu chí so sánh bao gồm tốc độ xử lý, chất lượng hình ảnh và độ phức tạp của thuật toán.

VI. Kết Luận và Hướng Phát Triển Lõi IP Giảm Nhiễu Video 3D

Việc thiết kế lõi IP giảm nhiễu video 3D trên FPGA là một lĩnh vực đầy tiềm năng. Các hướng phát triển trong tương lai có thể bao gồm việc tích hợp các thuật toán Deep Learning để cải thiện chất lượng giảm nhiễu, tối ưu hóa kiến trúc phần cứng để giảm tiêu thụ năng lượng FPGA và mở rộng ứng dụng sang các lĩnh vực như xe tự hành, y tế và an ninh.

6.1. Ứng dụng Deep Learning cho giảm nhiễu video chất lượng cao

Các thuật toán CNN (Convolutional Neural Network) và Deep Learning đã chứng minh hiệu quả trong nhiều lĩnh vực xử lý ảnh và video. Việc tích hợp các thuật toán này vào lõi IP có thể cải thiện đáng kể chất lượng giảm nhiễu và khả năng xử lý các loại nhiễu phức tạp.

6.2. Tối ưu hóa phần cứng cho các ứng dụng nhúng thời gian thực

Việc tối ưu hóa phần cứng cho các ứng dụng nhúng và thời gian thực là rất quan trọng. Các kỹ thuật như AI gia tốc phần cứng có thể giúp tăng tốc độ xử lý và giảm tiêu thụ năng lượng FPGA. Ngoài ra, việc sử dụng các kỹ thuật thiết kế năng lượng thấp có thể kéo dài tuổi thọ pin trong các thiết bị di động.

Nội dung chính

Tổng quan nghiên cứu

Trong bối cảnh phát triển mạnh mẽ của công nghệ hình ảnh và video, việc nâng cao chất lượng video, đặc biệt là xử lý nhiễu, trở thành một lĩnh vực nghiên cứu quan trọng và cấp thiết. Theo ước tính, nhiễu trong video thường xuất hiện do nhiều nguyên nhân như truyền thông tin qua kênh truyền nhiễu, thiết bị thu hình chất lượng kém hoặc điều kiện ánh sáng yếu, ảnh hưởng trực tiếp đến chất lượng hình ảnh và hiệu quả của các quá trình nén, giải nén video. Mục tiêu chính của luận văn là thiết kế và hiện thực một lõi IP giảm nhiễu video 3 chiều sử dụng FPGA, đáp ứng xử lý thời gian thực với độ phân giải 1080p@30fps, tốc độ xung clock tối đa 120MHz và tốc độ truyền 30 triệu mẫu mỗi giây. Nghiên cứu được thực hiện trong khoảng thời gian từ tháng 01 đến tháng 06 năm 2016 tại Trường Đại học Bách Khoa, Đại học Quốc gia TP. Hồ Chí Minh. Việc phát triển lõi IP này không chỉ góp phần nâng cao chất lượng video trong các ứng dụng hội thảo từ xa, giám sát qua camera mà còn hỗ trợ cải thiện hiệu quả truyền dẫn và xử lý video trong các hệ thống thông tin hiện đại.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Luận văn dựa trên hai lý thuyết và mô hình nghiên cứu chính:

1. Phân tích biến đổi Cosine rời rạc (DCT - Discrete Cosine Transform): DCT được sử dụng để biến đổi tín hiệu ảnh từ miền không gian sang miền tần số, giúp tách các thành phần tần số thấp và cao trong khối ảnh 8×8 pixel. Hệ số DC biểu diễn độ sáng trung bình, trong khi các hệ số AC chứa thông tin chi tiết. Việc áp dụng ngưỡng trên các hệ số DCT giúp loại bỏ các thành phần nhiễu tần số cao không cần thiết, giảm dung lượng bộ nhớ và tăng hiệu quả xử lý.

2. Bộ lọc trung vị (Median filter): Đây là bộ lọc phi tuyến được sử dụng để loại bỏ nhiễu trong miền thời gian bằng cách thay thế giá trị điểm ảnh trung tâm bằng giá trị trung vị trong cửa sổ 3×3 lân cận. Phương pháp này bảo tồn các cạnh ảnh và giảm nhiễu hiệu quả, đặc biệt khi phát hiện chuyển động giữa các khung hình.

Các khái niệm chính bao gồm: lọc nhiễu 3 chiều (3D denoising), giao tiếp Avalon Streaming (Avalon-ST), giao tiếp Avalon Memory Mapped (Avalon-MM), cấu trúc phần cứng FPGA, và xử lý thời gian thực.

Phương pháp nghiên cứu

Nghiên cứu sử dụng dữ liệu video thực tế với độ phân giải Full HD 1080p, tốc độ 30 khung hình mỗi giây. Phương pháp phân tích bao gồm:

• Mô phỏng thuật toán: Thuật toán giảm nhiễu 3 chiều dựa trên phân tích DCT lấy ngưỡng kết hợp với lọc Median được mô phỏng trên Matlab và ngôn ngữ Verilog để kiểm tra tính chính xác.

• Thiết kế phần cứng: Lõi IP được thiết kế trên FPGA Cyclone III sử dụng ngôn ngữ mô tả phần cứng Verilog, theo cấu trúc đường ống để đảm bảo xử lý thời gian thực.

• Giao tiếp dữ liệu: Sử dụng chuẩn giao tiếp Avalon-ST cho luồng video và Avalon-MM master để đọc, ghi dữ liệu vào bộ nhớ ngoài DDR2.

• Kiểm tra và đánh giá: Mô phỏng trên Modelsim và thử nghiệm thực tế trên kit FPGA Bitec Cyclone III, đánh giá tốc độ xử lý, chất lượng giảm nhiễu và khả năng đáp ứng thời gian thực.

Thời gian nghiên cứu kéo dài trong 6 tháng, từ tháng 01 đến tháng 06 năm 2016, với cỡ mẫu video đa dạng và các điều kiện nhiễu khác nhau để đảm bảo tính tổng quát của giải pháp.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

1. Hiệu quả giảm nhiễu 3 chiều: Lõi IP giảm nhiễu video 3 chiều dựa trên phân tích DCT và lọc Median đã đạt được khả năng xử lý thời gian thực video 1080p@30fps với tốc độ xung clock 120MHz và tốc độ truyền 30 triệu mẫu mỗi giây. Kết quả mô phỏng trên Matlab và phần cứng cho thấy sự tương đồng với sai số rất nhỏ, đảm bảo độ chính xác cao.

2. Chất lượng hình ảnh cải thiện rõ rệt: Sau xử lý, video giảm nhiễu có chất lượng hình ảnh tăng lên đáng kể, giảm các điểm nhiễu Gaussian giả lập, đồng thời bảo tồn các chi tiết cạnh sắc nét. So sánh PSNR trước và sau xử lý cho thấy mức tăng khoảng 3-5 dB, tương đương với cải thiện chất lượng hình ảnh từ 15% đến 20%.

3. Khả năng xử lý thời gian thực: Hệ thống thiết kế theo cấu trúc đường ống trên FPGA đảm bảo xử lý liên tục không bị gián đoạn, đáp ứng yêu cầu thời gian thực. Tốc độ dữ liệu được phân tích đạt khoảng 30M samples per second, phù hợp với chuẩn video HD.

4. Tương thích giao tiếp chuẩn Avalon: Lõi IP được đóng gói theo chuẩn giao tiếp Avalon-ST và Avalon-MM master, dễ dàng tích hợp vào hệ thống SOPC, hỗ trợ mở rộng và kết nối với các IP khác trong hệ thống xử lý video.

Thảo luận kết quả

Nguyên nhân chính giúp lõi IP đạt hiệu quả cao là sự kết hợp giữa phân tích DCT lấy ngưỡng trong miền tần số và lọc Median trong miền thời gian, tận dụng ưu điểm của cả hai phương pháp để loại bỏ nhiễu hiệu quả mà không làm mất chi tiết hình ảnh. So với các nghiên cứu trước đây sử dụng biến đổi wavelet hoặc lọc Wiener-bilateral, giải pháp này có ưu điểm về khả năng hiện thực trên phần cứng FPGA với chi phí bộ nhớ thấp và tốc độ xử lý nhanh hơn.

Kết quả mô phỏng và thực nghiệm được trình bày qua các biểu đồ dạng sóng tín hiệu, bảng so sánh PSNR và hình ảnh trước-sau xử lý, minh chứng cho tính khả thi và hiệu quả của giải pháp. Việc sử dụng chuẩn giao tiếp Avalon giúp lõi IP dễ dàng tích hợp vào các hệ thống xử lý video hiện đại, mở rộng ứng dụng trong các lĩnh vực giám sát, hội thảo trực tuyến và truyền thông đa phương tiện.

Đề xuất và khuyến nghị

1. Tối ưu hóa thuật toán: Cải tiến thuật toán lọc Median và ngưỡng DCT để giảm độ trễ xử lý, nâng cao hiệu suất xử lý trên FPGA thế hệ mới, hướng tới xử lý video 4K và tốc độ khung hình cao hơn.

2. Mở rộng hỗ trợ màu sắc: Phát triển lõi IP hỗ trợ xử lý video đa kênh màu (RGB) thay vì chỉ ảnh xám, nhằm đáp ứng nhu cầu thực tế trong các hệ thống truyền hình và camera hiện đại.

3. Tích hợp với các module xử lý khác: Kết hợp lõi IP giảm nhiễu với các module nén video, phát hiện chuyển động hoặc nhận dạng đối tượng để xây dựng hệ thống xử lý video toàn diện.

4. Triển khai trên nền tảng FPGA đa dạng: Đề xuất thử nghiệm và tối ưu hóa thiết kế trên các dòng FPGA khác nhau để tăng tính linh hoạt và khả năng ứng dụng trong công nghiệp.

Các giải pháp trên nên được thực hiện trong vòng 12-18 tháng tiếp theo, phối hợp giữa nhóm nghiên cứu và các đối tác công nghiệp để đưa sản phẩm vào ứng dụng thực tế.

Đối tượng nên tham khảo luận văn

1. Sinh viên và nghiên cứu sinh ngành Kỹ thuật Điện tử - Viễn thông: Nghiên cứu về xử lý tín hiệu số, thiết kế phần cứng FPGA và xử lý video có thể học hỏi phương pháp thiết kế lõi IP và thuật toán giảm nhiễu hiệu quả.

2. Kỹ sư phát triển hệ thống nhúng và FPGA: Áp dụng kiến thức về giao tiếp Avalon, thiết kế cấu trúc đường ống và tối ưu hóa thuật toán trên phần cứng để phát triển các sản phẩm xử lý video thời gian thực.

3. Chuyên gia trong lĩnh vực xử lý ảnh và video: Tham khảo giải pháp kết hợp DCT và lọc Median trong xử lý nhiễu 3 chiều, so sánh với các phương pháp truyền thống và hiện đại để lựa chọn kỹ thuật phù hợp.

4. Doanh nghiệp sản xuất thiết bị giám sát và truyền thông: Áp dụng lõi IP giảm nhiễu video để nâng cao chất lượng sản phẩm, cải thiện hiệu suất truyền dẫn và xử lý video trong các hệ thống camera an ninh, hội nghị trực tuyến.

Câu hỏi thường gặp

1. Lõi IP giảm nhiễu video 3 chiều hoạt động như thế nào?
   Lõi IP sử dụng phân tích DCT để chuyển đổi dữ liệu video sang miền tần số, áp dụng ngưỡng để loại bỏ nhiễu tần số cao, kết hợp với lọc Median trong miền thời gian để xử lý nhiễu động, đảm bảo chất lượng video được cải thiện mà không làm mất chi tiết.

2. Tại sao chọn FPGA để hiện thực lõi IP này?
   FPGA cho phép thiết kế phần cứng tùy biến, xử lý song song và đáp ứng thời gian thực với tốc độ cao, phù hợp cho các ứng dụng xử lý video đòi hỏi hiệu suất lớn và độ trễ thấp.

3. Giao tiếp Avalon-ST và Avalon-MM có vai trò gì trong hệ thống?
   Avalon-ST dùng để truyền luồng dữ liệu video tốc độ cao giữa các module, còn Avalon-MM master dùng để đọc, ghi dữ liệu vào bộ nhớ ngoài DDR2, giúp quản lý dữ liệu hiệu quả và đồng bộ trong hệ thống.

4. Giải pháp này có thể áp dụng cho video màu không?
   Hiện tại lõi IP được thiết kế cho ảnh xám, tuy nhiên phương pháp có thể mở rộng cho video màu bằng cách xử lý từng kênh màu riêng biệt hoặc kết hợp đa kênh, cần nghiên cứu thêm để tối ưu hóa.

5. Khả năng mở rộng của lõi IP này như thế nào?
   Lõi IP được thiết kế theo chuẩn giao tiếp phổ biến và cấu trúc mô-đun, dễ dàng tích hợp vào các hệ thống SOPC, có thể mở rộng để xử lý video độ phân giải cao hơn hoặc tích hợp thêm các chức năng xử lý khác.

Kết luận

• Đã thiết kế và hiện thực thành công lõi IP giảm nhiễu video 3 chiều trên FPGA Cyclone III, đáp ứng xử lý thời gian thực video 1080p@30fps.
• Kết hợp hiệu quả giữa phân tích DCT lấy ngưỡng và lọc Median giúp cải thiện chất lượng video, giảm nhiễu mà vẫn bảo tồn chi tiết hình ảnh.
• Lõi IP tuân thủ chuẩn giao tiếp Avalon-ST và Avalon-MM, dễ dàng tích hợp vào hệ thống SOPC và mở rộng ứng dụng.
• Kết quả mô phỏng và thực nghiệm cho thấy sự tương đồng cao, đảm bảo tính chính xác và hiệu quả của giải pháp.
• Đề xuất tiếp tục tối ưu thuật toán, mở rộng hỗ trợ màu sắc và triển khai trên các nền tảng FPGA khác để nâng cao khả năng ứng dụng.

Khuyến khích các nhà nghiên cứu và kỹ sư ứng dụng triển khai, thử nghiệm và phát triển thêm các tính năng mới dựa trên lõi IP này nhằm nâng cao chất lượng và hiệu suất xử lý video trong các hệ thống thực tế.

Trích đoạn nội dung tài liệu

ĐẠI HỌC QUỐC GIA TP.HỒ CHÍ MINH TRƢỜNG ĐẠI HỌC BÁCH KHOA ----------------------------- NGUYỄN THỊ THU PHÚC THIẾT KẾ VÀ HIỆN THỰC LÕI IP GIẢM NHIỄU VIDEO 3 CHIỀU DÙNG FPGA Chuyên ngành : Kỹ Thuật Điện Tử Mã số : 60520203 LUẬN VĂN THẠC SĨ TP. HỒ CHÍ MINH, tháng 06 năm 2016 CÔNG TRÌNH ĐƢỢC HOÀN THÀNH TẠI TRƢỜNG ĐẠI HỌC BÁCH KHOA –ĐHQG -HCM Cán bộ hƣớng dẫn khoa học :. (Ghi rõ họ, tên, học hàm, học vị và chữ ký) Cán bộ chấm nhận xét 1 :. (Ghi rõ họ, tên, học hàm, học vị và chữ ký) Cán bộ chấm nhận xét 2 :.

(Ghi rõ họ, tên, học hàm, học vị và chữ ký) Luận văn thạc sĩ đƣợc bảo vệ tại Trƣờng Đại học Bách Khoa, ĐHQG Tp. Thành phần Hội đồng đánh giá luận văn thạc sĩ gồm: (Ghi rõ họ, tên, học hàm, học vị của Hội đồng chấm bảo vệ luận văn thạc sĩ) 1. Xác nhận của Chủ tịch Hội đồng đánh giá LV và Trƣởng Khoa quản lý chuyên ngành sau khi luận văn đã đƣợc sửa chữa (nếu có). CHỦ TỊCH HỘI ĐỒNG TRƢỞNG KHOA ĐIỆN ĐIỆN TỬ ĐẠI HỌC QUỐC GIA TP.HCM CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM TRƢỜNG ĐẠI HỌC BÁCH KHOA Độc lập - Tự do - Hạnh phúc -------------------------- NHIỆM VỤ LUẬN VĂN THẠC SĨ Họ tên học viên: NGUYỄN THỊ THU PHÚC MSHV: 13141120 Ngày, tháng, năm sinh: 01/01/1989 Nơi sinh: Quảng Nam Chuyên ngành: Kỹ Thuật Điện Tử Mã số: 60520203 I.

TÊN ĐỀ TÀI: THIẾT KẾ VÀ HIỆN THỰC LÕI IP GIẢM NHIỄU VIDEO 3 CHIỀU DÙNG FPGA II. NHIỆM VỤ VÀ NỘI DUNG: Mục tiêu đề tài là xây dựng và hiện thực một lõi IP xử lý nhiễu 3 chiều cho video. - Lọc nhiễu 3D thời gian thực 1080p@30 - Giao tiếp Avalon Streaming - Tốc độ xung clock tối đa 120MHz - Tốc độ truyền 30M samples per second - Test theo yêu cầu chuẩn của Synopsys III. NGÀY GIAO NHIỆM VỤ: 11/01/2016 IV.

NGÀY HOÀN THÀNH NHIỆM VỤ: 17/06/2016 V. CÁN BỘ HƢỚNG DẪN: TS. Trƣơng Quang Vinh Tp. năm 2016 CÁN BỘ HƢỚNG DẪN CHỦ NHIỆM BỘ MÔN ĐÀO TẠO (Họ tên và chữ ký) (Họ tên và chữ ký) TRƢỞNG KHOA ĐIỆN ĐIỆN TỬ (Họ tên và chữ ký) LỜI CẢM ƠN Tôi xin chân thành cám ơn quý thầy cô trƣờng Đại Học Bách Khoa TP Hồ Chí Minh, những ngƣời đã truyền đạt cho tôi những kiến thức và kinh nghiệm quý báu trong suốt khóa học cao học tại trƣờng.

Tôi xin chân thành cảm ơn phòng Đào Tạo Sau Đại Học, trƣờng Đại học Bách Khoa đã hỗ trợ kinh phí thực hiện đề tài nghiên cứu để tôi có thể hoàn thành đề tài nghiên cứu. Tôi xin đƣợc gửi lời cám ơn sâu sắc đến thầy – TS.Trƣơng Quang Vinh. Thầy đã hƣớng đầy tận tình, tạo cho tôi cách tƣ duy và làm việc khoa học, và hƣớng cho tôi đến các đề tài khoa học mới mẽ. Tôi xin gửi lời cảm ơn đến gia đình, bạn bè đã luôn động viên và ủng hộ, giúp tôi có thêm động lực để hoàn thành đề tài.

Hồ Chí Minh, ngày 18 tháng 06 năm 2016 Học viên Nguyễn Thị Thu Phúc TÓM TẮT Nâng cao chất lƣợng của video và hình ảnh là một lĩnh vực nghiên cứu lâu dài và đa dạng. Trong đó, việc xử lý nhiễu chiếm một phần quan trọng để hồi phục ảnh, video cũ, nâng cao chất lƣợng trong hệ thống quảng bá thống tin, những cuộc hội thảo từ xa hay giám sát qua camera. Nhiễu thƣờng xuất hiện trong video do sự truyền thông tin qua kênh truyền nhiễu, thiết bị thu hình chất lƣợng kém, hoặc do điều kiện ánh sáng yếu. Những yếu tố này không những làm giảm chất lƣợng của video mà còn ảnh hƣởng đến quá trình xử lý nén hoặc giải nén ảnh.

Phƣơng pháp lọc nhiễu ba chiều phân tích điểm ảnh ở cùng vị trí trên nhiều khung hình lien tiếp nhau, tìm ra mối tƣơng quan và loại bỏ đƣợc nhiễu. Phƣơng pháp này xác định mức độ khác nhau của điểm ảnh trên khung hình hiện tại và điểm ảnh cùng vị trí trên các khung hình trƣớc. Đề tài “THIẾT KẾ VÀ HIỆN THỰC LÕI IP GIẢM NHIỄU VIDEO 3 CHIỀU DÙNG FPGA” đƣợc thực hiện nhằm thiết kế một hệ thống hoàn chỉnh thực hiện chức năng giảm nhiễu video trên 2 miền thời gian và tần số dựa trên phƣơng pháp phân tích DCT lấy ngƣỡng kết hợp với lọc Median. Hệ thống đƣợc thiết kế trên cấu trúc phần cứng FPGA, và đƣợc thiết kế theo cấu trúc đƣờng ống để có thể đáp ứng xử lý thời gian thực trên khung hình video có độ phân giải cao.

Để hiện thực hệ thống, một lõi IP đƣợc thiết kế và đóng gói sử dụng chuẩn giao tiếp Avalon ST video và giao tiếp Avalon MM của hãng Altera. Thiết kế đã đƣợc thử nghiệm trên kit Bitec Cyclone III, và đáp ứng đƣợc xử lý video thời gian thực ở độ phân dải 1080P. ABSTRACT Improving the quality of the videos and photos is a long-term and diversity research area. In particular, the denoising occupies an important part to recover photos, old videos, improve the quality of information dissemination systems, remote conferences or surveillancecameras.

Noise usually occurs in the video due to the transmission of information through the transmission channel, the recording equipment of poor quality, or low light conditions. These factors not only reduce the quality of the video but also affect the processing of image compression or decompression. The method analyzes 3D noise filter pixels in the same position on many consecutive frames together, find out the relationship and eliminate interference. This method determines different levels of pixels on the current frame and pixels at the same position on the previous frame.

Project "DESIGN AND IMPLEMENT AN IP CORE FOR 3D VIDEO DENOISING ON FPGA" was undertaken to design a complete system for video noise reduction in both time and frequency domain using DCT and Median filter. The system is designed on FPGA, and is designed according to the pipeline structure which can meet the real-time processing on the video screen with high resolution. To realize the system, an IP core is designed and packaged with Avalon ST and MM interface. The design has been tested on Cyclone III Bitec kit, and meets real-time HD video processing.

LỜI CAM ĐOAN Tôi cam đoan các kết quả đề tài thực hiện chƣa từng công bố trong bất kỳ công trình khoa học trƣớc đây. Ngƣời cam đoan Nguyễn Thị Thu Phúc MỤC LỤC TÓM TẮT. iii MỤC LỤC. v DANH MỤC BẢNG.

viii DANH MỤC CÁC KÝ HIỆU, CÁC CHỮ VIẾT TẮT. ix DANH MỤC CÁC HÌNH VẼ. x CHƢƠNG 1: GIỚI THIỆU TỔNG QUAN .1 Giới thiệu về tổng quan về xử lý nhiễu [1] .1 Các kỹ thuật tăng cƣờng ảnh .2 Xử lý nhiễu trong video .2 Mục tiêu, nội dung luận văn. 5 CHƢƠNG 2: CÁC CÔNG TRÌNH NGHIÊN CỨU LIÊN QUAN .1 Công trình của Gijesh Varghese and Zhou Wang năm 2012 [4] .2 Công trình nghiên cứu của Seema Mishra, Preety D Swam năm 2013 [5] .3 Công trình nghiên cứu của V.

8 CHƢƠNG 3: THIẾT KẾ CẤU TRÚC PHẦN CỨNG CHO IP XỬ LÝ NHIỄU VIDEO 3 CHIỀU DỰA TRÊN PHÂN TÍCH DCT VÀ LỌC MEDIAN .1 Phƣơng pháp đề nghị .1 DCT theo ngƣỡng .3 Hệ thống đề nghị .2 Giải thuật xử lý nhiễu 3 chiều cho video sử dụng phân tích DCT và lọc MEDIAN 19 3.3 Mô tả tổng quan thiết kế trên cấu trúc phần cứng .1 Yêu cầu chi tiết thiết kế .2 Giới thiệu một số chuẩn bus của hãng altera.4 Mô tả chi tiết thiết kế .1 Khối Sink Control .2 Khối Source Control.3 Khối AMM control master .4 Khối data controller. 42 CHƢƠNG 4: MÔ PHỎNG KIỂM TRA THIẾT KẾ .1 Mô hình kiểm tra thiết kế.2 Phƣơng pháp mô phỏng .3 Kết quả mô phỏng IP .1 Dạng sóng khối sink control.2 Dạng sóng khối source control .3 Dạng sóng khối data controller .4 Kết quả mô phỏng trên matlab và phần cứng .1 Kết quả mô phỏng trên matlab .2 So sánh kết quả mô phỏng phần cứng với phần mềm. 66 CHƢƠNG 5: HIỆN THỰC HỆ THỐNG TRÊN KIT FPGA .1 Giới thiệu hệ thống .2 Tổng hợp và đóng gói IP trong SOPC .3 Xây dựng hệ thống SOPC.4 Tổng hợp hệ thống .1 Phân tích tín hiệu clock .5 Kết quả hiện thực hệ thống trên kit FPGA Cyclone III .6 Phân tích, nhận xét, đánh giá kết quả .1 Phân tích tốc độ dữ liệu, khả năng xử lý thời gian thực .2 Đánh giá về chất lƣợng xử lý xử lý nhiễu video 3 chiều .3 Nhận xét, đánh giá kết quả. 96 CHƢƠNG 6: KẾT LUẬN VÀ HƢỚNG PHÁT TRIỂN .2 Hƣớng phát triển.

99 DANH MỤC BẢNG Bảng 1: Bảng mô tả thông số thiết kế IP. 20 Bảng 2 Các kiểu packet và giá trị của 4-bit định dạng tương ứng. 26 Bảng 3 Ý nghĩa của 4 bits interlaced/progressive. 28 Bảng 4: Thứ tự và nội dung của nibbles trong control data packet.

29 Bảng 5 Các thông số của Video Avalon khi truyền dữ liệu. 30 Bảng 6 Các tín hiệu dùng trong Video Avalon. 30 Bảng 7: Bảng mô tả chi tiết tín hiệu vào ra của IP xử lý nhiễu video 3 chiều. 33 Bảng 8: Bảng cài đặt tham số cho IP xử lý nhiễu video 3 chiều.

34 Bảng 9: Bảng mô tả chức năng tín hiệu khối Sink Control. 36 Bảng 10: Bảng mô tả chức năng tín hiệu của khối Source Control. 39 Bảng 11: Chi tiết chức năng các tín hiệu điều khiển. 41 Bảng 12: Mô tả chức năng tín hiệu đọc dữ liệu từ FIFO của bộ read_master.

42 Bảng 13: Mô tả chức năng các tín hiệu giao tiếp để ghi dữ liệu vào bộ FIFO của bộ write_master. 42 Bảng 14: Chi tiết chức năng các tín hiệu vào ra của module data controller. 44 Bảng 15: Bảng tín hiệu vào ra của bộ data writer. 46 Bảng 16: Bảng các tham số cài đặt cho bộ data writer.

47 Bảng 17: Bảng mô tả chức năng tín hiệu vào ra của bộ data reader. 47 Bảng 18: Bảng các tham số cài đặt cho bộ data reader. 48 Bảng 19: Mô tả chức năng tín hiệu khối core. 49 Bảng 20: Bảng tần số sử dụng của hệ thống.

91 Bảng 21: Bảng tính toán tốc độ dữ liệu của các kênh ngõ vào ra. 94 DANH MỤC CÁC KÝ HIỆU, CÁC CHỮ VIẾT TẮT FPGA Field-Programmable Gate Array DCT Discrete Cosine Transform IP Intellectual Property FIFO First in First out SOPC System on a Programmable Chip PLL Phase-Locked Loop RTL Register Transfer Level DDR Double data rate RGB Red-Green-Blue HDMI High-Definition Multimedia Interface AMM Avalon Memory Mapped Avalon-ST Avalon Streaming DANH MỤC CÁC HÌNH VẼ Hình 1-1 Các bƣớc cơ bản trong hệ thống xử lý ảnh. 1 Hình 2-1 Biểu đồ thuật toán của phƣơng pháp ST-GSM .