MỞ ĐẦU.1 Bỗi cảnh hình thành dé tài .-- ¿2 5- E+EE£ESEEEE2EeEEeEererkrkrsreee | 1.2 Tính cấp thiẾt.---- c- cSE SE 1E E1 2E212221212111 212111111111 cte.3 Mục tiêu của dé tài. tt TT HT HT HH HT HH ng 3 CHƯƠNG2. NGHIÊN CỨU TONG QUAN VÀ KY THUAT THIẾT KE VI MACH TOI UU CHO LOI IP NHẬN DẠNG CHUYEN ĐỘNG TRONG VIDEO A 2.1 TONG QUAN NOI DUNG NGHIÊN CỨU.1 Cách tiếp cận và phương pháp nghiên cứu.2 Sơ lượt về nhận dạng chuyển động và các giải thuật nhận dang chuyển động. Phương pháp Delta Sigma Background Subtraction.2 TONG QUAN THIET KE VL/SÌ.- 2 5 St SE SE 2ESEESEEESEEEEEEeErkserereeee 29 2.1 Khái niệm vi mạch và lõi [P.2 Một số kỹ thuật tối ưu thiết kế cho VWLSI.
DAC TA THIẾT KE LOI IP NHAN DANG CHUYEN DONG TRONG VIDEO.1 TINH NANG SAN PHẨM.2 KIÊN TRÚC THIẾT KE HE THÓNG .3 Mô ta tín hiệu VàO/Ta.4 _ Thông số cấu hình.5 Nguyên tắc hoạt động khối top level.6 Giao tiẾp NGG VÀO(Ta.7 Gian đồ định thời chuẩn AST,.8 Gian đồ định thoi chuẩn AMM. CÁC KHÔI TRONG HE THNG. SE SEEESE SE skekrkrrees 45 3.1 Khối RGB to gray.2 Khối Delta sigma background subtraction. Khối Morphological post-processing.
MOI TRUONG KIEM TRA THIẾT KE LOI IP NHAN DANG CHUYEN DONG TRONG VIDEO wu. MỖI TRƯỜNG KIEM TRRA.1 Xây dựng môi trưởng kiỂm tra .2 — Cấu trúc thư mụC. --- tk SS SE E11 1111 g genrkg54 4.3 Sử dụng MOI tTƯỜng.- -- -c SH SH HH hà 55 A3 KẾT QUÁ KIEM TRA .1 Trường hợp kiém tra .2 Kết quả Ki€m tra. HE THONG KIEM TRA THUC NGHIEM LOI IP NHẬN DANG CHUYEN DONG TRONG VIDEO TREN FPGA .1 SƠ DO HE THONG KIEM TRA THIẾT KE TREN FPGA.1 Tich hop IP vào thư viện SOC,.2 Sơ đồ hệ thông FPGA kiểm tra khả năng hoạt động của lõi IP.
Chức nang các thành phan (IP) trong hệ thống .2 PHƯƠNG ÁN KIEM TRA cieccocccccccsscssscsssssssesessescessesssscsscsscsssssssscsscsecsacsaees 71 5.1 Thiết bi và phần mềm .-- 5-2 +2+E+E2EE+E£E+EE£E£E+ESEErkrkrrerrred 7 5.2 Nội dung kiểm tra. KET QUÁ KIEM TRA.- ScScS 1 12t S5E 5151111 E111511511 11111511111 eeree72 CHƯƠNG 6.1 So sánh kết quả của thiết kế so với yêu cầu dé tài.2 Về nội dung.-:-:- SE SESESEEE2E2EE121212111 2111111111 ce.3 Về sản phẩm demo.-- + - 2 +2+E+EEE+E+E*EEE2EEEEEEEE2EEEEEEEErErkerrred 78 GLA VỀ tiến đỘ. kh SE T11 110111111111 TH HH ng 78 CHUGNG 7. TÀI LIEU THAM KHẢO.---c- St EềEvEvESESEEEekskeerererees 70 MỤC LUC BANG Bang 2-1 Giải thuật LA cơ bản.
2 - LH TH ngà 23 Bảng 2-2 Giải thuật DA cải tiẾn. cs 5 5G 2 22121112 12121111 112111111011111 1 x0 ve 25 Bang 3-1 Bảng mô tả chân lõi IP nhận dạng chuyền động. eee 37 Bang 3-2 Bảng thông số cau hình lõi IP.-- 5 2 <+E+E2££+E+E+E£E+E+EeErxrkrree 39 Bang 3-3 Bảng mô tả tín hiệu vào ra khôi RGB To Gray .-- 5555-55 45 Bang 3-4 Bảng mô tả tín hiệu vào/ ra khối XA Background subtraction. 47 Bảng 3-5 Bảng mô tả tín hiệu vào/ ra khối Morphologieal.------- - 50 Bang 4-1 Bảng mô tả các trường hợp kiểm tra thiết kê.----2- 5-5 525552 55 Bang 5-1 Bảng mô tả các trường hợp kiểm tra thiết kế trên FPGA.
72 Bảng 5-2 Bảng mô tả kết quả tông hợp lõi IP trên FPGA dong Cyclone HI. 76 Bang 5-3 Bảng tong hợp lõi IP nhận dạng trên FPGA dong Cyclone IV. 77 Bang 5-4 Bảng tong hợp lõi IP nhận dạng trên FPGA dòng Stratix II. 77 Bang 5-5 Bảng tong hợp lõi IP nhận dạng trên FPGA dòng Stratix HII.
77 Bảng 6-1 Bảng mô tả kết qua dat được của thiết kế so với yêu câu. 78 MỤC LỤC HÌNH Hình 1-1 Phát hiện đối tượng di chuyỀn.--- ¿2 - 52 E+E+E££££E+E+E£EEE+ErEerrrrree 3 Hình 2-1 Quy trình thiết kẾ.6 Hình 2-2 Hình a, ảnh nên khi chưa có đối tượng, hình b: hình ảnh khi có đối tượng di chuyên. c-f: các bước tách cảnh nên ra khỏi khung hình, kết quả (hình f) ta tách được đối tượng can xử lý ra khỏi hình b.-- - ¿2+ +S+E+E+E£Ee£E£E+EeEerErkrrersreee 8 Hình 2-3 Mô tả giải thuật tách nền sử dụng phương pháp median. (a) ảnh tại thời điểm t (b)ảnh nên với n = 10 (c) ảnh nền với n = 20 (c) ảnh nền với n = 50.
II Hình 2-4 : Mô tính histogram. - - 5 <0 S999 ng re 13 Hình 2-5 Cập nhật ảnh nên trong phương pháp histogram.Hi 24 Hình 2-7 Mô hình thuật toán DA cải tiẾn. 1xx SE SE rrrkree25 Hình 2-8 (a) khung ảnh hiện tại I; ; (b) khung anh ước lượng ngố ra E; ; (c) khung ảnh nền M, ; (d) phương sai VỊ,.- 5-5521 1 E323 1521232111111 11211111 010111110 cyee 26 Hình 2-9 Ví dụ về phép co vùng ảnh .-- - ¿2+2 223 E92 E22 SE 21221 xe cre 27 Hình 2-10 Kết quả của phép co vùng ảnh— Erosion.---- 5-5 252 cs+s+cezs+xzse 27 Hình 2-11 Ví dụ về phép giãn vùng ảnh — Dilation.----5- - 2 2cs+s+c+zszxzs 28 Hình 2-12 Kết quả của phép giãn vùng ảnh - Dilation. 2-5-5 +cscs5x+se 28 Hình 2-13 Phép co giãn vùng ảnh.
-- -- - - << 9S nu re 28 Hình 2-14 KY thuật Register Packing. - - - - -- -c c c9 HH ket 3l Hình 2-15 Mach logic trước tối ƯU.----- + + 2 +%+E+EEE+E2E£EEEEEEEESEEEEEEEEEEEEErrrree, 32 Hình 2-16 Mach logic sau khi áp dụng kỹ thuật retiming hướng tối ưu tài nguyên32 Hình 2-17 Ví dụ mạch chưa tối Wu .- --¿ ¿+ E318 EEEkEEEEEEESEEEEEskskeerkrerrree 33 Hình 2-18 Mach đã rebalance tài nguyÊn.- - - - - Ăcn SH ng ke, 33 Hình 2-19 Ví dụ về mạch chưa tối ưu tỐc đỘ. - -- + xxx +E St EEeEsreeersrrxeered 34 Hình 2-20 Mach đã được tối ưu vỀ tỐc đỘ.--¿- -- ¿+ +sx 11v S121 EEEEeEsrekerskrkeered 34 Hình 2-21 Mach chưa chèn pIpeÌÏine.- -- - -- --- 5 11111192911 ng kg ky 35 Hình 2-22 Mạch đã chèn pipeÌIrne. ----- - - - c 113122111111 *2 1011 1n ng hà 35 Hình 3-1 Sơ đồ khối IP nhận dạng chuyển động .-- 2-5-5 +52 c++s+£z£zzxzze 36 Hình 3-2 Sơ d6 chân lõi IP nhận dạng chuyển động .-- 2-2-5 + 22+ 2: 37 Hình 3-3 Mô hình nguyên tắc hoạt động khối top level.---- - =2 s55 2 41 Hình 3-4 Giao diện giao tiếp của lõi IP nhận dang chuyên động.
41 Hình 3-5 Gian đồ thời gian theo chuẩn ASTT.-- 222cc tt 2tr 42 Hình 3-6 Giản đồ thời gian quá trình ghi theo chuẩn AMM.------ --- 43 Hình 3-7 Giản đồ thời gian quá trình đọc theo chuẩn AMM.---------- 44 Hình 3-8 Sơ đồ khối RGB To Gray wocccecccscccescccsesesscsssessscscseescsssesessescsnsaesesssneeeseeee 45 Hình 3-9 Giản đồ định thì khối RGB To Gray .-- 5-52 525525 222£+£z£czszzce 47 Hình 3-10 So đồ khối A Background subtraction.---- 5-5-5252 5s+s+cezscxzs 47 Hình 3-11 Sơ đồ khối Morphological post processing.--------- - + 2s 50 Hình 4-1 Môi trường kiểm tra thiết kế trên công cụ VŒS.---5- 7< sec 53 Hình 4-2 Cau trúc thư mục chạy mô phOng.ccccccsccsesscsesesessescsesesseseseseesessseeeeeen 55 Hình 4-3 Thư mục chạy mô phỏng .- -- - - -- 5c S231 111 1133910111199 ng hà 55 Hình 4-4 Chạy mô phỏng thông qua Make file .- 55 55c S3 £ks 55 Hình 4-5 Dang sóng các tín hiệu vào ra khối DUT.------ 2 2s+s+c+zs+x+se 57 Hình 4-6 Môi trường thực hiện testcase Ì .-- c2 xe 57 Hình 4-7 Kết quả PASS cho trường hop l.----- ¿+5 2 2+E+£z£e£+E+xzrezszrre 58 Hình 4-8 Kết quả ngỏ ra DUT tại khung ảnh 50.-- 2-5-5 252 2+£+£z£z+zzse 58 Hình 4-9 Kết quả ngõ ra tại khung ảnh thứ 100 .-- 2 25 +c+22£s+x+£zzscxzse 59 Hình 4-10 Kết qua thông báo “PASS” cho trường hợp 2.------ - 225552: 59 Hình 4-11 Kết quả ngõ ra tại khung ảnh thứ 50 .- 2 2-5-5 +52 cs+s+£ezscxzse 60 Hình 4-12 Kết quả ngõ ra DUT tại khung ảnh 100.--5- 5252 55s+cz£s2zzSz 60 Hình 4-13 Kết quả thông báo “PASS” cho trường hợp 4.------ - 2 55s se 61 Hình 4-14 Kết quả ngõ ra tại khung ảnh thứ 30.-- 2-5-5 +52 s+s+£zzzcxzse 61 Hình 4-15 Kết quả ngõ ra DUT tại khung ảnh 50.---- 5-5 52 5s+s+£+£z+xzse 61 Hình 5-1 Đặt tên cho ÍP.- 1101110110111 111111111111 110 11 11111111 ng 62 Hình 5-2 Thêm RTL source và systh€SIS. --- CS HH ket 63 Hình 5-3 Dinh nghĩa interface và loại tín hiỆu. 5-5555 s+*ssssseseesss 64 Hình 5-4 Kiểm tra timing các loại giao tiếp và đóng gói IP.------ 5: 65 Hình 5-5 Lõi IP đã được tích hợp vào thư viện SOC”.cccSS Sa 66 Hình 5-6 Mô hình hệ thống kiểm tra lõi IP trên FPGA.---- 5-7 2525552 67 Hình 5-7 Các thành phan IP được xây dựng trong SoC.------ sex 67 Hình 5-8 Sơ đồ khối Video in decode .--c--csccttcrtitrrrrrirrrrerrrrrrirrrrriei 68 Hình 5-9 Sơ đồ khối Chorma resampÏ€r .---- + + 2 £+E2££+E+E+E££+E+E+E£xzxzree 69 Hình 5-10 Sơ đồ khối Color Space COTIVeTI.- + - + 22+ E£2+E+E£E£E£EEeErxrree 69 Hình 5-11 Sơ đồ khối CliDper.---- +: ¿2E +S 2212193 2321511 1212152111211 221 1y 70 Hình 5-12 Sơ đồ khối RGB ResampIer .-- - + 2< +2 £+E+E+E£EzE+Eerrxzxeree 70 Hình 5-13 Sơ đô khôi Dual clock FIEO.- ¿5c 5+‡cxc>cxrsxxrrrxrrrrrrrrrkerrrei 7I Hình 5-14 Sơ đô khôi LCD Controller.--- c5: c++cxt>rxrsxxrrrxrtrrrrkrrrrerrrei 7I Hinh 5-15 Kit FPGA0(:000)0h ti. 72 Hình 5-16 Dữ liệu ngõ vào tl Camera 2.
eee eeeeecceeeeesensneeeeceeeesseseneeeeceeceseeseneaneees 73 Hình 5-17 Dữ liệu ngố ra IP khi không dùng bộ loc Morphological. 74 Hình 5-18 Dữ liệu ngố ra IP khi có dùng bộ lọc Morphologtcal.- ---74 Hình 5-19 Dữ liệu video ngõ vào thu tỪ camera. --ĂĂS S3 1 ree75 Hình 5-20 Kết quả ngõ ra thiết kế chưa bộ lọc Morphologieal.---- - 75 Hình 5-21 Kết quả ngõ ra khi có bộ Morphological CHUONG 1. TONG QUAN DE TÀI 1.1 Bối cảnh hình thành đề tai 1.1 Tình hình nghiên cứu trên thé giới Hiện nay trên thế giới đã có nhiều công trình nghiên cứu về xử lý Video và cũng đã có nhiều ứng dụng đáng ké trong lĩnh vực này.
Tuy nhiên, các nghiên cứu và ứng dụng thực tiên được phát triển trên thé giới hoàn toàn xử lý trên phan mềm. Trong khi đó các nghiên cứu, ứng dụng xử lý ảnh trong video nói chung và nhận dạng chuyển động trong video nói riêng được thực hiện trên phan cứng còn rat hạn chế, so với yêu câu thực tế thì như thế vẫn là chưa đủ.2 Tình hình nghién CỨU trong Hước Ở Việt Nam, xử lý video là một vấn dé còn khá mới mẻ. Thực tế cho thấy rằng, khi xã hội phát triển càng mạnh, yêu cau về các thiết bị công nghệ càng cao. Như vậy, xử lý video là một mảnh đất màu mỡ cho các trung tâm nghiên cứu, các công ty đầu tư vào.
Nhất là trong giai đoạn hệ thống nhúng đang phát triển và mở ra một kỷ nguyên với cho ngành công nghệ phan cứng như hiện nay. Giám sát tự động là một hướng mới và có nhiều triển vọng trong sự phát triển tiếp theo của lĩnh vực nhận dạng và xử lý ảnh 2 chiều. Đông thời, đó cũng là một hướng đi cho mảng phân cứng thiết kế chuyên dụng cho các thiết bị giám sát tự động.