Đồ Án HCMUTE: Điều Khiển Thiết Bị Bằng Cử Chỉ Tay Qua Xử Lý Ảnh

Đồ án nghiên cứu hcmute điều khiển thiết bị bằng cử chỉ tay thông qua xử lý ảnh, áp dụng công nghệ tiên tiến, tối ưu giải pháp kỹ thuật cho bài toán .

Người đăng

Ẩn danh

Thể loại

Đồ án tốt nghiệp

2016

103
12
2

Phí lưu trữ

35 Point

Mục lục chi tiết

LỜI CAM ĐOAN

LỜI CẢM ƠN

LIỆT KÊ HÌNH VẼ

LIỆT KÊ BẢNG

TÓM TẮT

1. CHƯƠNG 1: TỔNG QUAN

1.1. ĐẶT VẤN ĐỀ

1.2. NỘI DUNG NGHIÊN CỨU

1.3. GIỚI HẠN

1.4. BỐ CỤC

2. CHƯƠNG 2: CƠ SỞ LÝ THUYẾT

2.1. NHỮNG VẤN ĐỀ CƠ BẢN TRONG XỬ LÝ ẢNH

2.2. Không gian màu RGB, YCbCr

2.3. Ảnh màu, ảnh xám và ảnh nhị phân

2.3.1. Ảnh màu

2.3.2. Ảnh xám

2.3.3. Ảnh nhị phân

2.4. Khái niệm

2.5. Bộ lọc trung vị

3. CHƯƠNG 3: TÍNH TOÁN THIẾT KẾ

4. CHƯƠNG 4: THI CÔNG HỆ THỐNG

5. CHƯƠNG 5: KẾT QUẢ_NHẬN XÉT_ĐÁNH GIÁ

6. CHƯƠNG 6: KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN

TÀI LIỆU THAM KHẢO

Tóm tắt

I. Giới thiệu

Đề tài 'Điều Khiển Thiết Bị Bằng Cử Chỉ Tay Qua Xử Lý Ảnh Tại HCMUTE' tập trung vào việc phát triển một hệ thống điều khiển thiết bị thông qua cử chỉ tay. Hệ thống này sử dụng công nghệ xử lý ảnh để nhận diện cử chỉ tay và điều khiển các thiết bị ngoại vi. Việc áp dụng công nghệ nhận diện cử chỉ không chỉ giúp nâng cao hiệu quả trong giao tiếp giữa con người và máy móc mà còn mở ra nhiều ứng dụng thực tiễn trong các lĩnh vực như công nghiệp, an ninh và giải trí. Hệ thống được thiết kế để nhận diện 5 cử chỉ tay khác nhau, từ đó điều khiển 5 đèn LED tương ứng.

1.1. Mục tiêu nghiên cứu

Mục tiêu chính của đề tài là thiết kế và thi công một hệ thống có khả năng nhận diện cử chỉ tay thông qua xử lý ảnh. Hệ thống sẽ thu nhận ảnh từ webcam, trích xuất màu da và xử lý để xác định số ngón tay. Kết quả sẽ được sử dụng để điều khiển thiết bị ngoại vi thông qua cổng COM DB-09. Việc này không chỉ giúp cải thiện khả năng tương tác giữa người dùng và thiết bị mà còn tạo ra một phương thức điều khiển mới, thân thiện và hiệu quả hơn.

II. Cơ sở lý thuyết

Chương này trình bày các lý thuyết cơ bản liên quan đến xử lý ảnh và nhận diện cử chỉ tay. Đầu tiên, không gian màu RGB và YCbCr được giới thiệu, với YCbCr được sử dụng để trích xuất màu da. Việc sử dụng bộ lọc trung vị giúp loại bỏ nhiễu trong ảnh, từ đó cải thiện độ chính xác của việc nhận diện cử chỉ. Các kỹ thuật như co ảnh, giãn ảnh và tìm trọng tâm cũng được áp dụng để xác định vị trí và số lượng ngón tay trong ảnh. Những lý thuyết này là nền tảng cho việc phát triển hệ thống điều khiển thiết bị bằng cử chỉ tay.

2.1. Không gian màu

Không gian màu RGB và YCbCr là hai không gian màu chính được sử dụng trong hệ thống. RGB là không gian màu phổ biến trong đồ họa máy tính, trong khi YCbCr thường được sử dụng trong nén ảnh và xử lý video. Việc chuyển đổi giữa hai không gian này cho phép hệ thống nhận diện màu da một cách chính xác hơn, từ đó nâng cao khả năng nhận diện cử chỉ tay. Kỹ thuật này đóng vai trò quan trọng trong việc phát triển hệ thống điều khiển thiết bị.

III. Thiết kế hệ thống

Hệ thống được thiết kế bao gồm các khối chức năng chính như thu ảnh, xử lý ảnh và điều khiển thiết bị. Khối thu ảnh sử dụng webcam để thu nhận hình ảnh, sau đó hình ảnh này được xử lý để xác định cử chỉ tay. Kết quả xử lý sẽ được truyền đến khối điều khiển để thực hiện các lệnh tương ứng. Sơ đồ khối hệ thống được thiết kế rõ ràng, giúp dễ dàng trong việc theo dõi và kiểm tra từng bước của quá trình nhận diện cử chỉ tay.

3.1. Kết nối và giao tiếp

Khối giao tiếp sử dụng chuẩn UART để kết nối giữa máy tính và thiết bị ngoại vi. Việc thiết kế mạch điều khiển thông qua cổng COM DB-09 cho phép hệ thống dễ dàng tương tác với các thiết bị khác. Điều này không chỉ giúp đơn giản hóa quá trình điều khiển mà còn đảm bảo tính linh hoạt trong việc mở rộng hệ thống trong tương lai. Hệ thống có thể được áp dụng trong nhiều lĩnh vực khác nhau, từ công nghiệp đến giải trí.

IV. Kết quả và đánh giá

Kết quả thực nghiệm cho thấy hệ thống có khả năng nhận diện cử chỉ tay với độ chính xác cao. Các thử nghiệm được thực hiện trong nhiều điều kiện ánh sáng khác nhau, cho thấy hệ thống vẫn hoạt động hiệu quả. Việc điều khiển đèn LED thông qua cử chỉ tay đã được thực hiện thành công, chứng minh tính khả thi của hệ thống. Đánh giá tổng thể cho thấy hệ thống có tiềm năng lớn trong việc ứng dụng vào thực tế, đặc biệt trong các lĩnh vực cần sự tương tác giữa người và máy.

4.1. Ứng dụng thực tiễn

Hệ thống điều khiển thiết bị bằng cử chỉ tay có thể được áp dụng trong nhiều lĩnh vực khác nhau như công nghiệp, an ninh và giải trí. Việc sử dụng cử chỉ tay để điều khiển thiết bị không chỉ giúp nâng cao hiệu quả làm việc mà còn tạo ra trải nghiệm người dùng thú vị hơn. Hệ thống có thể được mở rộng để hỗ trợ nhiều cử chỉ hơn, từ đó tăng cường khả năng tương tác giữa người dùng và thiết bị.

01/02/2025

Trích đoạn nội dung tài liệu

CHƯƠNG 1: TỔNG QUAN Chương 3: Tính toán thiết kế. Đưa ra sơ đồ khối cho toàn mạch, tính toán thiết kế và lựa chọn linh kiện phù hợp cho từng khối, sau đó ghép các khối lại và thiết kế sơ đồ nguyên lý, dơ đồ mạch in cho toàn mạch. Chương 4: Thi công hệ thống. Thi công bo mạch điều khiển, lắp ráp và kiểm tra sau đó lập trình hệ thống, đưa ra kết quả sau khi mô phỏng.

Chương 5: Kết quả_Nhận xét_Đánh giá. Đánh giá kết quả từng phần thực hiện. Đưa ra hình ảnh kết quả sau từng phần xử lý, rút ra nhận xét ưu và nhược điểm của hệ thống. Chương 6: Kết luận và hướng phát triển.

Đưa ra đánh giá khách quan về đề tài: những gì đã đạt được, những gì còn hạn chế. Song song với đó đề xuất tính ứng dụng của đề tài vào một ứng dụng có tính khả thi trong thực tế. BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP 3 do an CHƯƠNG 2: CƠ SỞ LÝ THUYẾT Chương 2. NHỮNG VẤN ĐỀ CƠ BẢN TRONG XỬ LÝ ẢNH 2.

Không gian màu RGB, YCbCr Không gian màu là những phương pháp định lượng màu sắc được thiết lập công thức một cách khoa học. Hệ thống không gian màu cho phép mỗi màu được xác định theo số học, bằng cách đó ta có thể chọn và lặp lại những màu nào đó thật chính xác [3]. Trên thực tế có rất niều không gian màu khác nhau được mô hình để sử dụng vào những mục đích khác nhau. Trong phạm vi của đồ án này, chỉ thực hiện xử lý, chuyển đổi ảnh qua lại giữa 2 không gian màu RGB và YCbCr.

Do đó các không gian màu khác sẽ không được đề cập đến trong đồ án này. Không gian màu RGB (Red – Green – Blue). RGB là không gian màu rất phổ biến được dùng trong đồ họa máy tính và nhiều thiết bị kĩ thuật số khác. Ý tưởng chính của không gian màu này là sự kết hợp của 3 màu sắc cơ bản: màu đỏ (R, Red), xanh lục (G, Green) và xanh lơ (B, Blue) để mô tả tất cả các màu sắc khác.

Biểu diễn hình học không gian màu RGB Nếu như một ảnh số được mã hóa bằng 24bit, nghĩa là 8bit cho kênh R, 8bit cho kênh G, 8bit cho kênh B, thì mỗ kênh này màu này sẽ nhận giá trị từ 0 - 255. Với mỗi BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP 4 do an CHƯƠNG 2: CƠ SỞ LÝ THUYẾT giá trị khác nhau của các kênh màu kết hợp với nhau ta sẽ được một màu khác nhau, như vậy ta sẽ có tổng cộng 255x255x255 = 16. Ví dụ: màu đen là sự kết hợp của các kênh màu (R, G, B) với giá trị tương ứng (0, 0, 0) màu trắng có giá trị (255, 255, 255), màu vàng có giá trị (255, 255, 0), màu tím đậm có giá trị (64, 0, 128). Không gian màu YCbCr Không gian màu YCbCr được định nghĩa và thường được sử dụng vào mục đích nén ảnh màu, xử lý video số.

Không gian màu này sẽ phân tách không gian màu RGB thành các thành phần độ chói và thành phần màu sắc theo công thức chuyển đổi:  Y   0.1) là biểu diễn kiểu ma trận hoặc cũng có thể biểu diễn theo kiểu tường minh như công thức (2. Ảnh màu, ảnh xám và ảnh nhị phân a. Ảnh màu Ảnh màu là ảnh tổ hợp 3 màu cơ bản: đỏ, lục, lơ như hình 2.2 và thường thu nhận trên các dải băng tần khác nhau. Với ảnh màu cách biểu diễn cũng tương tự như ảnh đen trắng, chỉ khác là các số tại mỗi phần tử của ma trận biểu diễn cho 3 màu riêng rẽ.

Để biểu diễn cho một ảnh màu cần 24 bit, 24 bit này được chia thành ba khoảng 8 bit. Mỗi màu cũng phân thành L cấp khác nhau (thường L=256). Mỗi khoảng này biểu diễn cho cường độ sáng của một trong các màu chính. BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP 5 do an CHƯƠNG 2: CƠ SỞ LÝ THUYẾT Mỗi pixel ảnh màu ký hiệu 𝑃𝑥 : 𝑃𝑥 =[𝑟𝑒𝑑, 𝑔𝑟𝑒𝑒𝑛, 𝑏𝑙𝑢𝑒]𝑇 , T: chuyển vị (2.

Ví dụ về ảnh màu b. Ảnh xám Giá trị xám nằm trong khoảng 0…255. Như vậy mỗi điểm ảnh trong ảnh xám được biểu diễn bởi 1 byte. Ví dụ về ảnh xám c.

Ảnh nhị phân Giá trị xám của tất cả các điểm trong ảnh chỉ nhận giá trị 1 hoặc 0. Như vậy mỗi điểm ảnh trong ảnh nhị phân được biểu diễn bởi 1 bit, xem hình 2. BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP 6 do an CHƯƠNG 2: CƠ SỞ LÝ THUYẾT Hình 2. Ví dụ về ảnh nhị phân 2.

Khái niệm Một vài toán tử dùng trong xử lý ảnh được thực hiện trên giá trị của điểm ảnh và các điểm trong vùng lân cận của nó, cùng với một vùng ảnh con cùng kích thước với vùng lân cận.Vùng ảnh con này được gọi là mặt nạ. Các giá trị của mặt nạ được gọi là hệ số. Kích thước của mặt nạ được ghi như sau (2*M-1, 2*N-1), với cặp M, N là các số nguyên dương bất kì ta được một kích thước của mặt nạ. Cách sử dụng Đặt tâm của mặt nạ lên trên điểm ảnh cần xử lý, dịch chuyển mặt nạ từ trái qua phải, từ trên xuống dưới.Thông qua bộ lọc, trích rút ra các điểm lân cận với điểm ảnh cần xử lý, áp dụng hàm của mặt nạ lên giá trị của các điểm ảnh trong vùng lân cận.

Đặt giá trị điểm ảnh tương ứng trên ảnh đầu ra bằng giá trị trả về bởi hàm của mặt nạ. Lặp lại các bước trên lần lượt cho hết các điểm ảnh, những điểm nằm trên biên thì không áp dụng. Đối với lọc tuyến tính, kết quả được tính bằng tổng tất cả các phép nhân hệ số của mặt nạ với giá trị điểm ảnh tương ứng trong vùng tác động bởi mặt nạ: G( x, y)    a(i, j ) * I ( x  i, y  j ) (2.4) i , jSize Với: I(x, y) là ảnh đầu vào. G(x, y) là ảnh đầu ra.

a(i, j) là mặt nạ lọc. Size = m x n là số phần tử của mặt nạ. BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP 7 do an CHƯƠNG 2: CƠ SỞ LÝ THUYẾT 4 7 3 7 1 5 7 1 7 1   Giả sử cho một ảnh đầu vào được biểu diễn bởi ma trận I: I  6 6 1 8 3   5 7 5 7 1 5 7 6 1 2 1 1 1 Mặt nạ lọc có dạng a: a  1 1 1 1 9 1 1 1 Đầu tiên, tiến hành xác định kích thước mặt nạ đã cho (ở đây sử dụng mặt nạ 3x3). Sau đó đặt mặt nạ lên ảnh cần xử lý sao cho trọng tâm – điểm chính giữa của mặt nạ trùng với điểm ảnh đang xét.

Đặt mặt nạ vào ảnh và tính giá trị điểm ảnh ngõ ra Tính giá trị tại G(1,1) theo công thức 2. Tính giá trị điểm ảnh ngõ ra BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP 8 do an CHƯƠNG 2: CƠ SỞ LÝ THUYẾT Tính giá trị tại điểm G(1,2): 1 26 G (1,2)  (4 *1  7 *1  3 *1  5 *1  7 *1  1 *1)  (2.6) 9 9 Tương tự như vậy ta tính lần lượt từ trái qua phải, từ trên xuống dưới. Kết quả thu được ảnh G:  23 26 31 19 16  35 39 46 31 27  1 G  36 43 49 34 27  9  36 48 48 34 22  24 35 33 22 11  2. Bộ lọc trung vị a.

Giới thiệu Bộ lọc trung vị là bộ lọc làm mượt phi tuyến trong miền không gian, lọc theo thống kê thứ tự, nó khá hiệu quả đối với hai loại nhiễu: nhiễu muối tiêu và nhiễu đốm, kỹ thuật này là một bước rất phổ biến trong xử lý ảnh. Ý nghĩa của thuật toán lọc trung vị như sau: Ta sử dụng một cửa sổ lọc (ma trận 3x3) quét qua lần lượt các điểm ảnh của ảnh đầu vào. Tại vị trí mỗi điểm ảnh lấy giá trị của các điểm ảnh tương ứng trong vùng 3x3 của ảnh gốc lấp vào ma trận lọc. Sau đó sắp xếp các điểm ảnh trong của sổ này theo thứ tự (tăng dần hoặc giảm dần tùy ý).

Cuối cùng gán điểm ảnh nằm chính giữa của dãy giá trị điểm ảnh đã được sắp xếp ở trên cho giá trị đang xét của ảnh đầu ra.7 là một ví dụ, sau khi sắp xếp các phần tử chọn phần tử ở chính giữa mang giá trị là 3 để gán cho ảnh đầu ra. Chọn giá trị 3 Phần tử trung vị Phần tử trung vị trước sắp xếp sau sắp xếp Hình 2. Cách sắp xếp các phần tử trung vị BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP 9 do an CHƯƠNG 2: CƠ SỞ LÝ THUYẾT Các bước của giải thuật:  Quét của sổ lọc lên các thành phần của ảnh gốc, điền các giá trị được quét vào cửa sổ lọc.  Lấy các thành phần trong của sổ lọc để xử lý.

 Sắp xếp theo thứ tự các thành phần trong của sổ lọc.  Lưu lại thành phần trung vị, gán cho ảnh đầu ra. Ảnh bị nhiễu muối tiêu trước và sau khi lọc trung vị 2. Kỹ thuật làm mờ, co và giãn ảnh a.

Kỹ thuật làm mờ ảnh. Loại bỏ những điểm ảnh có giá trị mức xám cao. Sử dụng bộ lọc với các hệ số đối xứng nhau qua tâm của bộ lọc, các hệ số ở vị trí có khoảng cách gần tâm có giá trị lớn hơn hoặc bằng các hệ số ở vị trí có khoảng cách xa tâm. Một số bộ lọc thường dùng: Hình 2.

Bộ lọc 3x3 thường dùng BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP 10 do an CHƯƠNG 2: CƠ SỞ LÝ THUYẾT Kích thước của bộ lọc (2N-1, 2M - 1), ví dụ 3x3, 5x5. Đặt tâm của bộ lọc lên điểm ảnh cần xét, không xét những điểm nằm trên biên vùng ảnh. Tính toán đáp ứng đầu ra của bộ lọc theo công thức sau: g(x, y) = (wi*f(xi, yi)) / (wi) với i=1.Size, Size = m x n là kích thước của bộ lọc. Kỹ thuật co ảnh.

Mục đích của co ảnh là để thu nhỏ ảnh, loại bỏ cầu nối, loại bỏ phần nhô, phần thừa ra. Bước 1: Xác định phần tử cấu trúc và tâm của phần tử cấu trúc. Xác định tâm của phần tử cấu trúc Theo hình 2.10, điểm chính giữa màu đỏ chính là tâm của phần tử cấu trúc. Bước 2: Đặt tâm của phần tử cấu trúc vào điểm ảnh cần xử lý, không xét các điểm cáo giá trị bằng 0.

Nội dung được bảo vệ bản quyền — Tải xuống đầy đủ

Bài viết "Điều Khiển Thiết Bị Bằng Cử Chỉ Tay Qua Xử Lý Ảnh Tại HCMUTE" khám phá công nghệ điều khiển thiết bị thông qua cử chỉ tay, sử dụng các kỹ thuật xử lý ảnh tiên tiến. Nội dung bài viết không chỉ trình bày các phương pháp và công nghệ hiện có mà còn nhấn mạnh lợi ích của việc áp dụng công nghệ này trong đời sống hàng ngày, từ việc cải thiện trải nghiệm người dùng đến việc tối ưu hóa quy trình làm việc. Độc giả sẽ tìm thấy thông tin hữu ích về cách mà công nghệ này có thể được tích hợp vào các ứng dụng thực tiễn.

Nếu bạn muốn tìm hiểu thêm về các ứng dụng liên quan, hãy tham khảo bài viết Đồ án hcmute ứng dụng xử lý ảnh trong nhận diện khuôn mặt, nơi bạn có thể khám phá cách xử lý ảnh được áp dụng trong nhận diện khuôn mặt. Ngoài ra, bài viết Đồ án hcmute điều khiển robot sử dụng xử lý ảnh sẽ cung cấp cái nhìn sâu sắc về việc điều khiển robot thông qua công nghệ xử lý ảnh. Cuối cùng, bạn có thể tìm hiểu thêm về Đồ án hcmute ứng dụng xử lý ảnh trong hệ thống phân loại sản phẩm, một ứng dụng khác của xử lý ảnh trong việc phân loại sản phẩm. Những bài viết này sẽ giúp bạn mở rộng kiến thức và hiểu rõ hơn về các ứng dụng của công nghệ xử lý ảnh trong nhiều lĩnh vực khác nhau.