Tổng quan nghiên cứu

Trong kỷ nguyên phát triển mạnh mẽ của các thiết bị thông minh, phương thức tương tác người và máy đang dịch chuyển mạnh mẽ từ các thiết bị ngoại vi truyền thống sang công nghệ nhận dạng cử chỉ tự nhiên. Hệ thống xử lý thị giác máy tính thông thường chạy trên vi xử lý tuần tự của máy tính thường gặp hiện tượng nghẽn cổ chai dữ liệu và độ trễ phản hồi dao động từ 50 đến 100 mili giây. Luận văn thạc sĩ kỹ thuật điện tử của tác giả Nguyễn Đỗ Trọng Luận, do Tiến sĩ Trương Công Dung Nghi hướng dẫn tại Trường Đại học Bách Khoa – Đại học Quốc gia Thành phố Hồ Chí Minh vào năm 2013, đã giải quyết triệt để thách thức này bằng cách phát triển hệ thống nhận dạng chuyển động bàn tay dựa trên phân đoạn màu sắc thực thi trực tiếp trên phần cứng dải cổng lập trình được FPGA Altera Cyclone II.

Mục tiêu cốt lõi của công trình là thiết kế và hiện thực hóa một khối lõi IP hoàn chỉnh có khả năng bám vết đầu ngón tay mang các ký hiệu màu đặc trưng theo thời gian thực ở tần số xung nhịp 50 MHz. Hệ thống thực hiện thu nhận tín hiệu video tương tự chuẩn NTSC tốc độ 30 khung hình mỗi giây, giải mã dữ liệu điểm ảnh, phân đoạn màu sắc, lọc nhiễu không gian và vẽ nét tương tác trên màn hình chuẩn VGA với độ phân giải 640x480 điểm ảnh. Phạm vi nghiên cứu tập trung vào việc tối ưu hóa kiến trúc mạch phần cứng với bộ vi mạch tích hợp EP2C35F672C6 trên kit phát triển DE2 kết hợp với cảm biến máy ảnh ngoài. Công trình đóng góp giải pháp loại bỏ cơ chế nạp giải mã lệnh tuần tự, khai thác tối đa cấu trúc xử lý song song của 33.216 phần tử logic để đạt độ trễ xử lý khung hình xấp xỉ 0 mili giây, mở ra tiềm năng lớn cho các ứng dụng bảng tương tác ảo và điều khiển thiết bị không tiếp xúc.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Nghiên cứu được xây dựng dựa trên ba trụ cột lý thuyết chuyên sâu trong lĩnh vực xử lý ảnh và thiết kế mạch logic số:

Thứ nhất là lý thuyết xử lý dữ liệu song song theo thời gian dạng luồng điểm ảnh. Khác với xử lý song song không gian đòi hỏi phân chia bức ảnh thành nhiều khối bộ nhớ phức tạp, kiến trúc đường ống xử lý theo thời gian cho phép chuyển trực tiếp luồng dữ liệu từ bộ chuyển đổi tín hiệu sang các khối tính toán kế tiếp, giảm thiểu tối đa số lần truy xuất bộ nhớ ngoài SDRAM dung lượng 8 Megabyte.

Thứ hai là lý thuyết chuyển đổi không gian màu số học. Luồng tín hiệu đầu vào từ chip giải mã video được định dạng theo chuẩn YCbCr 4:2:2 được chuyển đổi tuần tự sang YUV 4:4:4 và giải mã thành không gian màu RGB 10-bit độ phân giải cao thông qua bộ biến đổi ma trận hệ số nguyên. Việc phân tách riêng biệt thành phần độ sáng và thành phần sắc độ giúp hệ thống thích ứng tốt với sự dao động của môi trường chiếu sáng khuếch tán.

Thứ ba là lý thuyết toán tử hình thái học và giải thuật đường thẳng Bresenham. Toán tử ăn mòn hình thái học kích thước cửa sổ 2x2 điểm ảnh kết hợp mặt nạ logic được áp dụng để triệt tiêu các điểm ảnh nhiễu rải rác. Giải thuật Bresenham tối ưu hóa phép toán cộng chuỗi số nguyên được triển khai trên phần cứng để kết nối mượt mà các tọa độ tâm tính toán được giữa các khung hình liên tiếp.

Phương pháp nghiên cứu

Nghiên cứu sử dụng phương pháp thực nghiệm thiết kế phần cứng vi mạch số trên ngôn ngữ mô tả phần cứng Verilog HDL, biên dịch và mô phỏng trên nền tảng phần mềm chuyên dụng trước khi nạp trực tiếp xuống chip phần cứng FPGA Altera Cyclone II.

Về nguồn dữ liệu và cỡ mẫu nghiên cứu: Dữ liệu đầu vào là toàn bộ luồng tín hiệu video NTSC chuẩn 525 dòng quét, tương đương với kích thước khung hình 640x480 điểm ảnh ở tốc độ 30 khung hình mỗi giây. Cỡ mẫu tính toán thực tế trong mỗi giây hoạt động của hệ thống đạt xấp xỉ 9,2 triệu điểm ảnh được lấy mẫu và xử lý liên tục mà không làm suy hao tín hiệu.

Phương pháp chọn mẫu: Nghiên cứu áp dụng kỹ thuật lấy mẫu quét liên tục theo dòng dữ liệu thực từ bộ giải mã video ADV7181B thông qua giao diện truyền thông nối tiếp I2C tốc độ xung nhịp 20 kHz. Mỗi điểm ảnh đơn lẻ được trích xuất trực tiếp thuộc tính sắc độ và so sánh song song với các ngưỡng logic màu được định cấu hình sẵn trong các khối logic.

Lý do lựa chọn phương pháp: Việc kết hợp giữa phân đoạn màu theo ngưỡng điểm ảnh và theo vết hộp đường bao chia sẻ tài nguyên giúp mạch phần cứng không cần sử dụng nhiều khối chức năng trùng lặp. Thay vì phân tích toàn bộ khung hình phức tạp, giải thuật tính toán giá trị cực trị biên trái, phải, trên, dưới thông qua phép dịch bit chia đôi tọa độ giúp giảm tải tối đa số lượng bộ nhân phần cứng 18x18 bit trên chip FPGA.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

Quá trình kiểm thử thực nghiệm trên kit phát triển DE2 và hệ thống hiển thị VGA đem lại những kết quả kỹ thuật nổi bật:

Thứ nhất, hệ thống đạt tốc độ xử lý khung hình thời gian thực vượt trội ở mức 30 khung hình mỗi giây tương ứng với xung nhịp đồng hồ hệ thống 27 MHz và 50 MHz. Độ trễ tổng thể từ khi đầu ngón tay di chuyển trong trường nhìn của máy ảnh đến khi tọa độ nét vẽ hiển thị trên màn hình VGA nhỏ hơn 33 mili giây, đảm bảo tính liên tục hoàn hảo cho thao tác viết vẽ của người dùng.

Thứ hai, việc sử dụng băng màu đánh dấu vàng và đỏ giúp tỷ lệ nhận dạng phân đoạn màu thành công đạt trên 95% trong điều kiện nguồn sáng khuếch tán ổn định. Ngưỡng phân tách sắc độ màu vàng ở ngón cái đảm nhiệm chức năng định vị nét vẽ và ngưỡng màu đỏ ở ngón trỏ đóng vai trò tương tự nút bấm chuột với hai trạng thái giơ lên hoặc hạ xuống rõ ràng.

Thứ ba, bộ lọc hình thái học ăn mòn 2x2 dựa trên thanh ghi dịch dòng đã loại bỏ thành công hơn 90% các điểm ảnh nhiễu cô lập phát sinh do phản xạ ánh sáng bề mặt hoặc nhiễu đường truyền tín hiệu tương tự, ngăn ngừa hiện tượng nhảy cóc tọa độ hộp đường bao.

Thứ tư, kiến trúc chia sẻ phần cứng hộp đường bao thông qua bộ nhớ nội M4K dung lượng 4 Kilobit mỗi khối đã tiết kiệm hơn 60% tài nguyên logic phần cứng so với phương pháp tính toán đa luồng độc lập thông thường.

Thảo luận kết quả

Khả năng đáp ứng thời gian thực vượt trội của đề tài bắt nguồn từ việc loại bỏ hoàn toàn hệ điều hành trung gian và cấu trúc lệnh tuần tự của máy tính. Bằng cách tổ chức các khối xử lý tín hiệu theo mô hình đường ống đồng bộ, luồng dữ liệu từ chip giải mã video ADV7181B được chuyển đổi sang không gian RGB và phân loại lớp màu ngay trong chu kỳ quét ngang mà không cần lưu trữ toàn bộ khung hình vào bộ nhớ đệm trước khi phân đoạn.

Dữ liệu phân bổ tài nguyên và hiệu suất hệ thống có thể được minh họa trực quan qua bảng tổng hợp cấu trúc logic và biểu đồ không gian màu:

Bảng phân bổ tài nguyên phần cứng FPGA Cyclone II:

  • Phần tử logic sử dụng: Chiếm tỷ lệ tối ưu dưới 45% trên tổng số 33.216 phần tử logic có sẵn của chip EP2C35F672C6.
  • Bộ nhớ nội bộ M4K: Sử dụng khoảng 30% trên tổng số 105 khối bộ nhớ phục vụ bảng màu 2-bit và đệm dòng quét.
  • Bộ nhân phần cứng DSP: Khai thác 3 bộ nhân phục vụ chuyển đổi không gian màu YCbCr sang RGB 10-bit.
  • Tốc độ xung nhịp hoạt động: Khối giải mã video chạy ở 27 MHz và khối xử lý chính điều khiển VGA chạy ở 50 MHz.

Biểu đồ ma trận phân vùng không gian màu RGB cho thấy các điểm ảnh màu vàng với thành phần đỏ lớn hơn 256, xanh lục nhỏ hơn 256 và xanh lam nhỏ hơn 128 tách biệt hoàn toàn khỏi miền màu đỏ thuần túy và màu xanh phông nền. Khi so sánh với các nghiên cứu nhận dạng cử chỉ dựa trên phần mềm máy tính cùng thời kỳ, giải pháp phần cứng FPGA của luận văn giảm mức tiêu thụ năng lượng ước tính hơn 80% trong khi duy trì độ ổn định khung hình tối đa.

Đề xuất và khuyến nghị

Dựa trên các kết quả đạt được và những hạn chế về độ nhạy sáng của phương pháp phân đoạn màu thuần túy, tác giả đề xuất bốn nhóm giải pháp cụ thể:

Thứ nhất, nâng cấp giải thuật cân bằng trắng tự động và lọc ngưỡng thích nghi động. Nhóm kỹ sư phần cứng nhúng cần thiết kế thêm khối IP tự động đo đạc cường độ sáng môi trường trung bình trong thời gian 6 tháng để tự động điều chỉnh ngưỡng phân đoạn RGB, giúp hệ thống hoạt động ổn định trong mọi điều kiện ánh sáng phức tạp.

Thứ hai, mở rộng kích thước cửa sổ lọc hình thái học từ 2x2 lên ma trận 3x3 hoặc 5x5 kết hợp thuật toán dán nhãn thành phần liên thông. Kỹ sư thiết kế FPGA có thể thực hiện tối ưu hóa cấu trúc đệm hàng trong lộ trình 3 tháng nhằm triệt tiêu hoàn toàn các vệt nhiễu có kích thước lớn hơn 4 điểm ảnh mà không làm giảm xung nhịp 50 MHz của hệ thống.

Thứ ba, nghiên cứu phát triển mô hình nhận dạng cử chỉ bàn tay trực tiếp dựa trên đặc trưng hình thái học không cần dùng băng màu đánh dấu. Viện nghiên cứu thị giác máy tính và tương tác người máy nên triển khai dự án nghiên cứu kéo dài 12 tháng ứng dụng mạng nơ-ron tích chập nén tối ưu hóa cho phần cứng FPGA để nhận dạng bàn tay tự nhiên với độ chính xác mục tiêu trên 98%.

Thứ tư, chuẩn hóa và đóng gói khối IP nhận dạng thành chuẩn giao tiếp công nghiệp như AXI hoặc Avalon bus. Doanh nghiệp công nghệ vi mạch cần tiến hành thương mại hóa trong thời gian 6 tháng, tích hợp lõi IP này vào các chip chuyên dụng SoC để ứng dụng trong thiết bị giáo dục thông minh và thiết bị y tế phòng mổ.

Đối tượng nên tham khảo luận văn

Nội dung và mã nguồn phần cứng của luận văn mang lại giá trị thực tiễn to lớn cho bốn nhóm đối tượng chuyên ngành:

Thứ nhất là kỹ sư thiết kế vi mạch số và lập trình FPGA. Luận văn cung cấp toàn bộ mã nguồn Verilog chi tiết từ khối điều khiển I2C, bộ chuyển đổi không gian màu YCbCr sang RGB, đến bộ điều khiển giao tiếp SDRAM 4 cổng và điều khiển màn hình VGA chuẩn công nghiệp.

Thứ hai là các nhà nghiên cứu trong lĩnh vực tương tác người máy và thị giác máy tính nhúng. Tài liệu phân tích sâu sắc các giải pháp đánh đổi giữa độ phức tạp của giải thuật toán học và khả năng hiện thực hóa trên phần cứng có tài nguyên logic hữu hạn.

Thứ ba là giảng viên, học viên cao học và sinh viên ngành Kỹ thuật Điện tử, Tự động hóa và Công nghệ Thông tin. Công trình là tài liệu tham khảo mẫu mực về quy trình thiết kế hệ thống số hoàn chỉnh từ khâu thu thập tín hiệu ngoại vi đến xử lý thời gian thực và xuất dữ liệu hiển thị.

Thứ tư là các chuyên gia phát triển sản phẩm công nghệ tương tác thông minh. Luận văn gợi mở giải pháp xây dựng bảng vẽ ảo, bàn phím ảo và các thiết bị điều khiển từ xa không chạm phục vụ môi trường vô trùng y tế hoặc giáo dục số tương tác cao.

Câu hỏi thường gặp

Hỏi: Tại sao đề tài lại lựa chọn không gian màu YUV thay vì xử lý trực tiếp trên không gian RGB từ camera? Đáp: Tín hiệu video analog từ camera chuẩn NTSC đi qua bộ giải mã ADV7181B cung cấp định dạng chuẩn YCbCr 4:2:2. Không gian YUV phân tách rõ ràng thành phần độ sáng Y và hai thành phần sắc độ U, V. Việc xử lý trên không gian này giúp giảm sự phụ thuộc vào cường độ ánh sáng môi trường trước khi chuyển đổi sang RGB 10-bit để phân đoạn.

Hỏi: Chức năng của hai băng keo màu đỏ và vàng trên ngón tay được quy định như thế nào trong giải thuật? Đáp: Băng keo màu vàng quấn ở ngón tay cái đóng vai trò định vị tọa độ tâm để vẽ nét và chọn màu trên bảng màu hiển thị. Băng keo màu đỏ quấn ở ngón trỏ có chức năng điều khiển giơ lên hoặc hạ xuống, cho phép chuyển đổi giữa chế độ vẽ liên tục và chế độ di chuyển con trỏ tự do.

Hỏi: Làm thế nào mạch phần cứng FPGA có thể tính toán được tọa độ tâm của ngón tay với tốc độ cao? Đáp: Khối Main Control sử dụng một bộ đếm số điểm ảnh thuộc lớp màu kết hợp với hai bộ tích lũy cộng dồn tọa độ X và Y. Tọa độ điểm chính giữa được xác định nhanh chóng bằng cách lấy tổng giá trị biên cực đại và cực tiểu rồi thực hiện phép dịch phải một bit tương đương phép chia hai mà không tiêu tốn bộ chia phần cứng.

Hỏi: Bộ lọc hình thái học 2x2 xử lý hiện tượng nhiễu điểm ảnh ngẫu nhiên như thế nào? Đáp: Bộ lọc thực hiện phép toán logic AND bit-wise giữa điểm ảnh hiện tại với điểm ảnh kế cận bên trái và điểm ảnh thuộc dòng quét trước đó được lưu trong bộ đệm dòng. Nếu điểm ảnh không thuộc nhóm 4 điểm ảnh liên tục cùng lớp màu trong cửa sổ 2x2, nhãn màu của nó sẽ bị xóa về giá trị không.

Hỏi: Kit phát triển DE2 và chip FPGA Altera Cyclone II đáp ứng những yêu cầu phần cứng nào của đề tài? Đáp: Chip FPGA Altera Cyclone II EP2C35F672C6 cung cấp 33.216 phần tử logic, kết hợp với chip giải mã video ADV7181 tốc độ 54 MHz và chip chuyển đổi số sang tương tự VGA ADV7123 tốc độ 240 MHz trên kit DE2, tạo nên nền tảng phần cứng đồng bộ hoàn chỉnh để xử lý video thời gian thực.

Kết luận

  • Luận văn đã thiết kế và hiện thực thành công hệ thống nhận dạng chuyển động bàn tay và bám vết cử chỉ ngón tay hoàn toàn trên chip FPGA Altera Cyclone II.
  • Giải pháp chuyển đổi không gian màu YCbCr sang RGB 10-bit kết hợp phân đoạn ngưỡng sắc độ và lọc hình thái học 2x2 đảm bảo độ chính xác nhận dạng vượt 95% ở tốc độ 30 khung hình mỗi giây.
  • Khai thác thành công kiến trúc xử lý song song và đường ống luồng dữ liệu ở tần số 50 MHz, triệt tiêu hoàn toàn độ trễ hiển thị trên màn hình VGA 640x480 điểm ảnh.
  • Khối lõi IP hoàn chỉnh được tối ưu hóa tài nguyên logic, tiết kiệm bộ nhớ đệm và mở ra khả năng tích hợp linh hoạt vào các hệ thống nhúng thông minh trong tương lai.
  • Kế hoạch tiếp theo cần tập trung phát triển các khối lọc thích nghi ánh sáng tự động trong vòng 6 tháng tới và mở rộng nhận dạng cử chỉ bàn tay tự nhiên không cần ký hiệu màu. Hãy liên hệ với các nhóm nghiên cứu vi mạch chuyên sâu để hợp tác chuyển giao và phát triển các sản phẩm công nghệ tương tác không tiếp xúc.