BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT TP.HCM KHOA CƠ KHÍ CHẾ TẠO MÁY ĐỒ ÁN TỐT NGHIỆP NGÀNH CÔNG NGHỆ KỸ THUẬT CƠ ĐIỆN TỬ NGHIÊN CỨU PHÂN TÍCH CHUYỂN ĐỘNG CỦA MẮT ĐỂ XUẤT RA TÍN HIỆU ĐIỀU KHIỂN XE LĂN GVHD: TS.VŨ QUANG HUY SVTH: NGÔ TUẤN ANH MSSV: 10911014 SVTH: NGUYỄN ĐĂNG TIẾN MSSV: 10911058 SKL 0 0 3 8 6 4 Tp. Hồ Chí Minh, tháng 7/2015 do an TRƢỜNG ĐH SƢ PHẠM KỸ THUẬT TP.HCM CỘNG HOÀ XÃ HỘI CHỦ NGHĨA VIỆT NAM KHOA CƠ KHÍ CHẾ TẠO MÁY Độc lập - Tự do – Hạnh phúc Bộ môn CƠ ĐIỆN TỬ NHIỆM VỤ ĐỒ ÁN TỐT NGHIỆP Giảng viên hƣớng dẫn: TS.VŨ QUANG HUY Sinh viên thực hiện: NGÔ TUẤN ANH MSSV: 10911014 NGUYỄN ĐĂNG TIẾN MSSV: 10911058 1. Tên đề tài: “Nghiên cứu phân tích chuyển động của mắt để xuất ra tín hiệu điều khiển xe lăn “ 2.Các số liệu,tài liệu ban đầu: 3.Nội dung chính của đồ án: a. Nguyên cứu phân tích chuyển động của mắt xuất tín hiệu điều khiển Nguyên cứu ,lập trình phần mềm phân tích chuyển động của mắt bằng C++.
Xuất ra tín hiệu điều khiển. Thiết kế chế tạo mô hình xe lăn Vẽ bản vẽ chi tiết mô hình hình xe lăn Tính toán chọn động cơ cho mô hình Kết nói mạch điều khiển động cơ(sử dụng modul arduino) Sử dụng phần mềm xử lý ảnh điều khiển mô hình xe lăn 4. Các sản phẩm dự kiến Mô hình xe lăn hoàn thiện Phần mềm sử lý ảnh phân tích chuyển động của mắt 5. Ngày nộp đồ án: 28/7/2015 TRƢỞNG BỘ MÔN GIẢNG VIÊN HƢỚNG DẪN (Ký,ghi rõ họ tên) (Ký,ghi rõ họ tên) Đƣợc phép bảo vệ ………………………………………… (GVHD ký,ghi rõ họ tên) i do an Nghiên cứu phân tích chuyển động của mắt điều khiển xe lăn GVHD: TS.
Vũ Quang Huy LỜI CAM KẾT - Tên đề tài: Nghiên cứu phân tích chuyển động của mắt để xuất ra tín hiệu điều khiển xe lăn - GVHD: TS.Vũ Quang Huy - Họ tên sinh viên: Ngô Tuấn Anh - MSSV: 10911014 Lớp: 109110A - Địa chỉ sinh viên: Kp VII-TT Chơn Thành-Huyện Chơn Thành-Tỉnh Bình Phƣớc - Số điện thoại liên lạc: 0979508082 - Email: tuananhcdt10@gmail.com - Ngày nộp khoá luận tốt nghiệp (ĐATN): 28/7/2015 - Lời cam kết: “Tôi xin cam đoan khoá luận tốt nghiệp (ĐATN) này là công trình do chính tôi nghiên cứu và thực hiện.Tôi không sao chép từ bất kỳ một bài viết nào đã được công bố mà không trích dẫn nguồn gốc.Nếu có bất kỳ một sự vi phạm nào,tôi xin chịu hoàn toàn trách nhiệm”.Hồ Chí Minh,ngày …. Ký tên Ngô Tuấn Anh ii do an Nghiên cứu phân tích chuyển động của mắt điều khiển xe lăn GVHD: TS. Vũ Quang Huy LỜI CẢM ƠN Lời đầu tiên,chúng em xin gửi đến Thầy TS Vũ Quang Huy lời cảm ơn chân thành và sâu sắc nhất.Nhờ có sự hƣớng dẫn và giúp đỡ tận tình của Thầy trong suốt thời gian qua,chúng em đã có thể thực hiện và hoàn thành Đồ Án Cơ Điện Tử và Đồ Án Tốt Nghiệp.Những lời nhận xét,góp ý và chỉ dẫn tận tình của Thầy đã giúp chúng em có một định hƣớng đúng đắn trong suốt quá trình thực hiện Đề tài,giúp chúng em nhìn ra đƣợc những ƣu khuyết điểm của Đề tài và từng bƣớc hoàn thiện hơn. Đồng thời,chúng em xin trân trọng cảm ơn các Thầy Cô của Trƣờng Đại Sƣ Phạm Kỹ Thuật Tp.HCM,các Thầy Cô của khoa Cơ Khí Chế Tạo Máy nói chung và của Bộ Môn Cơ Điện Tử nói riêng đã dạy dỗ chúng em suốt quãng thời gian ngồi trên ghế giảng đƣờng Đại học.Những lời giảng của Thầy Cô trên bục giảng đã trang bị cho chúng em những kiến thức và giúp chúng em tích lũy thêm những kinh nghiệm.
Bên cạnh đó,chúng tôi xin cảm ơn sự hỗ trợ và giúp đỡ của bạn bè trong thời gian học tập tại Trƣờng Đại Học Sƣ Phạm Kỹ Thuật Tp.HCM và trong quá trình hành trình hoàn thành Đồ Án Tốt Nghiệp này. Cuối cùng,chúng con cũng chân thành cảm ơn sự động viên và sự hỗ trợ của cha mẹ và gia đình trong suốt thời gian học tập.Đặc biệt,chúng con xin gửi lời cảm ơn trân trọng nhất đến cha mẹ,ngƣời đã sinh ra và nuôi dƣỡng chúng con nên ngƣời.Sự quan tâm,lo lắng và hy sinh lớn lao của cha mẹ luôn là động lực cho chúng con cố gắng phấn đấu trên con đƣờng học tập của mình.Một lần nữa,chúng con xin gửi đến cha mẹ sự biết ơn sâu sắc nhất.Hồ Chí Minh,ngày 15 tháng 07 năm 2015. Ngô Tuấn Anh Nguyễn Đăng Tiến iii do an Nghiên cứu phân tích chuyển động của mắt điều khiển xe lăn GVHD: TS. Vũ Quang Huy TÓM TẮT ĐỒ ÁN TÊN ĐỀ TÀI Nghiên cứu phân tích chuyển động của mắt để xuất ra tín hiệu điều khiển xe lăn Nhằm cải thiện khả năng di chuyển của ngƣời khuyết tật,đề tài: ” Nghiên cứu phân tích chuyển động của mắt để xuất ratín hiệu điều khiển xe lăn” ra đời.Đề tài tập trung vào nghiên cứu phƣơng pháp điều khiển xe lăn bằng ánh mắt bao gồm các yếu tố: Nghiên cứu phân tích chuyển động của mắt bằng xửlý ảnh.
Chuyển tín hiệu ảnh đã xử lý sang tín hiệu điều khiển động cơ xe lăn. Thiết kế chế tạo mô hình xe lăn và điều khiển mô hình bằng tín hiệu mắt. Yếu tố phân tích chuyển động của mắt đƣợc nhóm nghiên cứu giải quyết bằng việc thiết kế và lập trình giao diện điều khiển bằng ngôn ngữ C++ của Micorosoft kết hợp với thƣ viện ảnh nguồn mở OpenCV và Webcam thu tín hiệu chuyển động của mắt. Một điểm đặc biệt của công trình là việc tích hợp module thu phát tín hiệu không dây(HC-11 Bluetooth Module).Để kết nối Pc với mô hình xe lăn giúp tăng khả năng hoạt động của mô hình và giảm cả trở khi xe di chuyển.
Để điều khiển tối ƣu cho mô hình xe lăn,nhóm nghiên cứu đã ứng dụng và lập trình mạch điều khiển với Adruino và cách thiết bị điện tử khác để tạo ra bộ điều khiển động cơ tối ƣu. Sản phẩm giao diện phần mềm xử lý ảnh và mô hình xe đã đƣợc nhóm lập trình và chế tạo thành công,kết quả thực nghiệm và vận hành,đáp ứng đƣợc mục tiêu đề ra.Bên cạnh đó sản phẩm vẫn còn một số hạn chế về thời gian vận hành và các tính năng phục vụ cho ngƣời dùng vẫn còn hạn chế. Sinh viên Ngô Tuấn Anh Nguyễn Đăng Tiến iv do an Nghiên cứu phân tích chuyển động của mắt điều khiển xe lăn GVHD: TS. Vũ Quang Huy ABSTRACT Analysis of Eye Movement to Control Wheelchair In daily life,the disabled people need the help of autonomous wheelchair.Requirements of autonomous wheelchair is capable of support the move for disabled people.There are many methods for autonomous wheelchair.One of the many advantages the technology used is Image Processing This project presented a research of eye movements using image processing methods.This system has ability to identify,locate the coordinate position of eye in an image based on color feature in an image based on color features,then calculate the distance,the replacement of the eye position.After processing,the computer will transmit control signal to wheelchairs via Bluetooth Transceiver.Wheelchairs will process those signal to move to the destination.
v do an Nghiên cứu phân tích chuyển động của mắt điều khiển xe lăn GVHD: TS. Vũ Quang Huy MỤC LỤC NHIỆM VỤ ĐỒ ÁN TỐT NGHIỆP. i LỜI CAM KẾT .ii LỜI CẢM ƠN. vi DANH MỤC BẢNG BIỂU.
viii DANH MỤC SƠ ĐỒ,HÌNH VẼ. ix DANH MỤC TỪ VIẾT TẮT. xi CHƢƠNG 1: TỔNG QUAN .Giới thiệu chung .Ý nghĩa của đề tài .3 Mục tiêu nghiên cứu của đề tài .4 Đối tƣợng và phạm vi nguyên cứu .1 Đối tƣợng nghiên cứu .2 Phạm vi nghiên cứu .5 Phƣơng pháp thực hiện .6 Kết cấu đề tài. 6 CHƢƠNG 2: CƠ SỞ LÝ THUYẾT .1 Lý thuyết về xử lý ảnh .1 Cấu trúc một file ảnh .3 Không gian màu (Color Space) .4 Không gian màu RGB (RGB Color Space) [6] .5 Không gian màu xám (Gray-scale Color Space) .6 Không gian màu HSV .7 Không gian màu nhị phân.
13 vi do an Nghiên cứu phân tích chuyển động của mắt điều khiển xe lăn GVHD: TS.8 Chuyển đổi ảnh màu sang ảnh xám .9 Chuyển đổi ảnh xám sang ảnh nhị phân .10 Giải thuật CAMSHIFT (Continuously Adaptive Mean Shift) .11Kỹ thuật lọc số - làm trơn nhiễu .2 Lý thuyêt về Open CV: .1 Cách tổ chức .3 Thiết bị điều khiển Arduino .1 Khả năng của mạch Arduino .2 Đọc tín hiệu cảm biến ngõ vào .3 Xuất tín hiệu điều khiển ngõ ra .4 Chuẩn giao tiếp .5 Môi trƣờng lập trình mạch Arduino .6 Các loại bo mạch Arduino. 26 CHƢƠNG 3: THIẾT KẾ CƠ KHÍ VÀ MẠCH ĐIỀU KHIỂN .1 Thiết kế mô hình xe lăn .1 Thi công mô hình.2 Lựa chọn động cơ.3 Lựa chọn thiết bị tâm xử lý ảnh.1 Máy tính PC,Laptop .2 Main công nghiệp,máy tính nhúng PC 104 .3 Single Board Computer (SBC) sử dụng Single on Chip (SoC) .4 Thiết bị trung tâm điều khiển động cơ .5 Thiết bị kết nối và giao tiếp.6 Mạch công suất. 38 vii do an Nghiên cứu phân tích chuyển động của mắt điều khiển xe lăn GVHD: TS. Vũ Quang Huy CHƢƠNG 4: THIẾT KẾ CHƢƠNG TRÌNH XỬ LÝ ẢNH .1 Phát triển chƣơng trình xử lý tín hiệu mắt và điều khiển xe lăn .2 Xử lý chính .2 Ứng dụng thƣ viện Open CV thiết kế chƣơng trình xử lý ảnh.1 Thiết kế quy trình phân tích chuyển động ,vị trí của mắt.
45 CHƢƠNG 5: KẾT QUẢ VÀ THỰC NGHIỆM .1 Chế tạo mô hình xe lăn .2 Giao diện điều khiển .3 Xử lý hiển thị tọa độ mắt và hƣớng di chuyển. 54 CHƢƠNG 6: KẾT LUẬN VÀ HƢỚNG PHÁT TRIỂN .3 Hƣớng phát triển đề tài. 57 TÀI LIỆU THAM KHẢO. 59 A:Một số hàm trong Opencv đƣợc sử dụng để xử lý trong chƣơng trinh sử lý ảnh.
59 B: Code chƣơng trình sử lí ảnh. 61 C: Code chƣơng trình điều khiển động cơ. 63 DANH MỤC BẢNG BIỂU,BIỂU ĐỒ Biểu đồ 2.1: Kết quả tìm kiếm với giải thuật CAMSHIFT .2: Tìm pixel trung vị trong cửa sổ lọc. 19 viii do an Nghiên cứu phân tích chuyển động của mắt điều khiển xe lăn GVHD: TS.
Vũ Quang Huy Bảng 4.1: Ma trận pixel trƣớc và sau khi qua bộ lọc trung bình,kích thƣớc 3x3.2: Ma trận pixel trƣớc và sau khi qua bộ lọc trung vị,kích thƣớc 3x3.3: Mảng các giá trị pixel của ma trận lọc trung vị đã qua sắp xếp. 49 DANH MỤC SƠ ĐỒ,HÌNH ẢNH Hình 1.1: Ngƣời khuyết tật gặp khó khăn trong việc di chuyển .2: Điều khiển bằng tay Hình 1.3: Điều khiển bằng Joystick .4: Xe lăn điều khiển bằng hơi thở đối với ngƣời liệt một phần hoặc toàn thân .5: Điều khiển xe lăn bằng điện mắt. 3 ix do an Nghiên cứu phân tích chuyển động của mắt điều khiển xe lăn GVHD: TS.