ĐẠI HỌC BÁCH KHOA HÀ NỘI TRƯỜNG CƠ KHÍ LUẬN VĂN THẠC SĨ Hệ thống lưu kho tự động và quản lý hàng hoá ứng dụng IoT IoT Base Automated Storage and Retrieval System NGUYỄN VĂN UY Uy.vn Chuyên ngành Kỹ thuật Cơ điện tử Giảng viên hướng dẫn: TS. Nguyễn Thành Hùng Chữ ký của GVHD Khoa: Cơ Điện Tử Nhóm chuyên môn: Robot Hà Nội 10/2022 1 Lời cảm ơn Em xin chân thành cảm ơn quý thầy, cô trong Khoa Cơ khí đã trang bị cho em những kiến thức cần thiết trong thời gian học tập, nghiên cứu tại trường để có thể hoàn thành tốt luận văn này. Đặc biệt em xin cảm ơn sự hướng dẫn tận tình của giảng viên hướng dẫn Tiến sĩ Nguyễn Thành Hùng đã giúp em giải đáp những khúc mắc trong quá trình hoàn thành luận văn cũng như là những chỉnh sửa và giải pháp cho hệ thống. Trong quá hình hoàn thành luận văn không tránh khỏi những vấn đề thiếu sót, vậy em rất mong nhận được những sự đóng góp ý kiến của thầy cô để luận văn hoàn thiện hơn.
Chúc quý thầy cô sức khoẻ và công tác tốt trong công việc nghiên cứu và đào tạo. Tóm tắt nội dung luận văn Nội dung của luận văn nhằm giải quyết bài toán hệ thống lưu và xuất kho trong sản xuất tự động. Cụ thể là thiết kế hệ thống cơ khí robot lấy hàng và giá lưu trữ hàng hệ thống điều khiển robot vận chuyển. Chương trình tạo mã và giải mã QR code cùng với đó là xử lý ảnh để đo kích thước và độ lệch góc và tâm của hàng giúp quản lý, phân loại hàng hoá dễ dàng.
Cuối cùng là hệ thống IoT xây dựng một trang web để giám sát quản lý dữ liệu và quá trình hoạt động của kho hàng bằng thiết bị mà có kết nối mạng và tài khoản thì có thể kiểm tra tình trạng kho hàng. Phương pháp thực hiện: Dựa trên lý thuyết về các thuật toán và phương pháp xử lý ảnh để đo kích thước, độ lệch hàng sau đó tạo mã QR code để phân loại hàng. Những dữ liệu trên sẽ được chương trình chính xử lý và điều khiển rô bốt xuất nhập kho, cuối cùng sẽ gửi các thông tin đó lên cơ sở dữ liệu trên internet để lưu trữ và quản lý. Công cụ sử dụng: Arduino IDE – Arduino MEGA, Window form – C#, PyCharm – OpenCV, PHP Laravel.
Kết quả đạt được của luận văn đáp ứng được các yêu cầu đã đặt ra cho hệ thống lưu kho và quản lý hàng hoá tự động. Tính khoa học thực tiễn có ý nghĩa cao trong hệ thống phân loại và nhập hàng tự động và quản lý hàng hoá. Định hướng phát triển sẽ tăng độ chính xác cho hệ xử lý ảnh bằng học sâu và xây dựng trang web tương tác với người dùng tối ưu hơn Hà Nội, Ngày … Tháng … Năm 2022 Học viên thực hiện 2 MỤC LỤC Danh mục hình ảnh .1 TỔNG QUAN ĐỀ TÀI .1 Tổng quan hệ thống Rô bốt lưu kho tự động .1 Rô bốt công nghiệp .2 Kho hàng tự động .2 Tổng quan hệ thống xử lý hình ảnh .1 Tổng quan và ứng dụng mã QR code .2 Tổng quan đo kích thước vật thể.3 Nhận diện QR code và đo vật thể với thư viện OpenCV .3 Tổng quan Internet of Things .1 Khái niệm IoT .2 Các ứng dụng và thách thức của IoT .4 Các nghiên cứu về lĩnh vực liên quan. 19 Nội dung nghiên cứu của luận văn .2 THIẾT KẾ HỆ THỐNG ĐIỀU KHIỂN .1 Hệ thống cơ cấu chấp hành .1 Nguyên lý hoạt động của kho hàng.2 Cấu tạo và nguyên lý hoạt động của rô bốt .3 Chọn các thành phần của hệ thống cơ khí .4 Thiết kế kích cỡ khung hàng .2 Hệ thống điều khiển .1 Phân tích lựa chọn các thành phần của hệ thống điều khiển .2 Sơ đồ các điểm di chuyển của rô bốt .4 Xây dựng chương trình chính để điều khiển và giám sát kho hàng 38 CHƯƠNG.3 THUẬT TOÁN XỬ LÝ HÌNH ẢNH .1 Thuật toán xử lý mã QR Code .1 Mã hoá QR code .2 Giải mã QR code .2 Thuật toán đo kích thước và độ lệch .1 Những phương pháp xử lý hình ảnh và hiệu chỉnh camera .2 Thuật toán nhận diện và đo kích thước .3 Chương trình xử lý hình ảnh .4 ỨNG DỤNG IOT QUẢN LÝ KHO HÀNG .1 Truyền thông trong IoT với hệ thống điều khiển.1 Kiến trúc IoT .2 Các công nghệ IoT .2 Thiết kế frontend Web .3 Thiết kế backend Web .4 Hệ quản trị cơ sở dữ liệu và framework PHP Laravel .1 Phần mềm tạo máy chủ Xampp và hệ quản trị cơ sở dữ liệu .2 Framework PHP Laravel.5 THỰC NGHIỆM VÀ KẾT LUẬN .1 Thực nghiệm và đánh giá kết quả .2 Đánh giá kết quả .2 Kết luận và hướng phát triển .2 Hướng phát triển của đề tài trong tương lai.
84 4 File chương trình chính và giao diện xử lý ảnh. 84 File các hàm tính toán và xử lý ảnh. 87 Code chương trình chính. 92 Tài liệu tham khảo.
100 5 Danh mục hình ảnh Hình 1.1 - Toạ độ suy rộng của rô bốt O0 đến On .2 - Cấu trúc cơ bản của rô bốt công nghiệp .3 - Rô bốt vận chuyển hàng trong kho của Amazon .4 - Kho hàng tự động ASRS .5 - Mã vạch và mã QR code .6 - Cấu tạo mã QR Code .7 - Thông số cần để đo kích thước cây .8 - Đo vật thể với OpenCV bằng đối tượng tham chiếu.9 - Mô tả xác định độ lệch điểm và góc của khối Rubik .10 - Sơ đồ thành phần của hệ thống IoT.11 - Con người kết nối với các thiết bị giám sát .12 - Ứng dụng IoT .13 - Giải thuật kinh nghiệm cho hệ thống lưu kho .14 - Mô hình tổng quan hệ thống và hệ rô bốt .1 - Mặt cắt mô hình 3D của kho hàng .2 - Sơ đồ motor lắp với puly và cụm puly đai răng .3 - Cụm hệ puly đai răng chuyển động ngang .4 - Cụm hệ puly đai răng chuyển động thẳng đứng .5 - Cụm xích bánh xích chuyển động lấy trả hàng .6 - Ray trượt bi .7 - Động cơ bước 28BYJ và driver .8 - Động cơ bước size 42 trục nâng hạ .9 - Thông số kích thước động cơ .10 - Kích cỡ và hình chiếu đứng 3D của khung hàng .11 - Sơ đồ mặt bằng kho hàng .13 - Sơ đồ kết nối chân .14 - Nguyên lý làm việc của động cơ bước nam châm vĩnh cửu .15 - Drive điều khiển động cơ TB6600 .16 - Cảm biến khoảng cách E18-D80NK .17 - Các điểm thao tác trên trục X và Y .18 - Điểm thao tác của trục Z .19 - Sơ đồ nối dây Arduino với động cơ qua module TB6600 .20- Sơ đồ thuật toán cho Rô bốt .21 - Giao diện kho hàng tự động .22 - Code Arduino chờ nhận giá trị trả về .1 - Sơ đồ quy trình tạo mã QR Code .2 - Các function pattern và vị trí của nó .3 - Kích thước Finder pattern .4 - Phiên bản 1 và phiên bản 18 .6 - Kích thước Alignment pattern .7 - Cách đặt Alignment pattern .8 - Thêm Timing pattern .9 - Thêm Format information .10 - Bit thông tin phiên bản (từ phiên bản 7 trở lên) .11 - Chiều sắp xếp bit data .12 - Thứ tự đặt bit dữ liệu .13 - Sơ đồ quy trình giải mã code .14 - Chuyển đổi ảnh màu sang ảnh xám.15 - Bộ lọc Gaussian cho hình ảnh .16 - Cạnh trong vùng maxVal và minVal .17 - Sử dụng giải thuật dilation .19 - Viền contour màu xanh lá bao quanh vật thể .20 - Ảnh trước và sau khi hiệu chỉnh camera do ảnh hưởng của lens 53 Hình 3.21 - Biến dạng xuyên tâm .22 - Không biến dạng và biến dạng tiếp tuyến .23 - Sơ đồ thuật toán đo kích thước vật.24 - Chuyển đổi phối cảnh ảnh .25 - Đo kích thước vật thể .26 - Sơ đồ thuật toán đo độ lệch vật .27 - Mô tả độ lệch của vật thể .28 - Kết quả đo độ lệch góc và tâm .29 - Giao diện chính trang auto của chương trình .30 - Giao diện setting chương trình vision .1 - Kiến trúc IoT .2 - Phân tầng của hệ thống IoT .4 - Một số loại cảm biến .5 - Mô tả quá trình các phiên làm việc http .6 - Phương thức hoạt động của MQTT .7 - HTML cho nội dung trang web .8 - Phương thức lấy dữ liệu từ web server .9 - Xử lý của web server khi có yêu cầu đến.10 - Giao diện phần mềm Xampp.11 - Thao tác CRUD với cơ sở dữ liệu .12 - Mô hình MVC của Laravel .13 - Model thao tác với bảng cơ sở dữ liệu .14 - Cấu trúc thư mục của Laravel .15 - Trang web của hệ thống IoT .1 - Kết quả dữ liệu thu được sau khi xử lý ảnh .2 - Dữ liệu sau khi gửi lên chương trình chính.3 - Dữ liệu xuất và nhập kho từ chương trình chính gửi lên Web.4 - Kết quả mẫu thử đo kích thước hàng .5 - Bảng phân tích sai số đo kích thước .1 TỔNG QUAN ĐỀ TÀI 1.1 Tổng quan hệ thống Rô bốt lưu kho tự động Nền khoa học kỹ thuật thời đại mới ngày càng phát triển. Điều khiển tự động là lĩnh vực có vai trò quan trọng trong các ngành công nghiệp của mỗi đất nước. Do đó nắm bắt và vận dụng công nghệ để tạo ra các sản phẩm đóng góp vào sự phát triển của nền khoa học kỹ thuật thế giới nói chung và trong sự phát triển của kỹ thuật tự động nói riêng là rất cần thiết. Và xử lý hình ảnh, quản lý mọi thứ qua internet có thể giám sát ở mọi nơi là yêu cầu rất thiết thực giúp ích rất nhiều để quản lý hàng hoá trong kho 1.1 Rô bốt công nghiệp Thuật ngữ “Rô bốt” khởi đầu có ý nghĩa là công việc tạp dịch.
Đầu thập kỷ 60, công ty Mỹ AMF quảng cáo một loại máy tự động vạn năng gọi là “Người máy công nghiệp” sau đó các máy công cụ điều khiển số ra đời, nhằm đáp ứng yêu cầu gia công các chi tiết trong ngành chế tạo máy bay. Trong những năm sau này, việc nâng cao tính năng hoạt động của rô bốt không ngừng phát triển. Các rô bốt được trang bị thêm các loại cảm biến khác nhau để nhận biết môi trường xung quanh, cùng với những thành tựu to lớn trong lĩnh vực tin học - điện tử, nhờ vậy rô bốt công nghiệp đã có vị trí quan trọng trong các dây chuyền sản suất hiện đại.