TÓM TẮT Ngày nay sự phát triển của công nghệ, các thiết bị ngày càng thông minh hơn, giúp người dùng dễ dàng giao tiếp và điều khiển các thiết bị xung quanh. Số lượng các thiết bị nhận dạng giọng nói, hình ảnh ngày càng tăng, điển hình như tivi thông minh, máy tính cá nhân, đặc biệt là tất cả các điện thoại di động đều có hỗ trợ nhận diện và điều khiển bằng giọng nói. Ngoài các ứng dụng trong các thiết bị gia dụng, giáo dục thì còn được ứng dụng trong các thủ thuật phẫu thuật, vì vậy độ chính xác và tốc độ trở nên rất quan trọng. Trong luận văn này nhằm mục đích giới thiệu về phương thức giao tiếp giữa người và máy sử dụng điện toán đám mây của Google.
Cụ thể là dùng Google Speech API để nhận dạng âm thanh, Google Vision API để nhận dạng hình ảnh. Một vấn đề mới mà luận văn nghiên cứu là xây dựng giao diện, phương thức giao tiếp người dùng và trên mạch máy tính nhúng. iv MỤC LỤC LÝ LỊCH KHOA HỌC. I LỜI CAM ĐOAN.
II LỜI CẢM ƠN. IV MỤC LỤC. V DANH MỤC CÁC CHỮ VIẾT TẮT VÀ KÝ HIỆU. VII DANH SÁCH CÁC HÌNH .1 Giao tiếp giữa người và máy.2 Dữ liệu lớn – Big Data .1 Khái niệm về dữ liệu lớn .2 Nguồn hình thành và phương pháp khai thác, quản lý dữ liệu lớn .3 Đặc trưng của dữ liệu lớn .4 Sự khác biệt giữa dữ liệu lớn với dữ liệu truyền thống .3 Tổng quan về điện toán đám mây .4 Nhận dạng giọng nói .2 Hệ thống phát âm của con người .3 Biểu diễn tiếng nói - đặc trưng tiếng nói .4 Trích chọn đặc trưng .5 Phương pháp nhận dạng tiếng nói .6 Các mô hình nhận dạng .7 Mô hình Hidden Markov Model .8 Nhận dạng tiếng nói với mô hình Markov ẩn .9 Sự phân bố Gaussion .5 Công cụ nhận dạng giọng nói của google - Google Speech API .6 Xử lý ảnh số.1 Giới thiệu về ảnh số .2 Một số kiểu ảnh số thường gặp .3 Giới thiệu về xử lý ảnh số .5 Các ứng dụng cơ bản của công nghệ xử lý ảnh số .7 Nhận diện hình ảnh của Google .1 Nguyên lý hoạt động của hệ thống .2 Phương thức hoạt động của bộ xử lý trung tâm.3 Bộ xử lý nhúng .4 Sơ đồ tổng quát hệ thống.6 Hệ điều hành nhân Linux .1 Quá trình thử nghiệm giao tiếp với điện toán đám mây .2 Giao diện người dùng .58 vi DANH MỤC CÁC CHỮ VIẾT TẮT VÀ KÝ HIỆU Chữ viết tắt Giải thích Client Máy trạm Server Máy chủ URL Uniform Resource Locator API Application programming interface HSV Hue – Saturation – Value RGB Red – Green – Blue App Application ID identification GPS Global Positioning System TTS Text To Speech NLP Natural Language Processing TCP Transmission Control Protocol vii DANH SÁCH CÁC HÌNH Hình 2-6: Hình cắt ngang của ống âm thanh.13 Hình 2-1: Các bước rút trích đặc trưng MFCC từ tín hiệu âm thanh.15 Hình 2-2: Chi tiết bước trích chọn MFCC.15 Hình 2-3: MFCC chuẩn .16 Hình 2-4: MFCC đã biến đổi .16 Hình 2-5: Mô hình mạng lai ghép HMM/ANN.
Minh họa thủ tục cơ bản về nhận dạng giọng nói theo thống kê .18 Hình 2-8: Minh họa chuỗi Markov đại diện cho xác suất chuyển đổi của thời tiết. 19 Hình 2-9: Một mô hình Markov ẩn sau sáu trạng thái .22 Hình 2-10: Phân bố Gaussian với mỗi giá trị điểm nổi liên quan.23 Hình 2-11: Biểu diễn cấu trúc ảnh số 2 chiều.26 Hình 2-12: Mô tả ảnh nhị phân.27 Hình 2-13: Thang màu mức xám ảnh 8 bit.27 Hình 2-14: Biểu diễn ảnh xám [15].27 Hình 2-15: Sơ đồ xử lý ảnh số [16].28 Hình 2-16: Biểu đồ Gauss.31 Hình 2-17: Mặt nạ cuộn gaussian 1 chiều.32 Hình 2-18: Chuyển từ ảnh màu sang ảnh xám [14].33 Hình 2-19: Chuyển từ ảnh xám 8 bit sang ảnh nhị phân.33 Hình 2-20: Giản đồ histogram ảnh xám.34 Hình 2-21: Tăng độ sáng và giản đồ histogram.34 Hình 2-22: Giảm độ sáng và giản đồ histogram.35 Hình 2-23: Tăng độ tương phản và giản đồ histogram.35 Hình 2-24: Giảm độ tương phản và giản đồ histogram.35 Hình 2-25: Tách biên bằng phương pháp Sobel và Canny.36 Hình 2-26: Mô hình Pinhole.38 Hình 2-27: Hình biểu diễn một mặt phẳng khác mặt phẳng ảnh .38 Hình 2-28: Phép quay vectơ .40 Hình 2-29: Tương quan của ảnh lý tưởng và thực tế .41 viii Hình 3-1: Minh họa khi người dùng giao tiếp với robot .44 Hình 3-2: Robot đang phục vụ tại các quán ăn.45 Hình 3-3: Minh họa cho một trạm robot đang phục vụ khách .46 Hình 3-4: Sơ đồ khối tổng quát hệ thống .47 Hình 3-5: Lưu đồ giải thuật xử lý của hệ thống .48 Hình 3-6: Cấu trúc tổng quát của một hệ thống Linux.49 Hình 3-7: Giao diện hệ điều hành Ubuntu Desktop 10.49 Hình 3-8: Một số thiết bị sử dụng hệ thống nhúng.51 Hình 4-1: Giao diện phần mềm lập trình Python trên hệ điều hành Linux .52 Hình 4-2: Phần cứng dùng để chạy thử nghiệm .52 Hình 4-3: Thử nhận dạng chữ viết bằng Google vision .53 Hình 4-4: Hiển thị đường đi trên bản đồ của Google .53 Hình 4-5: Biểu đồ thể hiện độ chính xác của nhận dạng giọng nói và hình ảnh .57 ix DANH SÁCH CÁC BẢNG Bảng 4-1: Trình tự hoạt động của giao diện người dùng.56 Bảng 4-2: Bảng nhận xét độ chính xác dịch vụ .57 x TỔNG QUAN Giới thiệu Robot dịch vụ nhằm giúp đỡ con người thực hiện các công việc hằng ngày trong cuộc sống, nhưng để tăng hiệu quả công việc thì nghiên cứu giao tiếp giữa người và máy vô cùng quan trọng, giúp chúng ta dễ dàng sử dụng, nhanh chóng và chính xác. Điện toán đám mây còn gọi là điện toán máy chủ ảo là mô hình điện toán sử dụng các công nghệ máy tính và phát triển dựa vào mạng Internet. Thuật ngữ "đám mây" ở đây là lối nói ẩn dụ chỉ mạng Internet và như là một liên tưởng về độ phức tạp của các cơ sở hạ tầng chứa trong đó.
Ở mô hình điện toán này mọi khả năng liên quan đến công nghệ thông tin đều được cung cấp dưới dạng các "dịch vụ", cho phép người sử dụng truy cập các dịch vụ công nghệ từ một nhà cung cấp nào đó "trong đám mây" mà không cần phải có các kiến thức, kinh nghiệm về công nghệ đó; cũng như không cần quan tâm đến các cơ sở hạ tầng phục vụ công nghệ đó. Dựa trên nền tảng của công nghệ điện toán đám mây, các thông tin được thu thập, xử lý, lưu trữ có trật tự và khoa học. Từ đó máy tính hay robot có thể nhận dạng được hình ảnh thực tế và giọng nói của con người một cách chính xác. Tương lai robot không chỉ là những cỗ máy vô tri vô giác mà còn có cảm xúc và khả năng phản ứng lại như con người sẽ không còn xa vời.
Robot sử dụng dữ liệu trên công nghệ điện toán đám mây, được cập nhật mới bằng thuật toán của Google thì dữ liệu được bảo mật, truy cập trên khắp thế giới, hiệu quả cao và được cập nhật liên tục. 1 Tình hình nghiên cứu trong và ngoài nước Nghiên cứu ngoài nước Đã có nhiều nghiên cứu về việc triển khai hoặc giới thiệu thành công những ứng dụng giọng nói. Chúng ta có thể nhắc đến Ask.com một dịch vụ cho phép người dùng hỏi và nhận câu trả lời, đã tích hợp công nghệ nhận dạng giọng nói do Nuance phát triển vào ứng dụng iOS và Android của mình. Sự liên kết này cho phép người dùng hỏi, trả lời cũng như đăng tải các lời bình luận.
Amazon cũng cập nhật app Kindle trên iOS để hỗ trợ tính năng Voice Over trong iOS. VoiceOver sẽ tự động đọc nội dung trên màn hình để giúp cho việc xem sách của những người bị khiếm thị được dễ dàng và thuận tiện hơn. Hãng cho biết có khoảng 1,8 triệu đầu sách e-book tương thích với tính năng này. Bản thân Amazon cũng từng mua lại công ty IVONA Software vốn cung cấp giải pháp chuyển đổi từ chữ sang giọng nói cho các sách mua từ Amazon.
Các phần mềm Siri, Google Voice hay Cortana: đây đều là những ứng dụng được phát triển bởi các tập đoàn công nghệ lớn với tiềm lực mạnh mẽ và được phát triển bởi các chuyên gia. Bộ ba phần mềm này đã giúp người dùng thiết bị di động tương tác với thiết bị của mình một cách thông minh hơn: từ việc đặt câu hỏi, nhận câu trả lời cho đến điều chỉnh các thông số máy và khởi chạy ứng dụng (app). Một việc đơn giản có thể kể đến là đặt lịch hẹn hoặc báo thức. Trước đây chúng ta phải cần đến cả chục thao tác chạm mới đặt xong một sự kiện, còn với Siri, Google Voice hay Cortana người dùng chỉ cần ra lệnh.
Mọi thao tác từ việc ghi nội dung cho đến thiết lập giờ giấc đều được thực hiện một cách tự động. Hiện ngày càng phổ biến của công nghệ nhận dạng giọng nói trong các ứng dụng chat/nhắn tin. Facebook Messenger đã có tính năng chia sẻ giọng nói từ lâu, nhiều dịch vụ trò chuyện trực tuyến như Zalo, Viber và WhatsApp của nước ngoài cũng đã nhanh chóng đón đầu xu hướng để tích hợp tính năng trò chuyện trực tiếp bằng cách nói vào sản phẩm của mình. Đây cũng là suy nghĩ của hầu hết những người 2 thường xuyên sử dụng máy tính nhưng phải đối mặt với bàn phím kích cỡ nhỏ trên thiết bị di động.
Nghiên cứu trong nước Hiện nay tình hình nghiên cứu về lĩnh vực nhận dạng giọng nói và hình ảnh dựa trên nền tảng điện toán đám mây nhưng còn nhiều hạn chế, đa phần là cá nhân phát triển nền các thư viện mã nguồn mở. Vì vậy khả năng phát triển rất khó khăn, nguồn dữ liệu rất hạn chế. Chính vì lý do đó các ứng dụng đa phần là nhận dạng giọng nói và hình ảnh riêng biệt, chủ yếu là các chương trình trên điện thoại. Mục tiêu đề tài Với mục tiêu nghiên cứu phương thức giao tiếp giữa người và máy sử dụng công nghệ điện toán đám mây, cụ thể là dùng để giao tiếp với robot chỉ đường, robot giúp người dùng dễ dàng tìm địa điểm muốn tìm.
Người dùng có thể yêu cầu bằng lời nói hoặc bằng hình ảnh. Nhằm nâng cao hiệu quả trong việc giao tiếp cần có thiết bị nhận được thông tin người dùng một cách đơn giản, nhanh chóng và chính xác. Trong nghiên cứu này đã dùng micro, camera, mạch xử lý nhúng để thu nhận âm thanh, hình ảnh từ người dùng.