Chương 1: Giới thiệu về Deep Learning Trong chương này, luận văn sẽ giới thiêu tổng quan về phương pháp học sâu: định nghĩa và các loại phương pháp học sâu. Chương 2: Deep Learning cho lọc cộng tác Trình bày phương pháp học Deep Learningg cho lọc cộng tác. Dựa vào những nghiên cứu cơ bản, đi sâu tìm hiểu vào kỹ thuật học sâu cho lọc cộng tác bằng máy hạn chế Bolzmman. Chương 3: Xây dựng hệ thống và thực nghiệm Chương 3 trình bày về phương pháp thử nghiệm và đánh giá.
Kết luận và hướng phát triển Trình bày tóm tắt những kết quả đã đạt được và chưa đạt được. Từ đó đề xuất mục tiêu cũng như hướng nghiên cứu, phát triển tiếp theo. GIỚI THIỆU VỀ DEEP LEARNING Chương này sẽ cung cấp một cái nhìn tổng quan về phương pháp học sâu: định nghĩa, các loại phương pháp học sâu và các ứng dụng của chúng trong một loạt các nhiệm vụ xử lý tín hiệu và thông tin. Tổng quan về Deep Learning 1.
Định nghĩa Từ năm 2006, học với cấu trúc sâu, hay thường gọi là học sâu hoặc học theo từng lớp đã nổi lên như một lĩnh vực mới trong nghiên cứu học máy. Trong nhiều năm qua, các kỹ thuật phát triển từ nghiên cứu học sâu đã bị ảnh hưởng tới một loạt các tín hiệu và công việc xử lý thông tin. Rất nhiều các hội thảo, hướng dẫn và các phiên họp đặc biệt trong những năm gần đây đã được dành riêng để giới thiệu về học sâu và ứng dụng của nó đến các tín hiệu khác nhau và các tiến trình xử lý thông tin. Trước khi đi vào tìm hiểu cụ thể, luận văn tìm hiểu các định nghĩa về học sâu, đã có nhiều định nghĩa được đưa ra: - Định nghĩa 1: Một nhóm các kỹ thuật học máy khai thác nhiều lớp xử lý thông tin tuyến tính để trích tách đặc điểm và chuyển đổi.
Các thuật toán này có thể được giám sát hoặc không cần giám sát và các ứng dụng bao gồm các mô hình phân tích (không có giám sát) và phân loại (giám sát). - Định nghĩa 2: Một lĩnh vực nhỏ tron học máy đó là dựa trên các thuật toán cho việc học nhiều cấp độ của các dữ liệu có quan hệ phức tạp. Các tính năng cấp cao hơn được xác định trong các tính năng cấp dưới và như một hệ thống các tính năng được gọi là một kiến trúc sâu. Hầu hết các mô hình dựa trên học không giám sát của các đại diện ( theo Wikipedia về" Deep Learning "khoảng tháng ba năm 2012) - Định nghĩa 3: Một lĩnh vực của học máy đó là dựa vào việc học nhiều cấp độ của các đại diện, tương ứng với một hệ thống các tính năng hoặc các yếu tố hoặc các khái niệm, nơi mà các khái niệm cấp cao hơn được xác định từ những cái cấp dưới và khái niệm cấp dưới có thể giúp xác định nhiều khái 4 niệm cấp cao hơn.
Học sâu là một phần của gia đình rộng lớn của các phương pháp học máy dựa trên các đại diện học. Một quan sát (ví dụ, một hình ảnh) có thể được biểu diễn bằng nhiều cách (ví dụ, một vector của điểm ảnh), nhưng một số các đại diện làm cho nó dễ dàng hơn để học hỏi các nhiệm vụ quan tâm (ví dụ, đây là hình ảnh của một khuôn mặt con người?) Từ các ví dụ, và nghiên cứu trong lĩnh vực này cố gắng xác định những gì làm cho các đại diện tốt hơn và làm thế nào để tìm hiểu chúng. - Định nghĩa 4: Học sâu là một tập hợp các thuật toán trong học máy cố gắng học hỏi ở nhiều cấp độ, tương ứng với các cấp trừu tượng khác nhau. Nó sử dụng các mạng thần kinh nhân tạo.
Các cấp độ trong các mô hình học thống kê _ tương ứng với các cấp độ khác nhau của các khái niệm, nơi mà các khái niệm cấp cao hơn được xác định từ những cái cấp dưới, và các khái niệm mức thấp tương tự có thể giúp xác định nhiều khái niệm cấp cao hơn. - Định nghĩa 5: Học sâu là một lĩnh vực mới của nghiên cứu học máy, đã được giới thiệu với mục đích đưa học máy gần gũi hơn với một trong những mục tiêu ban đầu của nó: Trí tuệ nhân tạo. Học Sâu là học hỏi nhiều cấp độ của các đại diện và sự trừu tượng đó giúp làm cho ý nghĩa của dữ liệu như hình ảnh, âm thanh rõ ràng hơn (https://github.com/lisalab/DeepLearningTutorials). Các định nghĩa này có điểm chung là nhiều lớp các đơn vị xử lý phi tuyến và học có giám sát hoặc không có giám sát của biểu diễn đặc tính ở mỗi lớp, với các lớp hình thành một hệ thống các tính năng phân cấp từ thấp đến cao cấp.
Các thành phần của một lớp của đơn vị xử lý phi tuyến sử dụng một thuật toán học sâu tùy theo vấn đề cần được giải quyết. Các lớp được sử dụng trong học sâu bao gồm các lớp ẩn của một mạng nơ-ron nhân tạo và tập các công thức mệnh đề phức tạp. Chúng cũng có thể bao gồm các biến tiềm ẩn được tổ chức thành các lớp chọn lọc trong các mô hình thể sinh (có khả năng sinh ra) sâu như các nút trong Deep Belief Networks và Deep Boltzmann Machines. Lịch sử 5 Các kiến trúc học sâu, đặc biệt là những kiến trúc được xây dựng từ mạng nơ-ron nhân tạo (ANN) đã từng thống trị ít nhất là tới Neocognitron được giới thiệu bởi Masahiko Fukushima vào năm 1980.
Thách thức là làm thế nào để huấn luyện mạng lưới này với nhiều lớp. Năm 1989, Yann Le Cun và các cộng sự đã có thể áp dụng các thuật toán truyền ngược tiêu chuẩn đối với một mạng nơ-ron sâu với mục đích nhận dạng chữ viết tay mã ZIP trong các bức thư. Mặc dù sự thành công trong việc áp dụng thuật toán này tuy nhiên thời gian để đào tạo dựa trên số liệu này mất khoảng 3 ngày. Vậy, việc sử dụng nó vào các mục đích bình thường trở nên không thực tế.
Năm 1995, Brendan Frey đã chứng minh rằng có thể huấn luyện một mạng nơ-ron bao gồm sáu lớp kết nối và vài trăm đơn vị ẩn bằng cách sử dụng thuật toán wake-sleep, nó được hợp tác phát triển với Peter Dayan và Geoffrey Hinton. Tuy nhiên, việc huấn luyện này cũng phải mất hai ngày. Trong năm 1991, những mạng nơ-ron như vậy được sử dụng để nhận diện chữ số viết tay 2-D, nhận dạng đối tượng 3-D được thực hiện bằng cách kết hợp các hình ảnh 2-D với một mô hình đối tượng 3-D thủ công. Juyang Weng và các cộng sự đề xuất rằng một bộ não người không sử dụng một mô hình đối tượng 3-D nguyên khối, và vào năm 1992, họ xuất bản Cresceptron, một phương pháp để thực hiện nhận dạng đối tượng 3-D trực tiếp từ các dữ liệu lộn xộn.
Cresceptron là một ghép tầng của các lớp tương tự như Neocognitron. Nhưng trong khi Neocognitron yêu cầu một người lập trình viên giám sát, Cresceptron sẽ tự động học được một số đặc điểm không có giám sát trong mỗi lớp, mỗi đặc điểm được đại diện bởi một tích chập. Cresceptron cũng phân đoạn từng đối tượng học được bằng cách phân tích ngược mạng đó. Mặc dù có những lợi thế như thế, các mô hình đơn giản hơn sử dụng nhiệm vụ cụ thể có đặc điểm thủ công như bộ Gabor và các máy hỗ trợ vector (SVM-support vector machines) đã là lựa chọn phổ biến trong thập niên 1990 và thập niên 2000, bởi vì chi phí tính toán các ANN nhỏ.
Trong lịch sử của nhận dạng giọng nói, cả học nông và học sâu (ví dụ, các mạng tái phát) của mạng nơ-ron nhân tạo đã được khám phá trong nhiều 6 năm. Nhưng những phương pháp này không bao giờ thắng được công nghệ của mô hình hỗn hợp/mô hình Markov ẩn Gaussian (GMM-HMM) thủ công-nội bộ dựa trên các mô hình có thể sinh ra của việc huấn luyện nhận dạng giọng nói một cách rõ ràng. Một số khó khăn chính đã được phân tích một cách có phương pháp, bao gồm giảm bớt gradient và cấu trúc tương quan trong các mô hình nơ-ron nhân tạo. Những khó khăn đó là thiếu dữ liệu huấn luyện và khả năng tính toán nhỏ trong thời gian đầu.
Vì vậy, hầu hết các nhà nghiên cứu về nhận dạng giọng nói đã hiểu rõ các rào cản như vậy nên đã theo đuổi mô hình các mạng nơ-ron, cho đến gần đây sự ra đời của học sâu đã vượt qua tất cả những khó khăn này. Hinton cùng các cộng sự đã bắt đầu nghiên cứu học sâu và các ứng dụng của nhận dạng giọng nói. Ứng dụng Sự đột phá của các công nghệ Deep Learning được ứng dụng ngày càng nhiều bởi các doanh nghiệp để tạo ra các mô hình kinh doanh mới và xây dựng những ứng dụng mới mẻ để giải quyết những bài toán thực tế, trong đó phải kể đến những ứng dụng có nhiều tiềm năng thương mại hóa sau: a. Nhận dạng giọng nói: Từ năm 2010 đến năm 2014, hai hội nghị lớn về xử lý tín hiệu và nhận dạng giọng nói IEEE-ICASSP và Interspeech, đã cho thấy một sự gia tăng lớn các báo cáo được chấp nhận trong các báo cáo hội nghị thường niên tương ứng về chủ đề học sâu trong nhận dạng giọng nói.
Quan trọng hơn, tất cả các hệ thống nhận dạng giọng nói thương mại chính (ví dụ: Microsoft Cortana, Xbox, Skype Translator, Google Now, Apple Siri, Baidu và iFlyTek tìm kiếm bằng giọng nói và một loạt các sản phẩm của Nuance speech, vv) được dựa trên phương pháp học sâu. Nhận dạng hình ảnh Mục tiêu của công nghệ nhận diện ảnh là nhận biết và xác định các đối tượng trong ảnh cũng như hiểu được nội dung và ngữ cảnh trong đó. Ví dụ trên cho thấy dịch vụ nhận diện và xác định khuôn mặt của AlchemyVision có khả năng phân biệt hai khuôn mặt tương tự nhau giữa nam diễn viên Will Ferrell và tay trống của Red Hot Chili Peppers, Chad Smith. Công nghệ nhận diện hình ảnh cũng được đưa vào 7 Facebook để gợi ý người dùng tag mặt bạn bè hay ứng dụng vào khoa học tội phạm và điều tra.
Hình 1-1: Nhận diện hai khuôn mặt tương tự nhau c. Xử lý ngôn ngữ tự nhiên Mạng nơ-ron đã được sử dụng cho việc thực hiện các mô hình ngôn ngữ kể từ đầu những năm 2000. Các kỹ thuật quan trọng trong lĩnh vực này là lấy mẫu âm và nhúng chữ (word embedding).