Chương 1: Tổng quan Chương này sẽ giới thiệu tổng quan về nội dung, mục tiêu, và phạm vi đề tài. Cuối cùng là cấu trúc luận văn. Chương 2: Kiến thức nền tảng Như tên gọi, chương trình trình bày các kiến thức nền tảng được tìm hiểu trong quá trình nghiên cứu và sử dụng trong luận văn: học sâu, thuật toán giảm chiều. Chương 3: Nghiên cứu liên quan Chương này trình bày những nghiên cứu mà luận văn tham khảo hay tiếp tục phát triển.
7 Chương 4: Phân tích và thiết kế hệ thống Trong chương này, chúng tôi sẽ trình bày ba phần. Phần thứ nhất là phân tích yêu cầu nhằm xác định các yêu cầu cần có của ứng dụng. Phần thứ hai là thiết kế tổng quan trình bày cách mà chúng tôi đã lựa chọn thuật toán cho từng bước xử lý. Phần cuối cùng là cách chúng tôi lựa chọn các tham số, tùy chỉnh cho từng thuật toán đã chọn.
Chương 5: Hiện thực và triển khai Chương này trình bày cách hiện thực ứng dụng từ khi thử nghiệm đến lúc hoàn chỉnh. Chương 6: Đánh giá hệ thống Chương này đánh giá lại ứng dụng mà chúng tôi đã xây dựng dựa trên hai tiêu chí là thời gian chạy và độ chính xác. Chương 7: Tổng kết Chương cuối cùng sẽ rút ra những nhận xét trong quá trình thực hiện đề tài, bao gồm những hạn chế và phương hướng phát triển cho hệ thống. 8 Chương 2 Kiến thức nền tảng Phần này tóm tắt các kiến thức liên quan được tìm hiểu và sử dụng trong quá trình thực hiện luân văn.1 Học máy (Machine Learning) Kể từ khi máy tính được phát minh, con người đã không ngừng tìm cách lập trình cho nó học và cải thiện từ những kinh nghiệm trong quá khứ.
Con người luôn tưởng tượng về một chiếc máy tính có thể dựa vào các dữ liệu bệnh nhân trước đó để dự đoán bệnh và đưa ra hướng điều trị cho một bệnh nhân mới mà không cần sự tác động của con người, hay đơn giản hơn là một chiếc máy tính có thể tự tìm được cách tiết kiệm năng lượng sử dụng trong nhà dựa vào thói quen sử dụng trước đó của con người và đặc tính của các thiết bị trong nhà,. Để tạo ra được những chiếc máy tính như vậy, con người cần phải am hiểu một cách tường tận làm thế nào để làm cho một chiếc máy tính không những có thể tự học những dữ liệu đã có mà còn có thể tiếp thu những kiến thức mới vừa xuất hiện. Đáp ứng nhu cầu đó, các thuật toán học máy (Machine learning) đã ra đời và nhanh chóng phát triển. Có thể nói học máy là chính là tập hợp các thuật toán dùng để lập trình cho một chiếc máy tính có thể học và ra quyết định dựa vào những dữ liệu được đưa vào hay chính nó thu thập được[2].
Trong thế giới data phổ biến như hiện nay thì tầm quan trọng của các thuật 9 toán học máy ngày càng được khẳng định. Học máy đã đang và sẽ được áp dụng trong hầu hết các lĩnh vực của cuộc sống hằng ngày như nhận diện giọng nói, khuôn mặt, hình ảnh, y tế, kinh tế, giáo dục,.2 Mạng neural nhận tạo (Artificial neural net- works) Từ xưa đến nay, nguyên lí hoặc động cũng như cách thức học hỏi những kiến thức mới của bộ não người vẫn luôn là một bí mật. Mô phỏng hoạt động của bộ não là một trong những đề tài cực kì hấp dẫn của các nhà khoa học trên thế giới. Trên thực tế, các nghiêng cứu cũng chỉ ra rằng bộ não người được cấu thành bởi khoảng 1011 neural, và các neural này liên kết với nhau tạo thành một mạng lớn.
Theo ước tính, mỗi neural sẽ có liên kết với khoảng 10−4 neural khác trong mạng. Dựa trên cảm hứng từ mạng neural ở thế giới thực, các nhà khoa học đã xây dựng nên một mô hình toán học tương tự để tận dụng khả năng tự học. Những mô hình đầu tiên của mạng neural nhân tạo (ANN) đã được nhen nhóm từ nửa đầu của thế kỷ 20[1]. Tuy nhiên nó chỉ thực sự phát triển mạnh mẽ khi máy tính bắt đầu tận dụng được ưu điểm vượt trội của nó so với các mô hình học khác đó là khả năng tính toán song song (parallel computation) trên những hệ thống phân tán (distributed system)[2][3].
Về cơ bản, một mô hình mạng neural sẽ gồm có 3 thành phần chính như trong hình 2.1: • Input layer: Tập hợp những neural có nhiệm vụ tiếp nhận các giá trị đầu vào (input) dùng để tính toán. • Hidden layer: Tập hợp những neural ẩn (hidden) chỉ có giá trị trong việc tính toán nội bộ bên trong mạng, các giá trị đầu ra của những neural này không được sử dụng ở bên ngoài. • Output layer: Tập hợp những neural thể hiện đầu ra của toàn bộ mạng, có 10 giá trị để dự đoán (prediction), phân loại (classification),.1: Mạng neural cơ bản Quá trình huấn luyện của một mạng neural được định nghĩa là quá trình tính toán giá trị của các cạnh và các neural ẩn trong mạng thông qua các dữ liệu có sẵn. Với những mạng ANN chỉ có một đầu ra duy nhất, mạng có thể được học thông qua một giải thuật đơn giản gọi là perceptrons.
Với perceptrons, đầu vào sẽ là những dữ liệu số thực, sau khi được tính toán thông qua những hàm tuyến tính kết quả đầu ra sẽ là 1 nếu hàm tuyến tính trả về giá trị lớn hơn 0, ngược lại thì kết quả đầu ra sẽ là -1 như trong công thức 2.2: Thuật toán học perceptrons Tuy nhiên, thông thường một bài toán sử dụng học máy phức tạp thường yêu cầu mạng neural có nhiều lớp hơn cũng như số lượng đầu ra nhiều hơn 1, vì vậy thuật toán perceptrons không còn phù hợp. Chính vì sự phát triển về độ phức tạp của mô hình neural yêu cầu cần có một thuật toán học hiệu quả hơn và đó chính là thuật toán lan truyền ngược (BACKPROPAGATION). Lan truyền ngược là thuật toán giúp mô hình có thể tìm được giá trị của các cạnh và neural tối ưu thông qua việc cố gắng giảm bình phương sai số giữa đầu ra của mạng và đầu ra mục tiêu. Như vậy một hàm mục tiêu cơ bản của BACKPROPAGATION sẽ có dạng như công thức 2.2) 2 d∈D k∈out puts trong đó: outputs: tập hợp những neural đầu ra của mạng.
tkd , okd : giá trị mục tiêu và giá trị đầu ra thực tế của neural đầu ra thứ k với dữ liệu học thứ d trong tập dữ liệu D. Thuật toán huấn luyện lan truyền ngược (BACKPROPAGATION)[2]. ~t là vector chứa dữ liệu đầu ra mục tiêu (target output). η là learning rate.
12 nin là số lượng neural đầu vào của mạng (input layer). nout là số lượng neural đầu ra của mạng (output layer). nhidden là số lượng neural ẩn (hidden layer). Giá trị input cho một cạnh nối từ neural i tới neural j là xi j , giá trị của trọng số của cạnh nối từ i tới j là wi j.
• Tạo ra mạng neural network với nin inputs, nhidden hidden units và nout outputs. • Khởi tạo tất cả trọng số trong mạng với giá trị ngẫu nhiên. • Lặp lại các bước sau cho đến khi đạt được điều kiên dừng: Với mỗi (~x,~t) trong training_examples, Thực hiện: Lan truyền giá trị đầu vào xuôi qua toàn bộ mạng: 1. Input the instance ~x to the network and compute the output ou of every unit u in the network.
Tính toán các giá trị sai số bằng phương pháp lan truyền ngược như các bước 2, 3, 4 như sau: 2. Với mỗi giá trị đầu vào k, tính toán sai số δk δk ← ok (1 − ok )(tk − ok ) (2. Với mỗi nốt h trong lớp ẩn, tính toán giá trị sai số của nó δh dựa vào các giá trị đầu vào δh ← oh (1 − oh ) ∑ wkh δk (2. Cập nhật giá trị của mỗi trọng số trong mạng w ji bằng cách: w ji ← w ji + ∆w ji (2.5) 13 trong đó: ∆w ji = ηδ j x ji (2.6) Sau khi thực hiện huấn luyện tên toàn bộ tập dữ liệu ta sẽ thu được kết quả là giá trị của các trọng số trong mạng tại vị trí có sai số nhỏ nhất.
Ví dụ về một kết quả sau quá trình huấn luyện như hình 2.3: Mạng neural 8x3x8 đã được học[2] 2.3 Học Sâu (Deep Learning) Như đã đề cập trong phần trước, mô hình mạng neural có sự phát triển mạnh mẽ trong thời gian gần đây một phần rất lớn là nhờ sự phát triển của máy tính cũng như các mô hình tính toán song song. Cùng với sự phát triển đó, số lượng data mà máy tính thu thập được cũng ngày một lớn hơn, yêu cầu sử dụng mạng neural nhân tạo để giải các bài toán ngày càng phức tạp.4: Sự tăng trưởng về độ lớn của mạng neural[5] 1. Adaptive linear element (Widrow and Hoff, 1960) 3. Early back-propagation network (Rumelhart et al.
Recurrent neural network for speech recognition (Robinson and Fallside, 1991) 6. Multilayer perceptron for speech recognition (Bengio et al. Mean field sigmoid belief network (Saul et al. LeNet-5 (LeCun et al.
Echo state network (Jaeger and Haas, 2004) 10. Deep belief network (Hinton et al. GPU-accelerated convolutional network (Chellapilla et al. Deep Boltzmann machine (Salakhutdinov and Hinton, 2009) 15 13.
GPU-accelerated deep belief network (Raina et al. Unsupervised convolutional network (Jarrett et al. GPU-accelerated multilayer perceptron (Ciresan et al. Distributed autoencoder (Le et al.
Multi-GPU convolutional network (Krizhevsky et al. COTS HPC unsupervised convolutional network (Coates et al. GoogLeNet (Szegedy et al.4 trên cho thấy độ lớn của mạng neural nhân tạo có thể nâng lên gấp đôi cứ sau 2. Khi mà việc tăng số lượng neural ở lớp ẩn (hidden layer) đạt đến một ngưỡng nhất định, người ta đã bắt đầu nghĩ đến việc dùng nhiều lớp ẩn hơn (multiple levels of composition).
Bằng cách đó, thế giới hiện đại bắt đầu quen với việc dùng "deep learning" như một thuật ngữ để chỉ chung những mô hình neural nhân tạo gồm nhiều lớp. Qua thời gian, mạng "deep learning" ngày càng phát triển với số lượng lớp ẩn linh hoạt phụ thuộc vào từng bài toán cụ thể khác nhau. Bên cạnh đó, "deep learning" cũng có thể dùng để diễn tả các mô hình học máy khác không phải mà mạng neural nhưng vẫn là sự kết hợp của nhiều tầng, lớp liên tiếp nhau.4 Mạng Neural Tích Chập (Convolutional Neu- ral Networks (CNN)) Khác với mô hình truyền thống, tích chập tận dụng được ba đặc điểm quan trọng có thể giúp tăng cường qua trình học máy: liên kết một phần (sparse inter- actions), dùng chung tham số (parameter sharing) và representations.
