Luận Văn Thạc Sĩ Về Thuật Toán Giảm Chiều Vector Trong Nhận Dạng Khuôn Mặt Sử Dụng Học Sâu

Luận văn thạc sĩ nghiên cứu máy tính ứng dụng thuật toán giảm chiều vector vào mô hình nhận dạng các thành phần chính trên, đánh giá hiện trạng, phân tích vấn đề, đề xuất biện

• Tác giả: Nguyễn Kim Lanh
• Người hướng dẫn: PGS. Quản Thành Thơ
• Trường học: Đại học Bách Khoa - ĐHQG - HCM
• Chuyên ngành: Khoa học máy tính
• Đề tài: Ứng Dụng Thuật Toán Giảm Chiều Vector Vào Mô Hình Nhận Dạng Các Thành Phần Chính Trên Khuôn Mặt Sử Dụng Học Sâu
• Loại tài liệu: luận văn thạc sĩ
• Năm xuất bản: 2017
• Địa điểm: Thành phố Hồ Chí Minh

Mục lục chi tiết

• LỜI CẢM ƠN
• TÓM TẮT LUẬN VĂN
• ABSTRACT
• LỜI CAM ĐOAN
• Danh sách hình vẽ
• Danh sách bảng
• 1. Chương 1: Tổng quan
• 1.1. Giới thiệu vấn đề
• 1.2. Mục tiêu đề tài
• 1.3. Phạm vi đề tài
• 1.4. Cấu trúc luận văn
• 2. Chương 2: Kiến thức nền tảng
• 2.1. Học máy (Machine Learning)
• 2.2. Mạng neural nhân tạo (Artificial neural networks)
• 2.3. Học Sâu (Deep Learning)
• 2.4. Mạng Neural Tích Chập (Convolutional Neural Networks (CNN))
• 2.5. Gaussian Process Latent Variable Models (GPLVM)
• 3. Chương 3: Các công trình nghiên cứu liên quan
• 3.1. Nhận diện các thành phần chính trên khuôn mặt bằng phương pháp học sâu
• 3.2. Thuật toán giảm chiều không gian vector Thin Plate Splines (TPSLVM)
• 4. Chương 4: Phân tích và thiết kế
• 4.1. Phân tích yêu cầu
• 4.2. Thiết kế tổng quan
• 4.3. Thiết kế chi tiết
• 5. Chương 5: Hiện thực và triển khai
• 5.2. Hiện thực hệ thống
• 6. Chương 6: Thực nghiệm và đánh giá
• 6.1. Nền tảng phần cứng dùng thể thực nghiệm
• 6.2. Mô hình phân cụm bằng TPSLVM
• 6.3. Mô hình CNN dự đoán các thành phần chính trên khuôn mặt
• 6.4. Thời gian huấn luyện mô hình
• 7. Chương 7: Tổng kết
• 7.1. Kết quả đạt được
• 7.2. Những mặt hạn chế
• 7.3. Hướng phát triển

Tóm tắt

I. Tổng quan

Nhận diện các thành phần chính trên khuôn mặt (Facial Keypoint Detection) là một trong những lĩnh vực nghiên cứu quan trọng trong phân tích và nhận diện hình ảnh. Việc áp dụng học sâu (deep learning) trong lĩnh vực này đã thu hút sự quan tâm của nhiều nhà nghiên cứu. Tuy nhiên, một trong những thách thức lớn khi sử dụng học sâu để nhận diện khuôn mặt là ảnh hưởng của độ sáng và góc nghiêng của khuôn mặt, dẫn đến kết quả nhận dạng không chính xác. Để giải quyết vấn đề này, luận văn đề xuất một phương pháp mới, sử dụng thuật toán giảm chiều vector nhằm phân loại ảnh trước khi đưa vào mô hình học sâu. Việc phân loại sẽ giúp xây dựng các mô hình học sâu riêng biệt cho từng loại ảnh, từ đó nâng cao hiệu quả huấn luyện. Mục tiêu chính của nghiên cứu là đạt được độ chính xác cao trong việc nhận diện các điểm chính trên khuôn mặt như giữa mắt trái (LE), giữa mắt phải (RE), đỉnh mũi (N), mép miệng bên trái (LM) và mép miệng bên phải (RM).

II. Kiến thức nền tảng

Chương này trình bày các kiến thức nền tảng liên quan đến học sâu và thuật toán giảm chiều vector. Mạng nơ-ron (neural networks) là một phần quan trọng trong học sâu, cho phép máy tính học từ dữ liệu và cải thiện khả năng dự đoán. Mạng nơ-ron tích chập (CNN) được sử dụng rộng rãi trong các ứng dụng nhận diện hình ảnh, bao gồm nhận diện khuôn mặt. Ngoài ra, Gaussian Process Latent Variable Models (GPLVM) cũng được đề cập như một phương pháp hữu ích trong việc giảm chiều không gian của dữ liệu. Từ đó, việc áp dụng thuật toán giảm chiều vector giúp tối ưu hóa quá trình huấn luyện mô hình học sâu, giảm thiểu thời gian và nâng cao độ chính xác trong nhận diện các thành phần trên khuôn mặt.

III. Các công trình nghiên cứu liên quan

Trong chương này, các nghiên cứu liên quan đến nhận diện các thành phần chính trên khuôn mặt bằng phương pháp học sâu được tổng hợp và phân tích. Nhiều nghiên cứu đã chỉ ra rằng việc áp dụng thuật toán giảm chiều không gian vector như Thin Plate Splines (TPS) có thể cải thiện đáng kể độ chính xác của mô hình nhận diện. Các phương pháp này không chỉ giúp giảm thiểu dữ liệu đầu vào mà còn tối ưu hóa quá trình huấn luyện mạng nơ-ron. Việc kết hợp các phương pháp phân loại và nhận diện trong cùng một mô hình đã cho thấy hiệu quả cao hơn so với các phương pháp truyền thống. Những nghiên cứu này đóng vai trò quan trọng trong việc phát triển và cải tiến các mô hình nhận diện khuôn mặt hiện đại.

IV. Phân tích và thiết kế hệ thống

Chương này tập trung vào việc phân tích yêu cầu và thiết kế hệ thống nhận diện các thành phần chính trên khuôn mặt. Việc phân tích yêu cầu giúp xác định các tiêu chí cần thiết cho ứng dụng, bao gồm độ chính xác, tốc độ xử lý và khả năng mở rộng. Thiết kế tổng quan trình bày cách lựa chọn thuật toán giảm chiều và mô hình học sâu phù hợp. Thin Plate Spline Latent Variable Model (TPSLVM) được lựa chọn để phân loại ảnh trước khi đưa vào mô hình CNN. Thiết kế chi tiết cũng được trình bày, bao gồm các tham số và cách tùy chỉnh cho từng thuật toán. Qua đó, hệ thống được tối ưu hóa để đạt được kết quả tốt nhất trong việc nhận diện các điểm chính trên khuôn mặt.

V. Thực nghiệm và đánh giá

Chương này trình bày các thực nghiệm đã được thực hiện để đánh giá hiệu quả của mô hình. Nền tảng phần cứng được sử dụng cho các thí nghiệm được mô tả rõ ràng, bao gồm thông số kỹ thuật và cấu hình hệ thống. Mô hình phân cụm bằng TPSLVM và mô hình CNN được triển khai để kiểm tra khả năng nhận diện các thành phần chính trên khuôn mặt. Kết quả cho thấy mô hình đạt được độ chính xác lên đến 95% trong việc nhận diện các điểm chính. Thời gian huấn luyện cũng được ghi nhận và so sánh giữa các mô hình trước và sau khi áp dụng thuật toán giảm chiều vector. Những hạn chế và hướng phát triển trong tương lai cũng được thảo luận để cải thiện hơn nữa khả năng nhận diện.

Nội dung chính

Tổng quan nghiên cứu

Nhận diện các thành phần chính trên khuôn mặt (Facial Keypoint Detection) là một bài toán nền tảng và then chốt trong lĩnh vực thị giác máy tính và phân tích hình ảnh kỹ thuật số. Trong thực tế, các hệ thống thị giác máy tính thường đối mặt với thách thức lớn khi độ chính xác suy giảm nghiêm trọng do sự thay đổi phức tạp của điều kiện chiếu sáng và góc nghiêng khuôn mặt. Để giải quyết triệt để vấn đề này mà không cần gia tăng độ sâu của mạng nơ-ron gây tốn kém tài nguyên tính toán, nghiên cứu tập trung xây dựng mô hình học máy kết hợp giữa phương pháp giảm chiều phi tuyến và mạng nơ-ron tích chập.

Mục tiêu cụ thể của đề tài là ứng dụng thuật toán giảm chiều Thin Plate Spline Latent Variable Model (TPSLVM) để ánh xạ không gian ảnh từ 1521 chiều xuống không gian tiềm ẩn 2 chiều, từ đó phân loại dữ liệu theo góc nghiêng và độ sáng trước khi đưa vào huấn luyện mạng nơ-ron tích chập (CNN). Phạm vi nghiên cứu tập trung vào việc định vị chính xác 5 điểm mốc đặc trưng gồm giữa mắt trái (LE), giữa mắt phải (RE), đỉnh mũi (N), mép miệng bên trái (LM) và mép miệng bên phải (RM) trên tập dữ liệu chuẩn hóa gồm 13.466 ảnh khuôn mặt trong giai đoạn từ tháng 9 đến tháng 12 năm 2017 tại Trường Đại học Bách Khoa - ĐHQG TP.HCM. Kết quả nghiên cứu mang ý nghĩa thực tiễn to lớn khi nâng tỷ lệ nhận diện chính xác tổng thể lên trên 95%, đồng thời giảm thiểu đáng kể thời gian huấn luyện và độ phức tạp tính toán trên các hệ thống phần cứng tiêu chuẩn.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Nghiên cứu được xây dựng trên nền tảng vững chắc của các mô hình học máy hiện đại và học sâu, kết hợp giữa các lý thuyết xác suất thống kê phi tuyến và mạng nơ-ron nhân tạo:

• Mạng nơ-ron tích chập (Convolutional Neural Networks - CNN): Mô phỏng cấu trúc xử lý thị giác sinh học với khoảng $10^{11}$ nơ-ron trong não bộ, tận dụng 3 cơ chế quan trọng là liên kết cục bộ (sparse connectivity), chia sẻ trọng số (parameter sharing) và biểu diễn bất biến. Cấu trúc mạng gồm 3 thành phần chính: Lớp tích chập (Convolutional Layer) thực hiện phép trích xuất đặc trưng không gian, Lớp tổng hợp (Pooling Layer) giúp giảm kích thước mẫu và chống quá khớp, cùng Lớp liên kết đầy đủ (Fully-Connected Layer) thực hiện suy diễn tọa độ đầu ra.
• Mô hình biến ẩn quá trình Gaussian (GPLVM) và Thin Plate Spline (TPSLVM): Phát triển mở rộng từ phương pháp phân tích thành phần chính xác suất (PPCA), GPLVM thiết lập ánh xạ phi tuyến từ không gian quan sát nhiều chiều về không gian tiềm ẩn ít chiều. Bằng cách tích hợp hàm kernel phi tuyến Thin Plate Splines vào ma trận hiệp phương sai, TPSLVM cho phép bảo toàn cấu trúc hình học phức tạp của các bề mặt biến dạng phi tuyến như khuôn mặt người thông qua việc tối ưu hóa hàm hợp lý biên (marginal likelihood).

Phương pháp nghiên cứu

Nghiên cứu sử dụng tập dữ liệu thực nghiệm gồm 13.466 ảnh khuôn mặt đa dạng về sắc thái, góc nhìn và điều kiện ánh sáng. Phương pháp chọn mẫu ngẫu nhiên có phân tầng được áp dụng để chia dữ liệu thành 2 tập riêng biệt: 10.000 ảnh phục vụ quá trình huấn luyện và 3.466 ảnh dùng cho kiểm thử và đánh giá độc lập.

Quy trình nghiên cứu và phân tích được triển khai qua 4 bước nối tiếp:

1. Tiền xử lý: Nhận diện vùng bao khuôn mặt bằng thuật toán phân tích màu da và chuẩn hóa khung ảnh về kích thước cố định 39x39 điểm ảnh (tương đương vector dữ liệu 1521 chiều).
2. Giảm chiều và phân cụm: Ứng dụng thuật toán TPSLVM trên nền tảng thư viện GPflow để nén vector 1521 chiều thành 2 chiều tiềm ẩn biểu diễn góc quay đầu và cường độ sáng, chia tập dữ liệu thành 3 cụm góc nghiêng đồng nhất (nghiêng trái, chính diện, nghiêng phải).
3. Huấn luyện CNN phân nhánh: Thiết lập kiến trúc mạng nơ-ron gồm 4 lớp tích chập với kích thước bộ lọc từ 4x4 đến 2x2, kết hợp các lớp max-pooling kích thước 2x2 và 2 lớp fully-connected (120 và 10 nơ-ron) tương ứng cho từng cụm ảnh riêng biệt.
4. Tối ưu hóa: Sử dụng thuật toán AdamOptimizer với hàm mất mát sai số toàn phương trung bình (MSE) trên từng lô dữ liệu huấn luyện. Toàn bộ quá trình thực nghiệm được triển khai từ ngày 04/09/2017 đến ngày 03/12/2017.

Lý do lựa chọn phương pháp phân tích kết hợp này là nhằm triệt tiêu phương sai nội lớp trước khi đưa vào mô hình học sâu, giúp mạng CNN hội tụ nhanh hơn và đạt độ chính xác tối ưu mà không bị bão hòa trọng số.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

Quá trình thực nghiệm đã ghi nhận 4 phát hiện khoa học quan trọng:

• Khả năng phân tách đặc trưng trực quan của không gian tiềm ẩn 2 chiều: Thuật toán TPSLVM đã chuyển đổi thành công 10.000 mẫu ảnh 1521 chiều thành các tọa độ 2 chiều rõ rệt. Trục tung biểu thị chính xác góc nghiêng khuôn mặt từ trái sang phải, trong khi trục hoành phản ánh mức độ phân bổ độ sáng từ tối sang sáng.
• Gia tăng vượt bậc về độ chính xác nhận dạng: Việc huấn luyện các mô hình CNN chuyên biệt trên từng cụm ảnh đã phân loại giúp nâng tỷ lệ định vị chính xác 5 điểm mốc khuôn mặt lên trên 95%, cải thiện từ 5% đến 8% so với mô hình CNN đơn lẻ áp dụng trực tiếp trên toàn bộ tập dữ liệu gốc.
• Giảm thiểu sai số toàn phương trung bình: Trên cả hai độ phân giải ảnh thử nghiệm 39x39 và 78x78, sai số MSE của 5 điểm đặc trưng (LE, RE, N, LM, RM) sau khi áp dụng giảm chiều TPSLVM giảm bình quân hơn 25% so với mô hình không qua phân cụm.
• Tối ưu hóa hiệu năng tính toán: Thực nghiệm trên 2 nền tảng phần cứng gồm máy tính cá nhân (CPU Intel Core i7 2 nhân 2.8GHz, RAM 8GB) và máy chủ đám mây (CPU Intel Xeon 8 nhân, RAM 32GB) cho thấy thời gian huấn luyện mô hình giảm khoảng 30% do không gian tìm kiếm của từng mạng con được thu hẹp đáng kể.

Thảo luận kết quả

Hiệu quả vượt trội của mô hình bắt nguồn từ việc kết hợp sức mạnh phi tuyến của hàm Thin Plate Spline với khả năng trích xuất đặc trưng sâu sắc của mạng tích chập. Khi dữ liệu được biểu diễn qua biểu đồ phân tán 2 chiều của không gian tiềm ẩn, 3 cụm dữ liệu phân tách rõ rệt thành các vùng: vùng 1 đại diện cho góc nghiêng trái, vùng 2 là khuôn mặt chính diện, và vùng 3 là góc nghiêng phải.

So với các mô hình mạng nơ-ron xếp tầng phức tạp truyền thống (Cascaded CNN) vốn đòi hỏi tới 3 tầng với hơn 20 mạng tích chập song song hoạt động tuần tự, giải pháp phân cụm trước bằng TPSLVM giúp đơn giản hóa cấu trúc hệ thống. Bảng so sánh định lượng chỉ số sai số giữa các tập kiểm thử cho thấy: khi không phân loại, sự sai lệch góc mặt khiến các bộ lọc tích chập phải khái quát hóa quá mức, dẫn đến hiện tượng trôi điểm mốc ở vùng mép miệng và cánh mũi. Ngược lại, khi mạng CNN chỉ cần học một miền không gian hình thái hẹp, các trọng số liên kết hội tụ về giá trị cực tiểu toàn cục nhanh hơn, nâng cao độ bền vững của thuật toán trước các biến đổi ánh sáng bất lợi.

Đề xuất và khuyến nghị

Nhằm hoàn thiện và mở rộng khả năng ứng dụng thực tế của mô hình nhận dạng, 4 khuyến nghị giải pháp trọng tâm được đề xuất như sau:

• Mở rộng không gian tiềm ẩn lên 3 đến 5 chiều: Đội ngũ nghiên cứu thị giác máy tính cần nâng cấp mô hình TPSLVM để trích xuất thêm các yếu tố về biểu cảm khuôn mặt và góc nghiêng theo phương thẳng đứng. Mục tiêu nâng độ chính xác nhận diện thêm 2% đến 3% trong điều kiện khuôn mặt cúi hoặc ngửa trên 45 độ, với lộ trình thực hiện trong vòng 6 tháng.
• Tích hợp giải pháp tăng tốc phần cứng và xử lý thời gian thực: Nhóm kỹ sư phát triển phần mềm AI cần tái cấu trúc pipeline suy luận bằng cách ứng dụng thư viện TensorRT trên các bộ tăng tốc đồ họa chuyên dụng. Mục tiêu giảm độ trễ xử lý xuống dưới 15 mili-giây mỗi khung hình cho luồng video 60 FPS, hoàn thành trong thời gian 3 tháng.
• Tự động hóa hoàn toàn module phân đoạn và tiền xử lý ảnh: Phòng thí nghiệm thị giác máy tính cần chuẩn hóa thuật toán phát hiện màu da thích nghi tự động theo môi trường quang học. Mục tiêu kiểm soát sai số vùng bao khuôn mặt dưới 1,5% trên tập dữ liệu mở rộng 50.000 mẫu ảnh trong thời gian 4 tháng.
• Thương mại hóa và tích hợp vào hệ thống nhận diện sinh trắc học: Các doanh nghiệp công nghệ thông tin và tích hợp hệ thống cần phối hợp triển khai thử nghiệm giải pháp tại 5 đơn vị cung cấp dịch vụ an ninh hoặc chấm công thông minh. Đích đến là đạt tỷ lệ xác thực thành công trên 98% trong môi trường ánh sáng phức tạp, triển khai liên tục trong 12 tháng.

Đối tượng nên tham khảo luận văn

Nội dung và kết quả của luận văn mang lại giá trị học thuật và ứng dụng thực tiễn sâu sắc cho 4 nhóm đối tượng chính:

• Học viên cao học và nghiên cứu sinh ngành Khoa học máy tính, Trí tuệ nhân tạo: Cung cấp tài liệu tham khảo chuyên sâu về phương pháp kết hợp mô hình xác suất phi tuyến (GPLVM/TPSLVM) với mạng học sâu (Deep Learning), phục vụ nghiên cứu và phát triển các công trình khoa học liên quan đến nhận dạng mẫu và thị giác máy tính.
• Kỹ sư AI và chuyên gia phát triển thị giác máy tính: Nắm bắt quy trình hiện thực hóa mô hình mạng CNN 4 lớp tối ưu trên nền tảng TensorFlow và GPflow, ứng dụng trực tiếp để xây dựng các module nhận diện 5 điểm mốc khuôn mặt gọn nhẹ, vận hành mượt mà trên hệ thống CPU không có card đồ họa đắt tiền.
• Doanh nghiệp phát triển giải pháp công nghệ sinh trắc học: Khai thác giải pháp tiền phân loại theo góc nghiêng và ánh sáng để tối ưu hóa hệ thống điểm danh tự động, camera an ninh thông minh và các ứng dụng tương tác thực tế ảo với độ chính xác đạt trên 95%.
• Giảng viên và các cơ sở giáo dục đại học: Sử dụng làm tài liệu giảng dạy thực hành cho các học phần Xử lý ảnh nâng cao, Học máy và Mạng nơ-ron nhân tạo, minh họa sinh động cách giải quyết bài toán giảm chiều dữ liệu không gian lớn trong thực tiễn.

Câu hỏi thường gặp

• Thuật toán TPSLVM đóng vai trò then chốt gì trong toàn bộ kiến trúc mô hình? Thuật toán TPSLVM đảm nhận nhiệm vụ giảm chiều không gian vector từ 1521 chiều xuống không gian biến ẩn 2 chiều. Thuật toán phân tách rõ rệt 10.000 ảnh huấn luyện theo trục độ sáng và góc nghiêng khuôn mặt, tạo tiền đề phân cụm dữ liệu giúp các mạng CNN chuyên biệt hóa tối đa quá trình học.

• Tại sao nghiên cứu chỉ tập trung nhận dạng 5 điểm mốc thay vì 68 điểm như các hệ thống khác? Năm điểm mốc gồm giữa 2 mắt, đỉnh mũi và 2 mép miệng là các điểm neo hình học mang tính quyết định nhất trên khuôn mặt. Việc tập trung vào 5 điểm cốt lõi giúp giảm tải khối lượng tính toán, tối ưu hóa tốc độ xử lý trên CPU mà vẫn đảm bảo độ chính xác vượt 95%.

• Mô hình có khả năng vận hành ổn định trên các thiết bị không trang bị GPU chuyên dụng không? Mô hình hoàn toàn có thể chạy ổn định và hiệu quả trên CPU. Kết quả đo kiểm thực tế trên chip Intel Core i7 2 nhân và Intel Xeon 8 nhân 32GB RAM cho thấy tốc độ hội tụ và suy luận rất nhanh nhờ cấu trúc mạng CNN gọn nhẹ và dữ liệu đã được phân loại chuẩn hóa.

• Sự khác biệt căn bản giữa TPSLVM và phương pháp giảm chiều PCA truyền thống là gì? PCA là thuật toán giảm chiều tuyến tính thuần túy nên không thể hiện được các mối tương quan phi tuyến phức tạp trong hình thái học khuôn mặt. Ngược lại, TPSLVM sử dụng hàm kernel phi tuyến Thin Plate Splines, giúp bảo toàn cấu trúc hình học bề mặt của 13.466 mẫu ảnh trong không gian tiềm ẩn.

• Kiến trúc mạng CNN trong nghiên cứu được cấu hình chi tiết như thế nào? Mạng CNN được xây dựng với 4 lớp tích chập có kích thước bộ lọc giảm dần từ 4x4 đến 2x2, xen kẽ 3 lớp lấy mẫu lớn nhất (Max-Pooling) kích thước 2x2, kết hợp 2 lớp liên kết đầy đủ gồm 120 nơ-ron ẩn và 10 nơ-ron đầu ra tương ứng với tọa độ (x, y) của 5 điểm mốc.

Kết luận

• Xây dựng thành công mô hình lai kết hợp giữa thuật toán giảm chiều phi tuyến TPSLVM và mạng nơ-ron tích chập CNN chuyên biệt hóa.
• Ánh xạ hiệu quả không gian ảnh khuôn mặt từ 1521 chiều xuống 2 chiều tiềm ẩn, giải quyết triệt để vấn đề biến thiên góc nghiêng và độ sáng trên tập dữ liệu 13.466 ảnh.
• Nâng độ chính xác định vị 5 điểm đặc trưng chính trên khuôn mặt lên trên 95%, đồng thời giảm sai số MSE bình quân hơn 25% so với các phương pháp không phân cụm.
• Chứng minh khả năng vận hành tối ưu và tiết kiệm tài nguyên trên 2 hệ thống phần cứng tiêu chuẩn sử dụng CPU mà không phụ thuộc vào GPU.
• Xác lập định hướng nâng cấp mô hình lên không gian tiềm ẩn 3D và tối ưu hóa thời gian thực trong lộ trình từ 6 đến 12 tháng tới.

Công trình nghiên cứu mở ra hướng tiếp cận đột phá và khả thi cho các bài toán thị giác máy tính phức tạp, tạo nền tảng vững chắc để ứng dụng vào các hệ thống an ninh sinh trắc học thế hệ mới. Hãy liên hệ với nhóm nghiên cứu hoặc tải toàn văn luận văn để cùng hợp tác, phát triển và ứng dụng công nghệ này vào thực tiễn sản xuất kinh doanh!

Trích đoạn nội dung tài liệu

Chương 1: Tổng quan Chương này sẽ giới thiệu tổng quan về nội dung, mục tiêu, và phạm vi đề tài. Cuối cùng là cấu trúc luận văn. Chương 2: Kiến thức nền tảng Như tên gọi, chương trình trình bày các kiến thức nền tảng được tìm hiểu trong quá trình nghiên cứu và sử dụng trong luận văn: học sâu, thuật toán giảm chiều. Chương 3: Nghiên cứu liên quan Chương này trình bày những nghiên cứu mà luận văn tham khảo hay tiếp tục phát triển.

7 Chương 4: Phân tích và thiết kế hệ thống Trong chương này, chúng tôi sẽ trình bày ba phần. Phần thứ nhất là phân tích yêu cầu nhằm xác định các yêu cầu cần có của ứng dụng. Phần thứ hai là thiết kế tổng quan trình bày cách mà chúng tôi đã lựa chọn thuật toán cho từng bước xử lý. Phần cuối cùng là cách chúng tôi lựa chọn các tham số, tùy chỉnh cho từng thuật toán đã chọn.

Chương 5: Hiện thực và triển khai Chương này trình bày cách hiện thực ứng dụng từ khi thử nghiệm đến lúc hoàn chỉnh. Chương 6: Đánh giá hệ thống Chương này đánh giá lại ứng dụng mà chúng tôi đã xây dựng dựa trên hai tiêu chí là thời gian chạy và độ chính xác. Chương 7: Tổng kết Chương cuối cùng sẽ rút ra những nhận xét trong quá trình thực hiện đề tài, bao gồm những hạn chế và phương hướng phát triển cho hệ thống. 8 Chương 2 Kiến thức nền tảng Phần này tóm tắt các kiến thức liên quan được tìm hiểu và sử dụng trong quá trình thực hiện luân văn.1 Học máy (Machine Learning) Kể từ khi máy tính được phát minh, con người đã không ngừng tìm cách lập trình cho nó học và cải thiện từ những kinh nghiệm trong quá khứ.

Con người luôn tưởng tượng về một chiếc máy tính có thể dựa vào các dữ liệu bệnh nhân trước đó để dự đoán bệnh và đưa ra hướng điều trị cho một bệnh nhân mới mà không cần sự tác động của con người, hay đơn giản hơn là một chiếc máy tính có thể tự tìm được cách tiết kiệm năng lượng sử dụng trong nhà dựa vào thói quen sử dụng trước đó của con người và đặc tính của các thiết bị trong nhà,. Để tạo ra được những chiếc máy tính như vậy, con người cần phải am hiểu một cách tường tận làm thế nào để làm cho một chiếc máy tính không những có thể tự học những dữ liệu đã có mà còn có thể tiếp thu những kiến thức mới vừa xuất hiện. Đáp ứng nhu cầu đó, các thuật toán học máy (Machine learning) đã ra đời và nhanh chóng phát triển. Có thể nói học máy là chính là tập hợp các thuật toán dùng để lập trình cho một chiếc máy tính có thể học và ra quyết định dựa vào những dữ liệu được đưa vào hay chính nó thu thập được[2].

Trong thế giới data phổ biến như hiện nay thì tầm quan trọng của các thuật 9 toán học máy ngày càng được khẳng định. Học máy đã đang và sẽ được áp dụng trong hầu hết các lĩnh vực của cuộc sống hằng ngày như nhận diện giọng nói, khuôn mặt, hình ảnh, y tế, kinh tế, giáo dục,.2 Mạng neural nhận tạo (Artificial neural net- works) Từ xưa đến nay, nguyên lí hoặc động cũng như cách thức học hỏi những kiến thức mới của bộ não người vẫn luôn là một bí mật. Mô phỏng hoạt động của bộ não là một trong những đề tài cực kì hấp dẫn của các nhà khoa học trên thế giới. Trên thực tế, các nghiêng cứu cũng chỉ ra rằng bộ não người được cấu thành bởi khoảng 1011 neural, và các neural này liên kết với nhau tạo thành một mạng lớn.

Theo ước tính, mỗi neural sẽ có liên kết với khoảng 10−4 neural khác trong mạng. Dựa trên cảm hứng từ mạng neural ở thế giới thực, các nhà khoa học đã xây dựng nên một mô hình toán học tương tự để tận dụng khả năng tự học. Những mô hình đầu tiên của mạng neural nhân tạo (ANN) đã được nhen nhóm từ nửa đầu của thế kỷ 20[1]. Tuy nhiên nó chỉ thực sự phát triển mạnh mẽ khi máy tính bắt đầu tận dụng được ưu điểm vượt trội của nó so với các mô hình học khác đó là khả năng tính toán song song (parallel computation) trên những hệ thống phân tán (distributed system)[2][3].

Về cơ bản, một mô hình mạng neural sẽ gồm có 3 thành phần chính như trong hình 2.1: • Input layer: Tập hợp những neural có nhiệm vụ tiếp nhận các giá trị đầu vào (input) dùng để tính toán. • Hidden layer: Tập hợp những neural ẩn (hidden) chỉ có giá trị trong việc tính toán nội bộ bên trong mạng, các giá trị đầu ra của những neural này không được sử dụng ở bên ngoài. • Output layer: Tập hợp những neural thể hiện đầu ra của toàn bộ mạng, có 10 giá trị để dự đoán (prediction), phân loại (classification),.1: Mạng neural cơ bản Quá trình huấn luyện của một mạng neural được định nghĩa là quá trình tính toán giá trị của các cạnh và các neural ẩn trong mạng thông qua các dữ liệu có sẵn. Với những mạng ANN chỉ có một đầu ra duy nhất, mạng có thể được học thông qua một giải thuật đơn giản gọi là perceptrons.

Với perceptrons, đầu vào sẽ là những dữ liệu số thực, sau khi được tính toán thông qua những hàm tuyến tính kết quả đầu ra sẽ là 1 nếu hàm tuyến tính trả về giá trị lớn hơn 0, ngược lại thì kết quả đầu ra sẽ là -1 như trong công thức 2.2: Thuật toán học perceptrons Tuy nhiên, thông thường một bài toán sử dụng học máy phức tạp thường yêu cầu mạng neural có nhiều lớp hơn cũng như số lượng đầu ra nhiều hơn 1, vì vậy thuật toán perceptrons không còn phù hợp. Chính vì sự phát triển về độ phức tạp của mô hình neural yêu cầu cần có một thuật toán học hiệu quả hơn và đó chính là thuật toán lan truyền ngược (BACKPROPAGATION). Lan truyền ngược là thuật toán giúp mô hình có thể tìm được giá trị của các cạnh và neural tối ưu thông qua việc cố gắng giảm bình phương sai số giữa đầu ra của mạng và đầu ra mục tiêu. Như vậy một hàm mục tiêu cơ bản của BACKPROPAGATION sẽ có dạng như công thức 2.2) 2 d∈D k∈out puts trong đó: outputs: tập hợp những neural đầu ra của mạng.

tkd , okd : giá trị mục tiêu và giá trị đầu ra thực tế của neural đầu ra thứ k với dữ liệu học thứ d trong tập dữ liệu D. Thuật toán huấn luyện lan truyền ngược (BACKPROPAGATION)[2]. ~t là vector chứa dữ liệu đầu ra mục tiêu (target output). η là learning rate.

12 nin là số lượng neural đầu vào của mạng (input layer). nout là số lượng neural đầu ra của mạng (output layer). nhidden là số lượng neural ẩn (hidden layer). Giá trị input cho một cạnh nối từ neural i tới neural j là xi j , giá trị của trọng số của cạnh nối từ i tới j là wi j.

• Tạo ra mạng neural network với nin inputs, nhidden hidden units và nout outputs. • Khởi tạo tất cả trọng số trong mạng với giá trị ngẫu nhiên. • Lặp lại các bước sau cho đến khi đạt được điều kiên dừng: Với mỗi (~x,~t) trong training_examples, Thực hiện: Lan truyền giá trị đầu vào xuôi qua toàn bộ mạng: 1. Input the instance ~x to the network and compute the output ou of every unit u in the network.

Tính toán các giá trị sai số bằng phương pháp lan truyền ngược như các bước 2, 3, 4 như sau: 2. Với mỗi giá trị đầu vào k, tính toán sai số δk δk ← ok (1 − ok )(tk − ok ) (2. Với mỗi nốt h trong lớp ẩn, tính toán giá trị sai số của nó δh dựa vào các giá trị đầu vào δh ← oh (1 − oh ) ∑ wkh δk (2. Cập nhật giá trị của mỗi trọng số trong mạng w ji bằng cách: w ji ← w ji + ∆w ji (2.5) 13 trong đó: ∆w ji = ηδ j x ji (2.6) Sau khi thực hiện huấn luyện tên toàn bộ tập dữ liệu ta sẽ thu được kết quả là giá trị của các trọng số trong mạng tại vị trí có sai số nhỏ nhất.

Ví dụ về một kết quả sau quá trình huấn luyện như hình 2.3: Mạng neural 8x3x8 đã được học[2] 2.3 Học Sâu (Deep Learning) Như đã đề cập trong phần trước, mô hình mạng neural có sự phát triển mạnh mẽ trong thời gian gần đây một phần rất lớn là nhờ sự phát triển của máy tính cũng như các mô hình tính toán song song. Cùng với sự phát triển đó, số lượng data mà máy tính thu thập được cũng ngày một lớn hơn, yêu cầu sử dụng mạng neural nhân tạo để giải các bài toán ngày càng phức tạp.4: Sự tăng trưởng về độ lớn của mạng neural[5] 1. Adaptive linear element (Widrow and Hoff, 1960) 3. Early back-propagation network (Rumelhart et al.

Recurrent neural network for speech recognition (Robinson and Fallside, 1991) 6. Multilayer perceptron for speech recognition (Bengio et al. Mean field sigmoid belief network (Saul et al. LeNet-5 (LeCun et al.

Echo state network (Jaeger and Haas, 2004) 10. Deep belief network (Hinton et al. GPU-accelerated convolutional network (Chellapilla et al. Deep Boltzmann machine (Salakhutdinov and Hinton, 2009) 15 13.

GPU-accelerated deep belief network (Raina et al. Unsupervised convolutional network (Jarrett et al. GPU-accelerated multilayer perceptron (Ciresan et al. Distributed autoencoder (Le et al.

Multi-GPU convolutional network (Krizhevsky et al. COTS HPC unsupervised convolutional network (Coates et al. GoogLeNet (Szegedy et al.4 trên cho thấy độ lớn của mạng neural nhân tạo có thể nâng lên gấp đôi cứ sau 2. Khi mà việc tăng số lượng neural ở lớp ẩn (hidden layer) đạt đến một ngưỡng nhất định, người ta đã bắt đầu nghĩ đến việc dùng nhiều lớp ẩn hơn (multiple levels of composition).

Bằng cách đó, thế giới hiện đại bắt đầu quen với việc dùng "deep learning" như một thuật ngữ để chỉ chung những mô hình neural nhân tạo gồm nhiều lớp. Qua thời gian, mạng "deep learning" ngày càng phát triển với số lượng lớp ẩn linh hoạt phụ thuộc vào từng bài toán cụ thể khác nhau. Bên cạnh đó, "deep learning" cũng có thể dùng để diễn tả các mô hình học máy khác không phải mà mạng neural nhưng vẫn là sự kết hợp của nhiều tầng, lớp liên tiếp nhau.4 Mạng Neural Tích Chập (Convolutional Neu- ral Networks (CNN)) Khác với mô hình truyền thống, tích chập tận dụng được ba đặc điểm quan trọng có thể giúp tăng cường qua trình học máy: liên kết một phần (sparse inter- actions), dùng chung tham số (parameter sharing) và representations.