Luận văn thạc sĩ vnu uet nghiên cứu về mạng neural convolutional áp dụng vào bài toán nhận dạng đối tượng trong lĩnh vực thị giác máy tính

Luận văn thạc sĩ toán học nghiên cứu vnu uet nghiên cứu về mạng neural convolutional áp dụng vào bài toán nhận dạng đối tượng trong lĩnh, khảo sát thực trạng, phân tích nguyên

• Tác giả: Nguyễn Mạnh Hùng
• Người hướng dẫn: PGS.TS Đỗ Trung Tuấn
• Trường học: Trường Đại Học Công Nghệ, Đại Học Quốc Gia Hà Nội
• Chuyên ngành: Công Nghệ Thông Tin
• Đề tài: Nghiên Cứu Về Mạng Neural Convolutional, Áp Dụng Vào Bài Toán Nhận Dạng Đối Tượng Trong Lĩnh Vực Thị Giác Máy Tính
• Loại tài liệu: Luận Văn Thạc Sĩ
• Năm xuất bản: 2019
• Địa điểm: Hà Nội

Mục lục chi tiết

• LỜI CAM ĐOAN
• 1. CHƯƠNG 1: TỔNG QUAN VỀ MẠNG NƠ RON VÀ GIỚI THIỆU VỀ MẠNG NƠ RON TÍCH CHẬP
• 1.1. Nơ ron nhân tạo
• 1.1.1. Lịch sử của nơ ron nhân tạo
• 1.1.2. Cấu tạo và quá trình xử lý của một nơ ron sinh học
• 1.1.3. Cấu tạo và quá trình xử lý của một nơ ron nhân tạo
• 1.2. Các mô hình hàm kích hoạt của mạng nơ ron nhân tạo
• 1.3. Mạng nơ ron nhân tạo
• 1.3.1. Giới thiệu mạng nơ ron nhân tạo
• 1.3.2. Một số kiểu mạng nơ ron
• 1.3.3. Mạng nơ ron lan truyền ngược
• 1.4. Mạng nơ ron tích chập
• 1.4.1. Khái niệm về mạng nơ ron tích chập
• 1.4.2. Mô hình mạng nơ ron tích chập
• 1.4.3. Xây dựng mạng nơ ron tích chập
• 2. CHƯƠNG 2: BÀI TOÁN NHẬN DẠNG BẰNG MẠNG NƠ RON TÍCH CHẬP
• 2.1. Khái niệm về nhận dạng
• 2.1.1. Nhận dạng đối tượng
• 2.1.2. Nhận dạng khuôn mặt
• 2.2. Lịch sử và phát triển
• 2.3. Cách thức hoạt động
• 2.4. Phương pháp nhận dạng đối tượng từ ảnh chụp của camera
• 2.4.1. Nhận diện khuôn mặt
• 2.4.2. Phát hiện các điểm quan trọng trên khuôn mặt
• 2.4.3. Liên kết khuôn mặt
• 2.5. Kết quả các thuật toán sử dụng mạng nơ ron nhân tạo
• 2.5.1. Mô hình DeepID 2 (NIPS 2014)
• 2.5.2. Mô hình DeepID3 (arXiv 2015)
• 2.5.3. Mô hình DeepFace (Facebook, CVPR 2014)
• 2.5.4. Mô hình FaceNet (Google 2015)
• 2.5.5. Mô hình Baidu (2015)
• 3. CHƯƠNG 3: SỬ DỤNG MẠNG NƠ RON TÍCH CHẬP TRONG NHẬN DẠNG ĐỐI TƯỢNG
• 3.1. Sơ lược về áp dụng mạng nơ ron tích chập vào các giải pháp thông minh trong thực tế
• 3.2. Áp dụng mạng nơ ron tích chập để xây dựng hệ thống nhận diện người vào/ra và đánh giá thực nghiệm, so sánh với phương pháp HOG
• 3.2.1. Giới thiệu hệ thống nhận diện và đếm lượt người vào/ra sử dụng mạng nơ ron tích chập
• 3.2.2. Giới thiệu kiến trúc của máy chủ xử lý nhận diện và đếm lượng người
• 3.2.3. Giới thiệu sơ lược về phương pháp mô tả đặc trưng HOG sẽ được dùng để so sánh
• 3.2.4. So sánh khả năng nhận diện của hệ thống nhận diện người vào/ra sử dụng mạng nơ ron tích chập với phương pháp HOG đã có
• 3.2.5. Mô tả cơ chế chạy nhận diện người trong lõi máy chủ tính toán
• 3.2.6. Mô tả quá trình sử dụng hệ thống ở giao diện người dùng để hiển thị kết quả
• 3.3. Áp dụng mạng nơ ron tích chập để xây dựng hệ thống nhận diện khuôn mặt và đánh giá thực nghiệm, so sánh với phương pháp HOG
• 3.3.1. Xây dựng hệ thống nhận diện khuôn mặt
• 3.3.2. Giới thiệu cơ chế của máy chủ xử lý nhận diện
• 3.3.3. Giới thiệu sơ lược về phương pháp phát hiện khuôn mặt sử dụng HOG sẽ được dùng để so sánh
• 3.3.4. So sánh hệ thống nhận diện khuôn mặt với phương pháp HOG đã có
• 3.3.5. So sánh khả năng nhận diện khuôn mặt giữa HOG và CNN
• 3.3.6. Kết quả hệ thống web nhận diện khuôn mặt
• 3.4. Kết quả đã thực hiện được của luận văn
• 3.5. Phương hướng phát triển luận văn
• TÀI LIỆU THAM KHẢO

Tóm tắt

I. Tổng quan về mạng neural convolutional trong nhận dạng đối tượng

Mạng neural convolutional (CNN) đã trở thành một trong những công nghệ tiên tiến nhất trong lĩnh vực nhận dạng đối tượng trong thị giác máy tính. Với khả năng xử lý hình ảnh mạnh mẽ, CNN đã mở ra nhiều cơ hội mới cho các ứng dụng thực tiễn. Bài viết này sẽ khám phá các khía cạnh quan trọng của mạng CNN, từ lịch sử phát triển đến ứng dụng hiện tại trong nhận dạng đối tượng.

1.1. Lịch sử phát triển của mạng neural convolutional

Mạng neural convolutional được phát triển từ những năm 1980, với những đóng góp quan trọng từ các nhà nghiên cứu như Yann LeCun. Mô hình LeNet-5, ra đời vào năm 1989, đã đặt nền móng cho sự phát triển của các mạng CNN hiện đại. Sự phát triển này đã dẫn đến những cải tiến đáng kể trong khả năng nhận diện hình ảnh.

1.2. Cấu trúc và nguyên lý hoạt động của mạng CNN

Mạng CNN bao gồm nhiều lớp khác nhau, bao gồm lớp tích chập, lớp gộp và lớp kết nối đầy đủ. Mỗi lớp có vai trò riêng trong việc trích xuất đặc trưng từ hình ảnh, giúp cải thiện độ chính xác trong nhận dạng đối tượng. Nguyên lý hoạt động của mạng CNN dựa trên việc học từ dữ liệu hình ảnh lớn, cho phép mô hình tự động tối ưu hóa các tham số.

II. Thách thức trong việc áp dụng mạng neural convolutional

Mặc dù mạng CNN đã đạt được nhiều thành công, nhưng vẫn tồn tại một số thách thức trong việc áp dụng chúng vào thực tế. Các vấn đề như độ phức tạp tính toán, yêu cầu về dữ liệu lớn và khả năng tổng quát của mô hình là những yếu tố cần được xem xét.

2.1. Độ phức tạp tính toán và yêu cầu tài nguyên

Mạng CNN thường yêu cầu tài nguyên tính toán lớn, đặc biệt khi xử lý các tập dữ liệu lớn. Điều này có thể gây khó khăn cho việc triển khai trên các thiết bị có hạn chế về phần cứng, như điện thoại thông minh hoặc các thiết bị nhúng.

2.2. Khả năng tổng quát của mô hình

Một thách thức lớn khác là khả năng tổng quát của mô hình. Mạng CNN có thể hoạt động tốt trên tập dữ liệu huấn luyện nhưng lại gặp khó khăn khi áp dụng vào các tình huống thực tế khác. Việc cải thiện khả năng tổng quát là một trong những mục tiêu nghiên cứu quan trọng hiện nay.

III. Phương pháp chính trong nghiên cứu mạng neural convolutional

Để giải quyết các thách thức trong việc áp dụng mạng CNN, nhiều phương pháp đã được phát triển. Các phương pháp này bao gồm cải tiến kiến trúc mạng, tối ưu hóa thuật toán huấn luyện và sử dụng các kỹ thuật tăng cường dữ liệu.

3.1. Cải tiến kiến trúc mạng CNN

Nhiều nghiên cứu đã chỉ ra rằng việc cải tiến kiến trúc mạng CNN có thể giúp tăng cường hiệu suất nhận dạng. Các kiến trúc như ResNet và Inception đã được phát triển để giải quyết vấn đề độ sâu của mạng và cải thiện khả năng học tập.

3.2. Tối ưu hóa thuật toán huấn luyện

Tối ưu hóa thuật toán huấn luyện là một yếu tố quan trọng trong việc nâng cao hiệu suất của mạng CNN. Các phương pháp như Adam, RMSprop và SGD đã được áp dụng để cải thiện tốc độ hội tụ và độ chính xác của mô hình.

IV. Ứng dụng thực tiễn của mạng neural convolutional trong nhận dạng đối tượng

Mạng CNN đã được áp dụng rộng rãi trong nhiều lĩnh vực khác nhau, từ nhận diện khuôn mặt đến phân loại hình ảnh. Các ứng dụng này không chỉ mang lại giá trị kinh tế mà còn cải thiện chất lượng cuộc sống.

4.1. Nhận diện khuôn mặt

Nhận diện khuôn mặt là một trong những ứng dụng nổi bật của mạng CNN. Công nghệ này đã được sử dụng trong nhiều hệ thống bảo mật và giám sát, giúp nâng cao độ chính xác và hiệu quả trong việc nhận diện người dùng.

4.2. Phân loại hình ảnh trong y tế

Mạng CNN cũng đã được áp dụng trong lĩnh vực y tế, đặc biệt trong việc phân loại hình ảnh y tế. Công nghệ này giúp bác sĩ chẩn đoán bệnh nhanh chóng và chính xác hơn, từ đó cải thiện chất lượng điều trị cho bệnh nhân.

V. Kết luận và tương lai của mạng neural convolutional

Mạng neural convolutional đã chứng minh được tiềm năng to lớn trong lĩnh vực nhận dạng đối tượng. Tuy nhiên, vẫn còn nhiều thách thức cần phải vượt qua để tối ưu hóa hiệu suất và khả năng ứng dụng của công nghệ này trong thực tế.

5.1. Tương lai của mạng CNN trong thị giác máy tính

Với sự phát triển không ngừng của công nghệ, mạng CNN hứa hẹn sẽ tiếp tục đóng vai trò quan trọng trong thị giác máy tính. Các nghiên cứu mới sẽ tập trung vào việc cải thiện khả năng tổng quát và giảm thiểu yêu cầu tài nguyên.

5.2. Xu hướng nghiên cứu và phát triển

Xu hướng nghiên cứu hiện nay đang hướng tới việc kết hợp mạng CNN với các công nghệ khác như học sâu và học máy, nhằm tạo ra các mô hình mạnh mẽ hơn, có khả năng xử lý các bài toán phức tạp trong nhận dạng đối tượng.

Nội dung chính

Tổng quan nghiên cứu

Sự bùng nổ của cuộc Cách mạng Công nghiệp lần thứ tư đã tạo ra bước nhảy vọt về năng lực xử lý phần cứng và trí tuệ nhân tạo. Nếu như năm 1996, siêu máy tính ASCI Red của Intel phải sử dụng tới 6.000 vi xử lý Pentium Pro cùng nguồn điện tiêu thụ 1.000 kW để đạt tốc độ 1.000 tỷ phép tính mỗi giây, thì đến năm 2015, bo mạch nhúng Nvidia Jetson TX1 chỉ cần kích thước nằm gọn trong lòng bàn tay và tiêu thụ 10W điện đã đạt hiệu năng tương đương 1 TeraFLOPS. Sự phát triển vượt bậc này mở ra cơ hội to lớn để giải quyết các bài toán thị giác máy tính phức tạp mà các hệ thống máy tính cổ điển chưa thể đáp ứng hiệu quả.

Vấn đề nghiên cứu cốt lõi của luận văn xuất phát từ hạn chế của các giải pháp xử lý ảnh truyền thống khi vận hành trong môi trường thực tế với ánh sáng thay đổi, vật thể bị che khuất một phần hoặc khuôn mặt bị xoay nghiêng ở các góc độ lớn. Mục tiêu cụ thể của công trình là nghiên cứu sâu về cơ sở toán học và kiến trúc của mạng nơ-ron tích chập (Convolutional Neural Network - CNN), đồng thời thiết kế và thử nghiệm hai hệ thống ứng dụng thực tế: hệ thống nhận diện, đếm lượt người vào/ra tự động và hệ thống nhận diện khuôn mặt đa góc độ tích hợp trên nền tảng web.

Nghiên cứu được triển khai thực nghiệm tại Trường Đại học Công nghệ – Đại học Quốc gia Hà Nội trong giai đoạn 2018 - 2019, ứng dụng trên các tập dữ liệu chuẩn quốc tế kết hợp nguồn video giám sát thực tế. Đóng góp của luận văn mang ý nghĩa khoa học và thực tiễn cao khi nâng tỷ lệ nhận dạng chính xác lên trên 96%, giảm thiểu tỷ lệ phân loại sai lệch xuống dưới 4% so với các phương pháp trích xuất đặc trưng thủ công như HOG, tạo nền tảng vững chắc cho việc triển khai các hệ thống giám sát an ninh thông minh và bán lẻ tự động hóa.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Nghiên cứu được xây dựng dựa trên nền tảng lý thuyết học sâu kết hợp cấu trúc mạng nơ-ron sinh học và giải thuật lan truyền ngược (Backpropagation). Các mô hình và khái niệm trọng tâm bao gồm:

• Mạng nơ-ron tích chập (CNN): Kiến trúc học sâu chuyên biệt cho dữ liệu không gian nhiều chiều. Khác với mạng truyền thống xử lý dữ liệu phẳng, CNN vận hành trên không gian 3 chiều (chiều cao, chiều rộng, chiều sâu) với hai nguyên lý cốt lõi: kết nối cục bộ (local connectivity) và chia sẻ tham số (parameter sharing), giúp giảm hàng triệu trọng số cần huấn luyện.
• Cấu trúc tầng chức năng: Bao gồm tầng tích chập (Convolutional layer) sử dụng các cửa sổ trượt kích thước từ 3x3 đến 7x7 để trích xuất đặc trưng hình ảnh; tầng gộp (Pooling layer) sử dụng phép lấy mẫu Max Pooling kích thước 2x2 với bước nhảy 2 để giảm kích thước ma trận mà vẫn bảo toàn đặc trưng nổi bật; tầng kết nối đầy đủ (Fully Connected layer) kết hợp hàm Softmax ở đầu ra nhằm phân lớp đối tượng.
• Hàm kích hoạt phi tuyến: Ứng dụng hàm ReLU và biến thể ELU nhằm khắc phục triệt để hiện tượng triệt tiêu gradient (vanishing gradient) vốn thường gặp ở hàm Sigmoid hoặc TanH, đẩy nhanh tốc độ hội tụ của mô hình trong quá trình tối ưu hóa hàm mất mát.
• Kỹ thuật điều hòa và chống quá khớp: Ứng dụng kỹ thuật Dropout với xác suất ngắt kết nối ngẫu nhiên 0,5 cùng phương pháp tăng cường dữ liệu (Data Augmentation) thông qua phép biến đổi hình học như xoay góc từ 15 đến 20 độ và phản chiếu đối xứng.
• Mô hình tháp sâu phát hiện khuôn mặt (DP2MFD): Khung kiến trúc 7 cấp độ kim tự tháp đặc trưng, trích xuất 256 bản đồ đặc trưng tại lớp tích chập thứ 5 kết hợp bộ phân loại SVM tuyến tính và 68 điểm mốc đặc trưng khuôn mặt (facial landmarks) thông qua thư viện Dlib.

Phương pháp nghiên cứu

Luận văn kết hợp phương pháp nghiên cứu lý thuyết mô hình hóa toán học với phương pháp thực nghiệm kiểm thử trên hệ thống phần mềm hoàn chỉnh:

• Nguồn dữ liệu nghiên cứu: Dữ liệu thực nghiệm bao gồm các bộ dữ liệu chuẩn quốc tế như LFW (Labeled Faces in the Wild), IJB-A, JANUS CS2 cùng tập dữ liệu video thực tế thu thập trực tiếp từ hệ thống camera giám sát độ phân giải chuẩn HD với tốc độ 30 khung hình/giây.
• Cỡ mẫu và phương pháp chọn mẫu: Cỡ mẫu thực nghiệm gồm 1.000 khung hình trích xuất từ video thực tế và hơn 500 mẫu khuôn mặt của các đối tượng với góc quay dao động từ 0 độ đến 80 độ. Phương pháp chọn mẫu phân tầng có chủ đích được áp dụng nhằm bao phủ toàn diện các điều kiện thách thức: thay đổi cường độ ánh sáng, góc nghiêng khuôn mặt phức tạp và vật thể bị che khuất.
• Phương pháp phân tích và xử lý dữ liệu: Trích xuất khung hình tự động bằng công cụ Ffmpeg, đưa dữ liệu qua lõi tính toán CNN được tăng tốc bằng kiến trúc tính toán song song CUDA trên vi xử lý GPU. Quá trình theo dõi liên tục giữa các khung hình liên tiếp sử dụng giải thuật Kanade-Lucas-Tomasi (KLT) với ngưỡng trùng lặp IoU 0,2 và giới hạn duy trì 4 khung hình. Lý do lựa chọn CNN thay vì các phương pháp truyền thống là khả năng tự động học biểu diễn đặc trưng phân cấp sâu, loại bỏ sự phụ thuộc vào các thuật toán trích xuất thủ công vốn thiếu tính khái quát hóa.
• Tiến độ nghiên cứu: Toàn bộ quá trình khảo sát tài liệu, xây dựng thuật toán, huấn luyện mô hình và kiểm thử thực nghiệm được thực hiện trong thời gian 12 tháng từ giữa năm 2018 đến năm 2019.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

Quá trình kiểm thử thực nghiệm trên dữ liệu thực tế đã chứng minh tính hiệu quả vượt trội của kiến trúc CNN so với phương pháp cổ điển Histogram of Oriented Gradients (HOG):

• Phát hiện 1: Trong bài toán nhận diện và đếm lượt người vào/ra, mô hình CNN đạt độ chính xác trung bình 96,5%, vượt trội hoàn toàn so với mức 81,2% của phương pháp HOG (tăng 15,3 điểm phần trăm). Khi người di chuyển thành nhóm hoặc bị che khuất một phần thân thể, HOG thường xuyên bỏ sót đối tượng trong khi CNN vẫn định vị chính xác vị trí hộp bao (bounding box).
• Phát hiện 2: Trong bài toán phát hiện và nhận diện khuôn mặt ở góc nghiêng lớn, CNN thể hiện sự ổn định vượt bậc. Tại góc nghiêng 30 độ trên mặt phẳng không gian, CNN đạt độ chính xác nhận diện 91,4% (so với 64,8% của HOG). Khi góc nghiêng tăng lên mức cực đại 80 độ, CNN vẫn duy trì tỷ lệ nhận dạng thành công ở mức 78,5%, trong khi HOG gần như mất hoàn toàn khả năng phát hiện khi tỷ lệ chính xác giảm sâu xuống dưới 41,2%.
• Phát hiện 3: Về hiệu năng xử lý thời gian thực, sự kết hợp giữa lõi CNN, trích xuất 68 điểm mốc Dlib và thuật toán theo dõi KLT cho phép hệ thống duy trì tốc độ xử lý đạt 22 đến 28 khung hình/giây trên phần cứng GPU thông dụng, với độ trễ phản hồi trung bình chỉ khoảng 45 mili-giây cho mỗi thao tác nhận diện.
• Phát hiện 4: Về tốc độ huấn luyện mô hình, việc tích hợp hàm kích hoạt ReLU giúp mạng nơ-ron đạt mức tối ưu sai số huấn luyện dưới 3,8% chỉ sau số lượng vòng lặp (epochs) ít hơn 6 lần so với khi sử dụng hàm kích hoạt Sigmoid truyền thống.

Thảo luận kết quả

Nguyên nhân cốt lõi tạo nên sự khác biệt về hiệu năng giữa hai phương pháp nằm ở cơ chế biểu diễn đặc trưng. Phương pháp HOG xây dựng biểu đồ hướng gradient dựa trên các phép đo cường độ sáng cục bộ cố định, do đó rất nhạy cảm và dễ bị sai lệch khi góc chụp thay đổi hoặc ánh sáng môi trường không đồng nhất. Ngược lại, mạng nơ-ron tích chập trích xuất các bản đồ đặc trưng đa tầng: từ các cạnh, đường nét cơ bản ở tầng thấp đến các cấu trúc phức tạp bất biến theo phép tịnh tiến và xoay ở tầng sâu.

Khi so sánh với các công bố quốc tế lớn, kết quả của luận văn hoàn toàn tương thích với xu hướng phát triển của các mô hình hàng đầu như DeepFace của Facebook (đạt độ chính xác 97,35% trên tập dữ liệu LFW), FaceNet của Google (đạt 99,63% trên LFW) và DeepID2 (đạt trên 99,15% khi trích xuất 25 vùng khuôn mặt tối ưu). Các kết quả này chứng minh rằng việc áp dụng kiến trúc mạng tích chập sâu kết hợp trích xuất đặc trưng vector nhiều chiều là hướng tiếp cận tối ưu nhất hiện nay cho thị giác máy tính.

Về mặt trực quan hóa, toàn bộ dữ liệu thực nghiệm được thể hiện chi tiết qua các biểu đồ so sánh độ chính xác theo góc nghiêng từ 0 đến 80 độ, bảng đối chiếu thời gian xử lý khung hình giữa CPU và GPU, cùng các đồ thị thể hiện mức độ hội tụ của hàm mất mát. Các bảng biểu trong luận văn minh chứng rõ nét rằng mô hình CNN không chỉ vượt trội về mặt lý thuyết mà còn hoàn toàn khả thi khi triển khai trên hệ thống thực tế với giao diện tương tác web và di động.

Đề xuất và khuyến nghị

Dựa trên kết quả nghiên cứu và thực nghiệm của luận văn, bốn nhóm giải pháp mang tính hành động cụ thể được đề xuất nhằm tối ưu hóa và mở rộng ứng dụng công nghệ:

• Tối ưu hóa kiến trúc mạng nơ-ron nhúng: Thực hiện kỹ thuật lượng tử hóa trọng số (weight quantization) từ chuẩn số thực 32-bit sang chuẩn 8-bit kết hợp cắt tỉa nơ-ron (pruning) nhằm giảm 60% dung lượng bộ nhớ của mô hình và tăng tốc độ xử lý đạt trên 45 khung hình/giây trên các thiết bị nhúng IoT công suất thấp; mục tiêu hoàn thành trong vòng 6 tháng bởi đội ngũ kỹ sư phần mềm hệ thống.
• Mở rộng và đa dạng hóa cơ sở dữ liệu huấn luyện: Tiến hành thu thập và gán nhãn bổ sung hơn 20.000 mẫu hình ảnh trong các điều kiện môi trường khắc nghiệt (ban đêm, mưa gió, sương mù) kết hợp kỹ thuật tăng cường dữ liệu đa chiều để giảm tỷ lệ nhận diện sai lệch xuống dưới 1,5%; lộ trình thực hiện trong 3 tháng bởi nhóm nghiên cứu trí tuệ nhân tạo.
• Triển khai tích hợp vào hệ thống bán lẻ và kiểm soát an ninh thông minh: Xây dựng giải pháp nhận diện khuôn mặt tự động liên kết với hệ thống thanh toán không tiền mặt và chấm công doanh nghiệp, hướng tới mục tiêu thời gian xác thực dưới 0,5 giây cho mỗi giao dịch; triển khai trong lộ trình 9 tháng bởi các nhà phát triển giải pháp công nghệ thông tin.
• Thiết lập quy chuẩn an toàn và bảo mật sinh trắc học: Ứng dụng giải pháp mã hóa dữ liệu vector đặc trưng khuôn mặt 128 chiều theo chuẩn AES-256 trước khi lưu trữ vào hệ thống cơ sở dữ liệu, đảm bảo tuân thủ 100% các quy định pháp lý về bảo vệ quyền riêng tư và an toàn thông tin cá nhân; thực hiện định kỳ hàng quý bởi chuyên viên an ninh mạng.

Đối tượng nên tham khảo luận văn

Luận văn là tài liệu tham khảo học thuật và ứng dụng giá trị cho nhiều nhóm đối tượng chuyên môn:

• Học viên cao học và nghiên cứu sinh chuyên ngành Công nghệ thông tin, Khoa học máy tính, Trí tuệ nhân tạo: Tài liệu cung cấp hệ thống lý thuyết hoàn chỉnh về giải tích ma trận trong lan truyền ngược, cấu trúc toán học của các tầng tích chập và quy trình xây dựng mạng học sâu bài bản.
• Kỹ sư phần mềm và chuyên gia thị giác máy tính: Cung cấp mã nguồn tham khảo, sơ đồ kiến trúc hệ thống xử lý video thời gian thực với Ffmpeg, thư viện Dlib và quy trình tích hợp mô hình AI vào ứng dụng web thực tế.
• Quản lý kỹ thuật tại các doanh nghiệp bán lẻ và quản lý tòa nhà thông minh: Nắm bắt giải pháp công nghệ đếm lưu lượng khách hàng, nhận diện khách hàng thân thiết với chi phí đầu tư phần cứng hợp lý và hiệu quả vận hành vượt trội.
• Chuyên gia an ninh và các cơ quan thực thi pháp luật: Tìm hiểu phương pháp ứng dụng trí tuệ nhân tạo vào hệ thống giám sát an ninh công cộng, kiểm soát xuất nhập cảnh và nhận dạng tự động các đối tượng trong điều kiện quan sát khó khăn.

Câu hỏi thường gặp

• Mạng nơ-ron tích chập (CNN) có điểm gì khác biệt cốt lõi so với mạng nơ-ron truyền thống (ANN)? Mạng ANN truyền thống kết nối toàn bộ các nơ-ron khiến số lượng trọng số tăng theo cấp số nhân (ví dụ ảnh 512x512x3 tạo ra hơn 786.000 tham số đầu vào), gây quá tải tính toán. CNN giải quyết triệt để nhờ cơ chế kết nối cục bộ và chia sẻ trọng số, giúp giảm hàng triệu tham số và giữ nguyên cấu trúc không gian của ảnh.

• Tại sao hàm kích hoạt ReLU lại được ưu tiên sử dụng thay thế cho hàm Sigmoid trong kiến trúc CNN? Hàm Sigmoid có đạo hàm tiến dần về 0 khi giá trị đầu vào quá lớn hoặc quá nhỏ, dẫn đến hiện tượng triệt tiêu gradient khiến mạng học rất chậm. Hàm ReLU có công thức tính toán đơn giản, duy trì đạo hàm bằng 1 trên miền giá trị dương, giúp mô hình hội tụ nhanh hơn gấp 6 lần.

• Hệ thống nhận diện trong luận văn xử lý bài toán khuôn mặt nghiêng góc lớn như thế nào? Hệ thống sử dụng mô hình DCNN kết hợp hồi quy 5 giai đoạn để trích xuất 68 điểm mốc đặc trưng, sau đó thực hiện phép biến đổi hình học afin để căn chỉnh khuôn mặt về tọa độ chuẩn. Nhờ đó, hệ thống duy trì độ chính xác 78,5% ngay cả khi khuôn mặt nghiêng tới 80 độ.

• Hệ thống nhận diện và đếm lượt người vào/ra đạt hiệu năng xử lý thời gian thực bằng cách nào? Hệ thống sử dụng công cụ Ffmpeg để trích xuất khung hình tự động, đưa qua lõi CNN phân loại và kết hợp giải thuật theo dõi Kanade-Lucas-Tomasi (KLT) với ngưỡng trùng lặp IoU 0,2. Kiến trúc này giảm thiểu việc phải chạy nhận diện toàn phần trên mọi khung hình, đảm bảo độ trễ dưới 45 mili-giây.

• Kỹ thuật Dropout đóng vai trò gì trong việc ngăn chặn hiện tượng quá khớp (Overfitting)? Trong các mạng CNN sâu có hàng triệu tham số nhưng tập dữ liệu huấn luyện hữu hạn, mạng rất dễ ghi nhớ mẫu thay vì học đặc trưng tổng quát. Kỹ thuật Dropout ngắt ngẫu nhiên 50% số nơ-ron ở mỗi lượt lan truyền, buộc các nơ-ron còn lại phải tự học các biểu diễn độc lập và bền vững hơn.

Kết luận

• Hệ thống hóa toàn diện cơ sở toán học và cơ chế vận hành của mạng nơ-ron nhân tạo, thuật toán lan truyền ngược và kiến trúc mạng nơ-ron tích chập (CNN) hiện đại.
• Chứng minh thực nghiệm sự vượt trội của CNN so với phương pháp truyền thống HOG với tỷ lệ nhận diện người chính xác đạt 96,5% (cao hơn 15,3 điểm phần trăm) và khả năng nhận diện khuôn mặt góc nghiêng 80 độ đạt 78,5%.
• Xây dựng thành công hai hệ thống ứng dụng hoàn chỉnh: nhận diện đếm lượt người vào/ra tự động và hệ thống nhận diện khuôn mặt đa góc độ tích hợp trên giao diện web.
• Ứng dụng hiệu quả mô hình tháp sâu DP2MFD và thuật toán theo dõi KLT, đảm bảo hệ thống vận hành ổn định ở tốc độ thời gian thực với độ trễ thấp dưới 45 mili-giây.
• Đề xuất định hướng phát triển tối ưu hóa mô hình cho thiết bị nhúng IoT và tích hợp hệ thống thanh toán thông minh trong lộ trình 1 đến 2 năm tới.

Công trình nghiên cứu mở ra tiềm năng ứng dụng to lớn trong kỷ nguyên chuyển đổi số và đô thị thông minh. Quý độc giả, nhà nghiên cứu và doanh nghiệp quan tâm có thể tiếp tục kế thừa khung kiến trúc của luận văn để mở rộng các giải pháp thị giác máy tính tiên tiến trong tương lai.

Trích đoạn nội dung tài liệu

CHƯƠNG 1. TỔNG QUAN VỀ MẠNG NƠ RON VÀ GIỚI THIỆU VỀ MẠNG NƠ RON TÍCH CHẬP 1. Nơ ron nhân tạo 1.1 Lịch sử của nơ ron nhân tạo Vào năm 1943, nhà thần kinh học Warren McCulloch đã cùng nhà toán học Walter Pitts đã viết một cuốn sách về cách mạng thần kinh hoạt động. Và họ đã thực hiện mô phỏng một mạng thần kinh đơn giản trên một mạch điện.

[9] Vào năm 1949, Donald Hebb đã viết cuốn sách Organization of Behavior. Điểm nhấn chính là mạng thần kinh nào được sử dụng nhiều sẽ được tăng cường. Vào năm 1959, David Hubel và Torsten Wiesel đã xuất bản cuốn sách Receptive fields of single neurons in the cat’s striate cortex, miêu tả về phản ứng của các tế bào thần kinh thị giác trên loài mèo, cũng như cách loài mèo ghi nhớ và nhận diện hình dạng trên kiến trúc vỏ não của nó.1 Hình ảnh thí nghiệm của David Hubel và Torsten Wiesel trên mèo [10] Vào năm 1989, Yann LeCun đã áp dụng thuật toán học cho mạng nơ ron theo kiểu lan truyền ngược vào kiến trúc mạng nơ ron tích chập của Fukushima. Sau đó vài năm, LeCun đã công bố LeNet-5 [13].

Có thể nói, LeNet-5 là một trong những mạng nơ ron tích chập sơ khai nhất, tuy nhiên các dấu ấn của nó vẫn tồn tại tới ngày nay, có thể thấy thông qua một số thành phần thiết yếu mà các mạng nơ ron tích chập của ngày nay vẫn đang sử dụng 4 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.2 Cấu tạo và quá trình xử lý của một nơ ron sinh học Hình 1.2: Hình ảnh một nơ ron sinh học [14] Một nơ ron gồm có: thân nơ ron, tua gai thần kinh, sợi trục thần kinh, trong đó:  Thân nơ ron: là nơi xử lý các tín hiệu được đưa vào;  Tua gai thần kinh: là nơi nhận các xung điện vào trong nơ ron;  Sợi trục thần kinh: là nơi đưa tín hiệu ra ngoài sau khi được xử lý bởi nơ ron;  Khớp thần kinh: vị trí nằm giữa tua gai thần kinh và sợi trục thần kinh, đây là điểm liên kết đầu ra của nơ ron này với đầu vào của nơ ron khác.3 Cấu tạo và quá trình xử lý của một nơ ron nhân tạo Dựa vào cấu tạo của một nơ ron sinh học, các nhà khoa học nghiên cứu và lập trình đã đưa ra kiến trúc của một nơ ron nhân tạo: Hình 1.3: Công thức của một nơ ron nhân tạo [41] 5 LUAN VAN CHAT LUONG download : add [e-mail] Mạng nơ ron nhân tạo có thể mô tả đơn giản lại như sau: Hình 1.4: Hình ảnh một nơ ron nhân tạo Trong đó:  Danh sách các đầu vào: Là các thuộc tính đầu vào của một nơ ron. Số lượng thuộc tính đầu vào thường nhiều hơn một, do dữ liệu thô đầu vào thường là một vector nhiều chiều, hoặc nhiều nơ ron tầng trước kết nối tới một nơ ron tầng sau.  Trọng số liên kết: Các liên kết được thể hiện độ mạnh yếu qua một giá trị được gọi là trọng số liên kết. Kết hơp với các đầu truyền, tín hiệu đến các nơ ron nhân tạo khác sẽ được tính bằng ; Hình 1.5: Hình ảnh vị trí thiên lệch được thêm vào trong thực tế 6 LUAN VAN CHAT LUONG download : add [e-mail]  Hàm tổng: Tổng các tích của các đầu vào với trọng số liên kết mô phỏng các khớp kết nối.

Sau đó đi qua hàm tính tổng để tính ra giá trị trước khi đưa vào hàm truyền;  Thiên lệch (b): Độ lệch được đưa vào sau khi khi tính toán xong hàm tổng, tạo ra giá trị cuối cùng trước khi đưa vào hàm truyền. Mục đích của việc thêm vào thiên lệch nhằm dịch chuyển chức năng của hàm kích hoạt sang trái hoặc phải, giúp ích khi mạng được huấn luyện. Hình ảnh vị trí thiên lệch được thêm vào trong mạng nơ ron thực tế. Hình ảnh huấn luyện khi có và không có thiên lệch: Hình 1.6: Kết quả của hàm sigmoid với các trọng số đầu vào khác nhau nhưng không có thiên lệch Hình 1.7: Kết quả của hàm sigmoid với các trọng số thiên lệch khác nhau Hàm kích hoạt (Activation functions): Hàm này được sử dụng để tính toán giá trị của đầu ra dựa vào giá trị của hàm Tổng.

7 LUAN VAN CHAT LUONG download : add luanvanchat@agmail. Các mô hình hàm kích hoạt của mạng nơ ron nhân tạo 1.1 Hàm Sigmod  Biểu diễn hàm:  Đạo hàm của hàm: Hàm Sigmoid được sử dụng vì ngưỡng của nó nằm trong khoảng (0, 1). Do đó, hàm này được sử dụng nhiều cho các mô hình dự đoán xác suất đầu ra, tức kết quả chỉ tồn tại trong khoảng từ 0 đến 1: khi đầu vào là số dương lớn, đầu ra của hàm sigmoid gần bằng 1. Khi nhỏ hơn 0, đầu ra gần bằng 0.

Tuy nhiên, việc tối ưu của hàm này khó khăn, nguyên nhân vì nếu giá trị đầu vào của hàm là 1 số rất lớn, thì đầu ra của hàm càng về 2 đầu xấp xỉ 1 hoặc 0, nên tốc độ hội tụ sẽ rất chậm.8: Đồ thị hàm Sigmoid 1.2 Hàm TanH  Biểu diễn hàm:  Đạo hàm của hàm: Hàm TanH được sử dụng vì đầu ra của hàm nằm trong khoảng , thích hợp với các mô hình đầu ra có ba giá trị: âm, trung tính (0) và dương. Chúng ta có thể thấy rõ hơn điều này trong hình minh họa. 8 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.9: Đồ thị hàm TanH 1. Hàm tuyến tính  Biểu diễn hàm:  Đạo hàm của hàm: Hàm tuyến tính áp dụng thao tác nhận dạng trên dữ liệu với dữ liệu đầu ra tỷ lệ thuận với dữ liệu đầu vào.10: Đồ thị hàm tuyến tính 1.4 Hàm RELU  Biểu diễn hàm:  Đạo hàm của hàm: Hàm RELU áp dụng với những trường hợp cần đầu ra nằm trong khoảng (0, +∞).

Hàm RELU có tốc độ tính toán rất nhanh, gán các giá trị âm trở thành 0 ngay lập tức, phù 9 LUAN VAN CHAT LUONG download : add [e-mail] hợp cho việc huấn luyện từ dữ liệu chuẩn. Tuy nhiên, điều này khiến hàm RELU không ánh xạ các giá trị âm một cách thích hợp.11: Đồ thị hàm RELU 1.5 Hàm ELU  Biểu diễn hàm:  Đạo hàm của hàm: Hàm ELU là một biến thể của hàm RELU. Hàm thường được sử dụng khi ngưỡng đầu ra của nó nằm trong khoảng (-1, +∞). Hàm ELU khắc phục hạn chế ánh xạ các giá trị âm của hàm RELU.12: Đồ thị hàm ELU 10 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.2 Mạng nơ ron nhân tạo 1.1 Giới thiệu mạng nơ ron nhân tạo Mạng nơ ron nhân tạo (Artificial Neural Network ANN) là một chuỗi các giải thuật lập trình, mô phỏng dựa trên cách hoạt động của mạng lưới thần kinh trong não bộ các sinh vật sống.

Mạng nơ ron nhân tạo được sử dụng để tìm ra mối quan hệ của một tập dữ liệu thông qua một thiết kế kiến trúc chứa nhiều tầng ẩn (hidden layer), mỗi tầng lại chứa nhiều nơ ron. Các nơ ron được kết nối với nhau và độ mạnh yếu của các liên kết được biểu hiện qua trọng số liên kết. Lập trình thông thường có thể làm được rất nhiều phần mềm lớn, như tính toán mô phỏng các vụ nổ hạt nhân trong siêu máy tính ở các phòng thí nghiệm, hoặc tái hiện các tế bào ở cấp độ phân tử để phân tích các thử nghiệm thuốc. Một siêu máy tính có thể tính toán được nhiều tỉ phép tính trên giây, tuy nhiên lập trình thông thường lại gặp khó khăn trong việc nhận ra các mẫu đơn giản, ví dụ như nhận diện mặt người, điều mà một bộ não sinh học xử lý nhanh và chính xác hơn nhiều.

Áp dụng với các kỹ thuật học sâu, mạng nơ ron nhân tạo hiện nay đang được áp dụng để giải quyết những vấn đề mà lập trình theo logic thông thường khó có thể giải quyết được. Do đó, mạng nơ ron nhân tạo đang nhanh chóng trở nên phổ biến, và là xu thế trên nhiều lĩnh vực.2 Một số kiểu mạng nơ ron Có hai kiểu mạng nơ ron chính: mạng nơ ron truyền thằng (feedforward neural network) và mạng nơ ron hồi quy (recurrent neural network). Mạng truyền thẳng và hồi quy được minh họa như sau: Hình 1.13: Mạng nơ ron truyền thẳng 11 LUAN VAN CHAT LUONG download : add [e-mail] Dễ thấy, ở mạng nơ ron truyền thẳng, các nơ ron trong tầng ẩn đều được kết nối với các nơ ron trong tầng n. Do có nhiều tầng ẩn nên chúng ta có thể thấy rằng mạng truyền thẳng kéo dài trong không gian, và là không có bất kỳ đường tuần hoàn (cyclic path) nào nằm trong mạng.

Mạng nơ ron truyền thẳng rất phổ biến hiện nay.14: Mạng nơ ron hồi quy Một loại khác là mạng nơ ron hồi quy. Không giống như mạng nơ ron truyền thẳng, mạng nơ ron hồi quy có ít nhất một đường dẫn tuần hoàn. Chúng ta có thể thấy nó ở hình minh họa phía trên. Vì có một đường dẫn tuần hoàn, nên mạng nơ ron hồi quy có thể gây ra vòng lặp vô cực.

Tuy nhiên, mạng nơ ron tuần hoàn có một ứng dụng quan trọng là chúng có thể nhận diện cho các giai đoạn thời gian khác nhau, như hình minh họa sau: Hình 1.15: Cách huấn luyện cho một mạng nơ ron hồi quy Như ví dụ trên, có một nút A kết nối với nút B và một chu kỳ đến chính nút A. Mạng nơ ron hồi quy không xử lý đường dẫn tuần hoàn và các kết nối cùng một lúc. Mạng nơ ron hồi quy giả sử rằng đầu ra của nút A trong thời gian n là đầu vào của nút B và nút A trong thời gian n + 1. Vì vậy, ngoài tính chất kéo dài trong không gian khi kết nối với các tầng nơ ron tiếp theo, mạng nơ ron hồi quy cũng nằm sâu trong thời gian.

Vì vậy, các mạng nơ ron hồi quy có thể mô hình hóa các hệ thống thay đổi theo bối cảnh. Ví dụ: mạng nơ ron hồi quy thường được sử dụng trong xử lý ngôn ngữ theo ngữ cảnh. Mạng 12 LUAN VAN CHAT LUONG download : add [e-mail] nơ ron hồi quy có thể xử lý các phụ thuộc xa (long-term dependencies) theo mốc thời gian, ví dụ như mạng bộ nhớ dài-ngắn (Long Short Term Memory networks).3 Mạng nơ ron lan truyền ngược 1.1 Tổng quan về mạng nơ ron lan truyền ngược Giải thuật lan truyền ngược được mô tả ngắn gọn như sau: 1. Bước 1: Lan truyền.

Giai đoạn lan truyền có hai bước, lan truyền tiến và lan truyền ngược. Bước lan truyền tiến là nhập dữ liệu huấn luyện vào các mạng nơ ron và tính toán đầu ra. Sau đó, dựa vào kết quả đầu ra, so sánh với dữ liệu huấn luyện.