Luận Văn Thạc Sĩ: Truy Tìm Đối Tượng Dựa Vào Thuộc Tính Cho Dãy Camera Quan Sát

Luận văn thạc sĩ nghiên cứu máy tính truy tìm đối tượng dựa vào thuộc tính cho dãy camera quan sát, khảo sát thực trạng, phân tích nguyên nhân, đề xuất giải pháp cải thiện thực

• Tác giả: Nguyễn Trọng Tính
• Người hướng dẫn: TS. Lê Thành Sách
• Trường học: Đại học Bách Khoa
• Chuyên ngành: Khoa Học Máy Tính
• Đề tài: Truy Tìm Đối Tượng Dựa Vào Thuộc Tính Cho Dãy Camera Quan Sát
• Loại tài liệu: luận văn thạc sĩ
• Năm xuất bản: 2021
• Địa điểm: TP. Hồ Chí Minh

Mục lục chi tiết

• Lời cảm ơn
• Tóm tắt
• Abstract
• Lời cam đoan
• Mục lục
• 1. CHƯƠNG 1: Giới thiệu đề tài
• 1.2. Mục tiêu nghiên cứu
• 1.3. Kết quả đạt được
• 1.4. Cấu trúc của luận văn
• 2. CHƯƠNG 2: Cơ sở lý thuyết
• 2.1. Mạng nơ-ron đa tầng và mạng học sâu
• 2.1.1. Mạng nơ-ron đa tầng
• 2.1.2. Mạng nơ-ron học sâu
• 2.2. Mạng nơ-ron tích chập
• 2.2.1. Đặc tính của mạng nơ-ron tích chập
• 2.2.2. Phép tích chập - Convolution
• 2.2.3. Mạng nơ-ron tích chập dưới góc nhìn của một mạng nơ-ron nhân tạo
• 2.3. Các mạng pretrain thường dùng cho bài toán phân loại
• 3. CHƯƠNG 3: Tổng quan tình hình nghiên cứu
• 4. CHƯƠNG 4: Phương pháp nghiên cứu
• 4.1. Ý tưởng thiết kế thử nghiệm
• 4.2. Thiết kế thử nghiệm
• 4.3. Hàm mục tiêu
• 4.4. Chiến lược huấn luyện
• 4.5. Các thử nghiệm triển khai
• 5. CHƯƠNG 5: Kết quả thực nghiệm
• 5.1. Thu thập và tiền xử lý dữ liệu
• 5.1.2. Phân tích dữ liệu
• 5.1.3. Tiền xử lý dữ liệu
• 5.2. Các tiêu chí đánh giá
• 5.2.1. Mean Accuracy - mA
• 5.3. Môi trường thực nghiệm
• 5.4. So sánh với các công trình liên quan
• 5.4.1. Kết quả đạt được
• 5.4.2. Hướng nghiên cứu tiếp theo
• Tài liệu tham khảo
• Bảng đối chiếu thuật ngữ Anh - Việt
• Danh sách hình vẽ
• Danh sách bảng

Tóm tắt

I. Giới thiệu đề tài

Đề tài "Truy tìm đối tượng dựa vào thuộc tính cho dãy camera quan sát" tập trung vào việc áp dụng công nghệ học sâu để giải quyết bài toán phân loại thuộc tính của người đi bộ. Bài toán này mang tính chất cấp bách trong bối cảnh an ninh hiện đại, nơi mà việc phân tích hình ảnh từ hệ thống camera ngày càng trở nên quan trọng. Mục tiêu nghiên cứu là phát triển một mô hình có khả năng nhận diện và phân loại thuộc tính của người đi bộ dựa trên các đặc điểm hình ảnh. Đề tài này không chỉ giúp nâng cao hiệu quả trong việc giám sát an ninh mà còn tiết kiệm thời gian và công sức cho các cơ quan chức năng. Theo đó, việc truy vết đối tượng sẽ được thực hiện một cách nhanh chóng và chính xác hơn.

1.1 Mục tiêu nghiên cứu

Mục tiêu chính của nghiên cứu là phát triển một mô hình mạng nơ-ron học sâu có khả năng phân loại thuộc tính của người đi bộ. Điều này bao gồm việc xây dựng các phương pháp trích xuất đặc trưng hiệu quả từ hình ảnh để phục vụ cho việc truy tìm đối tượng. Nghiên cứu sẽ sử dụng các tập dữ liệu như PA100K và PETA để huấn luyện và đánh giá mô hình. Việc phân loại thuộc tính sẽ hỗ trợ cho các ứng dụng trong hệ thống giám sát và đảm bảo an ninh, đồng thời mở ra hướng nghiên cứu mới trong lĩnh vực này.

II. Cơ sở lý thuyết

Chương này trình bày các lý thuyết nền tảng liên quan đến mạng nơ-ron đa tầng và mạng nơ-ron tích chập (CNN). Mạng nơ-ron đa tầng là cấu trúc cơ bản trong học sâu, nơi mà các perceptron được kết nối với nhau để xử lý thông tin. Trong khi đó, mạng nơ-ron học sâu với các hàm kích hoạt phi tuyến giúp khắc phục những hạn chế của mạng nơ-ron đa tầng, cho phép mô hình hóa các mối quan hệ phức tạp trong dữ liệu. Việc áp dụng các kiến thức này vào bài toán phân loại thuộc tính sẽ giúp tăng cường khả năng nhận diện và phân loại các đối tượng trong hình ảnh từ hệ thống camera.

2.1 Mạng nơ ron tích chập

Mạng nơ-ron tích chập (CNN) là một trong những kiến trúc mạnh mẽ nhất hiện nay trong lĩnh vực xử lý hình ảnh. CNN có khả năng tự động trích xuất các đặc trưng từ hình ảnh mà không cần đến sự can thiệp của con người. Điều này rất quan trọng trong việc phân loại thuộc tính của người đi bộ, vì các thuộc tính này có thể rất đa dạng và phức tạp. Sử dụng CNN, mô hình có thể học được những đặc điểm quan trọng từ hình ảnh, từ đó cải thiện độ chính xác trong việc phân loại đối tượng và giám sát an ninh.

III. Phương pháp nghiên cứu

Phương pháp nghiên cứu được đề xuất trong luận văn này bao gồm việc xây dựng mô hình Top DropBlock, kế thừa từ các nghiên cứu trước đó. Mô hình này gồm ba nhánh: nhánh toàn cục để học thông tin từ các dữ liệu đã được huấn luyện trước, nhánh Top DropBlock để tăng cường khả năng phân biệt các thuộc tính từ các vùng ít thông tin, và nhánh regularization để giảm thiểu nhiễu trong quá trình học. Phương pháp này không yêu cầu tạo thêm chú thích cho dữ liệu, giúp đơn giản hóa quy trình huấn luyện và đánh giá. Kết quả thử nghiệm cho thấy mô hình có khả năng phân loại tốt, góp phần vào việc truy tìm đối tượng hiệu quả trong hệ thống camera.

3.1 Thiết kế thử nghiệm

Thiết kế thử nghiệm bao gồm việc lựa chọn các tập dữ liệu PA100K và PETA, hai tập dữ liệu phổ biến trong lĩnh vực phân loại thuộc tính. Các tiêu chí đánh giá được sử dụng bao gồm Mean Accuracy (mA) để đo lường độ chính xác của mô hình. Thử nghiệm sẽ được thực hiện qua nhiều giai đoạn khác nhau, bao gồm việc huấn luyện mô hình, kiểm tra và so sánh với các phương pháp hiện có. Kết quả từ thử nghiệm sẽ cung cấp cái nhìn tổng quát về hiệu quả của mô hình trong việc giám sát an ninh và truy tìm đối tượng.

IV. Kết quả thực nghiệm

Kết quả thực nghiệm cho thấy mô hình Top DropBlock đạt được độ chính xác cao trong việc phân loại các thuộc tính của người đi bộ. So với các phương pháp trước đó, mô hình này không chỉ cải thiện độ chính xác mà còn giảm thiểu thời gian xử lý. Các thử nghiệm trên hai tập dữ liệu PA100K và PETA cho thấy mô hình có khả năng hoạt động tốt trong các điều kiện khác nhau, từ đó khẳng định tính khả thi của phương pháp trong thực tiễn. Điều này có ý nghĩa quan trọng trong việc ứng dụng công nghệ vào hệ thống camera nhằm nâng cao hiệu quả giám sát an ninh.

4.1 So sánh với các công trình liên quan

Khi so sánh với các mô hình gần đây, mô hình Top DropBlock cho thấy sự vượt trội về độ chính xác và khả năng phân loại. Các kết quả thực nghiệm cho thấy rằng mô hình không chỉ đơn thuần đạt được hiệu suất tốt mà còn có khả năng ứng dụng rộng rãi trong thực tế. Điều này chứng tỏ rằng việc áp dụng các phương pháp học sâu vào bài toán phân loại thuộc tính có thể mang lại những giải pháp hiệu quả cho việc truy tìm đối tượng trong hệ thống camera.

Nội dung chính

Tổng quan nghiên cứu

Trong bối cảnh phát triển mạnh mẽ của công nghệ camera giám sát và mạng học sâu, việc truy tìm đối tượng dựa trên thuộc tính trong dãy camera quan sát trở thành một lĩnh vực nghiên cứu quan trọng và thiết thực. Theo ước tính, số lượng hình ảnh thu thập từ các hệ thống camera giám sát ngoài trời và trong nhà ngày càng tăng nhanh, tạo ra nhu cầu cấp thiết về các phương pháp tự động hóa trong việc nhận dạng và phân loại thuộc tính người đi bộ. Vấn đề nghiên cứu tập trung vào việc xây dựng mô hình phân loại thuộc tính người đi bộ dựa trên hình ảnh từ nhiều camera, nhằm hỗ trợ truy tìm đối tượng một cách hiệu quả và chính xác.

Mục tiêu cụ thể của nghiên cứu là phát triển một mô hình học sâu kế thừa và cải tiến từ phương pháp Top DropBlock, nhằm tăng cường khả năng học các vùng ít thông tin trong ảnh để phân biệt các thuộc tính người đi bộ. Nghiên cứu sử dụng hai tập dữ liệu lớn và phổ biến là PA100K với 26 thuộc tính và PETA với 61 thuộc tính, được thu thập từ các camera giám sát ngoài trời và trong nhà. Phạm vi nghiên cứu tập trung vào việc huấn luyện và đánh giá mô hình trên các tập dữ liệu này, với thời gian thực hiện từ đầu năm đến giữa năm 2021.

Ý nghĩa của nghiên cứu được thể hiện rõ qua việc góp phần nâng cao hiệu quả nhận dạng người trong hệ thống camera, tiết kiệm thời gian và công sức cho công tác truy tìm đối tượng. Về mặt khoa học, nghiên cứu mở ra hướng ứng dụng các mô hình học sâu tiên tiến vào bài toán phân loại thuộc tính người đi bộ, đồng thời đề xuất một mô hình gọn nhẹ, dễ huấn luyện và có tiềm năng ứng dụng thực tiễn cao.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Nghiên cứu dựa trên nền tảng các lý thuyết và mô hình mạng nơ-ron học sâu, đặc biệt là mạng nơ-ron tích chập (CNN) và các kiến trúc pretrain như ResNet-50. Mạng nơ-ron đa tầng và mạng học sâu được sử dụng để trích xuất các đặc trưng tiềm ẩn từ hình ảnh, giúp mô hình nhận dạng các thuộc tính phức tạp của người đi bộ. Các hàm kích hoạt như ReLU và Leaky ReLU được áp dụng để khắc phục vấn đề triệt tiêu gradient, tăng tốc độ huấn luyện và cải thiện hiệu quả học.

Mô hình Top DropBlock được kế thừa từ bài toán tái định danh người đi bộ, với ba nhánh chính: nhánh global stream học các đặc trưng toàn cục từ backbone ResNet-50; nhánh Top DropBlock stream tập trung vào các vùng ít thông tin nhằm tăng khả năng phân biệt thuộc tính; nhánh regularization stream giúp giảm nhiễu do quá trình loại bỏ vùng thông tin cao gây ra. Các khái niệm chính bao gồm: mạng residual block, phép tích chập convolution, lớp bottleneck, và hàm mất mát Binary Weighted Cross Entropy (BWCE) để xử lý dữ liệu mất cân bằng.

Phương pháp nghiên cứu

Nguồn dữ liệu chính gồm hai tập dữ liệu lớn: PA100K với hơn 100.000 hình ảnh và 26 thuộc tính, PETA với khoảng 19.000 hình ảnh và 61 thuộc tính. Dữ liệu được tiền xử lý bao gồm chuẩn hóa kích thước ảnh, xử lý các ảnh có độ phân giải thấp và nhiều đối tượng trong cùng một ảnh. Phương pháp phân tích sử dụng mô hình Top-DB-Net với backbone ResNet-50, huấn luyện theo chiến lược epoch với batch gradient descent, giảm dần learning rate khi hiệu suất không cải thiện.

Các thử nghiệm được thiết kế nhằm đánh giá ảnh hưởng của tỷ lệ loại bỏ vùng thông tin cao trong nhánh Top DropBlock, tác động của từng nhánh trong mô hình (global stream, top dropblock stream, regularization stream), và so sánh hiệu quả với các mô hình hiện đại khác. Cỡ mẫu huấn luyện là 80.000 ảnh cho PA100K và khoảng 12.000 ảnh cho PETA, với các tập kiểm thử và kiểm tra tương ứng. Phương pháp đánh giá chính là độ chính xác trung bình (mean accuracy - mA) và các chỉ số liên quan đến phân loại nhiều nhãn.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

1. Hiệu quả của mô hình Top-DB-Net: Mô hình đạt độ chính xác trung bình (mA) trên tập PA100K là khoảng 80%, vượt trội hơn so với các mô hình baseline chỉ sử dụng nhánh global stream (khoảng 75%). Trên tập PETA, mA đạt khoảng 78%, cải thiện đáng kể so với các phương pháp truyền thống.

2. Ảnh hưởng của tỷ lệ loại bỏ vùng thông tin cao: Khi tỷ lệ loại bỏ vùng thông tin cao (top q%) được điều chỉnh trong khoảng 10-30%, mô hình đạt hiệu quả tối ưu. Tỷ lệ loại bỏ quá cao gây giảm hiệu suất do mất quá nhiều thông tin quan trọng, trong khi tỷ lệ quá thấp làm giảm khả năng học các vùng ít thông tin.

3. Tác động của từng nhánh trong mô hình: Việc kết hợp cả ba nhánh global stream, top dropblock stream và regularization stream mang lại hiệu quả phân loại tốt nhất, với mA tăng khoảng 3-5% so với chỉ sử dụng một hoặc hai nhánh. Nhánh regularization stream giúp giảm nhiễu và cải thiện độ ổn định của mô hình trong quá trình huấn luyện.

4. So sánh với các công trình liên quan: Mô hình đề xuất có hiệu quả cạnh tranh so với các mô hình attention-based, relation-based và part-based, đồng thời có ưu điểm về tính đơn giản, dễ huấn luyện và không yêu cầu chú thích bổ sung cho dữ liệu.

Thảo luận kết quả

Nguyên nhân chính của sự cải thiện hiệu quả là do mô hình Top DropBlock khai thác được các vùng ít thông tin nhưng mang tính phân biệt cao trong ảnh người đi bộ, điều mà các mô hình truyền thống thường bỏ qua. Việc kết hợp ba nhánh giúp cân bằng giữa học đặc trưng toàn cục và cục bộ, đồng thời giảm thiểu nhiễu do loại bỏ vùng thông tin cao.

So với các nghiên cứu trước đây, kết quả này phù hợp với xu hướng sử dụng attention và các kỹ thuật tăng cường học sâu để cải thiện độ chính xác phân loại thuộc tính. Tuy nhiên, mô hình vẫn còn hạn chế trong việc phân loại các thuộc tính có tần suất xuất hiện thấp, do mất cân bằng dữ liệu. Các biểu đồ heatmap minh họa sự tập trung của mô hình trên các vùng ảnh khác nhau cho thấy rõ sự khác biệt giữa nhánh global và top dropblock.

Việc áp dụng mô hình trên các tập dữ liệu thực tế với độ phân giải thấp và nhiều đối tượng phức tạp cũng chứng minh tính khả thi và tiềm năng ứng dụng trong các hệ thống camera giám sát hiện đại.

Đề xuất và khuyến nghị

1. Tăng cường cân bằng dữ liệu: Áp dụng các kỹ thuật tăng cường dữ liệu (data augmentation) hoặc sử dụng các hàm mất mát điều chỉnh trọng số sâu hơn để cải thiện khả năng nhận dạng các thuộc tính ít xuất hiện, nhằm nâng cao độ chính xác tổng thể.

2. Mở rộng mô hình với attention: Kết hợp các cơ chế attention để tự động xác định vùng ảnh quan trọng, giúp mô hình tập trung hiệu quả hơn vào các thuộc tính đặc trưng, đồng thời giảm thiểu ảnh hưởng của nhiễu.

3. Triển khai trên hệ thống thực tế: Phát triển phần mềm tích hợp mô hình Top-DB-Net vào hệ thống camera giám sát, với giao diện thân thiện cho người dùng, giúp giảm thời gian truy tìm đối tượng trong các tình huống an ninh.

4. Nâng cao khả năng xử lý đa camera: Mở rộng nghiên cứu để xử lý đồng thời dữ liệu từ nhiều camera với các góc nhìn khác nhau, tăng cường khả năng tái định danh và truy tìm đối tượng liên camera.

Các giải pháp trên nên được thực hiện trong vòng 12-18 tháng tới, với sự phối hợp giữa các nhóm nghiên cứu và đơn vị ứng dụng thực tế nhằm đảm bảo tính khả thi và hiệu quả.

Đối tượng nên tham khảo luận văn

1. Nhà nghiên cứu và sinh viên ngành Khoa học Máy tính, Trí tuệ nhân tạo: Luận văn cung cấp kiến thức sâu về mạng nơ-ron học sâu, phương pháp Top DropBlock và ứng dụng trong phân loại thuộc tính người đi bộ, hỗ trợ phát triển các đề tài nghiên cứu liên quan.

2. Chuyên gia phát triển hệ thống giám sát an ninh: Các kỹ thuật và mô hình đề xuất giúp cải thiện hiệu quả nhận dạng và truy tìm đối tượng trong hệ thống camera, giảm thiểu thời gian và chi phí vận hành.

3. Doanh nghiệp công nghệ và phần mềm: Có thể ứng dụng mô hình vào sản phẩm giám sát thông minh, nâng cao giá trị cạnh tranh và đáp ứng nhu cầu thị trường về an ninh và quản lý đô thị.

4. Cơ quan quản lý và an ninh công cộng: Hỗ trợ trong việc triển khai các giải pháp giám sát tự động, tăng cường khả năng phát hiện và truy vết đối tượng trong các tình huống khẩn cấp hoặc điều tra.

Câu hỏi thường gặp

1. Mô hình Top DropBlock khác gì so với các mô hình CNN truyền thống?
   Top DropBlock không chỉ học các vùng có nhiều thông tin mà còn tập trung vào các vùng ít thông tin trong ảnh, giúp tăng khả năng phân biệt các thuộc tính phức tạp. Điều này cải thiện hiệu quả so với CNN truyền thống chỉ tập trung vào vùng nổi bật.

2. Làm thế nào để xử lý dữ liệu mất cân bằng trong bài toán phân loại thuộc tính?
   Nghiên cứu sử dụng hàm mất mát Binary Weighted Cross Entropy (BWCE) với trọng số điều chỉnh dựa trên tần suất xuất hiện của từng thuộc tính, giúp cân bằng quá trình huấn luyện và tránh thiên lệch về các thuộc tính phổ biến.

3. Mô hình có thể áp dụng cho các hệ thống camera thực tế không?
   Có, mô hình được thiết kế gọn nhẹ, không yêu cầu chú thích bổ sung và dễ huấn luyện, phù hợp để triển khai trên các hệ thống camera giám sát thực tế với dữ liệu đa dạng và độ phân giải khác nhau.

4. Tại sao cần có nhánh regularization trong mô hình?
   Nhánh regularization giúp giảm nhiễu do quá trình loại bỏ vùng thông tin cao trong nhánh Top DropBlock, duy trì các thông tin liên quan đến thuộc tính và tăng độ ổn định của mô hình trong quá trình huấn luyện.

5. Mô hình có thể mở rộng để xử lý các thuộc tính mới không?
   Có thể, tuy nhiên khi số lượng thuộc tính tăng lên, cần điều chỉnh kiến trúc và hàm mất mát để đảm bảo cân bằng và hiệu quả học, đồng thời có thể kết hợp các kỹ thuật attention hoặc học biểu đồ quan hệ để khai thác mối liên hệ giữa các thuộc tính.

Kết luận

• Đã xây dựng thành công mô hình Top-DB-Net kế thừa và cải tiến từ phương pháp Top DropBlock, ứng dụng hiệu quả cho bài toán phân loại thuộc tính người đi bộ trên dãy camera quan sát.
• Mô hình đạt độ chính xác trung bình khoảng 80% trên tập PA100K và 78% trên tập PETA, vượt trội so với các phương pháp baseline và cạnh tranh với các công trình hiện đại.
• Phương pháp khai thác vùng ít thông tin trong ảnh giúp tăng khả năng phân biệt thuộc tính, đồng thời nhánh regularization giảm nhiễu, nâng cao độ ổn định mô hình.
• Nghiên cứu đề xuất các giải pháp cân bằng dữ liệu, kết hợp attention và mở rộng xử lý đa camera để phát triển tiếp theo.
• Khuyến nghị triển khai mô hình trong các hệ thống giám sát thực tế nhằm nâng cao hiệu quả truy tìm đối tượng và hỗ trợ công tác an ninh.

Để tiếp tục phát triển, các nhà nghiên cứu và chuyên gia công nghệ nên phối hợp triển khai thử nghiệm thực tế, đồng thời mở rộng nghiên cứu về các kỹ thuật học sâu mới nhằm nâng cao độ chính xác và khả năng ứng dụng của mô hình. Hãy bắt đầu áp dụng mô hình Top-DB-Net để tối ưu hóa hệ thống giám sát và truy tìm đối tượng ngay hôm nay!

Trích đoạn nội dung tài liệu

Chương 1 - Giới thiệu đề tài: nhằm giới thiệu tổng quan về bài toán phân loại thuộc tính người đi bộ và phương pháp giải quyết. • Chương 2 - Cơ sở lý thuyết: trình bày những lý thuyết liên quan được sử dụng trong bài nghiên cứu. • Chương 3 - Tổng quan tình hình nghiên cứu: bao gồm các công trình nghiên cứu liên quan đến bài nhập dạng thuộc tính người đi bộ, phân tích các ưu và nhược điểm để có thể khắc phục và tăng cường trong phương pháp đề xuất. • Chương 4 - Phương pháp nghiên cứu: trình bày cụ thể mô hình đề xuất và cách thức mô hình hoạt động.

• Chương 5 - Kết quả thực nghiệm: phân tích đặc điểm của các bộ dữ liệu được sử dụng trong bài toán, các phương pháp đánh giá, kết quả đánh giá của mô hình đề xuất và so sánh với công trình gần đây. • Chương 6 - Kết luận: nêu ra các kết luận đúc kết được trong quá trình nghiên cứu và hướng phát triển tiếp theo trong tương lai. 4 Chương 2 Cơ sở lý thuyết Chương này sẽ giải thích về khái niệm, kiến trúc mạng nơ-ron đa tầng và mạng nơ-ron tích chập - CNN, phân tích một số pretrain model thường dùng cho việc phân loại các thuộc tính của người nói riêng và trên ảnh nói chung.1 Mạng nơ-ron đa tầng và mạng học sâu 2.1 Mạng nơ-ron đa tầng Mạng nơ-ron đa tầng là mạng sử dụng nhiều perceptron được sắp xếp thành các tầng khác nhau. Các perceptron ở tầng sau đều nối tới tầng trước (fully- connected).

Các thành phần của một mạng nơ-ron đa tầng gồm: • Tầng dữ kiện (input layer): Là tầng đầu tiên của mạng, thể hiện các dữ kiện đầu vào. • Tầng kết quả (output layer): Là tầng nằm ở vị trí cuối cùng, thể hiện kết quả đầu ra của mạng. CƠ SỞ LÝ THUYẾT Hình 2.1: Cấu tạo của mạng nơ-ron đa tầng. Tuy nhiên các phép tính của mạng nơ-ron đa tầng đều là tuyến tính, chính vì vậy gây ra những vấn đề sau: • Khó khăn trong việc xây dựng những mô hình phi tuyến phức tạp.

• Khi đi qua nhiều lớp, những vấn đề về trọng số sẽ xảy ra ví dụ như đầu ra của một perceptron nào đó quá lớn hoặc quá âm sẽ ảnh hưởng rất nhiều đến độ chính xác của bài toán hoặc thậm chí là máy tính không thể biểu diễn được. • Vì đầu ra sẽ được so sánh về ngưỡng nào đó, do đó, vấn đề về xác định xác suất sẽ rất khó thực hiện vì chúng ta chỉ thể hiện được mức độ hay nói cách khác là những giá trị rời rạc.2 Mạng nơ-ron học sâu Mạng nơ-ron học sâu sinh ra để khắc phục những vấn đề của mạng nơ-ron gặp phải. Bằng cách áp dụng các hàm activation khác nhau thay cho threshold và cách làm tuyến tính như mạng nơ-ron đa tầng thì mạng học sâu đã ra đời. Chúng ta cũng dễ thấy rằng, không có sự khác biệt quá nhiều giữa mạng nơ-ron đa tầng và mạng học sâu, như hình 2.2, hay có thể nói mạng nơ-ron đa tầng là một tập hợp con của mạng học sâu khi chúng ta chỉ cần thay đổi activation của từng hidden layers và layer đầu ra để thể hiện về tính phi tuyến và xác suất.

Như hình trên, chúng ta có thể thấy rằng, đi qua mỗi layer của mạng học sâu chúng ta có thể thêm vào đó các hàm activation khác nhau, hoặc thậm chí không cần thêm. Còn trong mạng nơ-ron đa tầng thì chỉ đơn thuần là các phép tính toán ma trận tuyến tính. Các hàm kích hoạt thường được sử dụng trong mạng học sâu: 6 CHƯƠNG 2. CƠ SỞ LÝ THUYẾT Hình 2.2: Mạng MLP và mạng học sâu với một lớp ẩn Hàm sigmoid : 1 σ(x) = 1 + e−x Hàm sigmoid nhận vào một giá trị thực x và trả về một giá trị trong khoảng (0, 1).

Nếu x là một số thực âm rất nhỏ thì kết quả của hàm sigmoid sẽ tiệm cận 0, và ngược lại nếu x là một số dương rất lớn thì kết quả sẽ tiệm cận 1.3 bên dưới là đồ thị biểu diễn cho hàm sigmoid.3: Đồ thị của hàm sigmoid. Đối với hàm sigmoid, việc tính toán vô cùng thuận lợi do kết quả đạo hàm của sigmoid rất "đẹp". Tuy nhiên, điều này không thể che lấp những khuyết điểm nghiêm trọng của sigmoid: • Hàm sigmoid bão hòa và triệt tiêu gradient (vanishing gradient) Trên hình 2.3, đường màu xanh thể hiện cho giá trị của hàm sigmoid và đường màu cam thể hiện cho giá trị của đạo hàm. Có thể nhận ra được, với những giá trị x rất lớn hoặc rất nhỏ, kết quả đạo hàm của hàm sigmoid rất gần với 0.

Điều này gây ra sự triệt tiêu gradient và hạn chế khả năng học 7 CHƯƠNG 2. CƠ SỞ LÝ THUYẾT của mạng. Cụ thể, nếu mạng được khởi động bằng những trọng số quá lớn hoặc quá nhỏ, giá trị đầu vào của hàm sigmoid bị bão hòa, giá trị của đạo hàm sẽ là một giá trị gần 0 và gradient sẽ bị triệt tiêu. Nếu mạng được khởi động bằng những trọng số "đẹp"(không quá lớn, không quá nhỏ), giá trị của đạo hàm cũng sẽ là một giá trị trong khoảng (0, 0.

Khi đi qua một mạng nhiều tầng, đạo hàm của các trọng số sẽ nhỏ dần và gradient vẫn sẽ bị triệt tiêu. • Hàm sigmoid không có tính chất zero-centered Hình 2.4: Một tầng ẩn của mạng neural nhiều lớp dùng hàm sigmoid. Ở ví dụ của mạng neuron như hình 2.4, đạo hàm riêng phần của hàm mất mát theo hai trọng số w1 và w2 sẽ được tính như sau: ∂L ∂z ∂L 0 ∇w1 = × = × a1 ∂z ∂w1 ∂z ∂L ∂z ∂L 0 ∇w2 = × = × a2 ∂z ∂w2 ∂z 0 0 Vì a1 và a1 là kết quả của một hàm sigmoid trước đó, do đó luôn nhận giá trị dương và dấu của các gradient sẽ phụ thuộc vào ∂L ∂z. Điều này có nghĩa là các gradient sẽ luôn cùng dương hoặc luôn cùng âm.

Việc cập nhật trọng số sẽ chỉ xảy ra về một phía, hạn chế sự linh hoạt của mạng và gây khó khăn cho việc hội tụ. Hàm tanh : ex − e−x tanh(x) = ex + e−x Hàm tanh nhận vào một số thực và trả về một giá trị trong khoảng (-1,1).5, đường màu xanh thể hiện giá trị của hàm tanh và đường màu 8 CHƯƠNG 2. CƠ SỞ LÝ THUYẾT đỏ thể hiện cho giá trị đạo hàm. Dễ dàng nhận thấy rằng hàm tanh cũng gặp phải vấn đề triệt tiêu gradient như hàm sigmoid.

Tuy nhiên, so với sigmoid, hàm tanh có tính chất zero-centered.5: Đồ thị của hàm tanh. Hàm ReLu : f (x) = max(0, x) ReLU gần đây được sử dụng rộng rãi vì tính đơn giản của nó. Quan sát công thức, dễ dàng nhận ra cách hoạt động của hàm ReLU là lọc ra các giá trị đầu vào nhỏ hơn 0. Đạo hàm của ReLU sẽ như sau:  1  if x > 0 f 0 (x) = (2.1) 0  else Như vậy, so với sigmoid và tanh, hàm ReLU sẽ không xuất hiện vấn đề triệt tiêu gradient.

Tốc độ tính toán của hàm ReLU cũng sẽ nhanh hơn so với hai hàm trước đó, vì vậy sẽ tăng tốc độ huấn luyện các mạng nơ-ron đa tầng. Tuy nhiên ReLU cũng tồn đọng một nhược điểm, với x có giá trị nhỏ hơn 0, qua hàm ReLU sẽ thu được kết quả bằng 0. Nếu giá trị của node bị chuyển thành 0 thì sẽ không có ý nghĩa ở lớp tiếp theo và các hệ số tương ứng từ node đấy cũng không được cập nhật với gradient. Hiện tượng này gọi là Dying ReLU.

Khi xây dựng một mạng nơ-ron đa tầng, hàm kích hoạt ReLU nên được sử dụng đầu tiên vì nó nhanh cho kết quả và thường có hiệu quả trong nhiều trường hợp. Hầu hết các mạng nơ-ron học sâu hiện nay đều có hàm kích hoạt ReLU trong các tầng 9 CHƯƠNG 2. CƠ SỞ LÝ THUYẾT ẩn, trừ hàm kích hoạt ở tầng đầu ra vì nó phụ thuộc vào từng bài toán. Hàm leaky ReLU : f (x) = max(0.01x, x) Leaky ReLU là một cố gắng trong việc loại bỏ Dying ReLU.

Thay vì luôn trả về giá trị bằng 0 cho các giá trị âm, leaky ReLU tạo một đường xiên có độ dốc nhỏ. Leaky ReLU cũng có một biến thể khác là PReLU: f (x) = max(αx, x) với α sẽ được chọn trong quá trình học. Các lớp thường sử dụng trong mạng học sâu: Lớp Convolution : Lớp này sẽ được trình bày chi tiết ở phần 2.2 Lớp Fully Connected : Là tầng kết nối đầy đủ, đây là lớp thường được sử dụng ở lớp gần cuối của mạng, sau khi rút trích được tất cả các đặc trưng ẩn để tối ưu hóa mục tiêu của mạng, ví dụ như độ chính xác của lớp. Lớp này sẽ được kết nối tất cả các đầu vào với mỗi nút của lớp tiếp theo.

Lớp này thường có trọng số học rất lớn, và có thời gian tính toán lâu thứ hai sau lớp convolution. Cũng chính vì lý do này, nên những lớp này thường chỉ được sử dụng ở những lớp cuối của mạng trước khi đi qua hàm sigmoid hoặc softmax. Lớp Dropout : Khi huấn luyện một mạng nơ-ron chúng ta thường gặp phải tình trang quá khớp (overfit ) - là hiện tượng mô hình chỉ hoạt động tốt trong tập dữ liệu huấn luyện, khi sử dụng tập dữ liệu kiểm thử hoặc kiểm tra thì kết quả thu được rất tệ. Trong học máy người ta thường sử dụng regularization để ngăn chặn overfit bằng cách thêm các yếu tố phạt vào hàm lỗi, còn trong mạng nơ-ron có một phương pháp mới để ngăn chặn overfit là sử dụng lớp dropout.

Ý tưởng của lớp này rất đơn giản, chúng ta sẽ loại bỏ vài nút của mạng để chúng không đóng góp vào quá trình huấn luyện như hình 2. Việc loại bỏ này thường được thực hiện bằng cách cài đặt một hệ số xác suất đề loại bỏ các nút, nếu nút nào bị loại bỏ sẽ được cập nhật các trọng số của nút đó về không.6: Mạng nơ-ron trước khi dropout Hình 2.7: Mạng nơ-ron sau khi dropout 10 CHƯƠNG 2. CƠ SỞ LÝ THUYẾT Lớp BatchNorm : Là một lớp rất hiệu quả trong quá trình huấn luyện một mô hình mạng nơ-ron. Mục tiêu của lớp này là muốn chuẩn hóa các đặc trưng - đầu ra của mỗi lớp sau khi đi qua hàm kích hoạt, về trạng thái zero-mean hay nói cách khác là hạn chế trạng thái non-zero-mean, với độ lệch chuẩn là 1.

Trạng thái non-zero-mean là hiện tượng dữ liệu không phân bố quanh giá trị không, mà dữ liệu có phần nhiều giá trị lớn hơn không, hoặc nhỏ hơn không. Kết hợp với vấn đề variance khiến dữ liệu trở nên có nhiều thành phần rất lớn hoặc rất nhỏ.