Nghiên cứu phát triển nhận diện xe ô tô người đi bộ - ĐHSPKT TP.HCM

Nghiên cứu ứng dụng thuật toán YOLOv4-tiny và mạng CNN để phát triển chương trình nhận diện xe ô tô, người đi bộ với độ chính xác cao cho hệ thống giao thông thông minh.

• Tác giả: Nguyễn Quang Trọng
• Người hướng dẫn: TS. Trần Vũ Hoàng
• Trường học: Trường Đại học Sư phạm Kỹ thuật Thành phố Hồ Chí Minh
• Chuyên ngành: Công nghệ kỹ thuật điều khiển và tự động hóa
• Đề tài: Nhận diện xe ô tô và người đi bộ bằng YOLOv4-tiny
• Loại tài liệu: Báo cáo tổng kết đề tài nghiên cứu
• Năm xuất bản: 2021
• Địa điểm: Thành phố Hồ Chí Minh

Tóm tắt

I. Cách nhận diện xe ô tô và người đi bộ bằng YOLOv4 tiny hiệu quả

Nhận diện xe ô tô và người đi bộ là một trong những bài toán then chốt trong hệ thống hỗ trợ lái xe thông minh và giám sát giao thông. Mô hình YOLOv4-tiny, phiên bản thu gọn của YOLOv4, được thiết kế để chạy trên các thiết bị nhúng có tài nguyên hạn chế nhưng vẫn đảm bảo tốc độ xử lý thời gian thực. Theo báo cáo nghiên cứu của Trường Đại học Sư phạm Kỹ thuật TP.HCM (2021), mô hình này đạt độ chính xác trung bình (mAP) 87,66% cho xe ô tô và 57,32% cho người đi bộ trên tập kiểm định gồm 481 ảnh. Điều này chứng tỏ tiềm năng ứng dụng cao trong các hệ thống cảnh báo va chạm hoặc camera giám sát đô thị. YOLOv4-tiny sử dụng kiến trúc mạng CNN tối ưu hóa, kết hợp các lớp tích chập, pooling và batch normalization để giảm độ phức tạp tính toán mà không làm mất nhiều thông tin đặc trưng. Việc lựa chọn mô hình này xuất phát từ nhu cầu cân bằng giữa tốc độ suy luận (inference speed) và độ chính xác nhận diện, đặc biệt khi triển khai trên nền tảng phần cứng hạn chế như Raspberry Pi hay Jetson Nano.

1.1. Tổng quan về bài toán nhận diện đối tượng trong giao thông

Bài toán nhận diện xe ô tô và người đi bộ thuộc lĩnh vực thị giác máy tính, nhằm phát hiện vị trí và phân loại hai đối tượng chủ chốt trong môi trường đô thị. Đây là nền tảng cho các hệ thống ADAS (Advanced Driver Assistance Systems) và IoT giao thông thông minh. Khác với các mô hình nặng như Faster R-CNN, YOLOv4-tiny hướng đến giải pháp nhẹ – nhanh – đủ chính xác.

1.2. Lý do chọn YOLOv4 tiny thay vì các biến thể khác

YOLOv4-tiny được chọn nhờ kiến trúc nhỏ gọn chỉ với 29 lớp, phù hợp triển khai trên thiết bị nhúng. So với YOLOv3-tiny, nó cải tiến nhờ CSPDarknet53-tiny backbone và PANet neck, giúp tăng khả năng trích xuất đặc trưng đa tỷ lệ. Trong nghiên cứu của Nguyễn Quang Trọng (2021), mô hình này cho tốc độ xử lý ~45 FPS trên GPU GTX 1060, vượt trội so với các phương pháp truyền thống.

II. Thách thức khi nhận diện người đi bộ và xe ô tô trong điều kiện thực tế

Mặc dù YOLOv4-tiny mang lại hiệu suất tốt, việc nhận diện xe ô tô và người đi bộ trong môi trường thực tế gặp nhiều thách thức. Ánh sáng yếu vào ban đêm, che khuất bởi vật cản, hoặc tư thế đa dạng của người đi bộ đều làm giảm độ chính xác. Đặc biệt, người đi bộ thường chiếm diện tích nhỏ trong khung hình, dễ bị bỏ sót nếu ngưỡng confidence không được điều chỉnh hợp lý. Báo cáo từ đề tài SV2021-122 cho thấy độ chính xác cho người đi bộ chỉ đạt 57,32%, thấp hơn đáng kể so với xe ô tô (87,66%). Nguyên nhân chính là do dữ liệu huấn luyện thiếu đa dạng về góc chụp, điều kiện ánh sáng và bối cảnh đô thị phức tạp. Ngoài ra, hiện tượng false positive (phát hiện sai) cũng xảy ra khi mô hình nhầm lẫn giữa người đi bộ và vật thể tĩnh như cột đèn hoặc biển quảng cáo. Để khắc phục, cần mở rộng bộ dữ liệu với hình ảnh ban đêm, mưa, sương mù và áp dụng kỹ thuật data augmentation như cắt, xoay, thay đổi độ sáng.

2.1. Vấn đề về chất lượng và độ đa dạng của dữ liệu huấn luyện

Dữ liệu huấn luyện quyết định trực tiếp hiệu suất mô hình. Nếu tập dữ liệu chỉ gồm hình ảnh ban ngày, rõ nét, mô hình sẽ kém tổng quát hóa khi gặp điều kiện thực tế. Đề tài nghiên cứu đã sử dụng kết hợp từ COCO và tự thu thập, nhưng vẫn thiếu dữ liệu ban đêm – yếu tố then chốt để nâng cao độ tin cậy.

2.2. Khó khăn trong việc phát hiện người đi bộ kích thước nhỏ

Người đi bộ ở xa thường chỉ chiếm vài pixel, khiến mô hình khó trích xuất đặc trưng. YOLOv4-tiny, dù có cơ chế feature pyramid, vẫn hạn chế trong việc phát hiện đối tượng nhỏ do số lớp downsampling lớn. Giải pháp tiềm năng là tích hợp SPP (Spatial Pyramid Pooling) hoặc dùng anchor box được điều chỉnh theo phân bố kích thước thực tế.

III. Phương pháp huấn luyện mô hình YOLOv4 tiny cho nhận diện đối tượng giao thông

Quá trình huấn luyện YOLOv4-tiny để nhận diện xe ô tô và người đi bộ bao gồm các bước: chuẩn bị dữ liệu, cấu hình siêu tham số, và đánh giá hiệu suất. Dữ liệu được gán nhãn theo định dạng YOLO (text file chứa tọa độ normalized bounding box và class ID). Mô hình sử dụng hàm mất mát tổng hợp gồm localization loss, confidence loss, và classification loss. Trong nghiên cứu tại Trường ĐH SPKT TP.HCM, nhóm tác giả sử dụng learning rate khởi tạo 0,001, batch size 16, và huấn luyện trong 6.000 epochs. Kết quả cho thấy hàm mất mát giảm ổn định, độ chính xác tăng dần qua từng epoch. Đặc biệt, batch normalization và Leaky ReLU giúp mô hình hội tụ nhanh và tránh overfitting. Việc fine-tune từ trọng số pre-trained trên COCO dataset cũng đóng vai trò then chốt, giúp tận dụng tri thức đã học về đặc trưng hình ảnh tự nhiên.

3.1. Cấu hình siêu tham số và môi trường huấn luyện

Môi trường huấn luyện sử dụng Python 3.8, thư viện Darknet, CUDA 10.2 và OpenCV. Các siêu tham số như learning rate, momentum, và weight decay được điều chỉnh dựa trên thử nghiệm thực nghiệm. Nhóm nghiên cứu ghi nhận rằng learning rate quá cao gây dao động loss, trong khi quá thấp làm chậm hội tụ.

3.2. Kỹ thuật tăng cường dữ liệu Data Augmentation

Data augmentation như flip ngang, thay đổi độ tương phản, và thêm nhiễu Gaussian được áp dụng để tăng tính đa dạng. Kỹ thuật này giúp mô hình kháng nhiễu tốt hơn và cải thiện khả năng tổng quát, đặc biệt với lớp người đi bộ vốn dễ bị ảnh hưởng bởi biến đổi ngoại cảnh.

IV. Đánh giá hiệu suất mô hình YOLOv4 tiny trên tập dữ liệu thực tế

Hiệu suất YOLOv4-tiny được đánh giá qua các chỉ số: Precision, Recall, F1-score, và mAP (mean Average Precision). Trên tập kiểm định, mô hình đạt mAP@0.5 là 87,66% cho xe ô tô và 57,32% cho người đi bộ. Precision cho xe ô tô đạt ~90%, cho thấy ít false positive, trong khi Recall cho người đi bộ chỉ ~50%, phản ánh tình trạng bỏ sót đối tượng. Khi kiểm thử trên video thực tế (không nằm trong tập huấn luyện), mô hình vẫn duy trì khả năng phát hiện ổn định trong điều kiện ánh sáng tốt, nhưng hiệu suất giảm rõ rệt khi trời tối hoặc mưa. Điều này khẳng định nhu cầu mở rộng dữ liệu huấn luyện. Ngoài ra, tốc độ xử lý đạt ~35–45 FPS trên GPU trung bình, đủ đáp ứng yêu cầu thời gian thực cho các ứng dụng giám sát giao thông hoặc hỗ trợ lái xe.

4.1. Phân tích chỉ số mAP và F1 score theo từng lớp đối tượng

mAP là tiêu chí vàng trong đánh giá mô hình phát hiện đối tượng. Sự chênh lệch lớn giữa mAP của xe ô tô và người đi bộ cho thấy mô hình thiên lệch về lớp có nhiều mẫu huấn luyện hơn. Cải thiện cân bằng dữ liệu (class balancing) là hướng đi cần thiết để nâng cao hiệu suất tổng thể.

4.2. Kiểm thử trên video ngoài tập dữ liệu gốc

Video kiểm thử bao gồm cảnh giao lộ đông đúc và đường vắng ban đêm. Mô hình hoạt động tốt ban ngày nhưng bỏ sót 30–40% người đi bộ vào ban đêm. Kết quả này nhấn mạnh tầm quan trọng của việc thu thập dữ liệu trong điều kiện ánh sáng yếu để huấn luyện lại mô hình.

V. Ứng dụng thực tiễn của mô hình nhận diện xe và người đi bộ

Mô hình YOLOv4-tiny có tiềm năng ứng dụng rộng rãi trong hệ thống hỗ trợ lái xe (ADAS), camera giám sát giao thông thông minh, và xe tự hành cấp thấp. Với tốc độ xử lý cao và yêu cầu phần cứng vừa phải, nó phù hợp để triển khai trên bo mạch nhúng như NVIDIA Jetson hoặc Raspberry Pi kèm AI accelerator. Trong bối cảnh đô thị hóa nhanh, việc phát hiện sớm người đi bộ băng qua đường giúp giảm thiểu tai nạn giao thông. Tuy nhiên, như báo cáo từ đề tài SV2021-122, khả năng áp dụng thực tế còn hạn chế do chỉ nhận diện được hai lớp đối tượng. Hướng mở rộng bao gồm tích hợp phát hiện biển báo giao thông, đèn tín hiệu, và làn đường để tạo hệ thống toàn diện hơn. Ngoài ra, có thể phát triển phần cứng chuyên dụng gắn trên ô tô hoặc xe máy để cảnh báo người lái theo thời gian thực.

5.1. Tích hợp vào hệ thống ADAS cho xe cá nhân

Mô hình có thể chạy song song với cảm biến radar/LiDAR để xác thực chéo đối tượng, tăng độ tin cậy. Cảnh báo âm thanh hoặc hình ảnh sẽ được kích hoạt khi phát hiện người đi bộ ở khoảng cách nguy hiểm, đặc biệt trong điều kiện tầm nhìn hạn chế.

5.2. Triển khai trên camera giám sát đô thị

Các camera giao thông thông minh có thể dùng mô hình này để đếm lưu lượng xe, phát hiện vi phạm (ví dụ: người đi bộ sang đường sai nơi quy định), hoặc cảnh báo ùn tắc. Việc xử lý tại edge (edge computing) giúp giảm băng thông và tăng tính riêng tư.

VI. Hướng phát triển tương lai cho mô hình nhận diện đối tượng giao thông

Tương lai của nhận diện xe ô tô và người đi bộ bằng YOLOv4-tiny nằm ở việc mở rộng khả năng nhận thức và thích nghi. Trước mắt, cần xây dựng bộ dữ liệu lớn hơn, bao gồm hình ảnh ban đêm, điều kiện thời tiết xấu, và đa dạng bối cảnh (nông thôn, đô thị, cao tốc). Thứ hai, nên thử nghiệm các kiến trúc mới hơn như YOLOv8-nano hoặc YOLO-NAS, vốn được tối ưu cho edge device. Thứ ba, tích hợp multi-task learning để đồng thời phát hiện đối tượng, ước lượng độ sâu (depth estimation), và phân đoạn làn đường. Cuối cùng, phát triển phần cứng chuyên dụng với chip AI (như Google Coral TPU) sẽ giúp triển khai thương mại hóa. Như đề xuất trong báo cáo SV2021-122, việc kết hợp phần mềm với cảm biến và cơ cấu cảnh báo vật lý sẽ tạo ra giải pháp hoàn chỉnh cho an toàn giao thông.

6.1. Nâng cấp dữ liệu huấn luyện với điều kiện ánh sáng yếu

Thu thập dữ liệu bằng camera hồng ngoại hoặc low-light camera là bước then chốt. Dữ liệu ban đêm cần được gán nhãn cẩn thận để huấn luyện mô hình kháng nhiễu và nhiễu hạt (noise), từ đó cải thiện Recall cho người đi bộ trong bóng tối.

6.2. Mở rộng mô hình để nhận diện thêm đối tượng giao thông

Việc thêm lớp biển báo, đèn giao thông, và xe đạp sẽ biến mô hình thành hệ thống nhận thức giao thông đa năng. Điều này đòi hỏi điều chỉnh kiến trúc mạng và tái huấn luyện, nhưng mang lại giá trị ứng dụng cao hơn nhiều lần so với phiên bản gốc.

Trích đoạn nội dung tài liệu

Đặt vấn đề Trong vài năm trở lại đây, Artificial Intelligence (trí tuệ nhân tạo) hay cụ thể là Machine Learning ( Máy học) đang phát triển. Ứng dụng của AI rất đa dạng và ảnh hưởng tích cực đến đời sống như: Ô tô tự lái, hệ thống dịch tự động, chatbot tự động trả lời,… Hiện nay, có rất nhiều nghiên cứu về bài toán nhận diện đối tượng, các hệ thống từ đơn giản đến phức tạp, sử dụng nhiều thuật toán khác nhau. Do đó, dễ dàng trong việc thực hiện và đánh giá các thuật toán. Tình hình nghiên cứu trong và ngoài nước Trong lĩnh vực thị giác máy tính hiện nay có rất nhiều nhiệm vụ,ví dụ như : • Image classification (phân loại hình ảnh) : Dự đoán nhãn của một đối tượng trong một hình ảnh.Trong đó input là một ảnh với chỉ một đối tượng và output là nhãn lớp • Object localization (định vị đối tượng) : Xác định vị trí hiện diện của các đối tượng trong ảnh và cho biết vị trí của chúng bằng bounding box.

Trong đó input là một hình ảnh có một hoặc nhiều đối tượng và output là một hay nhiều bounding box được xác định bởi tọa độ tâm, chiều rộng và chiều cao • Object detection (phát hiện đối tượng) : Xác định vị trí hiện diện của các đối tượng trong bounding box và nhãn của các đối tượng nằm trong một hình ảnh. Trong đó input là hình ảnh có một hoặc nhiều đối tượng và output là một hoặc nhiều bounding box và nhãn cho mỗi bounding box Ngoài ra còn nhiều nhiệm vụ khác cũng rất quan trọng trong thị giác máy tính là phân đoạn đối tượng (object segmentation), trong đó các đối tượng được nhận dạng bằng cách làm nổi bật các pixel cụ thể của đối tượng thay vì bounding box Hình 1.Sơ đồ tổng hợp các tác vụ trong thị giác máy tính Đối với bài toán phát hiện đối tượng, tức là nhận diện được đối tượng này nằm ở đâu trên bức ảnh và phân loại đối tượng vào đúng nhãn. Lý do lựa chọn mô hình thuật toán Ứng dụng công nghệ mạng noron trong trí tuệ nhân tạo để nhận dạng và phân loại đối tương. Có 3 phương pháp dò đối tượng chính mà ta thường gặp được hỗ trợ trong thị giác máy tính là : • R-CNN và các biến thể của chúng, bao gồm R-CNN, Fast R-CNN và Faster- RCNN • Phát hiện bắn một lần (SSD) • YOLO R-CNN là một trong những detectors tìm đối tượng dựa trên học tập sâu đầu tiên và là một ví dụ về detectors hai giai đoạn 2 R-CNN đầu tiên, phân cấp tính năng phong phú để phát hiện đối tượng chính xác và phân đoạn ngữ nghĩa, (2013) Girshick et al.

đề xuất một trình phát hiện đối tượng yêu cầu một thuật toán như Tìm kiếm chọn lọc (hoặc tương đương) để đề xuất các hộp giới hạn ứng viên có thể chứa các đối tượng. Các vùng này sau đó được chuyển vào CNN để phân loại, cuối cùng dẫn đến một trong những detectors tìm đối tượng dựa trên học tập sâu đầu tiên. Vấn đề với phương pháp R-CNN tiêu chuẩn là nó rất chậm và không phải là máy phát hiện đối tượng đầu cuối hoàn chỉnh. Girshick et al.

xuất bản một bài báo thứ hai vào năm 2015, có tựa đề Fast R- CNN. Thuật toán R-CNN nhanh đã tạo ra những cải tiến đáng kể cho R-CNN ban đầu, cụ thể là tăng độ chính xác và giảm thời gian cần thiết để thực hiện chuyển tiếp; tuy nhiên, mô hình vẫn dựa vào thuật toán đề xuất khu vực bên ngoài.Mãi cho đến khi bài báo tiếp theo năm 2015 của Girshick và cộng sự, Faster R-CNN: Hướng tới phát hiện đối tượng theo thời gian thực với Mạng đề xuất khu vực, R-CNN đã trở thành một trình phát hiện đối tượng học sâu thực sự từ đầu đến cuối loại bỏ yêu cầu Tìm kiếm có chọn lọc và thay vào đó dựa vào Mạng đề xuất khu vực (RPN) là (1) tích chập hoàn toàn và (2) có thể dự đoán các hộp giới hạn đối tượng và điểm số của đối tượng xác định (nghĩa là điểm số định lượng khả năng đó là khu vực của một hình ảnh có thể chứa một hình ảnh). Đầu ra của RPN sau đó được chuyển vào thành phần R-CNN để phân loại và ghi nhãn cuối cùng. Mặc dù R-CNN có xu hướng rất chính xác, vấn đề lớn nhất với gia đình mạng R-CNN là tốc độ của chúng - chúng rất chậm, chỉ đạt 5 FPS trên GPU.

Để giúp tăng tốc độ của các máy dò tìm đối tượng dựa trên học tập sâu, cả detectors một lần bắn (SSD) và YOLO đều sử dụng chiến lược phát hiện một giai đoạn. YOLO vừa đảm bảo về tốc độ xử lý vừa đảm bảo về độ chính xác vừa đủ để xử dụng với các ứng dụng thực tế. So sánh tốc độ và độ chính xác của một số mô hình phát hiện đối tượng Trong đề tài này, chúng tôi sử dụng phiên bản rút gọn của thuật toán YOLOv4 là YOLOv4- tiny để nhận diện phương tiện xe ô tô và người đi bộ vì lý do YOLOv4-tiny là một bản rút gọn được thừa hưởng độ chính xác khá cao của thuật toán YOLOv4 nổi tiếng và có thể đáp ứng khi triển khai trên các phần cứng nhúng vì đề tài này hướng đến ứng dụng hỗ trợ người lại trên xe ô tô. Tóm tắt quá trình thực hiện đề tài Việc hiện đề tài được chia thành nhiều giai đoạn, mỗi giai đoạn thực hiện một công việc như đã trình bày ở phần mục lục.

Chi tiết cho từng giai đoạn như sau: • Tìm hiểu về Deep Learning và các ứng dụng. • Nghiên cứu xây dựng một mô hình CNN, YOLO. • Tham khảo cách sử dụng các thư viện và môi trường ảo. Lựa chọn thư viện phù hợp.

• Thu thập và tiền xử lý dữ liệu. Phân chia dataset thành tập training, tập validation và tập test • Xây dựng mô hình phân loại và mô hình nhận diện xe 4 CHƯƠNG 2: CƠ SỞ LÝ THUYẾT MẠNG CNN VÀ THUẬT TOÁN YOLO Chương này đưa ra lý thuyết về Deep Learning, mạng Neural Network và thuật toán YOLO. Để thực hiện việc phân loại và phát hiện xe hay người đi bộ, việc vận dụng những kỹ thuật trên đã chứng minh được sự hiệu quả của mình.1 giới thiệu nhanh về kỹ thuật Deep Learning.2 trình bày về mạng Neural Network từ đó đưa ra cơ sở để trình bày về thuật toán Convolutional Neural Network ở phần 2.4 trình bày về thuật toán YOLO, là một mô hình CNN để phát hiện vật thể một cách nhanh chóng và hiệu quả. Deep Learning Deep Learning(Học sâu) là một nhánh nhỏ của Machine Learning(Máy học), bắt nguồn từ thuật toán Neural Network.

Tuy nhiên, gần đây Deep Learning mang lại nhiều thành tựu kĩ thuật nhờ vào sự phát triển của Big Data(Dữ liệu lớn), với tập dữ liệu càng lớn giúp phát triển các mạng Neural Network sâu hơn với khả năng dự đoán chính xác cao hơn (Hình 1. Bắt nguồn từ các loại hình kinh doanh internet truyền thống như tìm kiếm web và quảng cáo. Deep Learning ngày nay đã tạo ra nhiều lợi ích hơn trong cuộc sống hằng ngày. Ví dụ như trong lĩnh vực y tế, việc phân tích các hình ảnh X-quang được ứng dụng vào Deep Learning để nghiên cứu và dự đoán các khả năng mang bệnh của người khám.

Và đặc biệt Deep Learning còn được ứng dụng trong các xe tự hành để dự đoán các tình huống giao thông. Giới thiệu về deep learning Hình 2. Quan hệ giữa dữ liệu và khả năng dự đoán của thuật toán. Nguồn: Coursera Các ứng dụng khác nhau chúng ta có thể áp dụng các Neuron Network khác nhau: Các ứng dụng Neural Network có thể áp dụng Đoán giá nhà Standard Neural Network Quảng cáo online 6 Xe tự hành Custom, Hybrid Neural Network Nhận diện giọng nói Recurrent Neural Network Máy dịch Nhận diện vật thể Convolutional Neural Network 2.

Neural Network Neural Network là một mạng lưới gồm nhiều lớp được lấy cảm hứng từ neuron người. Ở đó, lớp đầu tiên để đưa các đặc tính của vật cần dự đoán vào được gọi là Input Layer. Và layer cuối cùng mang kết quả dự đoán gọi Output Layer. Một mạng neuron có thể có hoặc không có các lớp ở giữa Input Layer và Output Layer gọi là Hidden Layer, các Hidden Layer này giúp cho tỉ lệ dự đoán chính xác cao hơn tuy nhiên việc huấn luyện cũng tốn nhiều thời gian và dung lượng hơn.

Mỗi Layer là tập hợp nhiều node, các node của lớp sau kết nối với toàn bộ các node của lớp trước. Mỗi node trong hidden layer và output layer thực hiện các công việc sau: Liên kết với tất cả các node ở layer trước đó với các hệ số w riêng. Mỗi node có 1 hệ số bias b riêng. Từ đó w,b biểu thị mối quan hệ giữa node trước và node sau.

Mối quan hệ giữa ngõ vào và ngõ ra của một node. Node phía trên có đầu vào là X1,X2, trọng số w1,w2. Ngõ ra y là kết quả của một hàm phi tuyến và một hàm tuyến tính. Hàm phi tuyến g còn được gọi là hàm kích hoạt (activation) giúp tăng khả năng học của mạng neural.

7 Các hàm kích hoạt thường được sử dụng là: Sigmoid: Giá trị ngõ ra được chuyển về trong khoảng [0,1] bằng công thức: 1  ( x) = 1 + e− x Hàm sigmoid cho ngõ ra có giá trị bằng 1 khi ngõ vào lớn và ngõ ra bằng 0 khi ngõ vào bằng 1. Ở thời gian đầu hàm sigmoid rất được ưa chuộng sử dụng, tuy nhiên sau này vì hàm luôn dương nên khi lấy gradient, hàm sẽ khó hội tụ. Mặt khác hàm sigmoid dễ bị bão hòa và không có gradient khi đầu vào rất nhỏ hoặc rất. Vì vậy, sau này hàm sigmoid chỉ được sử dụng ở những lớp tích chập cuối khi cần tính binary cross-entropy loss.

Tanh: Giá trị ngõ ra được chuyển về trong khoảng [-1,1] khiến nó có tính chất tâm không (zero-centered), theo công thức: 𝑒 𝑧 −𝑒 −𝑧 𝑔 (𝑧 ) = 𝑧. 𝑒 +𝑒 −𝑧 Khi đó, ngõ ra bằng 1 khi ngõ vào lớn và ngõ ra bằng -1 khi ngõ vào nhỏ. Hàm Tanh với tính chất tâm không giúp các dữ liệu được phân bố quanh điểm 0, tanh khi lấy đạo hàm có cả phần dương và phần âm giúp việc hội tụ trở nên tốt hơn. Tuy nhiên hàm tanh không giải quyết được vấn đề bão hòa khi giá trị ngõ vào quá lớn hoặc quá nhỏ của sigmoid.

Đồ thị hàm sigmoid (a) và hàm tanh (b) ReLU và leaky ReLU: Lấy ngưỡng giá trị ở 0 (Thay thế các giá trị âm bằng 0) : g(x)= max(0,x). Hàm ReLU loại bỏ các giá trị âm, việc hội tụ cũng diễn ra nhanh hơn khi không 8 còn bị bão hòa ở hai đầu như hàm Sigmoid và hàm Tanh.