Luận văn thạc sĩ về nhận dạng phương tiện giao thông sử dụng kỹ thuật học sâu

Tổng hợp kiến thức Nhận dạng phương tiện giao thông bằng kỹ thuật học sâu, tiếp cận khoa học, hỗ trợ học tập và nghiên cứu hiệu quả trong công nghệ

• Tác giả: Bùi Trần Tiến
• Người hướng dẫn: TS. Nguyễn Ngọc Điệp
• Trường học: Học viện Công nghệ Bưu chính Viễn thông
• Chuyên ngành: Khoa học máy tính
• Đề tài: Nhận dạng phương tiện giao thông bằng kỹ thuật học sâu
• Loại tài liệu: luận văn thạc sĩ kỹ thuật
• Năm xuất bản: 2019
• Địa điểm: Hà Nội

Mục lục chi tiết

• LỜI CAM ĐOAN
• 1. CHƯƠNG 1: KỸ THUẬT HỌC SÂU VÀ BÀI TOÁN PHÁT HIỆN PHƯƠNG TIỆN GIAO THÔNG
• 1.1. Giới thiệu về học sâu
• 1.2. Mạng nơ-ron tích chập – Convolutional neural network (CNN)
• 1.3. Các kỹ thuật liên quan đến xử lý ảnh và nhận diện đối tượng
• 1.3.1. Tổng quan về xử lý ảnh
• 1.3.2. Các vấn đề cơ bản trong xử lý ảnh
• 1.3.3. Nhận diện và phân loại ảnh
• 1.4. Các kỹ thuật hiện tại và hạn chế
• 1.4.1. R-CNN, Fast R-CNN
• 1.5. Kết luận chương
• 2. CHƯƠNG 2: PHÁT HIỆN PHƯƠNG TIỆN GIAO THÔNG SỬ DỤNG KỸ THUẬT HỌC SÂU YOLO
• 2.1. Bài toán phát hiện phương tiện giao thông
• 2.1.1. Tổng quan bài toán
• 2.1.2. Các điều kiện ràng buộc
• 2.2. Hệ thống phát hiện đối tượng thời gian thực YOLO
• 2.2.1. Tổng quan hệ thống phát hiện đối tượng YOLO
• 2.2.2. Các thành phần của hệ thống YOLO
• 2.2.3. Kiến trúc của mô hình YOLO qua các phiên bản
• 2.2.4. Phương pháp huấn luyện
• 2.3. Kết luận chương
• 3. CHƯƠNG 3: THỬ NGHIỆM VÀ ĐÁNH GIÁ
• 3.1. Thu thập và tiền xử lý dữ liệu
• 3.2. Cài đặt và thử nghiệm
• 3.2.1. Môi trường thử nghiệm
• 3.2.2. Huấn luyện dữ liệu
• 3.2.3. Phương pháp đánh giá
• 3.3. Đề xuất phương pháp cải tiến và đánh giá
• 3.3.1. Đề xuất phương pháp cải tiến
• 3.3.2. Đánh giá phương pháp cải tiến
• 3.4. Kết luận chương
• TÀI LIỆU THAM KHẢO

Tóm tắt

I. Giới thiệu về học sâu

Học sâu (deep learning) là một nhánh của ngành máy học, sử dụng các thuật toán để mô hình hóa dữ liệu ở mức độ trừu tượng cao. Các thuật toán này có thể được giám sát hoặc không giám sát, với ứng dụng trong phân tích và phân loại. Mạng nơ-ron nhân tạo (Artificial Neural Network) là một trong những phương pháp học sâu thành công nhất. Mạng này được lấy cảm hứng từ các mô hình sinh học, cho phép xử lý thông tin qua nhiều lớp. Mỗi lớp kế tiếp sử dụng đầu ra của lớp trước làm đầu vào, tạo ra một cấu trúc phức tạp giúp trích xuất đặc trưng từ dữ liệu. Việc điều chỉnh trọng số giữa các nơ-ron là rất quan trọng trong quá trình học. Điều này cho phép mạng nơ-ron học được các đặc trưng phức tạp từ dữ liệu đầu vào.

1.1. Mạng nơ ron tích chập Convolutional Neural Network CNN

Mạng nơ-ron tích chập (CNN) là một trong những mô hình học sâu tiên tiến, được sử dụng rộng rãi trong các bài toán phát hiện đối tượng trong ảnh. CNN hoạt động dựa trên cơ chế tích chập, cho phép tự động trích xuất các đặc trưng mà không cần phải chọn lọc thủ công. Các lớp tích chập trong CNN giúp nhận diện các đặc trưng từ mức độ thấp đến cao, từ các cạnh đến các hình dạng phức tạp. Việc sử dụng các hàm kích hoạt như ReLU và tanh giúp tăng cường khả năng học của mạng. CNN cũng sử dụng các khái niệm như trường tiếp nhận cục bộ và trọng số chia sẻ, giúp giảm thiểu số lượng tham số cần thiết và tăng cường khả năng tổng quát của mô hình.

II. Phát hiện phương tiện giao thông sử dụng kỹ thuật học sâu YOLO

Bài toán phát hiện phương tiện giao thông là một ứng dụng quan trọng của học sâu, đặc biệt là với mô hình YOLO (You Only Look Once). YOLO cho phép phát hiện đối tượng trong thời gian thực, với độ chính xác cao. Hệ thống này hoạt động bằng cách chia ảnh thành lưới và dự đoán các hộp giới hạn cho các đối tượng trong mỗi ô lưới. Điều này giúp giảm thiểu thời gian xử lý và tăng cường khả năng phát hiện. Các thành phần của hệ thống YOLO bao gồm các lớp tích chập và các lớp phân loại, cho phép mô hình học được các đặc trưng phức tạp từ dữ liệu đầu vào. Việc áp dụng YOLO trong phát hiện phương tiện giao thông tại Việt Nam có thể giúp cải thiện hệ thống giám sát giao thông và giảm thiểu ùn tắc.

2.1. Tổng quan bài toán

Bài toán phát hiện phương tiện giao thông sử dụng kỹ thuật học sâu yêu cầu một hệ thống có khả năng nhận diện và phân loại các loại phương tiện khác nhau trong điều kiện giao thông phức tạp. Các yếu tố như ánh sáng, góc nhìn và tốc độ di chuyển của phương tiện đều ảnh hưởng đến độ chính xác của mô hình. Việc thu thập và xử lý dữ liệu từ các nguồn khác nhau là rất quan trọng để xây dựng một mô hình hiệu quả. Các phương pháp hiện tại như YOLO đã chứng minh được tính hiệu quả trong việc phát hiện đối tượng trong thời gian thực, giúp nâng cao khả năng giám sát giao thông.

III. Thử nghiệm và đánh giá

Quá trình thử nghiệm và đánh giá là bước quan trọng để xác định hiệu quả của mô hình phát hiện phương tiện giao thông. Việc thu thập và tiền xử lý dữ liệu từ các nguồn khác nhau giúp tạo ra một bộ dữ liệu phong phú, bao gồm các hình ảnh và video trong điều kiện ánh sáng tốt. Các phương pháp đánh giá như độ chính xác, độ nhạy và độ đặc hiệu được sử dụng để đo lường hiệu quả của mô hình. Đề xuất cải tiến mô hình cũng cần được thực hiện để nâng cao khả năng phát hiện trong các điều kiện thực tế. Kết quả thử nghiệm cho thấy mô hình YOLO có khả năng phát hiện phương tiện với độ chính xác cao, góp phần vào việc xây dựng hệ thống giao thông thông minh.

3.1. Đề xuất phương pháp cải tiến

Đề xuất cải tiến mô hình phát hiện phương tiện giao thông có thể bao gồm việc tối ưu hóa các tham số của mạng nơ-ron, cải thiện quy trình huấn luyện và tăng cường dữ liệu. Việc áp dụng các kỹ thuật như tăng cường dữ liệu (data augmentation) có thể giúp mô hình học được nhiều đặc trưng hơn từ dữ liệu đầu vào. Ngoài ra, việc sử dụng các kiến trúc mạng tiên tiến hơn như Faster R-CNN hoặc SSD cũng có thể mang lại kết quả tốt hơn trong việc phát hiện đối tượng. Đánh giá các phương pháp cải tiến này sẽ giúp xác định hướng đi phù hợp cho nghiên cứu trong tương lai.

Nội dung chính

Tổng quan nghiên cứu

Trong bối cảnh phát triển kinh tế xã hội tại Việt Nam, số lượng phương tiện giao thông đường bộ tăng nhanh chóng, kéo theo các vấn đề nghiêm trọng về tai nạn và ùn tắc giao thông. Tình trạng ùn tắc tại các tuyến đường trọng điểm như Đê La Thành, Trần Đại Nghĩa, Kim Liên, Nguyễn Lương Bằng, Nguyễn Trãi, Giải Phóng đã gây ảnh hưởng lớn đến đời sống người dân và thiệt hại kinh tế xã hội. Theo ước tính, việc giám sát và quản lý giao thông hiệu quả có thể giảm thiểu đáng kể các vấn đề này. Trong bối cảnh đó, việc ứng dụng kỹ thuật học sâu để nhận dạng phương tiện giao thông trở thành một hướng nghiên cứu quan trọng nhằm phát triển các hệ thống giám sát và cảnh báo ùn tắc giao thông.

Mục tiêu của luận văn là nghiên cứu và áp dụng các phương pháp phát hiện đối tượng dựa trên kỹ thuật học sâu, đặc biệt là mô hình YOLO, để phát hiện phương tiện giao thông tại Việt Nam. Phạm vi nghiên cứu tập trung vào phát hiện ô tô con và xe máy từ ảnh và video giao thông được thu thập trong điều kiện ánh sáng tốt tại Việt Nam. Nghiên cứu nhằm đánh giá hiệu quả của các phương pháp học sâu trên dữ liệu thực tế, góp phần xây dựng nền tảng cho các hệ thống giám sát giao thông thông minh.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Luận văn dựa trên hai lý thuyết chính trong lĩnh vực học máy và xử lý ảnh:

1. Học sâu (Deep Learning): Là nhánh của máy học sử dụng các mạng nơ-ron nhân tạo nhiều lớp để trích xuất đặc trưng và mô hình hóa dữ liệu phức tạp. Mạng nơ-ron tích chập (CNN) là mô hình học sâu chủ đạo trong xử lý ảnh, với khả năng tự động học các đặc trưng từ dữ liệu đầu vào thông qua các lớp convolutional, pooling và fully connected. CNN khai thác tính bất biến vị trí và tính kết hợp cục bộ để nhận dạng các đối tượng trong ảnh với độ chính xác cao.

2. Mô hình YOLO (You Only Look Once): Là phương pháp phát hiện đối tượng thời gian thực dựa trên mạng CNN, chia ảnh đầu vào thành lưới và dự đoán đồng thời vị trí và lớp của các đối tượng trong từng ô lưới. YOLO có ưu điểm vượt trội về tốc độ xử lý (khoảng 30 FPS trên GPU Titan X) và khả năng cân bằng giữa độ chính xác và tốc độ, phù hợp với các ứng dụng giám sát giao thông thời gian thực.

Các khái niệm chuyên ngành quan trọng bao gồm: Intersection over Union (IoU) để đánh giá độ chính xác vị trí dự đoán, Non-maximum Suppression (NMS) để loại bỏ các hộp giới hạn trùng lặp, hàm kích hoạt (activation function) như sigmoid, ReLU trong mạng nơ-ron, và các thuật toán huấn luyện mạng như transfer learning.

Phương pháp nghiên cứu

Nguồn dữ liệu chính là bộ ảnh và video giao thông được thu thập từ hệ thống camera giao thông tại thành phố Đà Nẵng, với tổng cộng khoảng 600 ảnh kích thước 720x1280, trong đó 500 ảnh dùng để huấn luyện và 100 ảnh dùng để kiểm tra. Dữ liệu được chú thích thủ công với định dạng chuẩn cho YOLO, bao gồm vị trí và loại phương tiện (ô tô con, xe máy).

Phương pháp phân tích sử dụng mô hình YOLO phiên bản 3, được huấn luyện trên bộ dữ liệu tự xây dựng, kết hợp kỹ thuật transfer learning với mô hình darknet53 pre-trained để tăng tốc độ huấn luyện và cải thiện hiệu quả. Quá trình huấn luyện được thực hiện trên môi trường Linux với cấu hình CPU Intel Core i5 7400, RAM 8GB và GPU Nvidia 1060 3GB, sử dụng framework Darknet.

Đánh giá mô hình dựa trên các chỉ số chính như mean Average Precision (mAP), tốc độ xử lý (FPS), và độ chính xác vị trí dự đoán thông qua IoU. Quá trình huấn luyện dừng khi tổng lỗi (total loss) giảm xuống khoảng 0.06 hoặc đạt điều kiện kiểm tra trên tập kiểm tra.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

1. Hiệu quả phát hiện phương tiện giao thông: Mô hình YOLOv3 đạt độ chính xác trung bình (mAP) khoảng 57.9% trên tập dữ liệu tiêu chuẩn COCO, và thể hiện hiệu quả cao khi áp dụng trên bộ dữ liệu giao thông Việt Nam với các phương tiện ô tô con và xe máy. Tốc độ xử lý đạt khoảng 30 khung hình trên giây (FPS), đáp ứng yêu cầu thời gian thực.

2. Khả năng phát hiện đa tỷ lệ: YOLOv3 sử dụng ba lớp phát hiện với kích thước ma trận đặc trưng lần lượt là 13x13, 26x26 và 52x52, giúp phát hiện hiệu quả các đối tượng lớn, trung bình và nhỏ. Điều này cải thiện đáng kể khả năng nhận dạng các phương tiện nhỏ như xe máy so với các phiên bản trước.

3. Tác động của kỹ thuật transfer learning: Việc sử dụng mô hình darknet53 pre-trained giúp giảm thời gian huấn luyện và tăng độ chính xác dự đoán. Tổng số ảnh huấn luyện là 500, với bộ dữ liệu được chú thích kỹ càng, đảm bảo chất lượng huấn luyện.

4. So sánh với các mô hình khác: So với các mô hình R-CNN, Fast R-CNN và Faster R-CNN, YOLO có tốc độ xử lý nhanh hơn gấp nhiều lần (ví dụ Faster R-CNN xử lý một ảnh mất khoảng 0.2 giây, trong khi YOLO có thể đạt 0.03 giây), đồng thời giữ được độ chính xác tương đương hoặc cao hơn trong điều kiện ánh sáng tốt.

Thảo luận kết quả

Nguyên nhân chính giúp YOLO đạt hiệu quả cao là do mô hình thực hiện dự đoán toàn cục trên ảnh đầu vào, tận dụng thông tin ngữ cảnh để giảm thiểu dự đoán sai lệch. Việc chia ảnh thành lưới và dự đoán đồng thời vị trí và lớp đối tượng giúp tăng tốc độ xử lý, phù hợp với các ứng dụng giám sát giao thông thời gian thực.

So với các nghiên cứu trước đây sử dụng R-CNN và các biến thể, YOLO khắc phục được nhược điểm về tốc độ và khả năng phát hiện các đối tượng nhỏ nhờ kiến trúc đa tỷ lệ. Kết quả thử nghiệm trên bộ dữ liệu thực tế tại Việt Nam cho thấy mô hình có thể áp dụng hiệu quả trong điều kiện ánh sáng tốt và góc quay phù hợp.

Dữ liệu có thể được trình bày qua biểu đồ so sánh mAP và FPS giữa các mô hình, bảng thống kê số lượng ảnh huấn luyện và kiểm tra, cũng như biểu đồ IoU phân bố cho các dự đoán chính xác và sai lệch.

Đề xuất và khuyến nghị

1. Triển khai hệ thống giám sát giao thông thông minh: Áp dụng mô hình YOLOv3 vào các hệ thống camera giao thông tại các tuyến đường trọng điểm để phát hiện và đếm số lượng phương tiện theo thời gian thực, giúp cảnh báo kịp thời tình trạng ùn tắc. Thời gian triển khai dự kiến trong vòng 12 tháng, chủ thể thực hiện là các cơ quan quản lý giao thông và đơn vị công nghệ.

2. Mở rộng bộ dữ liệu huấn luyện: Thu thập thêm dữ liệu ảnh và video trong các điều kiện ánh sáng khác nhau, các loại phương tiện đa dạng hơn để nâng cao độ chính xác và khả năng tổng quát của mô hình. Mục tiêu tăng số lượng ảnh huấn luyện lên khoảng 2000 ảnh trong 6 tháng tới, do các nhóm nghiên cứu và trung tâm dữ liệu thực hiện.

3. Tối ưu hóa mô hình cho thiết bị nhúng: Phát triển phiên bản nhẹ của mô hình YOLO để triển khai trên các thiết bị nhúng hoặc camera thông minh, giảm chi phí phần cứng và tăng tính linh hoạt trong giám sát. Thời gian nghiên cứu và phát triển khoảng 9 tháng, do các đơn vị công nghệ và viện nghiên cứu đảm nhiệm.

4. Phát triển hệ thống cảnh báo và phân tích dữ liệu giao thông: Kết hợp kết quả phát hiện phương tiện với các thuật toán phân tích để dự báo ùn tắc, hỗ trợ điều phối giao thông hiệu quả. Thời gian xây dựng hệ thống khoảng 1 năm, phối hợp giữa các cơ quan quản lý và đơn vị phát triển phần mềm.

Đối tượng nên tham khảo luận văn

1. Các nhà nghiên cứu và sinh viên ngành khoa học máy tính, trí tuệ nhân tạo: Nghiên cứu chi tiết về ứng dụng học sâu trong xử lý ảnh và phát hiện đối tượng, đặc biệt là mô hình YOLO và các kỹ thuật huấn luyện mạng nơ-ron tích chập.

2. Cơ quan quản lý giao thông và đô thị: Áp dụng kết quả nghiên cứu để xây dựng hệ thống giám sát giao thông thông minh, nâng cao hiệu quả quản lý và giảm thiểu ùn tắc, tai nạn giao thông.

3. Doanh nghiệp công nghệ phát triển giải pháp giám sát và an ninh: Tận dụng mô hình YOLO để phát triển các sản phẩm camera thông minh, hệ thống giám sát thời gian thực với khả năng nhận dạng phương tiện chính xác và nhanh chóng.

4. Các nhà phát triển phần mềm và kỹ sư AI: Tham khảo phương pháp huấn luyện, tối ưu mô hình và kỹ thuật transfer learning để áp dụng vào các bài toán phát hiện đối tượng khác trong lĩnh vực thị giác máy tính.

Câu hỏi thường gặp

1. Mô hình YOLO có thể phát hiện được những loại phương tiện nào?
   Mô hình được huấn luyện để phát hiện ô tô con và xe máy, hai loại phương tiện phổ biến nhất trên đường phố Việt Nam. Với việc mở rộng bộ dữ liệu, mô hình có thể được điều chỉnh để nhận dạng thêm các loại phương tiện khác.

2. Tốc độ xử lý của mô hình YOLO có đáp ứng được yêu cầu thời gian thực không?
   YOLOv3 đạt khoảng 30 khung hình trên giây trên GPU Titan X, đủ nhanh để áp dụng trong các hệ thống giám sát giao thông thời gian thực, giúp phát hiện và cảnh báo kịp thời.

3. Làm thế nào để cải thiện độ chính xác của mô hình trong điều kiện ánh sáng yếu?
   Cần thu thập thêm dữ liệu huấn luyện trong các điều kiện ánh sáng khác nhau và áp dụng các kỹ thuật tiền xử lý ảnh như tăng cường sáng, khử nhiễu để cải thiện chất lượng đầu vào, từ đó nâng cao độ chính xác dự đoán.

4. Phương pháp transfer learning được áp dụng như thế nào trong nghiên cứu này?
   Sử dụng mô hình darknet53 đã được huấn luyện trước trên tập dữ liệu lớn để làm nền tảng, sau đó tiếp tục huấn luyện trên bộ dữ liệu phương tiện giao thông Việt Nam giúp giảm thời gian huấn luyện và tăng hiệu quả mô hình.

5. Mô hình có thể áp dụng cho các thành phố khác ngoài Đà Nẵng không?
   Có thể áp dụng, tuy nhiên cần thu thập dữ liệu đặc thù của từng địa phương để huấn luyện lại hoặc tinh chỉnh mô hình nhằm đảm bảo độ chính xác phù hợp với điều kiện thực tế.

Kết luận

• Luận văn đã nghiên cứu và áp dụng thành công kỹ thuật học sâu YOLOv3 để phát hiện phương tiện giao thông tại Việt Nam với độ chính xác và tốc độ xử lý cao.
• Bộ dữ liệu gồm 600 ảnh giao thông thực tế được xây dựng và chú thích kỹ lưỡng, phục vụ hiệu quả cho quá trình huấn luyện và đánh giá mô hình.
• Mô hình YOLOv3 thể hiện ưu thế vượt trội so với các phương pháp truyền thống về tốc độ và khả năng phát hiện đa tỷ lệ đối tượng.
• Kết quả nghiên cứu mở ra cơ hội phát triển các hệ thống giám sát giao thông thông minh, góp phần giảm thiểu ùn tắc và tai nạn giao thông.
• Các bước tiếp theo bao gồm mở rộng bộ dữ liệu, tối ưu mô hình cho thiết bị nhúng và phát triển hệ thống cảnh báo giao thông toàn diện.

Để tiếp tục phát triển và ứng dụng nghiên cứu, các nhà quản lý, nhà nghiên cứu và doanh nghiệp công nghệ được khuyến khích hợp tác triển khai các giải pháp dựa trên mô hình YOLO trong thực tế.

Trích đoạn nội dung tài liệu

CHƯƠNG 1: KỸ THUẬT HỌC SÂU VÀ BÀI TOÁN PHÁT HIỆN PHƯƠNG TIỆN GIAO THÔNG Trong chương này luận văn sẽ giới thiệu về học sâu, các khái niệm, đặc trưng và các kỹ thuật liên quan đến xử lý ảnh và phát hiện đối tượng. Các kỹ thuật hiện tại áp dụng cho bài toán phát hiện đối tượng và những hạn chế của các kỹ thuật này.1 Giới thiệu về học sâu.1 Học sâu Học sâu (deep learning) là một nhánh của ngành máy học, dựa trên một tập hợp các thuật toán để cố gắng mô hình dữ liệu để trừu tượng hóa ở mức cao bằng cách sử dụng nhiều lớp xử lý với cấu trúc phức tạp, hoặc bằng cách khác bao gồm nhiều lớp biến đổi phi tuyến để trích tách đặc trưng và chuyển đổi[23]. Mỗi lớp kế tiếp dùng đâu ra của lớp trước làm đầu vào. Các thuật toán này có thể được giám sát hoặc không cần giám sát và các ứng dụng bao gồm các mô hình phân tích (không giám sát) và phân loại (giám sát).

Các thuật toán học sâu dựa trên các đại diện phân phối. Giả định tiềm ẩn đằng sau các đại diện phân phối là các dữ liệu được quan sát là được tạo ra bởi sự tương tác của các yếu tố được tổ chức theo lớp. Học sâu thêm giả định rằng các lớp của các yếu tố này tương ứng với các mức độ trừu tượng hay theo thành phần. Các con số khác nhau của các lớp và kích thước của lớp có thể được sử dụng để quy định các lớp trừu tượng khác.

Học sâu khai thác ý tưởng thứ bậc các yếu tố giải thích này ở cấp cao hơn, những khái niệm trừu tượng hơn được học từ các cấp độ thấp hơn. Một trong những phương pháp học sâu thành công nhất là mô hình mạng nơ-ron nhân tạo (Arificial Neural Network)[23]. Mạng nơ-ron nhân tạo được lấy cảm hứng từ các mô hình sinh học năm 1959 được đề xuất bởi người đoạt giải Nobel David H. Hubel & Torsten Wiesel, 2 người đã tìm thấy hai loại tế bào trong vỏ não thị giác chính: các tế bào đơn giản và các tế bào phức tạp.

Nhiều mạng nơ-ron nhân tạo có thể được xem như là các mô hình ghép tầng của các tế bào loại lấy cảm hứng từ những quan sát sinh học. Nhưng không giống như bộ não sinh học mà bất kỳ nơ-ron nào có thể kết nối với bất kỳ nơ-ron nào khác trong một cách nhất định, các mạng nơ-ron nhân tạo Luan van 4 này có các lớp, kết nối và hướng riêng biệt để truyền dữ liệu. Mỗi tế bào thần kinh được gán một trọng số cho đầu vào của nó, kết quả cuối cùng sau đó được xác định bằng tổng số trọng số đó.1: Nơ-ron sinh học Như hình trên, ta có thể thấy một nơ-ron có thể nhận nhiều đầu nào và cho ra một kết quả duy nhất. Một nơ-ron đơn lẻ như vậy được gọi là perceptron Hình 1.2: Perceptron Ví dụ: Một perceptron sẽ nhận một hoặc nhiều đầu vào x dạng nhị phân và cho kết quả đầu ra o dạng nhị phân duy nhất.

Các đầu vào được điều phối tầm ảnh hưởng bởi các tham số lượng tương ứng w của nó, kết quả đầu ra được quyết định vào một ngưỡng quyết định b nào đó: 0, ∑ 𝑤𝑖 𝑥𝑖 ≤ 𝑡ℎ𝑟𝑒𝑠ℎ𝑜𝑙𝑑 𝑖 𝑜 = 1, ∑ 𝑤𝑖 𝑥𝑖 > 𝑡ℎ𝑟𝑒𝑠ℎ𝑜𝑙𝑑 { 𝑖 Đặt b = - threshold, ta có thể viết lại thành: Luan van 5 0, ∑ 𝑤𝑖 𝑥𝑖 + 𝑏 ≤ 0 𝑖 𝑜 = 1, ∑ 𝑤𝑖 𝑥𝑖 + 𝑏 > 0 { 𝑖 Với đầu vào và đầu ra dạng nhị phân, ta rất khó có thể điều chỉnh một lượng nhỏ đầu vào để đầu ra thay đổi chút ít, nên để linh động ta có thể mở rộng ra cả khoảng [0, 1]. Lúc này đầu ra được quyết định bởi một hàm sigmoid[17] σ(w⊺x) có công thức 1 𝜎(𝑧) = 1 + 𝑒 −𝑧 Đồ thị của hàm này cũng cân xứng thể hiện được mức độ công bằng của các tham số: Hình 1.3: Hàm sigmoid Đặt z = WTX thì công thức của perceptron lúc này sẽ có dạng: 1 o = 𝜎(𝑧) = 𝑇 1 + 𝑒 −𝑊 𝑋 Tới đây thì ta có thể thấy rằng mỗi hàm sigmoid cũng tương tự như một bộ phân loại tuyến tính(logistic regression) bởi xác suất P(yi=1|xi;w)= σ(w⊺x). Ngoài hàm sigmoid ra ta còn có một số hàm khác như tanh, ReLU[1] để thay thế hàm sigmoid bởi dạng đồ thị của nó cũng tượng tự như sigmoid[17]. Một cách tổng quát, hàm perceptron được biểu diễn qua một hàm kích hoạt (activation function) f(z) như sau: 𝑜 = 𝑓(𝑧) = 𝑓(𝑊 𝑇 𝑋) Mạng nơ-ron nhân tạo là sự kết hợp của các tầng perceptron hay còn gọi là perceptron đa tầng (multilayer perceptron) như hình bên dưới: Luan van 6 Hình 1.4: Mạng nơ-ron nhân tạo Kiến trúc chung của mạng nơ-ron nhân tạo bao gồm thành phần: Lớp đầu vào, Lớp ẩn và Lớp đầu ra.

 Lớp đầu vào (Input layer): Là nơi để nạp dữ liệu vào. Mỗi nơ-ron tương ứng với một thuộc tính (attribute) hoặc đặc trưng (feature) của dữ liệu đầu vào.  Lớp ẩn (Hidden layer): Là nơi xử lý dữ liệu trước khi đưa ra output. Thường là hàm tổng (Summation function) để đưa ra giá trị của một nơ-ron tại hidden layer.

Có thể có nhiều hơn một hidden layer. Khi đó đầu ra của một hidden layer sẽ là đầu vào cho hidden layer tiếp theo.  Lớp đầu ra (Output layer): Là giá trị đầu ra của mạng nơ-ron. Sau khi đi qua hidden layer cuối cùng, dữ liệu sẽ được chuyển hóa bằng một hàm số được gọi là hàm kích hoạt (Activation function) và đưa ra output cuối cùng.

Hàm chuyển đổi thường là hàm tanh(x), sigmoid(x) hoặc softmax(x)[17]. Trong mạng nơ-ron nhân tạo, mỗi nơ-ron đóng vai trò như một đơn vị xử lý thông tin. Giữa các nơ-ron được đánh trọng số, gọi là các trọng số liên kết (Connection Weight), thể hiện độ quan trọng của thông tin của mỗi nơ-ron trước với nơ-ron sau. Quá trình học của mạng nơ-ron cũng chính là việc điều chỉnh những tham số này sao cho phù hợp nhất.

Thông tin của mỗi nơ-ron đi qua mỗi layer sẽ được áp dụng hàm tổng và hàm kích hoạt trước khi trở thành thông tin đầu vào của nơ-ron tiếp theo. Luan van 7 Hàm tổng: 𝑓(𝑥 ) = ∑𝑛𝑗=1 𝑥𝑗 × 𝑤𝑖𝑗 Trong đó: - 𝑥𝑗 : Giá trị đầu ra của nơ-ron thứ j - 𝑤𝑖𝑗 : Trọng số liên kết giữa nơ-ron thứ j ở layer trước và nơ-ron thứ i ở layer sau Thông tin ở hidden layer cuối cùng trước khi tới output sẽ phải qua một hàm kích hoạt (Activation function). Việc sử dụng hàm kích hoạt có hai mục đích: Một là những thông tin qua hàm tổng có thể sẽ lớn, vì vậy hàm chuyển đổi sẽ khiến giá trị đầu ra bị chặn. Ví dụ đầu ra của hàm sigmoid sẽ nằm trong khoảng [0, 1] còn tanh thì là [-1, 1].

Hai là hàm tổng là một hàm tuyến tính, giá trị đầu ra sẽ không “mượt”, hàm kích hoạt sẽ “mượt hóa” kết quả của hàm tổng để kết quả đầu ra có thể chính xác hơn. Hàm kích hoạt thường sử dụng là hàm softmax, tanh, sigmoid[17] hay chỉ đơn thuần là một ngưỡng để quyết định giá trị cho output.2 Mạng nơ-ron tích chập – Convolutional neural network (CNN) Convolutional Neural Network (CNN – Mạng nơ-ron tích chập) là một trong những mô hình Deep Learning tiên tiến giúp cho chúng ta xây dựng được những hệ thống thông minh với độ chính xác cao như hiện nay như hệ thống xử lý ảnh lớn như Facebook, Google hay Amazon đã đưa vào sản phẩm của mình những chức năng thông minh như nhận diện khuôn mặt người dùng, phát triển xe hơi tự lái hay drone giao hàng tự động. CNN được sử dụng nhiều trong các bài toán phát hiện các object trong ảnh. Để tìm hiểu tại sao thuật toán này được sử dụng rộng rãi cho việc phát hiện (detection), chúng ta hãy cùng tìm hiểu về thuật toán này.

Convolutional là một cửa sổ trượt (sliding windows) trên một ma trận. Luan van 8 Hình 1.5: Quá trình tích chập (Convolutional) Các convolutional layer có các parameter(kernel) đã được học để tự điều chỉnh lấy ra những thông tin chính xác nhất mà không cần chọn các feature. Trong hình ảnh ví dụ trên, ma trận bên trái là một hình ảnh trắng đen được số hóa. Ma trận có kích thước 5x5 và mỗi điểm ảnh có giá trị 1 hoặc 0 là giao điểm của dòng và cột.

Convolution hay tích chập là nhân từng phần tử trong ma trận 3x3. Sliding Window hay còn gọi là kernel, filter hoặc feature detect là một ma trận có kích thước nhỏ như trong ví dụ trên là 3x3. Convolution hay tích chập là nhân từng phần tử bên trong ma trận 3x3 với ma trận bên trái. Kết quả được một ma trận gọi là Convoled feature được sinh ra từ việc nhận ma trận Filter với ma trận ảnh 5x5 bên trái.

Cấu trúc của mạng CNN - Mạng CNN là một tập hợp các lớp Convolution chồng lên nhau và sử dụng các hàm nonlinear activation như ReLU và tanh để kích hoạt các trọng số trong các node. Mỗi một lớp sau khi thông qua các hàm kích hoạt sẽ tạo ra các thông tin trừu tượng hơn cho các lớp tiếp theo. Mỗi một lớp sau khi thông qua các hàm kích hoạt sẽ tạo ra các thông tin trừu tượng hơn cho các lớp tiếp theo. Trong mô hình mạng lan truyền tiến(feedforward neural network) thì mỗi nơ-ron đầu vào (input node) cho mỗi nơ-ron đầu ra trong các lớp tiếp theo.

Mô hình này gọi là mạng kết nối đầy đủ (fully connected layer) hay mạng toàn vẹn (affine layer). Còn trong mô hình CNN thì ngược lại. Các layer liên kết được với nhau thông Luan van 9 qua cơ chế convolution. Layer tiếp theo là kết quả convolution từ layer trước đó, nhờ vậy mà ta có được các kết nối cục bộ.

Như vậy mỗi nơ-ron ở lớp kế tiếp sinh ra từ kết quả của filter áp đặt lên một vùng ảnh cục bộ của nơ-ron trước đó. - Mỗi một lớp được sử dụng các filter khác nhau thông thường có hàng trăm hàng nghìn filter như vậy và kết hợp kết quả của chúng lại. Ngoài ra có một số layer khác như pooling/subsampling layer dùng để chắt lọc lại các thông tin hữu ích hơn (loại bỏ các thông tin nhiễu). Trong quá trình huấn luyện mạng (training) CNN tự động học các giá trị qua các lớp filter dựa vào cách thức mà bạn thực hiện.

Ví dụ trong tác vụ phân lớp ảnh, CNN sẽ cố gắng tìm ra thông số tối ưu cho các filter tương ứng theo thứ tự raw pixel > edges > shapes > facial > high-level features. Layer cuối cùng được dùng để phân lớp ảnh.