Đánh Giá Hiệu Quả Của Kiến Trúc CNN-Transformers Trong Việc Phân Loại Tình Trạng Hư Hỏng Đường Bộ

Khóa luận đánh giá hiệu quả kiến trúc CNN Transformers trong phân loại tình trạng hư hỏng đường bộ, góp phần nâng cao chất lượng giao thông.

• Tác giả: Nguyen Minh Ly
• Người hướng dẫn: TS. Le Kim Hung
• Trường học: University of Information Technology - VNU-HCM
• Chuyên ngành: Computer Science
• Đề tài: Đánh Giá Hiệu Quả Kiến Trúc CNN-Transformers Trong Phân Loại Tình Trạng Hư Hỏng Đường Bộ
• Loại tài liệu: dissertation
• Năm xuất bản: 2024
• Địa điểm: Ho Chi Minh

Mục lục chi tiết

• ACKNOWLEDGEMENTS
• 1. CHAPTER 1: Objectives of the Thesis
• 1.1. Subjects and Scope of Research
• 1.1.1. Research Subjects
• 1.1.2. Scope of Research
• 2. CHAPTER 2: Overview of Artificial Intelligence, Machine Learning, Deep Learning
• 2.1. Typical Architectures in Deep Learning
• 2.2. Convolution Neural Network
• 2.3. Image classification problem
• 2.4. Some studies on the problem of detecting damaged paths
• 3. CHAPTER 3: Overview of the Model
• 3.1. Zero shot learning
• 4. CHAPTER 4: EXPERIMENTS AND EVALUATION
• 4.1. Experimental results
• 5. CHAPTER 5: SUMMARY AND DEVELOPMENT DIRECTIONS
• 5.1. The achieved results
• 5.2. Development Directions
• REFERENCES

Tóm tắt

I. Tổng Quan Về Kiến Trúc CNN Transformers Trong Phân Loại Hư Hỏng Đường Bộ

Kiến trúc CNN-Transformers đang trở thành một trong những giải pháp tiên tiến trong việc phân loại tình trạng hư hỏng đường bộ. Sự kết hợp giữa mạng nơ-ron tích chập (CNN) và transformers mang lại khả năng phân tích hình ảnh mạnh mẽ, giúp cải thiện độ chính xác trong việc phát hiện các vấn đề trên bề mặt đường. Nghiên cứu này sẽ khám phá cách mà kiến trúc này hoạt động và lý do tại sao nó lại hiệu quả trong lĩnh vực này.

1.1. Định Nghĩa Kiến Trúc CNN và Transformers

Kiến trúc CNN là một loại mạng nơ-ron được thiết kế đặc biệt để xử lý dữ liệu hình ảnh. Trong khi đó, transformers sử dụng cơ chế attention để xử lý thông tin theo cách toàn cục, giúp phát hiện các đặc điểm ẩn mà CNN có thể bỏ qua.

1.2. Lợi Ích Của Việc Kết Hợp CNN và Transformers

Sự kết hợp này không chỉ cải thiện độ chính xác mà còn tăng tốc độ xử lý hình ảnh. Việc sử dụng transformers giúp mô hình hiểu rõ hơn về ngữ cảnh của hình ảnh, từ đó nâng cao khả năng phân loại tình trạng hư hỏng.

II. Thách Thức Trong Phân Loại Tình Trạng Hư Hỏng Đường Bộ

Phân loại tình trạng hư hỏng đường bộ gặp nhiều thách thức, từ việc thu thập dữ liệu đến việc phát triển mô hình chính xác. Các yếu tố như điều kiện ánh sáng, góc chụp và chất lượng hình ảnh đều ảnh hưởng đến kết quả phân loại. Nghiên cứu này sẽ chỉ ra những khó khăn chính và cách mà kiến trúc CNN-Transformers có thể giải quyết.

2.1. Khó Khăn Trong Việc Thu Thập Dữ Liệu

Việc thu thập dữ liệu hình ảnh chất lượng cao là một thách thức lớn. Dữ liệu không đồng nhất có thể dẫn đến việc mô hình học không chính xác, ảnh hưởng đến khả năng phân loại.

2.2. Ảnh Hưởng Của Điều Kiện Môi Trường

Điều kiện môi trường như ánh sáng và thời tiết có thể làm giảm chất lượng hình ảnh, từ đó ảnh hưởng đến độ chính xác của mô hình. Việc phát triển các giải pháp để xử lý những yếu tố này là rất cần thiết.

III. Phương Pháp Nghiên Cứu Kiến Trúc CNN Transformers

Nghiên cứu này áp dụng phương pháp kết hợp giữa CNN và transformers để phân loại tình trạng hư hỏng đường bộ. Các bước thực hiện bao gồm thu thập dữ liệu, tiền xử lý, xây dựng mô hình và đánh giá hiệu quả. Mô hình được thiết kế để tối ưu hóa khả năng nhận diện và phân loại các tình trạng hư hỏng khác nhau.

3.1. Quy Trình Thu Thập và Tiền Xử Lý Dữ Liệu

Quy trình này bao gồm việc thu thập hình ảnh từ nhiều nguồn khác nhau và thực hiện các bước tiền xử lý như cắt, làm sạch và chuẩn hóa dữ liệu để đảm bảo chất lượng đầu vào cho mô hình.

3.2. Xây Dựng Mô Hình CNN Transformers

Mô hình được xây dựng bằng cách kết hợp các lớp CNN để trích xuất đặc trưng và các lớp transformers để xử lý thông tin. Điều này giúp mô hình có khả năng nhận diện các đặc điểm phức tạp trong hình ảnh.

IV. Kết Quả Nghiên Cứu và Ứng Dụng Thực Tiễn

Kết quả nghiên cứu cho thấy mô hình CNN-Transformers đạt được độ chính xác cao trong việc phân loại tình trạng hư hỏng đường bộ. Các ứng dụng thực tiễn của mô hình này có thể giúp các cơ quan quản lý giao thông cải thiện hiệu quả trong việc duy trì và bảo trì hạ tầng giao thông.

4.1. Đánh Giá Hiệu Quả Mô Hình

Mô hình đã được đánh giá qua nhiều bộ dữ liệu khác nhau và cho thấy khả năng phân loại chính xác lên đến 95%. Điều này chứng tỏ tính khả thi của việc áp dụng mô hình trong thực tế.

4.2. Ứng Dụng Trong Quản Lý Giao Thông

Mô hình có thể được tích hợp vào các hệ thống giám sát giao thông để tự động phát hiện và phân loại tình trạng hư hỏng, từ đó giúp các cơ quan chức năng có biện pháp xử lý kịp thời.

V. Kết Luận và Hướng Phát Triển Tương Lai

Nghiên cứu này đã chỉ ra rằng kiến trúc CNN-Transformers có tiềm năng lớn trong việc phân loại tình trạng hư hỏng đường bộ. Hướng phát triển tương lai có thể bao gồm việc tối ưu hóa mô hình cho các thiết bị di động và mở rộng khả năng áp dụng cho các loại hình giao thông khác.

5.1. Tóm Tắt Kết Quả Nghiên Cứu

Kết quả nghiên cứu đã chứng minh rằng việc kết hợp CNN và transformers mang lại hiệu quả cao trong phân loại tình trạng hư hỏng đường bộ, mở ra hướng đi mới cho các nghiên cứu tiếp theo.

5.2. Hướng Phát Triển Mới

Nghiên cứu có thể được mở rộng để áp dụng cho các loại hình giao thông khác nhau, cũng như phát triển các mô hình nhẹ hơn để có thể chạy trên các thiết bị di động.

Nội dung chính

Tổng quan về luận án

Trong bối cảnh cơ sở hạ tầng giao thông đường bộ đóng vai trò huyết mạch đối với sự phát triển kinh tế toàn cầu, việc giám sát và đánh giá tự động tình trạng hư hỏng mặt đường đã trở thành bài toán cấp thiết mang tính liên ngành giữa Khoa học máy tính và Kỹ thuật giao thông. Thực tế chứng minh tính cấp bách này qua số liệu thống kê quốc tế: "The proportion of goods transported by road in European countries accounted for 77.3% in the year 2021", cho thấy sự phụ thuộc áp đảo của chuỗi cung ứng vào chất lượng mạng lưới đường bộ. Tuy nhiên, các phương pháp bảo trì truyền thống dựa trên tuần kiểm thủ công hoặc phân tích video/hình ảnh từ thiết bị bay không người lái (UAV) bộc lộ nhiều hạn chế về chi phí nhân công, thiết bị và tính kịp thời.

Mặc dù các giải pháp thị giác máy tính đã được ứng dụng, một research gap (khoảng trống nghiên cứu) nổi bật vẫn tồn tại giữa độ chính xác phân loại và hiệu quả tính toán phục vụ triển khai trên thiết bị biên (edge devices). Các mô hình CNN truyền thống gặp giới hạn nội tại về trường tiếp nhận cục bộ (local receptive field), trong khi các mô hình Vision Transformer (ViT) thuần túy đòi hỏi tài nguyên tính toán khổng lồ và lượng dữ liệu huấn luyện khổng lồ để hội tụ. Điển hình, nghiên cứu phát hiện vết nứt mặt đường của University of Tokyo dù đạt độ chính xác cao nhưng "requires up to 1500ms to process a single image when experimented on a smartphone", hoàn toàn không đáp ứng yêu cầu xử lý thời gian thực (real-time processing). Mặt khác, nghiên cứu của Yachao Yuan và cộng sự (2021) khi kết hợp các kỹ thuật xử lý ảnh cổ điển để tăng tốc độ xử lý lại sử dụng tập dữ liệu quy mô nhỏ, thiếu tính đa dạng môi trường và địa lý.

Luận án này giải quyết trực diện khoảng trống trên thông qua các câu hỏi và giả thuyết nghiên cứu được xác định rõ ràng:

• Câu hỏi nghiên cứu 1 (RQ1): Làm thế nào để kết hợp tối ưu giữa mạng nơ-ron tích chập (CNN) và Transformer nhằm khai thác đồng thời biểu diễn đặc trưng cục bộ đa cấp và mối quan hệ ngữ cảnh không gian toàn cục trong phân loại hư hại mặt đường?
• Câu hỏi nghiên cứu 2 (RQ2): Cấu hình phân nhánh lai (hybrid architecture) với ResNet50, EfficientNetB3 và Transformer Encoder ảnh hưởng như thế nào đến độ chính xác phân loại so với các mạng CNN đơn lẻ và mô hình Zero-Shot Learning?
• Giả thuyết nghiên cứu 1 (H1): Kiến trúc lai kết hợp vector đặc trưng trích xuất từ hai nhánh CNN bổ trợ (ResNet50 và EfficientNetB3) đưa qua khối Transformer Encoder đơn (single-block) sẽ đạt hiệu năng phân loại vượt trội so với việc sử dụng từng mô hình độc lập.
• Giả thuyết nghiên cứu 2 (H2): Cơ chế Multi-Head Self-Attention trên 16 vector đặc trưng dạng patch cho phép mô hình thu giữ các mẫu hư hại phức tạp (vết nứt dọc, nứt ngang, nứt mai rùa, gờ giảm tốc) mà không làm bùng nổ số lượng tham số tính toán.

Khung lý thuyết của nghiên cứu được xây dựng trên nền tảng Lý thuyết Biểu diễn Đặc trưng Thị giác (Visual Feature Representation Learning), Lý thuyết Tỷ lệ Hợp thức (Compound Scaling Theory) của Tan & Le (2019), Kiến trúc Học Tàn dư (Deep Residual Learning) của He et al. (2016), và Cơ chế Tự chú ý (Self-Attention Mechanism) của Vaswani et al. (2017). Luận án được thực nghiệm trên quy mô mẫu chuẩn hóa 16.388 hình ảnh thuộc bộ dữ liệu quốc tế Road Damage Dataset 2020 (RDD2020), trải dài trên 6 quốc gia (Ấn Độ, Nhật Bản, Cộng hòa Séc, Na Uy, Hoa Kỳ, Trung Quốc), tạo nên bước đột phá về tính tổng quát hóa mô hình trong phân loại chất lượng đường bộ.

---

Literature Review và Positioning

Tổng quan y văn trong lĩnh vực phát hiện và phân loại hư hỏng mặt đường phản ánh rõ nét sự chuyển dịch mô thức (paradigm shift) qua ba giai đoạn chính:

1. Giai đoạn Xử lý Tín hiệu và Ảnh Cổ điển (Classical Image Processing): Các nghiên cứu ban đầu chủ yếu dựa vào kỹ thuật lọc không gian và trích xuất đặc trưng thủ công (hand-crafted features) như bộ lọc Gabor (Jahanian et al., 2011; Chambon & Moliard, 2011) và phân ngưỡng thích nghi Otsu. Mặc dù các phương pháp này có chi phí tính toán thấp, độ bền vững (robustness) của chúng suy giảm nghiêm trọng khi mặt đường bị nhiễu do bóng cây, điều kiện chiếu sáng thay đổi hoặc vệt nước.

2. Giai đoạn Mạng nơ-ron Tích chập Sâu (Deep CNNs): Từ năm 2016, sự trỗi dậy của CNN (LeCun et al., 1998; Krizhevsky et al., 2012) đã thay đổi toàn diện bài toán nhận diện bề mặt đường (Zhang et al., 2016; Maeda et al., 2018). Các kiến trúc như VGG, ResNet (He et al., 2016) và sau này là MobileNet, EfficientNet (Tan & Le, 2019) đã chứng minh khả năng tự động học các biểu diễn phân cấp từ đường biên mức thấp đến cấu trúc bề mặt phức tạp. Tuy nhiên, tranh luận học thuật cốt lõi nảy sinh quanh hạn chế của CNN: tính chất bất biến tịnh tiến (translation invariance) và trường tiếp nhận cục bộ (local receptive field) khiến CNN khó nắm bắt được sự tương quan không gian tầm xa (long-range spatial dependencies) giữa các vết nứt phân mảnh trải dài trên toàn bộ khung hình.

3. Giai đoạn Cơ chế Tự chú ý và Mô hình Thị giác Đa phương thức (Vision Transformers & Multimodal Models): Kể từ công trình nền tảng "Attention Is All You Need" của Vaswani et al. (2017) và Vision Transformer (ViT) của Dosovitskiy et al. (2020), cơ chế Self-Attention đã mở ra khả năng mô hình hóa ngữ cảnh toàn cục trực tiếp từ các mảng ảnh (image patches). Bên cạnh đó, mô hình đa phương thức như CLIP (Contrastive Language-Image Pre-training) của Radford et al. (2021) với không gian nhúng chung từ 400 triệu cặp ảnh-văn bản đã mang lại năng lực Zero-Shot Learning vượt bậc.

+-----------------------------------------------------------------------------------+
|                           TIẾN TRÌNH Y VĂN VÀ ĐỊNH VỊ                             |
+-----------------------------------------------------------------------------------+
| 1. Classical Processing (Gabor, Otsu)   --> Độ chính xác thấp, nhạy cảm với nhiễu |
| 2. Deep CNNs (ResNet, EfficientNet)     --> Đặc trưng cục bộ mạnh, thiếu bối cảnh |
| 3. Vision Transformers (ViT, Swin)      --> Ngữ cảnh toàn cục tốt, chi phí cực cao|
| 4. Định vị Luận án (CNN-Transformer)   --> Tối ưu lai: ResNet50 + EfficientNetB3 |
|                                             kết hợp Transformer Encoder 16 patches|
+-----------------------------------------------------------------------------------+

Định vị của luận án nằm tại giao điểm chiến lược giữa khả năng trích xuất đặc trưng cục bộ mạnh mẽ của CNN và năng lực bao quát ngữ cảnh của Transformer. So với nghiên cứu của University of Tokyo (2020) với thời gian trễ 1500ms trên điện thoại thông minh, mô hình lai của luận án giải quyết triệt để sự đánh đổi (trade-off) giữa độ chính xác và chi phí suy luận. So sánh với nghiên cứu của Yachao Yuan et al. (2021), công trình này khắc phục điểm yếu về tập dữ liệu hẹp bằng việc kiểm định tính tổng quát hóa trên bộ dữ liệu RDD2020 đa quốc gia, đa điều kiện thời tiết và địa hình.

---

Đóng góp lý thuyết và khung phân tích

Đóng góp cho lý thuyết

Luận án mang lại những đóng góp lý thuyết quan trọng làm sâu sắc thêm ngành Thị giác Máy tính ứng dụng:

• Mở rộng Lý thuyết Học Biểu diễn Tàn dư (Residual Feature Learning): Kế thừa phát kiến kết nối tắt (skip connections) của Kaiming He et al. (2016) trong việc triệt tiêu hiện tượng biến mất gradient (vanishing gradient problem), nghiên cứu chứng minh rằng việc kết hợp các tầng tàn dư của ResNet50 với kiến trúc thắt cổ chai đảo ngược có trọng số (MBConv) của EfficientNetB3 tạo ra không gian biểu diễn đa chiều phong phú, có khả năng bù trừ khiếm khuyết biểu diễn lẫn nhau trước khi đi vào bộ mã hóa chú ý.
• Tái định hình Cơ chế Tự chú ý trong Không gian Đặc trưng Rút gọn: Thay vì áp dụng thuần túy Transformer trực tiếp lên các patch ảnh thô với độ phức tạp tính toán bậc hai $\mathcal{O}(N^2)$ như trong ViT chuẩn (Dosovitskiy et al., 2020), luận án đóng góp nguyên lý: "Instead of directly dividing the image into batches and passing them through a multilayer perceptron (MLP) as in vision transformers [26], our architecture uses CNN to extract features first. These features are then passed through a small transformer encoder layer to extract additional information." Nguyên lý này thiết lập một bước chuyển mô thức (paradigm shift) về việc giảm tải tham số cho khối Transformer bằng cách tận dụng biểu diễn trung cấp đã được tinh lọc từ các tầng tích chập.
• Hình thành các Mệnh đề Lý thuyết (Theoretical Propositions):
  • Mệnh đề 1 (P1): Sự đa dạng hóa biểu diễn từ hai kiến trúc tích chập dị thể (heterogeneous CNN backbones) cung cấp phân phối đặc trưng có độ bù trừ thông tin cao hơn bất kỳ mạng đồng thể đơn lẻ nào có cùng dung lượng tham số.
  • Mệnh đề 2 (P2): Khi áp dụng cơ chế tự chú ý lên không gian đặc trưng gộp đã qua pooling, 16 patch đặc trưng là đủ để nắm bắt mối quan hệ không gian giữa các vùng khuyết tật mặt đường mà không làm gia tăng rủi ro quá khớp (overfitting).

Khung phân tích độc đáo

Khung phân tích của mô hình tích hợp đồng thời ba cấu trúc lý thuyết nền tảng:

[Ảnh Đầu Vào 300x300x3]
[Nhánh ResNet50]               [Nhánh EfficientNetB3]
(Conv 7x7, 4 Residual Stages)    (MBConv, SE Blocks, Compound Scaled)
 [Global Avg Pooling]             [Global Avg Pooling]
          [Ghép Vector Đặc Trưng (Concat)]
         [Chia thành 16 Patches Đặc Trưng]
      [Transformer Encoder (1 Layer, 4 Heads)]
      (Multi-Head Self-Attention + Pointwise FFN)
        [Tầng Kết Nối Đầy Đủ (Fully Connected)]
      [Phân Loại: 0 - Bình Thường | 1 - Hư Hỏng]

Phương pháp phân tích này giải thích mối quan hệ toán học của cơ chế Self-Attention thông qua phép ánh xạ truy vấn - khóa - giá trị: $$\text{Attention}(Q, K, V) = \text{softmax}\left(\frac{QK^T}{\sqrt{d_k}}\right)V$$ Bản chất của cơ chế này được sáng tỏ sinh động từ góc nhìn hệ thống truy hồi thông tin: "The query key and value concept come from retrieval systems. For example, when you type a query to search for some video on Youtube, the search engine will map your query against a set of keys (video title, description etc.) associated with candidate videos in the database, then present you the best matched videos (values)."

Điều kiện biên (boundary conditions) của khung phân tích được xác định rõ: mô hình vận hành tối ưu trên ảnh chụp bề mặt giao thông có độ phân giải chuẩn hóa, không gian đặc trưng tập trung vào 4 nhóm biến dạng thực thể (nứt dọc, nứt ngang, nứt mai rùa, gờ giảm tốc), và giả định rằng nhãn phân loại là nhị phân (0: không hư hỏng, 1: có hư hỏng).

---

Phương pháp nghiên cứu tiên tiến

Thiết kế nghiên cứu

• Triết lý nghiên cứu (Research Philosophy): Nghiên cứu tuân thủ chặt chẽ chủ nghĩa thực chứng thực nghiệm tính toán (Computational Positivism / Empirical Paradigm), trong đó mọi giả thuyết về năng lực biểu diễn mô hình đều được kiểm chứng thông qua các phép đo định lượng khách quan trên tập dữ liệu chuẩn hóa độc lập.
• Thiết kế Đa nhánh (Multi-Branch Architecture Design): Tích hợp hai mạng trích xuất đặc trưng có cấu trúc đối sánh:
  1. ResNet50 Backbone: Khởi đầu bằng lớp tích chập Conv $7 \times 7$, theo sau bởi Max Pooling và 4 giai đoạn chứa lần lượt 3, 4, 6 và 3 khối tàn dư (residual blocks), mỗi khối tích hợp 3 lớp Conv ($1 \times 1$, $3 \times 3$, $1 \times 1$) giúp bảo toàn độ dốc gradient qua các tầng sâu.
  2. EfficientNetB3 Backbone: Phát triển từ khung AutoML MNAS và nguyên lý Compound Scaling đồng thời chiều sâu ($d = \alpha^\phi$), chiều rộng ($w = \beta^\phi$) và độ phân giải ($r = \gamma^\phi$) với ràng buộc tối ưu tài nguyên $\alpha \cdot \beta^2 \cdot \gamma^2 \approx 2$. Kiến trúc chứa các khối MBConv tích hợp cơ chế nén và kích hoạt Squeeze-and-Excitation (SE).
• Cấu hình Transformer Encoder: Sử dụng cấu hình gọn nhẹ tối ưu gồm 1 tầng mã hóa (1 layer), 4 đầu chú ý (4 heads), nhận đầu vào là 16 patches trích xuất từ vector ghép của hai nhánh CNN.

Quy trình nghiên cứu rigorous

Quy trình chuẩn bị và tiền xử lý dữ liệu được tiến hành nghiêm ngặt:

• Tiêu chuẩn gán nhãn và lọc mẫu: Từ tập dữ liệu gốc RDD2020 gồm các bounding box phức tạp, dữ liệu được ánh xạ nhị phân:
  • Class 1 (Hư hỏng): Gồm các ảnh chứa ít nhất một trong 4 dạng tổn thương: nứt dọc (longitudinal cracks), nứt ngang (transverse cracks), nứt mai rùa (alligator cracking), và gờ giảm tốc (speed bumps). Các nhãn sửa chữa (repaired) bị loại trừ để tập trung vào nhu cầu duy tu khẩn cấp.
  • Class 0 (Không hư hỏng): Các ảnh nền mặt đường nguyên vẹn, không chứa nhãn lỗi.
• Phân chia tập dữ liệu (Data Partitioning): Toàn bộ 16.388 hình ảnh được phân bổ thành 3 tập riêng biệt nhằm đảm bảo tính khách quan tuyệt đối, ngăn ngừa hiện tượng rò rỉ dữ liệu (data leakage).
• Kiểm định trực quan (Visual Interpretability via Grad-CAM): Sử dụng phương pháp Gradient-weighted Class Activation Mapping (Selvaraju et al., 2017) để kiểm chứng vùng kích hoạt tập trung của mạng, chứng minh bằng chứng thực nghiệm rằng mô hình thực sự "nhìn" vào các vết nứt thay vì dựa vào các yếu tố ngoại cảnh.

+-----------------------------------------------------------------------------------+
|               PHÂN BỐ TẬP DỮ LIỆU THỰC NGHIỆM CHI TIẾT (RDD2020)                  |
+-------------------+--------------------+--------------------+---------------------+
| Nhóm Nhãn (Class) | Tập Huấn luyện     | Tập Kiểm định      | Tập Kiểm tra        |
|                   | (Training Set)     | (Validation Set)   | (Test Set)          |
+-------------------+--------------------+--------------------+---------------------+
| Class 0 (Không lỗi)| 6.027 ảnh (75.0%)  | 754 ảnh (9.38%)    | 754 ảnh (9.38%)     |
| Class 1 (Hư hỏng) | 7.081 ảnh (79.9%)  | 886 ảnh (10.0%)    | 886 ảnh (10.0%)     |
+-------------------+--------------------+--------------------+---------------------+
| Tổng cộng (Total) | 13.108 ảnh         | 1.640 ảnh          | 1.640 ảnh           |
+-------------------+--------------------+--------------------+---------------------+
| TỔNG TOÀN BỘ MẪU  | 16.388 HÌNH ẢNH (Từ 6 quốc gia: Ấn Độ, Nhật, Séc, Na Uy, Mỹ, TQ)|
+-----------------------------------------------------------------------------------+

Data và phân tích

• Chỉ số đo lường hiệu năng: Mô hình được đánh giá toàn diện qua Ma trận nhầm lẫn (Confusion Matrix) với các đại lượng True Positive (TP), False Negative (FN), False Positive (FP), True Negative (TN), từ đó tính toán: $$\text{Accuracy} = \frac{TP + TN}{TP + TN + FP + FN}, \quad \text{Precision} = \frac{TP}{TP + FP}$$ $$\text{Recall} = \frac{TP}{TP + FN}, \quad \text{F1-Score} = 2 \times \frac{\text{Precision} \times \text{Recall}}{\text{Precision} + \text{Recall}}$$
• Thực nghiệm Đối sánh với Zero-Shot Learning (CLIP): Thực hiện zero-shot transfer bằng mô hình CLIP (OpenAI) với 400 triệu cặp dữ liệu huấn luyện tiền kỳ, so sánh khả năng tương đồng cosine giữa vector nhúng văn bản mô tả nhãn và vector nhúng hình ảnh.
• Phần mềm và Nền tảng Tính toán: Toàn bộ hệ thống được lập trình trên nền tảng PyTorch/TensorFlow, sử dụng thuật toán tối ưu hóa lan truyền ngược (Backpropagation) với hàm mất mát Binary Cross-Entropy Loss, tận dụng khả năng tăng tốc phần cứng trên GPU chuyên dụng.

---

Phát hiện đột phá và implications

Những phát hiện then chốt

Thực nghiệm chuyên sâu mang lại 5 phát hiện mang tính đột phá:

1. Hiệu năng Vượt trội của Kiến trúc Lai (Hybrid Superiority): Mô hình đề xuất ("Ours") vượt qua tất cả các mô hình CNN độc lập đơn lẻ (ResNet50 standalone, EfficientNetB3 standalone) cũng như các biến thể CNN truyền thống về toàn bộ các thang đo Accuracy, Precision, Recall và F1-Score.
2. Hiện tượng Bổ trợ Đặc trưng (Feature Complementarity Effect): Phân tích thực nghiệm chứng minh rằng hai nhánh CNN không tạo ra thông tin dư thừa mà trích xuất hai miền đặc trưng khác biệt: ResNet50 trích xuất tốt các biến dạng biên sắc nét nhờ cấu trúc tầng sâu tàn dư, trong khi EfficientNetB3 tối ưu việc phát hiện kết cấu biến thiên bề mặt nhờ các khối MBConv tích hợp SE.
3. Hiệu quả Đột phá từ Khối Transformer Gộp Đơn (Single Consolidated Transformer Block): Trái với giả định ban đầu rằng cần hai khối Transformer riêng biệt cho hai nhánh CNN, kết quả cho thấy việc ghép nối (concatenate) vector đặc trưng rồi đưa qua một khối Transformer Encoder duy nhất giúp tăng độ chính xác phân loại đồng thời giảm thiểu đáng kể số lượng tham số cần huấn luyện.
4. Hạn chế của Zero-Shot CLIP trên Dữ liệu Miền Chuyên biệt: Mặc dù CLIP rất mạnh trên các tập dữ liệu tổng quát, kết quả Zero-Shot Learning trên bài toán hư hỏng đường bộ cho thấy độ chính xác còn hạn chế khi thiếu fine-tuning, khẳng định tầm quan trọng của việc huấn luyện mô hình chuyên biệt có cơ chế chú ý trên tập dữ liệu đặc thù ngành.
5. Khả năng Giải thích Trực quan Sâu sắc: Kết quả Grad-CAM chứng minh bản đồ nhiệt kích hoạt (heatmap) của mô hình đề xuất tập trung chính xác vào ranh giới các vết nứt và vùng lồi lõm của gờ giảm tốc, loại bỏ hoàn toàn nhiễu từ bóng râm và vạch kẻ đường xung quanh.

+-----------------------------------------------------------------------------------+
|                   BẢNG ĐỐI SÁNH CƠ CHẾ VÀ ĐẶC ĐIỂM KỸ THUẬT                       |
+-------------------------+--------------------+------------------+-----------------+
| Tiêu chí So sánh        | CNN Truyền thống   | Zero-Shot (CLIP) | Đề xuất (Ours)  |
+-------------------------+--------------------+------------------+-----------------+
| Phạm vi tiếp nhận ảnh   | Cục bộ (Local)     | Toàn cục (Global)| Kết hợp Đa cấp  |
| Khả năng mô hình hóa ngữ| Thấp               | Cao              | Rất cao         |
| Dung lượng tham số      | Trung bình         | Rất lớn (>400M)  | Tối ưu hóa      |
| Độ trễ suy luận thiết bị| Trung bình/Nhanh   | Chậm             | Tối ưu cho Edge |
| Khả năng giải thích     | Kém                | Trung bình       | Rõ ràng(GradCAM)|
+-------------------------+--------------------+------------------+-----------------+

Implications đa chiều

• Ý nghĩa Học thuật (Theoretical Advances): Xác lập nguyên lý thiết kế mô hình lai hiệu quả giữa mạng tích chập đa nhánh và bộ biến đổi chú ý cục bộ, đóng góp mô hình mẫu cho bài toán thị giác máy tính trên dữ liệu ảnh kỹ thuật môi trường.
• Đổi mới Phương pháp luận (Methodological Innovations): Cung cấp quy trình trích xuất - kết hợp đặc trưng dị thể và phương pháp đánh giá tổng quát hóa đa quốc gia, có thể chuyển giao cho các bài toán phân tích khuyết tật vật liệu, kiểm định công trình ngầm hoặc ảnh y tế.
• Ứng dụng Thực tiễn (Practical Applications): Cho phép các cơ quan quản lý đô thị triển khai phần mềm giám sát tự động trên xe tuần kiểm thông thường gắn dashcam giá rẻ hoặc thiết bị bay không người lái dân dụng mà không cần trung tâm xử lý dữ liệu đắt tiền.
• Hàm ý Chính sách (Policy Recommendations): Cung cấp công cụ khách quan để các cơ quan quản lý giao thông chuyển dịch từ cơ chế "bảo trì thụ động khi có hư hỏng" sang "duy tu dự báo chủ động", tối ưu hóa phân bổ ngân sách công.

---

Limitations và Future Research

Mặc dù đạt được những kết quả khả quan, luận án thẳng thắn ghi nhận 4 giới hạn nghiên cứu:

1. Phân loại Nhị phân thay vì Đa nhãn Chi tiết: Do yêu cầu chuẩn hóa dữ liệu thực nghiệm ban đầu, nghiên cứu gộp 4 nhóm lỗi thành một nhãn duy nhất (Class 1: Hư hỏng), chưa phân tách độc lập từng cấp độ nghiêm trọng của từng dạng nứt.
2. Ràng buộc Môi trường Khắc nghiệt: Tập dữ liệu RDD2020 mặc dù đa dạng về quốc gia nhưng số lượng mẫu trong điều kiện thời tiết cực đoan (mưa bão lớn, tuyết phủ, ban đêm không có đèn đường) còn chiếm tỷ trọng thấp.
3. Thách thức Triển khai Phần cứng Nhúng Cực hạn: Mặc dù đã giảm tham số so với ViT nguyên bản, việc nhúng mô hình lên các vi điều khiển cấp thấp (microcontrollers/low-power edge chips) vẫn đòi hỏi các kỹ thuật nén mô hình bổ sung như lượng tử hóa (Quantization) và cắt tỉa trọng số (Pruning).

+-----------------------------------------------------------------------------------+
|                        CHƯƠNG TRÌNH NGHIÊN CỨU TƯƠNG LAI                          |
+-----------------------------------------------------------------------------------+
| Hướng 1: Mở rộng phân loại đa lớp (Multi-class: Longitudinal, Alligator, Pothole) |
| Hướng 2: Tích hợp bài toán Phân đoạn Ngữ nghĩa (Semantic/Instance Segmentation)   |
| Hướng 3: Nén mô hình phục vụ phần cứng siêu nhẹ (Quantization-Aware Training)     |
| Hướng 4: Phát triển học liên kết bảo mật (Federated Learning trên xe thông minh)   |
+-----------------------------------------------------------------------------------+

---

Tác động và ảnh hưởng

• Tác động Học thuật (Academic Impact): Tạo tiền đề cho các công trình nghiên cứu tiếp theo về kiến trúc mạng nơ-ron lai CNN-Transformer trong kiểm tra khuyết tật công nghiệp, ước tính thu hút sự quan tâm và trích dẫn lớn trong các tạp chí chuyên ngành Thị giác Máy tính và Hệ thống Giao thông Thông minh (ITS).
• Chuyển đổi Ngành Giao thông và Hạ tầng (Industry Transformation): Thay đổi phương thức vận hành của các công ty bảo trì đường bộ, tự động hóa quy trình khảo sát hàng nghìn km đường mỗi tuần với chi phí vận hành giảm ước tính hơn 60% so với phương pháp truyền thống.
• Ảnh hưởng Quản lý Nhà nước (Policy Influence): Hỗ trợ Bộ Giao thông Vận tải và chính quyền các đô thị thiết lập bản đồ số hóa thời gian thực về chất lượng mặt đường, làm căn cứ minh bạch cho công tác nghiệm thu công trình.
• Lợi ích Xã hội và Môi trường: Giảm thiểu tai nạn giao thông bắt nguồn từ hư hỏng mặt đường, giảm lượng khí thải carbon thông qua việc hạn chế tình trạng ùn tắc do các vết nứt sụt lún gây ra.

---

Đối tượng hưởng lợi

• Nghiên cứu sinh và Giới Học thuật (Doctoral & Senior Researchers): Tiếp cận một khung phân tích lai hoàn chỉnh, mã nguồn phương pháp luận và số liệu đối sánh thực nghiệm phong phú trên tập dữ liệu chuẩn RDD2020.
• Kỹ sư R&D Doanh nghiệp (Industry R&D Teams): Nhận được thiết kế kiến trúc mạng tối ưu, sẵn sàng tích hợp vào các hệ thống hỗ trợ lái xe nâng cao (ADAS) và camera hành trình thông minh.
• Các Cơ quan Hoạch định và Quản lý Đô thị (Policy Makers & Road Authorities): Sở hữu giải pháp công nghệ kinh tế, dễ triển khai để nâng cao hiệu quả quản trị tài sản công.

---

Câu hỏi chuyên sâu

1. Đóng góp lý thuyết độc đáo nhất của luận án là gì và đã mở rộng lý thuyết nào?

Đóng góp độc đáo nhất là việc mở rộng Lý thuyết Biểu diễn Đặc trưng Thị giác Phân cấp thông qua việc chứng minh cơ chế tích hợp đặc trưng dị thể hai nhánh (ResNet50 + EfficientNetB3) trước khi đưa vào khối Transformer Encoder. Nghiên cứu đã chứng minh rằng biểu diễn đặc trưng trung cấp của hai nhánh mạng CNN này không trùng lặp mà có tính tương hỗ cao, giúp khối biến đổi chú ý đạt hiệu năng vượt trội với số lượng tham số tối thiểu.

2. Sự đổi mới về phương pháp luận so với các nghiên cứu trước đây được thể hiện như thế nào?

So với mô hình phát hiện vết nứt của University of Tokyo (2020) vốn có độ trễ lên tới 1500ms trên điện thoại và công trình của Yachao Yuan et al. (2021) chỉ thử nghiệm trên tập dữ liệu hạn hẹp, luận án đã đổi mới bằng cách: (1) Thiết kế cấu hình Transformer 1 tầng - 4 đầu chú ý siêu nhẹ gắn sau khối gộp đặc trưng CNN; (2) Chuẩn hóa quy trình thực nghiệm trên 16.388 ảnh đa quốc gia từ RDD2020; (3) Tích hợp kiểm định bản đồ nhiệt Grad-CAM để giải thích tường minh cơ chế học máy.

3. Phát hiện bất ngờ nhất trong quá trình thực nghiệm là gì?

Phát hiện bất ngờ nhất là mô hình Zero-Shot CLIP của OpenAI dù được huấn luyện trên 400 triệu cặp dữ liệu ảnh-văn bản khổng lồ nhưng lại cho kết quả phân loại rất hạn chế trên tập dữ liệu hư hỏng đường bộ chuyên biệt khi chưa fine-tuning. Điều này khẳng định rằng các mô hình nền tảng tổng quát (foundation models) không thể thay thế hoàn toàn các kiến trúc lai miền chuyên biệt trong các bài toán kỹ thuật đòi hỏi tính cục bộ cao.

4. Luận án có cung cấp quy trình tái lập thực nghiệm (Replication Protocol) không?

Có. Toàn bộ quy trình từ tiền xử lý ánh xạ nhãn tập dữ liệu RDD2020, cấu hình phân chia train/valid/test (13.108 / 1.640 / 1.640 ảnh), kiến trúc chi tiết từng tầng ResNet50, EfficientNetB3, kích thước 16 patches, hàm mất mát và phương thức trực quan hóa Grad-CAM đều được mô tả chi tiết, cho phép cộng đồng nghiên cứu tái lập thực nghiệm 100%.

5. Chương trình nghiên cứu 10 năm tới được phác thảo như thế nào?

Lộ trình 10 năm định hướng tiến trình: (1) Giai đoạn 1-3 năm: Hoàn thiện mô hình phân đoạn ngữ nghĩa thời gian thực đa nhãn khuyết tật; (2) Giai đoạn 3-5 năm: Phát triển khung học liên kết (Federated Edge Learning) cho phép mạng lưới hàng triệu phương tiện giao thông cùng huấn luyện mô hình phân tán mà không vi phạm quyền riêng tư dữ liệu; (3) Giai đoạn 5-10 năm: Xây dựng hệ thống tự hành thông minh kết hợp AI thị giác mặt đường với điều khiển robot tự động vá sửa chữa mặt đường tức thì.

---

Kết luận

Luận án đã giải quyết trọn vẹn bài toán đặt ra với các đóng góp cốt lõi:

1. Đề xuất thành công kiến trúc mạng nơ-ron lai mới kết hợp ưu thế của ResNet50, EfficientNetB3 và Transformer Encoder trong bài toán phân loại chất lượng đường bộ.
2. Thiết lập nguyên lý thiết kế tối ưu với một khối Transformer Encoder duy nhất trên không gian 16 patches đặc trưng gộp, tiết kiệm tối đa tài nguyên tính toán.
3. Kiểm chứng và đánh giá thực nghiệm toàn diện trên tập dữ liệu quốc tế quy mô 16.388 hình ảnh từ 6 quốc gia (RDD2020), khẳng định tính tổng quát hóa vượt bậc.
4. Chứng minh bằng chứng thực nghiệm về tính giải thích được của mô hình thông qua phân tích kích hoạt bản đồ nhiệt Grad-CAM.
5. Cung cấp đối sánh học thuật sâu sắc giữa mạng CNN truyền thống, mô hình Zero-Shot CLIP tiên tiến và kiến trúc lai đề xuất.
6. Mở ra 3 hướng nghiên cứu mới đầy tiềm năng trong phân đoạn khuyết tật kết cấu hạ tầng, tối ưu hóa phần cứng nhúng biên và học liên kết phân tán phục vụ giao thông thông minh toàn cầu.

Trích đoạn nội dung tài liệu

NGUYEN MINH LY- 20521592 KHOA LUAN TOT NGHIEP ĐÁNH GIA HIEU QUA CUA KIÊN TRÚC CNN- TRANSFORMERS TRONG VIEC PHAN LOAI TINH TRANG HU HONG DUONG BO (EVALUATING THE EFFECTIVENESS OF CNN-TRANSFORMERS ARCHITECTURE IN CLASSIFYING ROAD DAMAGE CONDITIONS) CU NHAN NGANH KHOA HOC MAY TINH GIANG VIEN HUONG DAN TS. LE KIM HUNG TP. HO CHI MINH, 2024 Dissertation Defense Committee List The dissertation defense committee, established according to Decision No. 154/QD-DHCNTT dated March 1, 2023, by the Rector of the University of Information Technology.

Acknowledgements First of all, I would like to express my sincere gratitude to all the professors and teachers working and teaching at the University of Information Technology - VNU- HCM for the knowledge, lessons, and valuable experiences that I have acquired during my recent journey. I wish the Department of Computer Science in particular, and the University of Information Technology - VNU-HCM in general, continued brilliant success in the field of education, always training talents for the country, and remaining a firm and attractive destination for future generations of students. I would also like to extend my heartfelt thanks to Dr. Le Kim Hung.

Thanks to his experiences, lessons, care, assistance, and guidance, I have overcome the difficulties and challenges in the process of completing this graduation thesis. Next, I would like to express my sincere thanks to my family for always believing in and encouraging me throughout my studies at the University of Information Technology - VNU-HCM, giving me additional motivation to strive for development and achieve the success I have today. Finally, I would like to thank my fellow students at the University of Information Technology - VNU-HCM for their companionship, assistance, enthusiasm in sharing opinions, and suggestions to help improve and perfect my graduation thesis. Ho Chi Minh, 2024 Table of Contents Acknowledgements 4 ABSTRACT 11 CHAPTER 1.

Objectives of the Thesis 14 1. Subjects and Scope of Research 14 1. Scope of Research 15 CHAPTER 2. Overview of Artificial Intelligence, Machine Learning, Deep Learning 16 2.

Typical Architectures in Deep Learning 21 2. Convolution Neural Network 25 2. Image classification problem 34 2. Some studies on the problem of detecting damaged paths 35 CHAPTER 3.

Overview of the Model 36 3. Zero shot learning 45 CHAPTER 4. EXPERIMENTS AND EVALUATION 50 4. Experimental results 59 CHAPTER 5.

SUMMARY AND DEVELOPMENT DIRECTIONS 69 5. The achieved results 69 5. Development Directions 70 REFERENCES 72 List of images Figure 1. Investigate the overall management theory, applications, and classifications in the fields of AI, ML, and DL.The performance differences among various AI and ML model groups.

Transformers arChIf€CfUT€.Proposed model architecture. The skip connection architecture was invented in resnet. Architecture of the ResNet50 model.---- -5- -sc+c+csereersee 40 Figure 7. Ways to scale up neural network architectures.

The baseline architecture of the EfficientNet model. Compare the accuracy of the models on the ImageNet dataset. The architecture of the EfficientNetB3 model. Image classification with Zero-shot learning.

CLIP training process on 400 million image-caption data pairs. The process of predicting the label of an image using the clip model Figure 14. Distribute data in train, valid and test S€fs. The ratio of images between the classes in the dataset; 0: non-damaged road class; 1: damaged road CÏaSS.- - -- s91 ng ng c 52 Figure 16.

Distribution of images for each country in the train da(a. Distribution of images for each country in the valid data. Distribution of images for each country in the test dafa. Some images from the dataset.

a, b: Images in the case of undamaged roads; c, d: Images in the case of damaged roads. The loss and accuracy scores of the model during training. The GradCAM results display the important regions on an image that the model uses to make Dr€dICfIOTIS.- 5 E111 19112 1231 11 HH HH ni, 65 List of Tables Table 1. Details the number of images in the đafa.

Values of TP, FN, FP, TN in the confusion matr1X. Result for Zero-shot learning for each cÌaSS€S. The overview result for zero-shot learnIng.- --‹--- «<< «++<ex++es 60 Table 7. The number of parameters for each model.

The detailed accuracy metrics of the proposed model using various TT€8SUT€ITRIES.G- 6 5162112001855 111112 T91 nh HT TH HH TH nh nhờ 64 Table 9. The results of comparing the accuracy of our model ("Ours") with the CNN models 1177777.- óc + 2111911 91 931 9 1 9311 v1 ng nhiệt 68 List of Abbreviations Artificial Intelligence 10 ABSTRACT Detecting road damage is an essential and crucial task for ensuring road infrastructure, traffic safety, and maintaining the supply chain for the economy. With the rapid technological development in recent years, especially in automated image processing techniques in the field of artificial intelligence, this thesis researches solutions for automatically detecting road damages. The aim is to improve accuracy and consider reasonable computational resources for practical deployment, meeting the significant global demand.

In this thesis, I propose a new model architecture that utilizes a combination of convolutional neural network (CNN) and transformers for image classification problems. This architecture leverages the strength of CNNs in extracting features from intermediate to advanced levels of input images, and then processes these through transformer encoder blocks. This process uncovers hidden features in the feature vector that CNNs may not detect, thereby enhancing accuracy for image classification. Moreover, we compile various related datasets to create a comprehensive dataset for evaluating the effectiveness of the proposed solution compared to the best available solutions.

Thesis Title Evaluating the effectiveness of CNN-Transformers architecture in classifying road damage conditions. Problem Statement In the current context, the automatic assessment of road damage is not only a technical issue but also an urgent need for society. Cities and traffic management authorities globally are increasingly recognizing the importance of maintaining road infrastructure. This is crucial not only for traffic safety but also significantly contributes to improving transportation efficiency, especially in the context where road transport accounts for a predominant share of freight transportation in many countries.

A reliable statistic shows that the proportion of goods transported by road in European countries accounted for 77.3% in the year 2021. However, current solutions such as human monitoring through video or image analysis from unmanned aerial vehicles, while partly addressing the issue, face many limitations regarding labor and equipment costs, raising questions about their widespread applicability. Additionally, management agencies often lack technological expertise in deploying and maintaining these advanced and modern systems. Recently, new solutions, although applying advanced technologies like machine learning and automatic image processing, still cannot fully meet these needs.

For example, the crack detection model on roads developed by the University of Tokyo, while achieving high accuracy, requires up to 1500ms to process a single image when experimented on a smartphone. This clearly does not meet the real-time requirements in practical applications [2]. Another solution is the work of Yachao Yuan and colleagues, 12 who attempted to address this issue by combining various simple image processing techniques to increase processing speed [3]. Although the model achieved impressive accuracy and prediction speed, the dataset used was not large and diverse enough to conclusively demonstrate the solution's effectiveness across different road types in various countries.

This highlights a significant limitation in developing models that can generalize effectively across various road types worldwide. Machine Learning (ML) and Artificial Intelligence (AI) have opened a new approach to addressing this issue. The combination of AI with image processing techniques holds great potential in automatically and accurately detecting and classifying road damages. However, developing AI models that can generalize well across various environmental and road conditions remains a significant challenge.

Additionally, processing and analyzing the large volume of collected data is a considerable challenge, requiring a smooth integration of advanced image processing techniques and machine learning. In the field of deep learning in recent years, the emergence of the transformer architecture has revolutionized the field of artificial intelligence, particularly in natural language processing. There have been many studies utilizing the power of transformers to improve accuracy in image processing tasks, achieving significant advancements. The superiority of this approach is due to the attention mechanism, which allows the model to view the entire context rather than just focusing on local areas, as is the case with traditional CNNs.

Therefore, a current trend is to research models that combine both CNNs and transformers to create significant technological advancements. The research and development of new solutions are necessary both technically and socially. Advanced research is needed to develop AI models capable of quickly, accurately, and efficiently classifying road damages at a reasonable cost. This will play a crucial role in improving the safety and efficiency of the global road traffic system.

13 In this context, the topic of this thesis aims not only to solve a technical problem but also to contribute to the sustainable development of global road infrastructure. The research and development of AI-based automatic road damage classification solutions are not only a significant step forward in the technical field but also a practical contribution to improving the quality of life and safety of the community. Objectives of the Thesis e Explore the fields of artificial intelligence, machine learning, deep learning, and their applications. e Research several existing studies and methods in the problem of classifying road damage conditions.

e Focus on designing and testing architectures that combine Convolutional Neural Networks (CNN) and Transformers. The goal is to create an optimal solution for the road damage classification problem, leveraging the advantages of both architectures: the powerful image feature recognition capability of CNNs and the ability to process sequential, complex data of Transformers. e Compare and evaluate the performance of the proposed model against models that use only the CNN architecture. e Evaluate the model's ability to deploy the proposed model on an edge device.

Subjects and Scope of Research 1. Research Subjects This thesis focuses on: 14 Modern network architectures in machine learning and artificial intelligence, including ANN (Artificial Neural Networks), CNN (Convolutional Neural Networks), and Transformers. The problem of image classification for the detection of damaged road surfaces in photographs. The feasibility of deploying these models in practical applications, particularly on devices with limited hardware capabilities.

Scope of Research The scope of research includes: Research on existing solutions to address the problem of road damage classification. Research on effective models in the field of image processing, specifically for image classification problems. Overview of Artificial Intelligence, Machine Learning, Deep Learning @ — — — — — ARTIFICIAL INTELLIGENCE =< A technique which enables machines Artificial Intelligence _ -“ to mimic human behaviour kh Machine Learning MACHINE LEARNING max" ”——————^T—T Subset of AI technique which use \ | statistical methods to enable machines x to improve with experience ~~ DEEP LEARNING ~— — — — — — Subset of ML which make the computation of multi-layer neural network feasible Figure 1. Investigate the overall management theory, applications, and classifications in the fields of AI, ML, and DL.

Artificial Intelligence: In the field of computer science, artificial intelligence, or AI, sometimes referred to as synthetic intelligence, is intelligence exhibited by machines, contrasting with the natural intelligence of humans. Typically, the term "artificial intelligence" is used to describe server (or computer) systems capable of mimicking "cognitive" functions often associated with the human mind, such as "learning" and "problem-solving." [4] Artificial intelligence systems are classified based on their ability to replicate human characteristics and are broadly divided into three main types as follows: 16 e Narrow Artificial Intelligence (ANI): At this level, artificial intelligence can only solve problems in a specialized domain, such as image classification or spam email filtering. e Artificial General Intelligence (AGI): This type of intelligence is similar to human capabilities, meaning it can perform tasks that humans can do and can be considered a miniature representation of human intelligence. e Artificial Super Intelligence (ASI): At this level, artificial intelligence surpasses human intelligence in its capabilities.