Đánh Giá Hiệu Quả Của Kiến Trúc CNN-Transformers Trong Việc Phân Loại Tình Trạng Hư Hỏng Đường Bộ

Khóa luận đánh giá hiệu quả kiến trúc CNN Transformers trong phân loại tình trạng hư hỏng đường bộ, góp phần nâng cao chất lượng giao thông.

• Tác giả: Nguyen Minh Ly
• Người hướng dẫn: TS. Le Kim Hung
• Trường học: University of Information Technology - VNU-HCM
• Chuyên ngành: Computer Science
• Đề tài: Đánh Giá Hiệu Quả Kiến Trúc CNN-Transformers Trong Phân Loại Tình Trạng Hư Hỏng Đường Bộ
• Loại tài liệu: dissertation
• Năm xuất bản: 2024
• Địa điểm: Ho Chi Minh

Mục lục chi tiết

• ACKNOWLEDGEMENTS
• 1. CHAPTER 1: Objectives of the Thesis
• 1.1. Subjects and Scope of Research
• 1.1.1. Research Subjects
• 1.1.2. Scope of Research
• 2. CHAPTER 2: Overview of Artificial Intelligence, Machine Learning, Deep Learning
• 2.1. Typical Architectures in Deep Learning
• 2.2. Convolution Neural Network
• 2.3. Image classification problem
• 2.4. Some studies on the problem of detecting damaged paths
• 3. CHAPTER 3: Overview of the Model
• 3.1. Zero shot learning
• 4. CHAPTER 4: EXPERIMENTS AND EVALUATION
• 4.1. Experimental results
• 5. CHAPTER 5: SUMMARY AND DEVELOPMENT DIRECTIONS
• 5.1. The achieved results
• 5.2. Development Directions
• REFERENCES

Tóm tắt

I. Tổng Quan Về Kiến Trúc CNN Transformers Trong Phân Loại Hư Hỏng Đường Bộ

Kiến trúc CNN-Transformers đang trở thành một trong những giải pháp tiên tiến trong việc phân loại tình trạng hư hỏng đường bộ. Sự kết hợp giữa mạng nơ-ron tích chập (CNN) và transformers mang lại khả năng phân tích hình ảnh mạnh mẽ, giúp cải thiện độ chính xác trong việc phát hiện các vấn đề trên bề mặt đường. Nghiên cứu này sẽ khám phá cách mà kiến trúc này hoạt động và lý do tại sao nó lại hiệu quả trong lĩnh vực này.

1.1. Định Nghĩa Kiến Trúc CNN và Transformers

Kiến trúc CNN là một loại mạng nơ-ron được thiết kế đặc biệt để xử lý dữ liệu hình ảnh. Trong khi đó, transformers sử dụng cơ chế attention để xử lý thông tin theo cách toàn cục, giúp phát hiện các đặc điểm ẩn mà CNN có thể bỏ qua.

1.2. Lợi Ích Của Việc Kết Hợp CNN và Transformers

Sự kết hợp này không chỉ cải thiện độ chính xác mà còn tăng tốc độ xử lý hình ảnh. Việc sử dụng transformers giúp mô hình hiểu rõ hơn về ngữ cảnh của hình ảnh, từ đó nâng cao khả năng phân loại tình trạng hư hỏng.

II. Thách Thức Trong Phân Loại Tình Trạng Hư Hỏng Đường Bộ

Phân loại tình trạng hư hỏng đường bộ gặp nhiều thách thức, từ việc thu thập dữ liệu đến việc phát triển mô hình chính xác. Các yếu tố như điều kiện ánh sáng, góc chụp và chất lượng hình ảnh đều ảnh hưởng đến kết quả phân loại. Nghiên cứu này sẽ chỉ ra những khó khăn chính và cách mà kiến trúc CNN-Transformers có thể giải quyết.

2.1. Khó Khăn Trong Việc Thu Thập Dữ Liệu

Việc thu thập dữ liệu hình ảnh chất lượng cao là một thách thức lớn. Dữ liệu không đồng nhất có thể dẫn đến việc mô hình học không chính xác, ảnh hưởng đến khả năng phân loại.

2.2. Ảnh Hưởng Của Điều Kiện Môi Trường

Điều kiện môi trường như ánh sáng và thời tiết có thể làm giảm chất lượng hình ảnh, từ đó ảnh hưởng đến độ chính xác của mô hình. Việc phát triển các giải pháp để xử lý những yếu tố này là rất cần thiết.

III. Phương Pháp Nghiên Cứu Kiến Trúc CNN Transformers

Nghiên cứu này áp dụng phương pháp kết hợp giữa CNN và transformers để phân loại tình trạng hư hỏng đường bộ. Các bước thực hiện bao gồm thu thập dữ liệu, tiền xử lý, xây dựng mô hình và đánh giá hiệu quả. Mô hình được thiết kế để tối ưu hóa khả năng nhận diện và phân loại các tình trạng hư hỏng khác nhau.

3.1. Quy Trình Thu Thập và Tiền Xử Lý Dữ Liệu

Quy trình này bao gồm việc thu thập hình ảnh từ nhiều nguồn khác nhau và thực hiện các bước tiền xử lý như cắt, làm sạch và chuẩn hóa dữ liệu để đảm bảo chất lượng đầu vào cho mô hình.

3.2. Xây Dựng Mô Hình CNN Transformers

Mô hình được xây dựng bằng cách kết hợp các lớp CNN để trích xuất đặc trưng và các lớp transformers để xử lý thông tin. Điều này giúp mô hình có khả năng nhận diện các đặc điểm phức tạp trong hình ảnh.

IV. Kết Quả Nghiên Cứu và Ứng Dụng Thực Tiễn

Kết quả nghiên cứu cho thấy mô hình CNN-Transformers đạt được độ chính xác cao trong việc phân loại tình trạng hư hỏng đường bộ. Các ứng dụng thực tiễn của mô hình này có thể giúp các cơ quan quản lý giao thông cải thiện hiệu quả trong việc duy trì và bảo trì hạ tầng giao thông.

4.1. Đánh Giá Hiệu Quả Mô Hình

Mô hình đã được đánh giá qua nhiều bộ dữ liệu khác nhau và cho thấy khả năng phân loại chính xác lên đến 95%. Điều này chứng tỏ tính khả thi của việc áp dụng mô hình trong thực tế.

4.2. Ứng Dụng Trong Quản Lý Giao Thông

Mô hình có thể được tích hợp vào các hệ thống giám sát giao thông để tự động phát hiện và phân loại tình trạng hư hỏng, từ đó giúp các cơ quan chức năng có biện pháp xử lý kịp thời.

V. Kết Luận và Hướng Phát Triển Tương Lai

Nghiên cứu này đã chỉ ra rằng kiến trúc CNN-Transformers có tiềm năng lớn trong việc phân loại tình trạng hư hỏng đường bộ. Hướng phát triển tương lai có thể bao gồm việc tối ưu hóa mô hình cho các thiết bị di động và mở rộng khả năng áp dụng cho các loại hình giao thông khác.

5.1. Tóm Tắt Kết Quả Nghiên Cứu

Kết quả nghiên cứu đã chứng minh rằng việc kết hợp CNN và transformers mang lại hiệu quả cao trong phân loại tình trạng hư hỏng đường bộ, mở ra hướng đi mới cho các nghiên cứu tiếp theo.

5.2. Hướng Phát Triển Mới

Nghiên cứu có thể được mở rộng để áp dụng cho các loại hình giao thông khác nhau, cũng như phát triển các mô hình nhẹ hơn để có thể chạy trên các thiết bị di động.

Nội dung chính

Tổng quan luận án

Việc đánh giá và phát hiện hư hỏng đường bộ là một nhiệm vụ quan trọng nhằm bảo đảm hạ tầng giao thông, an toàn lưu thông và duy trì chuỗi cung ứng cho nền kinh tế. Trong bối cảnh vận tải đường bộ chiếm tỷ trọng chi phối trong vận chuyển hàng hóa ở nhiều quốc gia — cụ thể số liệu thống kê năm 2021 cho thấy tỷ lệ hàng hóa vận chuyển bằng đường bộ tại các nước châu Âu chiếm đến 77,3% — việc duy tu và bảo dưỡng hệ thống mặt đường trở thành yêu cầu cấp thiết của các cơ quan quản lý giao thông đô thị.

Hiện nay, các phương thức kiểm tra truyền thống dựa vào con người hoặc phân tích hình ảnh/video từ máy bay không người lái (UAV) bộc lộ nhiều hạn chế về chi phí nhân công, thiết bị và yêu cầu chuyên môn công nghệ khi vận hành. Một số giải pháp tự động hóa trước đây bằng trí tuệ nhân tạo và xử lý ảnh chưa đáp ứng đầy đủ yêu cầu triển khai thực tế. Cụ thể, mô hình nhận diện vết nứt của Đại học Tokyo đạt độ chính xác cao nhưng mất tới 1500ms để xử lý một hình ảnh trên điện thoại thông minh, không đáp ứng được yêu cầu thời gian thực. Một nghiên cứu khác của Yachao Yuan và cộng sự kết hợp các kỹ thuật xử lý ảnh đơn giản để tăng tốc độ nhưng tập dữ liệu thử nghiệm chưa đủ lớn và đa dạng để chứng minh tính tổng quát hóa trên nhiều loại đường tại các quốc gia khác nhau.

Khoảng trống nghiên cứu được tác giả xác định là việc thiếu một mô hình vừa có khả năng phân loại hư hỏng chính xác, có tính tổng quát hóa cao trên dữ liệu đa quốc gia, vừa tối ưu hóa tài nguyên tính toán để phù hợp với việc triển khai thực tế trên các thiết bị có phần cứng hạn chế.

Mục tiêu nghiên cứu của công trình được xác định cụ thể theo 5 nội dung:

1. Tìm hiểu các lĩnh vực trí tuệ nhân tạo, học máy, học sâu và các ứng dụng liên quan.
2. Nghiên cứu các công trình và phương pháp hiện có trong bài toán phân loại tình trạng hư hỏng đường bộ.
3. Thiết kế và thử nghiệm kiến trúc kết hợp giữa mạng nơ-ron tích chập (CNN) và Transformer nhằm tận dụng năng lực trích xuất đặc trưng hình ảnh của CNN và khả năng xử lý ngữ cảnh không gian phức tạp của Transformer.
4. So sánh, đánh giá hiệu năng của mô hình đề xuất với các mô hình chỉ sử dụng kiến trúc CNN thuần túy.
5. Đánh giá khả năng triển khai mô hình đề xuất trên thiết bị biên (edge device).

Đối tượng nghiên cứu của luận án bao gồm:

• Các kiến trúc mạng hiện đại trong học máy và trí tuệ nhân tạo, bao gồm Mạng nơ-ron nhân tạo (ANN), Mạng nơ-ron tích chập (CNN) và Transformer.
• Bài toán phân loại hình ảnh nhằm phát hiện bề mặt đường bộ bị hư hỏng từ ảnh chụp.
• Tính khả thi trong việc triển khai các mô hình này vào ứng dụng thực tế, đặc biệt trên các thiết bị có cấu hình phần cứng giới hạn.

Phạm vi nghiên cứu của công trình:

• Phạm vi nội dung: Tập trung vào các giải pháp hiện có cho bài toán phân loại hư hỏng đường bộ và các mô hình hiệu quả trong lĩnh vực thị giác máy tính, cụ thể là bài toán phân loại ảnh.
• Phạm vi dữ liệu: Dữ liệu hình ảnh được chuẩn hóa từ tập dữ liệu đa quốc gia RDD2020 thu thập tại 6 quốc gia (Ấn Độ, Nhật Bản, Cộng hòa Séc, Na Uy, Hoa Kỳ và Trung Quốc).

---

Tổng quan tài liệu và vị trí của luận án

Trong luận án, tác giả đã điểm lại các giai đoạn phát triển của các phương pháp phát hiện hư hỏng đường bộ:

• Giai đoạn xử lý tín hiệu hình ảnh truyền thống: Các nghiên cứu thời kỳ đầu tập trung vào kỹ thuật xử lý ảnh cổ điển, nổi bật là việc áp dụng các bộ lọc Gabor (Gabor filters) theo các nghiên cứu được trích dẫn [20, 21]. Tuy nhiên, các phương pháp này cho kết quả thực nghiệm chưa đạt kỳ vọng khi đối mặt với sự biến đổi phức tạp của môi trường thực tế.
• Giai đoạn ứng dụng học sâu và mạng tích chập: Từ năm 2016, việc ứng dụng mạng nơ-ron tích chập (CNN) bắt đầu được triển khai để giải quyết bài toán phát hiện hư hỏng đường [22], kéo theo một chuỗi các nghiên cứu tiếp theo [23, 24, 25]. Các nghiên cứu này mang lại sự cải thiện về hiệu năng nhưng vẫn gặp rào cản về chi phí và độ phức tạp tính toán khi triển khai diện rộng.
• Các công trình thực nghiệm cụ thể:
  • Nghiên cứu của nhóm tác giả tại Đại học Tokyo [2] phát triển mô hình phát hiện vết nứt đạt độ chính xác cao nhưng độ trễ xử lý lên đến 1500ms trên thiết bị di động, cản trở việc ứng dụng theo thời gian thực.
  • Công trình của Yachao Yuan và cộng sự [3] tích hợp các kỹ thuật xử lý ảnh đơn giản để tối ưu tốc độ phân loại, song bị giới hạn bởi tập dữ liệu kiểm thử nhỏ, chưa phản ánh đầy đủ đặc tính mặt đường ở quy mô quốc tế.
• Sự chuyển dịch sang kiến trúc Transformer và mô hình thị giác: Luận án phân tích sự ra đời của kiến trúc Transformer từ công trình của Vaswani và cộng sự (2017) với bài báo "Attention is All You Need" [12], cùng các mô hình chuyển đổi thị giác (Vision Transformers - ViT) [26]. Đồng thời, tác giả khảo sát các kiến trúc CNN nền tảng như ResNet của He và cộng sự [29] giải quyết hiện tượng suy giảm đạo hàm (vanishing gradient), và kiến trúc EfficientNet của Mingxing Tan và Quoc V. Le [31] với phương pháp tỷ lệ hỗn hợp (compound scaling). Bên cạnh đó, nghiên cứu cũng điểm lại mô hình CLIP (Contrastive Language–Image Pre-training) do OpenAI công bố năm 2021 [32] để đánh giá phương pháp học Zero-shot (Zero-shot learning).

Vị trí của luận án: Luận án chọn giải quyết khoảng trống về sự cân bằng giữa độ chính xác và chi phí tài nguyên tính toán bằng cách thiết kế một kiến trúc hỗn hợp (hybrid) kết hợp hai mạng CNN (ResNet50 và EfficientNetB3) với một khối Transformer Encoder nhỏ gọn, thay vì áp dụng thuần túy một mạng CNN lớn hoặc Vision Transformer hoàn chỉnh vốn đòi hỏi tài nguyên tính toán rất cao.

---

Cơ sở lý thuyết và phương pháp nghiên cứu

Cơ sở lý thuyết và các khái niệm sử dụng

Luận án xây dựng trên các nền tảng lý thuyết học máy và thị giác máy tính:

1. Phân loại Trí tuệ nhân tạo và Học máy: Hệ thống hóa ba cấp độ AI gồm Trí tuệ nhân tạo hẹp (ANI), Trí tuệ nhân tạo tổng quát (AGI) và Siêu trí tuệ nhân tạo (ASI). Phân loại 4 nhóm học máy: Học có giám sát (Supervised Learning), Học không giám sát (Unsupervised Learning), Học bán giám sát (Semi-supervised Learning) và Học tăng cường (Reinforcement Learning).
2. Mạng nơ-ron nhân tạo (ANN): Mô hình toán học $y = f(\sum w_i x_i + b)$ với các hàm kích hoạt phi tuyến (ReLU, Sigmoid, Tanh), quá trình lan truyền xuôi (Feed Forward Propagation) và lan truyền ngược (Back Propagation) cập nhật trọng số dựa trên đạo hàm của hàm mất mát.
3. Mạng nơ-ron tích chập (CNN):
   • Phép tích chập 2D: Trượt bộ lọc (kernel) kích thước $m \times n$ trên ma trận ảnh đầu vào $I$: $$(I * K)(i,j) = \sum_u \sum_v I(i + u, j + v) K(u, v)$$
   • Các tham số vận hành: Bước trượt (Stride), phần đệm (Padding), các hàm kích hoạt phi tuyến.
   • Các phép gộp (Pooling): Max pooling, Average pooling, Sum pooling nhằm giảm kích thước không gian và giảm tải tính toán.
   • Các đặc tính toán học của CNN: Tính tương đương tịnh tiến (Translation Equivariance: $f(g(x)) = g(f(x))$ nhờ chia sẻ trọng số), tính bất biến tịnh tiến (Translational Invariance qua pooling), và trường tiếp nhận cục bộ (Local Receptive Field).
4. Kiến trúc Transformer và cơ chế Self-Attention:
   • Mã hóa vị trí (Positional Encoding) theo công thức của Vaswani và cộng sự: $$PE_{(pos, 2i)} = \sin\left(\frac{pos}{10000^{2i / d_{model}}}\right)$$ $$PE_{(pos, 2i+1)} = \cos\left(\frac{pos}{10000^{2i / d_{model}}}\right)$$
   • Cơ chế Multi-Head Self-Attention: Tính toán ba ma trận Query ($Q$), Key ($K$), Value ($V$). Ma trận biểu diễn tương quan được thu nhỏ bằng cách chia cho $\sqrt{d_k}$, chuẩn hóa qua hàm Softmax và nhân với ma trận $V$: $$\text{Attention}(Q, K, V) = \text{softmax}\left(\frac{QK^T}{\sqrt{d_k}}\right)V$$
   • Khối Transformer Encoder: Kết hợp Multi-Head Attention, kết nối tắt (Residual Connection), chuẩn hóa lớp (Normalization) và mạng truyền thẳng theo điểm (Pointwise Feed-Forward Network).
5. Kỹ thuật tỷ lệ hỗn hợp trong EfficientNet: Định nghĩa Độ sâu ($d = \alpha^\phi$), Độ rộng ($w = \beta^\phi$), Độ phân giải ($r = \gamma^\phi$) thỏa mãn điều kiện $\alpha \cdot \beta^2 \cdot \gamma^2 \approx 2$.
6. Zero-shot Learning và Mô hình CLIP: Cơ chế đối sánh không gian nhúng chung giữa nhánh Image Encoder và Text Encoder thông qua hàm mất mát tương phản (Contrastive loss) dựa trên tập dữ liệu 400 triệu cặp ảnh - văn bản.

Phương pháp nghiên cứu thực tế

• Phương pháp thực nghiệm định lượng: Thiết kế mô hình lai song song gồm hai nhánh trích xuất đặc trưng là ResNet50 và EfficientNetB3. Vector đặc trưng sau khi qua lớp Average Pooling và Flatten của hai nhánh được ghép nối (concatenate) lại với nhau.
• Xử lý đặc trưng không gian: Vector đặc trưng hợp nhất được chia thành 16 phần (patches) và đưa qua một khối Transformer Encoder gồm 4 head và 1 layer duy nhất, trước khi đưa vào lớp Fully Connected (FC) để phân loại nhị phân (Đường hư hỏng và Đường không hư hỏng).
• Kỹ thuật trực quan hóa: Sử dụng Grad-CAM để hiển thị các vùng tập trung chú ý của mô hình trên ảnh đầu vào nhằm giải thích cơ chế đưa ra quyết định phân loại.

Nguồn tư liệu và dữ liệu

• Dữ liệu sử dụng: Road Damage Dataset 2020 (RDD2020) được công bố trong khuôn khổ Crowdsensing-based Road Damage Detection Challenge [33, 34, 35]. Dữ liệu thu thập từ camera hành trình và drone trên các tuyến đường tại 6 quốc gia: Ấn Độ, Nhật Bản, Cộng hòa Séc, Na Uy, Hoa Kỳ và Trung Quốc.
• Tiền xử lý dữ liệu: Tập dữ liệu gốc dạng Object Detection chứa 5 nhãn hư hỏng gồm: vết nứt dọc (longitudinal cracks), vết nứt ngang (transverse cracks), nứt da cá sấu (alligator cracking), gờ giảm tốc (speed bumps) và vị trí đã sửa chữa (repaired locations). Tác giả đã chuyển đổi bài toán sang phân loại ảnh nhị phân:
  • Gán nhãn 1 (Hư hỏng): Các ảnh chứa ít nhất một trong 4 loại hư hỏng (nứt dọc, nứt ngang, nứt da cá sấu, gờ giảm tốc). Bỏ qua nhãn vị trí đã sửa chữa.
  • Gán nhãn 0 (Không hư hỏng): Các ảnh không có nhãn hư hỏng nào.
• Tổng số lượng mẫu sau xử lý: 16.388 hình ảnh.

---

Nội dung chính theo từng chương

CHAPTER 1. Objectives of the Thesis (Mục tiêu của đề tài)

Chương 1 trình bày bối cảnh nghiên cứu, tính cấp thiết của việc tự động hóa đánh giá hư hỏng đường bộ phục vụ hạ tầng và logistics. Chương này thiết lập 5 mục tiêu cốt lõi của đề tài, định hình 3 nhóm đối tượng nghiên cứu chính (kiến trúc mạng ANN/CNN/Transformer, bài toán phân loại ảnh bề mặt đường, tính khả thi triển khai trên thiết bị phần cứng hạn chế) và xác định phạm vi nghiên cứu xoay quanh các giải pháp xử lý ảnh và phân loại bề mặt đường bộ.

CHAPTER 2. Overview of Artificial Intelligence, Machine Learning, Deep Learning (Tổng quan về Trí tuệ nhân tạo, Học máy, Học sâu)

Chương 2 cung cấp hệ thống lý thuyết nền tảng:

• Phân tích mối quan hệ thứ bậc giữa AI, Machine Learning và Deep Learning.
• Trình bày chi tiết kiến trúc ANN với cơ chế lan truyền xuôi, lan truyền ngược và các hàm kích hoạt.
• Phân tích sâu kiến trúc CNN: Phép toán tích chập 2D, Stride, Padding, Pooling (Max, Average, Sum pooling); chứng minh các đặc tính quan trọng như tính tương đương tịnh tiến (Translation Equivariance), tính bất biến tịnh tiến (Translational Invariance) và trường tiếp nhận cục bộ (Local Receptive Field); nêu rõ các hạn chế của CNN về yêu cầu dữ liệu lớn, tính giải thích và giới hạn góc nhìn cục bộ.
• Phân tích kiến trúc Transformer: Giới thiệu cơ chế Self-Attention, cấu trúc phân nhánh Multi-Head Attention, công thức mã hóa vị trí (Positional Encoding) dạng sóng sin/cos, cùng các thành phần trong khối Transformer Encoder.
• Khảo sát lịch sử bài toán phân loại ảnh và tổng hợp các nghiên cứu phát hiện hư hỏng đường từ phương pháp lọc Gabor truyền thống đến mạng nơ-ron tích chập từ năm 2016 đến nay.

CHAPTER 3. Overview of the Model (Tổng quan về mô hình)

Chương 3 mô tả chi tiết kiến trúc mô hình đề xuất và cơ sở lý thuyết của các thành phần:

• Kiến trúc tổng thể: Mô hình trích xuất đặc trưng song song qua hai mạng nhánh:
  • Nhánh ResNet50: Khai thác cơ chế Skip Connection vượt qua các khối tích chập nhằm khắc phục hiện tượng suy giảm đạo hàm khi mạng tăng độ sâu; cấu trúc gồm 4 stage chứa các khối tích chập $1 \times 1, 3 \times 3, 1 \times 1$.
  • Nhánh EfficientNetB3: Áp dụng phương pháp tỷ lệ hỗn hợp (compound scaling) đồng thời mở rộng độ sâu, độ rộng và độ phân giải dựa trên khối MBConv kết hợp kỹ thuật Squeeze-and-Excitation (SE). Tác giả lựa chọn phiên bản B3 do nhận thấy từ B0 đến B3 độ chính xác và số tham số tăng tuyến tính ổn định, trong khi phiên bản B4 bắt đầu xuất hiện dấu hiệu hiệu suất biên giảm dần.
• Quá trình dung hợp đặc trưng: Đầu ra của hai mạng CNN sau lớp Global Average Pooling và Flatten được nối lại thành một vector đặc trưng duy nhất. Thay vì sử dụng hai khối Transformer riêng biệt cho hai nhánh CNN, tác giả lựa chọn ghép vector đặc trưng rồi truyền qua một khối Transformer Encoder duy nhất (gồm 16 patches, 4 heads, 1 layer) để tiết kiệm tham số tính toán và khai thác tương quan chéo giữa hai nguồn đặc trưng. Cuối cùng, một lớp Fully Connected thực hiện phân loại nhãn.
• Nghiên cứu cơ chế Zero-shot learning và mô hình CLIP của OpenAI: Phân tích kiến trúc gồm Image Encoder và Text Encoder được huấn luyện đồng thời trên 400 triệu cặp ảnh - văn bản bằng hàm mất mát tương phản, cùng quy trình phân loại ảnh không cần huấn luyện lại trên tập nhãn đích.

CHAPTER 4. EXPERIMENTS AND EVALUATION (Thực nghiệm và đánh giá)

Chương 4 tập trung vào thiết lập thực nghiệm, phân bố dữ liệu và phương pháp đánh giá:

• Chi tiết hóa tập dữ liệu RDD2020 thu thập từ 6 quốc gia (Ấn Độ, Nhật Bản, Séc, Na Uy, Mỹ, Trung Quốc).
• Trình bày quy trình phân loại nhị phân và phân chia 16.388 hình ảnh thành ba tập: Training set, Validation set và Test set.

Số liệu phân bổ tập dữ liệu được tổng hợp chi tiết trong bảng dưới đây:

Lớp dữ liệu (Classes)	Tập huấn luyện (Train)	Tập kiểm định (Valid)	Tập kiểm thử (Test)	Tổng số mẫu
Class 0 (Đường không hư hỏng)	6.027	754	754	7.535
Class 1 (Đường hư hỏng)	7.081	886	886	8.853
Tổng cộng	13.108	1.640	1.640	16.388

• Phương pháp đánh giá thực nghiệm: Đo lường qua ma trận nhầm lẫn (Confusion Matrix) với các chỉ số TP (True Positive), FN (False Negative), FP (False Positive), TN (True Negative); theo dõi hàm mất mát (Loss) và độ chính xác (Accuracy) qua các vòng lặp huấn luyện; so sánh số lượng tham số giữa các mô hình; đối chiếu hiệu năng giữa mô hình đề xuất ("Ours") với các mô hình CNN thuần túy và phương pháp Zero-shot learning; sử dụng Grad-CAM để đánh giá định tính vùng tập trung trích xuất đặc trưng.

CHAPTER 5. SUMMARY AND DEVELOPMENT DIRECTIONS (Tổng kết và hướng phát triển)

Chương 5 tóm tắt các kết quả đạt được của nghiên cứu trong việc thiết kế mô hình hybrid CNN-Transformers, xây dựng tập dữ liệu đánh giá tổng hợp từ RDD2020 và đối chuẩn hiệu năng với các kiến trúc CNN truyền thống. Đồng thời, chương này vạch ra các định hướng phát triển tiếp theo nhằm tối ưu hóa mô hình phục vụ triển khai thực tế trên các thiết bị biên.

---

Kết quả và những đóng góp mới

Các đóng góp của công trình được tác giả trình bày bao gồm:

• Đóng góp về mặt kiến trúc mô hình:
  • Đề xuất kiến trúc kết hợp giữa hai nhánh mạng CNN (ResNet50 và EfficientNetB3) với khối Transformer Encoder. Cấu trúc này phân chia trách nhiệm trích xuất đặc trưng mức trung gian và nâng cao cho CNN, sau đó sử dụng Transformer để khám phá các mối quan hệ không gian tiềm ẩn giữa các vùng ảnh.
  • Giải pháp ghép nối vector đặc trưng từ hai mạng CNN khác biệt trước khi đưa qua một khối Transformer Encoder nhỏ gọn (16 patches, 4 heads, 1 layer) giúp giảm đáng kể số lượng tham số so với các kiến trúc Vision Transformer thông thường, đồng thời tận dụng tính đa dạng của các đặc trưng được trích xuất từ hai kiến trúc CNN khác nhau.
• Đóng góp về xử lý dữ liệu và đánh giá thực nghiệm:
  • Xử lý và chuẩn hóa tập dữ liệu 16.388 ảnh từ nguồn RDD2020 đa quốc gia (6 nước) thành bộ dữ liệu phân loại nhị phân phục vụ bài toán phát hiện hư hỏng đường bộ.
  • Tiến hành so sánh đối chuẩn hiệu năng giữa mô hình đề xuất với các mô hình CNN thuần túy và phương pháp Zero-shot learning thông qua mô hình CLIP.
  • Sử dụng kỹ thuật Grad-CAM để trực quan hóa vùng chú ý của mô hình, chứng minh tính hiệu quả của cơ chế kết hợp đặc trưng trong việc định vị các khiếm khuyết bề mặt đường.
• Kiến nghị và giải pháp đề xuất: Tác giả đề xuất tích hợp giải pháp tự động hóa này vào hệ thống giám sát hạ tầng giao thông nhằm thay thế phương thức kiểm tra thủ công tốn kém, hướng tới ứng dụng cảnh báo tình trạng hư hỏng đường bộ phục vụ công tác duy tu, sửa chữa kịp thời.

---

Hạn chế và hướng nghiên cứu tiếp

Dựa trên phạm vi và nội dung văn bản:

• Hạn chế:
  • Mô hình mới tập trung giải quyết bài toán phân loại nhị phân (có hư hỏng / không hư hỏng), chưa phân loại chi tiết từng dạng hư hỏng cụ thể (như tách biệt nứt dọc, nứt ngang, nứt da cá sấu hay gờ giảm tốc) và đã loại trừ các trường hợp đường đã sửa chữa.
  • Việc kết hợp đồng thời hai backbone CNN (ResNet50 và EfficientNetB3) cùng khối Transformer vẫn đòi hỏi việc tối ưu hóa sâu hơn về tài nguyên phần cứng khi triển khai trực tiếp trên các thiết bị biên có cấu hình rất thấp.
• Hướng nghiên cứu tiếp:
  • Tiến hành thử nghiệm và đánh giá chi tiết khả năng triển khai mô hình trên các thiết bị biên (edge devices) trong môi trường thực tế.
  • Tiếp tục tối ưu hóa cấu trúc mạng để giảm thiểu độ trễ xử lý, hướng tới đáp ứng yêu cầu xử lý thời gian thực từ camera hành trình phương tiện giao thông.

---

Giá trị tham khảo

Công trình có giá trị tham khảo chuyên môn cho các đối tượng:

• Giảng viên, học viên cao học và nghiên cứu sinh chuyên ngành Khoa học máy tính, Trí tuệ nhân tạo, Thị giác máy tính: Cung cấp tài liệu tham khảo chi tiết về phương pháp dung hợp đặc trưng đa nhánh từ các mạng CNN khác nhau (ResNet50, EfficientNetB3) kết hợp cơ chế chú ý của Transformer Encoder trong bài toán phân loại ảnh.
• Kỹ sư phát triển phần mềm và hệ thống giao thông thông minh (ITS): Tham khảo quy trình tiền xử lý và gán nhãn dữ liệu từ tập RDD2020 đa quốc gia, cũng như cách thiết lập mô hình lai nhằm cân bằng giữa độ chính xác và dung lượng tham số tính toán.
• Cán bộ kỹ thuật và đơn vị quản lý hạ tầng giao thông: Tham khảo cơ sở lý thuyết và tính khả thi của việc ứng dụng thị giác máy tính tự động trong công tác giám sát, kiểm tra mặt đường.

---

Câu hỏi thường gặp

1. Mô hình phân loại được đề xuất trong công trình có cấu trúc gồm những thành phần nào?
Mô hình đề xuất gồm 4 thành phần chính: (1) Nhánh ResNet50 trích xuất đặc trưng; (2) Nhánh EfficientNetB3 trích xuất đặc trưng song song; (3) Khối ghép nối vector đặc trưng (Feature Vector Concatenation) chia thành 16 patches và đưa qua một khối Transformer Encoder (4 heads, 1 layer); (4) Lớp Fully Connected (FC) thực hiện phân loại nhãn cuối cùng.

2. Tập dữ liệu RDD2020 được tác giả thu thập từ những quốc gia nào và xử lý thành các lớp ra sao?
Tập dữ liệu RDD2020 được thu thập từ 6 quốc gia gồm Ấn Độ, Nhật Bản, Cộng hòa Séc, Na Uy, Hoa Kỳ và Trung Quốc. Tác giả đã xử lý 16.388 hình ảnh thành 2 lớp: Class 1 (đường hư hỏng - gồm nứt dọc, nứt ngang, nứt da cá sấu, gờ giảm tốc) và Class 0 (đường không hư hỏng - các ảnh không có nhãn hư hỏng). Nhãn vị trí đã sửa chữa (repaired locations) được loại bỏ khỏi nghiên cứu.

3. Tại sao tác giả lựa chọn kết hợp hai mô hình CNN (ResNet50 và EfficientNetB3) trước khi đưa vào Transformer thay vì dùng một mô hình CNN lớn?
Tác giả lý giải rằng mỗi kiến trúc CNN trích xuất các tập đặc trưng tương đối khác nhau; việc kết hợp hai mô hình giúp đa dạng hóa thông tin đặc trưng (tương tự nguyên lý bỏ phiếu đa mô hình) giúp bổ trợ lẫn nhau, đồng thời hạn chế nguy cơ quá khớp (overfitting) so với việc sử dụng một mạng CNN đơn lẻ có kích thước quá lớn khi huấn luyện trên tập dữ liệu giới hạn.

4. Cấu hình cụ thể của khối Transformer Encoder được sử dụng trong mô hình đề xuất là gì?
Nhằm mục tiêu thiết kế mô hình nhỏ gọn cân bằng giữa hiệu năng và thời gian xử lý, khối Transformer Encoder trong nghiên cứu được cấu hình với đầu vào gồm 16 patches từ vector đặc trưng hợp nhất, 4 heads chú ý (multi-head attention) và 1 layer duy nhất.

5. Mô hình CLIP được tác giả khảo sát trong phần Zero-shot learning có đặc điểm gì?
Mô hình CLIP (Contrastive Language–Image Pre-training) của OpenAI là mô hình đa phương thức (multi-modality) gồm Image Encoder và Text Encoder, được huấn luyện trên 400 triệu cặp ảnh - văn bản mô tả hoàn chỉnh bằng hàm mất mát tương phản. Mô hình cho phép phân loại ảnh bằng cách so khớp độ tương đồng vector giữa ảnh đầu vào và các nhãn văn bản mà không cần huấn luyện lại trên tập dữ liệu đích.

---

Kết luận

Công trình nghiên cứu đã xây dựng và đánh giá giải pháp phân loại tình trạng hư hỏng đường bộ dựa trên kiến trúc kết hợp giữa mạng tích chập (ResNet50, EfficientNetB3) và Transformer Encoder. Bằng việc chuẩn hóa và thực nghiệm trên tập dữ liệu RDD2020 gồm 16.388 hình ảnh từ 6 quốc gia, nghiên cứu đã chứng minh tính hiệu quả của phương pháp dung hợp đặc trưng đa nhánh kết hợp cơ chế chú ý không gian. Các kết quả phân tích lý thuyết, đối chuẩn tham số và trực quan hóa qua Grad-CAM cung cấp cơ sở khoa học rõ ràng cho việc phát triển các mô hình thị giác máy tính ứng dụng trong tự động hóa giám sát hạ tầng giao thông đường bộ.

Trích đoạn nội dung tài liệu

NGUYEN MINH LY- 20521592 KHOA LUAN TOT NGHIEP ĐÁNH GIA HIEU QUA CUA KIÊN TRÚC CNN- TRANSFORMERS TRONG VIEC PHAN LOAI TINH TRANG HU HONG DUONG BO (EVALUATING THE EFFECTIVENESS OF CNN-TRANSFORMERS ARCHITECTURE IN CLASSIFYING ROAD DAMAGE CONDITIONS) CU NHAN NGANH KHOA HOC MAY TINH GIANG VIEN HUONG DAN TS. LE KIM HUNG TP. HO CHI MINH, 2024 Dissertation Defense Committee List The dissertation defense committee, established according to Decision No. 154/QD-DHCNTT dated March 1, 2023, by the Rector of the University of Information Technology.

Acknowledgements First of all, I would like to express my sincere gratitude to all the professors and teachers working and teaching at the University of Information Technology - VNU- HCM for the knowledge, lessons, and valuable experiences that I have acquired during my recent journey. I wish the Department of Computer Science in particular, and the University of Information Technology - VNU-HCM in general, continued brilliant success in the field of education, always training talents for the country, and remaining a firm and attractive destination for future generations of students. I would also like to extend my heartfelt thanks to Dr. Le Kim Hung.

Thanks to his experiences, lessons, care, assistance, and guidance, I have overcome the difficulties and challenges in the process of completing this graduation thesis. Next, I would like to express my sincere thanks to my family for always believing in and encouraging me throughout my studies at the University of Information Technology - VNU-HCM, giving me additional motivation to strive for development and achieve the success I have today. Finally, I would like to thank my fellow students at the University of Information Technology - VNU-HCM for their companionship, assistance, enthusiasm in sharing opinions, and suggestions to help improve and perfect my graduation thesis. Ho Chi Minh, 2024 Table of Contents Acknowledgements 4 ABSTRACT 11 CHAPTER 1.

Objectives of the Thesis 14 1. Subjects and Scope of Research 14 1. Scope of Research 15 CHAPTER 2. Overview of Artificial Intelligence, Machine Learning, Deep Learning 16 2.

Typical Architectures in Deep Learning 21 2. Convolution Neural Network 25 2. Image classification problem 34 2. Some studies on the problem of detecting damaged paths 35 CHAPTER 3.

Overview of the Model 36 3. Zero shot learning 45 CHAPTER 4. EXPERIMENTS AND EVALUATION 50 4. Experimental results 59 CHAPTER 5.

SUMMARY AND DEVELOPMENT DIRECTIONS 69 5. The achieved results 69 5. Development Directions 70 REFERENCES 72 List of images Figure 1. Investigate the overall management theory, applications, and classifications in the fields of AI, ML, and DL.The performance differences among various AI and ML model groups.

Transformers arChIf€CfUT€.Proposed model architecture. The skip connection architecture was invented in resnet. Architecture of the ResNet50 model.---- -5- -sc+c+csereersee 40 Figure 7. Ways to scale up neural network architectures.

The baseline architecture of the EfficientNet model. Compare the accuracy of the models on the ImageNet dataset. The architecture of the EfficientNetB3 model. Image classification with Zero-shot learning.

CLIP training process on 400 million image-caption data pairs. The process of predicting the label of an image using the clip model Figure 14. Distribute data in train, valid and test S€fs. The ratio of images between the classes in the dataset; 0: non-damaged road class; 1: damaged road CÏaSS.- - -- s91 ng ng c 52 Figure 16.

Distribution of images for each country in the train da(a. Distribution of images for each country in the valid data. Distribution of images for each country in the test dafa. Some images from the dataset.

a, b: Images in the case of undamaged roads; c, d: Images in the case of damaged roads. The loss and accuracy scores of the model during training. The GradCAM results display the important regions on an image that the model uses to make Dr€dICfIOTIS.- 5 E111 19112 1231 11 HH HH ni, 65 List of Tables Table 1. Details the number of images in the đafa.

Values of TP, FN, FP, TN in the confusion matr1X. Result for Zero-shot learning for each cÌaSS€S. The overview result for zero-shot learnIng.- --‹--- «<< «++<ex++es 60 Table 7. The number of parameters for each model.

The detailed accuracy metrics of the proposed model using various TT€8SUT€ITRIES.