Ứng dụng Deep learning trong việc xử lý hình ảnh cho drone giao hàng tự động

Đồ án ứng dụng deep learning xử lý hình ảnh cho drone giao hàng tự động tại ĐH SPKT TPHCM

• Tác giả: Nguyễn Đình Đức Thọ
• Người hướng dẫn: TS. Huỳnh Thế Thiện
• Trường học: Trường Đại học Sư phạm Kỹ thuật Thành phố Hồ Chí Minh
• Chuyên ngành: Hệ thống nhúng và IoT
• Đề tài: Ứng dụng Deep learning trong việc xử lý hình ảnh cho drone giao hàng tự động
• Loại tài liệu: Khóa luận tốt nghiệp
• Năm xuất bản: 2025
• Địa điểm: Thành phố Hồ Chí Minh

Tóm tắt

I. Tổng quan về deep learning cho drone giao hàng tại ĐH SPKT TPHCM

Đề tài nghiên cứu tại Đại học Sư phạm Kỹ thuật TP.HCM tập trung vào công nghệ máy bay không người lái giao hàng. Thiết bị bay tự động cần khả năng nhận biết môi trường xung quanh nhanh chóng. Phương pháp thị giác máy tính truyền thống bộc lộ nhiều điểm hạn chế khi điều kiện ánh sáng thay đổi. Học sâu mang đến giải pháp vượt trội thông qua mạng nơ-ron nhân tạo đa tầng. Hệ thống phân tích luồng video từ camera gắn trên drone theo thời gian thực. Mô hình học sâu tự động trích xuất các đặc trưng không gian phức tạp. Cấu trúc mạng tích chập giúp phân biệt rõ ràng mặt đất, cây cối, con người và phương tiện. Nhờ vậy, thiết bị giao hàng xác định chính xác khu vực hạ cánh mục tiêu. Nghiên cứu này mở ra hướng tiếp cận hiện đại cho ngành logistics thông minh tại Việt Nam. Việc ứng dụng thuật toán tiên tiến giúp tăng tính tự chủ cho phương tiện bay không người lái. Hệ thống giảm thiểu rủi ro va chạm trong suốt hành trình vận chuyển bưu phẩm. Toàn bộ quy trình xử lý dữ liệu được thiết kế tối ưu cho nền tảng phần cứng nhúng. Kết quả nghiên cứu khẳng định tiềm năng lớn của trí tuệ nhân tạo trong tự động hóa giao vận.

1.1. Bối cảnh nghiên cứu tại Đại học Sư phạm Kỹ thuật

Khoa Điện - Điện tử thuộc ĐH SPKT TPHCM chú trọng phát triển các đề tài thực tiễn. Ngành Hệ thống nhúng và IoT đóng vai trò nòng cốt trong nghiên cứu tự hành. Nhu cầu giao hàng bằng thiết bị bay không người lái gia tăng nhanh chóng tại các đô thị. Tuy nhiên, việc điều khiển thiết bị bay đòi hỏi độ an toàn tuyệt đối. Môi trường đô thị chứa nhiều chướng ngại vật phức tạp như dây điện và nhà cao tầng. Nhóm nghiên cứu đã lựa chọn hướng đi kết hợp trí tuệ nhân tạo với hệ thống nhúng. Đề tài tập trung giải quyết bài toán thị giác máy tính nhằm hỗ trợ thiết bị bay tự định hướng. Nghiên cứu tạo tiền đề vững chắc cho việc ứng dụng công nghệ tự động hóa trong logistics.

1.2. Vai trò của deep learning trong thị giác drone

Thị giác máy tính truyền thống gặp khó khăn khi xử lý dữ liệu phức tạp từ trên cao. Hình ảnh chụp từ drone thường bị biến dạng do góc nghiêng và khoảng cách lớn. Deep learning giải quyết bài toán này nhờ cơ chế học biểu diễn tự động. Mạng nơ-ron học cách phân loại từng điểm ảnh trực tiếp từ dữ liệu thực tế. Khả năng nhận diện vật thể không còn phụ thuộc vào các bộ lọc thủ công. Thuật toán phân đoạn ngữ nghĩa phân tách chính xác các vùng mặt đất an toàn. Drone dựa vào kết quả phân tích để lập kế hoạch di chuyển và hạ cánh. Công nghệ mang lại độ chính xác cao và khả năng thích nghi môi trường vượt trội.

II. Thách thức xử lý hình ảnh cho drone giao hàng tự động

Hệ thống thị giác máy tính trên drone giao hàng đối mặt nhiều rào cản kỹ thuật. Khi hoạt động ngoài trời, cường độ ánh sáng tự nhiên liên tục biến động. Ánh nắng gắt tạo bóng đổ dài làm sai lệch màu sắc thực tế. Ngược lại, điều kiện thiếu sáng khiến hình ảnh mờ nhạt và suy giảm độ tương phản. Sự rung lắc của động cơ cánh quạt cũng gây ra hiện tượng nhòe chuyển động. Những yếu tố này làm giảm đáng kể chất lượng khung hình thu nhận được. Bên cạnh đó, môi trường quan sát từ trên cao có độ phức tạp rất lớn. Địa hình thực tế xuất hiện nhiều bề mặt che khuất và vật cản ngẫu nhiên. Cây cối, mái nhà và dây dẫn điện gây nhiễu cho quá trình gán nhãn pixel. Ngoài ra, giới hạn phần cứng nhúng trên drone đặt ra bài toán nghiêm ngặt về tài nguyên. Bộ vi xử lý trên bo mạch có dung lượng bộ nhớ và năng lượng hạn chế. Mô hình học sâu cồng kềnh khó đạt tốc độ khung hình thời gian thực. Độ trễ xử lý cao dẫn đến nguy cơ mất an toàn khi máy bay hạ cánh khẩn cấp.

2.1. Biến động môi trường và nhiễu hình ảnh trên cao

Camera gắn trên drone liên tục chịu tác động từ môi trường bay khắc nghiệt. Sự thay đổi đột ngột của thời tiết làm thay đổi dải tương phản của ảnh. Sương mù và bụi mịn làm tán xạ ánh sáng, giảm độ sắc nét của vật thể. Hiện tượng rung chấn từ rotor tạo ra các vệt mờ trên từng khung hình. Khi drone di chuyển ở độ cao lớn, các chi tiết nhỏ dưới mặt đất dễ bị xóa nhòa. Các thuật toán cổ điển thường thất bại trong việc phân tách ranh giới đối tượng trong hoàn cảnh này. Việc mất thông tin biên cạnh khiến hệ thống định vị nhầm lẫn bãi đáp an toàn.

2.2. Hạn chế tài nguyên phần cứng trên hệ thống nhúng

Drone giao hàng yêu cầu tải trọng gọn nhẹ để tối ưu hóa thời gian bay. Do đó, các thiết bị nhúng tích hợp thường có bộ nhớ RAM và chip xử lý hạn chế. Những mô hình học sâu hiện đại thường sở hữu hàng chục triệu tham số phức tạp. Việc triển khai các mạng nơ-ron này trực tiếp lên bo mạch drone gây quá tải nhiệt và cạn kiệt pin nhanh chóng. Tốc độ xử lý khung hình thấp làm tăng độ trễ điều khiển thời gian thực. Khi máy bay di chuyển với vận tốc cao, độ trễ xử lý vài phần trăm giây cũng gây nguy cơ tai nạn. Đây là bài toán kỹ thuật trọng tâm cần giải quyết.

III. Phương pháp phân đoạn ngữ nghĩa tối ưu cho drone giao hàng

Nhóm nghiên cứu tại ĐH SPKT TPHCM đề xuất ứng dụng mô hình phân đoạn ngữ nghĩa chuyên sâu. Kiến trúc mã hóa và giải mã đóng vai trò trung tâm trong giải pháp này. Mạng nơ-ron tích chập đảm nhận nhiệm vụ trích xuất đặc trưng từ ảnh gốc. Các lớp tích chập cục bộ lọc bỏ nhiễu và phát hiện các đường biên vật thể sắc nét. Tiếp theo, các lớp tổng hợp giảm kích thước không gian nhằm cô đọng thông tin quan trọng. Quá trình này giúp mô hình nhận diện chính xác cấu trúc bề mặt hạ cánh. Bộ giải mã khôi phục kích thước không gian ban đầu thông qua các phép tích chập chuyển vị. Cơ chế kết nối tắt truyền trực tiếp thông tin độ phân giải cao từ bộ mã hóa sang bộ giải mã. Nhờ đó, ranh giới giữa chướng ngại vật và vùng hạ cánh được tái tạo chuẩn xác đến từng pixel. Quá trình huấn luyện sử dụng kỹ thuật tăng cường dữ liệu phong phú để nâng cao độ bền vững. Dữ liệu hình ảnh được chuẩn hóa kỹ lưỡng trước khi đưa vào mô hình học sâu. Toàn bộ cấu trúc mạng được tinh gọn để chạy mượt mà trên thiết bị nhúng. Kết quả mang lại khả năng phân loại khu vực an toàn với độ tin cậy vượt trội.

3.1. Kiến trúc mạng mã hóa giải mã UNet tiên tiến

Mô hình UNet là cấu trúc phân đoạn kinh điển với hiệu năng vượt trội. Bộ mã hóa sử dụng các khối tích chập liên tiếp để trích xuất đặc trưng ngữ nghĩa. Kích thước bản đồ đặc trưng giảm dần qua các tầng gộp nhằm giảm độ phức tạp tính toán. Bộ giải mã tái tạo chi tiết không gian bằng cách nâng mẫu các đặc trưng trừu tượng. Các đường liên kết tắt kết nối trực tiếp tầng mã hóa tương ứng với tầng giải mã. Điều này ngăn chặn hiện tượng mất mát thông tin không gian trong mạng sâu. Mô hình phân loại từng pixel ảnh thành các lớp đối tượng cụ thể một cách chuẩn xác.

3.2. Tiền xử lý dữ liệu và tối ưu hóa mô hình học sâu

Dữ liệu hình ảnh từ drone trải qua quy trình tiền xử lý nghiêm ngặt. Hệ thống áp dụng các phép biến đổi hình học như xoay ảnh, lật ảnh và cắt ngẫu nhiên. Các kỹ thuật điều chỉnh độ sáng và cân bằng biểu đồ màu giúp làm phong phú tập huấn luyện. Quá trình này giúp mô hình chống chịu tốt trước các biến động thời tiết khắc nghiệt. Bên cạnh đó, các kỹ thuật lượng hóa trọng số và tỉa thưa mạng được triển khai triệt để. Dung lượng mô hình giảm đáng kể nhưng vẫn bảo toàn độ chính xác phân đoạn. Nhờ đó, thuật toán vận hành ổn định trên các vi mạch nhúng biên của drone.

IV. Đánh giá ứng dụng thực tiễn của drone giao hàng thông minh

Nghiên cứu về học sâu cho drone giao hàng tại ĐH SPKT TPHCM mang lại giá trị thực tiễn to lớn. Giải pháp phân đoạn ngữ nghĩa chứng minh tính hiệu quả vượt trội trong việc phát hiện bãi đáp an toàn. Drone có thể tự động né tránh các vật cản nguy hiểm như dây điện, cây xanh và người đi bộ. Độ chính xác cao trong nhận diện pixel giúp thiết bị tiếp đất chuẩn xác tại các vị trí chật hẹp. Hệ thống vận hành mượt mà ngay cả trong điều kiện thời tiết và ánh sáng phức tạp. Thành công của đề tài tạo bước đệm vững chắc cho ngành vận chuyển thông minh. Khả năng tự chủ cao giúp drone giảm thiểu sự phụ thuộc vào sự điều khiển thủ công từ xa. Chi phí vận hành của các dịch vụ giao hàng nhanh được tối ưu hóa rõ rệt. Đề tài mở ra tiềm năng thương mại hóa mạnh mẽ cho các giải pháp logistics đô thị tại Việt Nam. Công nghệ này cũng có thể mở rộng sang các nhiệm vụ cứu hộ khẩn cấp hoặc giám sát nông nghiệp. Hướng phát triển tiếp theo tập trung vào việc gia tăng tốc độ suy luận của mô hình trên các chip chuyên dụng thế hệ mới.

4.1. Khả năng hỗ trợ hạ cánh tự động chính xác và an toàn

Quá trình hạ cánh là giai đoạn quan trọng và tiềm ẩn nhiều rủi ro nhất trong mỗi chuyến bay. Mô hình phân đoạn ngữ nghĩa cung cấp bản đồ pixel chi tiết về bề mặt hạ cánh. Hệ thống nhận diện chuẩn xác các vùng phẳng an toàn như sân thượng, bãi cỏ hoặc bục đáp chuyên dụng. Những khu vực có người di chuyển hoặc chướng ngại vật lập tức bị loại trừ. Drone tự động điều chỉnh tọa độ tiếp đất theo thời gian thực nhằm đảm bảo an toàn tuyệt đối cho kiện hàng. Độ sai lệch vị trí được kiểm soát ở mức tối thiểu, bảo vệ an toàn cho cả phương tiện lẫn cộng đồng xung quanh.

4.2. Triển vọng phát triển của hệ thống logistics đô thị

Việc làm chủ công nghệ học sâu mở ra cơ hội thương mại hóa drone giao vận tại các thành phố lớn. Mô hình vận chuyển trên không giúp giải quyết bài toán ùn tắc giao thông mặt đất. Tốc độ chuyển phát bưu kiện hỏa tốc và vật phẩm y tế được cải thiện rõ rệt. Nghiên cứu từ ĐH SPKT TPHCM khẳng định năng lực sáng tạo của sinh viên và giảng viên trong nước. Các công ty khởi nghiệp công nghệ có thể kế thừa thuật toán để hoàn thiện hệ sinh thái tự hành. Đây là bước tiến quan trọng thúc đẩy sự phát triển của thành phố thông minh trong kỷ nguyên chuyển đổi số.

Nội dung chính

Bối cảnh và vấn đề nghiên cứu

Sự phát triển của công nghệ máy bay không người lái (drone/UAV) đang tạo ra những thay đổi lớn trong lĩnh vực vận tải và logistics, đặc biệt là giai đoạn giao hàng "chặng cuối" (last-mile delivery). Ứng dụng drone mang lại khả năng tối ưu hóa chi phí vận hành, rút ngắn thời gian giao nhận và tiếp cận linh hoạt các khu vực địa hình khó khăn mà phương tiện mặt đất truyền thống gặp trở ngại. Tuy nhiên, việc đưa drone vào vận hành thực tế đối mặt với rào cản lớn: khả năng giao hàng tự động đến chính xác vị trí theo yêu cầu của người nhận như sân trước, sân sau hoặc cửa chính.

Hiện nay, các giải pháp giao hàng bằng drone từ các tập đoàn lớn như Amazon, UPS, Domino’s hay Walmart vẫn chủ yếu dựa vào việc thả gói hàng từ độ cao nhất định qua dây cáp hoặc đáp xuống một bệ đáp cố định. Cơ chế này đòi hỏi người nhận phải có mặt để tiếp nhận hoặc chuẩn bị trước vị trí tiếp đất, làm giảm tính tự động và mức độ thuận tiện. Mặt khác, các nghiên cứu trước đây về định vị điểm giao thường sử dụng các dấu hiệu hình ảnh nhân tạo (visual markers) hoặc bệ đáp nhận diện sẵn. Phương pháp này chỉ phù hợp với các tòa chung cư có ban công đơn giản, không tương thích với cấu trúc nhà ở độc lập hay nhà phố không có ban công phổ biến. Các tiếp cận ứng dụng học tăng cường (reinforcement learning) chỉ đưa drone tới vùng lân cận ngôi nhà mà chưa giải quyết được bài toán nhận diện chi tiết khu vực tiếp đất an toàn tại khuôn viên mặt đất.

Xuất phát từ thực tiễn đó, khóa luận đặt mục tiêu phát triển hệ thống thị giác máy tính cho drone giao hàng tự động, ứng dụng kỹ thuật phân đoạn ngữ nghĩa hình ảnh để nhận diện chính xác các đặc trưng môi trường từ góc nhìn trên cao (nadir view), phục vụ việc xác định vị trí hạ cánh an toàn mà không cần dấu hiệu nhân tạo hay sự hỗ trợ từ con người.

Nhiệm vụ nghiên cứu của đề tài bao gồm 4 nội dung chính:

1. Thu thập, phân loại và tiền xử lý tập dữ liệu hình ảnh thu nhận từ drone, áp dụng các kỹ thuật tăng cường dữ liệu nhằm đa dạng hóa điều kiện môi trường huấn luyện.
2. Thiết kế, tinh chỉnh và huấn luyện mô hình mạng nơ-ron tích chập (CNN) dựa trên kiến trúc UNet++, kết hợp mạng trích xuất đặc trưng Xception và các cơ chế chú ý kép.
3. Xây dựng môi trường mô phỏng và thực nghiệm kiểm thử mô hình trên chuỗi khung hình trích xuất từ video thực tế.
4. Đánh giá định lượng (thông qua các phép đo độ chính xác điểm ảnh và mIoU) và định tính kết quả phân đoạn, so sánh với các kiến trúc học sâu tiên tiến để tối ưu hóa mô hình.

Đối tượng nghiên cứu là các phương pháp phân đoạn ngữ nghĩa ảnh chụp từ trên cao của drone và các kiến trúc học sâu phục vụ nhận diện mặt bằng tiếp đất. Phạm vi nghiên cứu giới hạn ở quá trình xử lý, huấn luyện và kiểm thử mô hình trên các tập dữ liệu ảnh chụp từ drone kết hợp và các đoạn video mô phỏng có sẵn; nghiên cứu chưa triển khai thử nghiệm bay tích hợp trên hệ thống phần cứng drone vật lý trong điều kiện thực tế.

Cơ sở lý thuyết và phương pháp

Khóa luận xây dựng trên nền tảng lý thuyết về hệ thống drone giao hàng tự động và các mô hình học sâu (Deep Learning) chuyên dụng trong thị giác máy tính:

• Hệ thống drone giao hàng: Phân tích tổng thể phần cứng gồm khung máy bay, hệ động lực (cánh quạt từ 4 đến 6 cánh), hệ thống pin (lithium-ion, lithium-polymer), các cảm biến thu nhận dữ liệu (GPS, IMU, LiDAR, cảm biến đo khoảng cách, camera quang học hướng xuống và camera stereo phía trước). Phần mềm điều khiển dựa trên các hệ điều hành mã nguồn mở như PX4 và ArduPilot. Trong nhiệm vụ giao hàng chặng cuối, camera hướng xuống chịu trách nhiệm thu thập ảnh mặt đất để phân đoạn ngữ nghĩa, tìm kiếm vị trí hạ cánh an toàn trước khi camera stereo phía trước kích hoạt để điều hướng tiếp cận vị trí cửa nhà.
• Phân đoạn ngữ nghĩa (Semantic Segmentation): Phân tích so sánh giữa ba tác vụ phân đoạn chính: phân đoạn ngữ nghĩa, phân đoạn đối tượng (Instance Segmentation) và phân đoạn toàn cảnh (Panoptic Segmentation). Tác giả lựa chọn phân đoạn ngữ nghĩa vì nhiệm vụ của drone tập trung vào việc xác định các vùng địa hình an toàn (bãi cỏ, sân xi măng) và chướng ngại vật (cây cối, công trình, mặt nước) dưới dạng các lớp nền tổng quát, không đòi hỏi tách biệt từng cá thể trong cùng một lớp. Cách tiếp cận này giúp tối ưu hóa khối lượng tính toán, duy trì tốc độ xử lý phù hợp với yêu cầu thời gian thực.
• Các kiến trúc mạng mã hóa - giải mã (Encoder - Decoder):
  • UNet (Ronneberger et al., 2015): Kiến trúc chữ U kinh điển với các kết nối tắt (skip connections) trực tiếp giữa encoder và decoder giúp khôi phục thông tin không gian bị mất qua quá trình pooling.
  • UNet++ (Zhou et al., 2018): Cải tiến cấu trúc skip connection bằng chuỗi các khối tích chập lồng ghép dày đặc (nested dense skip pathways) và cơ chế giám sát sâu (deep supervision), giúp thu hẹp khoảng cách ngữ nghĩa giữa các tầng đặc trưng của encoder và decoder.
  • DeepLabV3+ (Chen et al., 2018): Áp dụng tích chập Atrous (Atrous Convolution) và khối Atrous Spatial Pyramid Pooling (ASPP) để mở rộng trường tiếp nhận mà không làm giảm độ phân giải không gian.
  • Feature Pyramid Network - FPN (Lin et al., 2017): Tận dụng cấu trúc tháp đặc trưng đa tỷ lệ thông qua các kết nối ngang (lateral connections) và đường truyền từ trên xuống (top-down pathway).
• Các cơ chế chú ý (Attention Mechanisms):
  • Self-Attention (Vaswani et al., 2017): Mô hình hóa mối tương quan toàn cục giữa các vị trí trong chuỗi dữ liệu/bản đồ đặc trưng bằng bộ ba vector Query (Q), Key (K) và Value (V) cùng hàm kích hoạt Softmax.
  • CBAM (Convolutional Block Attention Module - Woo et al., 2018): Cơ chế chú ý kết hợp tuần tự hai mô-đun con: Chú ý kênh (Channel Attention Module - CAM) và Chú ý không gian (Spatial Attention Module - SAM), sử dụng các phép toán gộp trung bình toàn cục (GAP) và gộp cực đại toàn cục (GMP) để làm nổi bật các đặc trưng hữu ích.

Phương pháp nghiên cứu thực tế được triển khai theo quy trình thực nghiệm kỹ thuật: thu thập dữ liệu thứ cấp từ các tập dữ liệu UAV công khai; áp dụng thư viện Albumentations để tăng cường dữ liệu; xây dựng mô hình mạng nơ-ron tích chập cải tiến; huấn luyện có giám sát bằng hàm mất mát kết hợp; đánh giá định lượng bằng các chỉ số Pixel Accuracy và Mean Intersection over Union (mIoU); kiểm thử định tính khả năng phân đoạn theo từng khung hình video. Nguồn dữ liệu sử dụng gồm ba bộ dữ liệu ảnh drone: Semantic Drone Dataset, Swiss Drone Dataset và Okutama Drone Dataset.

Thiết kế và triển khai hệ thống

Hệ thống thị giác máy tính phục vụ hạ cánh drone được thiết kế theo cấu trúc mô-đun hóa, tập trung vào khả năng trích xuất thông tin không gian từ dữ liệu ảnh chụp thẳng đứng (nadir view).

Yêu cầu kỹ thuật của hệ thống

Hệ thống phải phân biệt chính xác các bề mặt địa hình phức tạp từ trên cao, bóc tách các vùng đáp tiềm năng (bãi cỏ, mặt đường lát gạch, sân trống) khỏi các vật cản (nhà cửa, cây xanh, xe cộ, người). Về mặt hiệu năng thuật toán, mô hình cải tiến cần vượt qua các mạng cơ sở về điểm Pixel Accuracy và mIoU trên cùng tập dữ liệu thử nghiệm, đồng thời duy trì khả năng suy luận ổn định trên luồng video liên tục.

Kiến trúc mạng phân đoạn đề xuất

Kiến trúc đề xuất lấy mô hình UNet++ làm khung xương chính (backbone framework), tích hợp các thành phần nâng cao:

1. Tích hợp mạng trích xuất đặc trưng Xception: Thay thế các khối tích chập tiêu chuẩn ở nhánh mã hóa (encoder) bằng mạng Xception. Xception sử dụng các lớp tích chập tách biệt theo chiều sâu (depthwise separable convolution), cho phép phân tách quá trình học tương quan giữa các kênh và tương quan không gian, qua đó nâng cao năng lực biểu diễn các đặc trưng không gian phức tạp của địa hình từ ảnh drone.
2. Tích hợp cơ chế chú ý kép tại Encoder: Để khắc phục hạn chế mất mát thông tin cục bộ và tăng cường định vị vùng đáp, tác giả chèn khối CBAM và khối Self-Attention trực tiếp vào cấu trúc nhánh mã hóa:
   • Khối CBAM: Tinh chỉnh trọng số của các kênh đặc trưng và làm nổi bật các khu vực không gian quan trọng, giúp mô hình phân biệt rõ các ranh giới đối tượng như viền cỏ, lề đường.
   • Khối Self-Attention: Nắm bắt mối quan hệ ngữ cảnh tầm xa trên toàn bộ khung hình, đảm bảo tính liên kết giữa các vùng không gian rộng lớn (ví dụ: toàn bộ diện tích mái nhà hoặc sân vườn).
3. Quy trình tăng cường dữ liệu bằng Albumentations: Nhằm khắc phục hạn chế về số lượng mẫu và nâng cao tính tổng quát hóa trước các biến đổi môi trường thực tế (góc bay, ánh sáng thay đổi), tác giả áp dụng thư viện Albumentations để thực hiện các phép biến đổi ảnh: xoay góc ngẫu nhiên, lật ngang/dọc, phóng to, thu nhỏ, điều chỉnh độ sáng và độ tương phản, cân bằng lược đồ màu thích ứng giới hạn tương phản (CLAHE) và thêm nhiễu ngẫu nhiên.
4. Môi trường và quy trình triển khai: Mô hình được xây dựng trên nền tảng học sâu, sử dụng các GPU để tăng tốc tính toán. Dữ liệu sau khi tăng cường được phân chia thành các tập huấn luyện, kiểm thực và kiểm tra. Kết quả phân đoạn đầu ra là bản đồ màu (color mask) tương ứng với từng lớp đối tượng, được kiểm tra trên các đoạn video mô phỏng hành trình tiếp đất của drone.

Nội dung chính theo từng chương

Chương 1: Tổng quan

Chương 1 thiết lập cơ sở thực tiễn của đề tài thông qua việc phân tích nhu cầu tự động hóa logistics chặng cuối. Tác giả chỉ ra các điểm nghẽn của công nghệ drone hiện nay: sự phụ thuộc vào người nhận khi giao hàng, tính kém linh hoạt của cơ chế thả dây cáp hoặc bệ đáp cố định, và sự thiếu tương thích của các giải pháp đánh dấu hình ảnh (visual markers) với cấu trúc nhà ở dân dụng. Từ đó, chương này xác định rõ mục tiêu chế tạo hệ thống thị giác máy tính phân đoạn ảnh tự động dựa trên UNet++ cải tiến; định hình 4 nhiệm vụ nghiên cứu cốt lõi từ khâu xử lý dữ liệu, thiết kế mạng, mô phỏng đến đánh giá; đồng thời xác lập giới hạn nghiên cứu dừng lại ở mức độ thực nghiệm mô phỏng trên tập dữ liệu và video có sẵn.

Chương 2: Cơ sở lý thuyết

Chương 2 tổng hợp toàn bộ nền tảng học thuật phục vụ thiết kế hệ thống:

• Trình bày kiến trúc phần cứng và phần mềm của drone giao hàng, đặc biệt là cơ chế điều hướng 2 giai đoạn (hạ cánh bằng phân đoạn hình ảnh từ camera hướng xuống kết hợp cảm biến khoảng cách, sau đó điều hướng đến cửa bằng camera stereo).
• Hệ thống hóa lý thuyết về mạng nơ-ron sâu (DNN) và mạng nơ-ron tích chập (CNN), chi tiết hóa các phép toán tích chập, hàm kích hoạt ReLU, lớp gộp cực đại (Max Pooling) và lớp Softmax.
• Phân tích nhiệm vụ phân đoạn ngữ nghĩa và cấu trúc mã hóa - giải mã (Encoder - Decoder).
• Khảo sát chuyên sâu 4 kiến trúc phân đoạn tiêu biểu: UNet, UNet++, DeepLabV3+ và FPN. Bảng so sánh tổng quan chỉ ra UNet++ có sự cân bằng tối ưu giữa khả năng trích xuất chi tiết biên và chi phí tính toán, thích hợp hơn cấu trúc nặng nề của DeepLabV3+ hoặc sự hạn chế chi tiết biên của FPN.
• Trình bày nguyên lý toán học và cấu tạo của cơ chế tự chú ý (Self-Attention) cùng khối chú ý tích chập không gian - kênh (CBAM).

Chương 3: Thiết kế hệ thống

Chương 3 chi tiết hóa giải pháp kỹ thuật do nhóm tác giả đề xuất:

• Xác lập các yêu cầu chức năng và phi chức năng của hệ thống xử lý ảnh drone.
• Mô tả kiến trúc tổng thể của mô hình UNet++ kết hợp Xception, trong đó Xception đóng vai trò encoder trích xuất đặc trưng sâu.
• Trình bày thiết kế tích hợp cơ chế chú ý kép (CBAM và Self-Attention) tại các khối mã hóa nhằm tăng cường khả năng nhận diện các khu vực hạ cánh an toàn.
• Thiết lập quy trình tiền xử lý và tăng cường dữ liệu sử dụng thư viện Albumentations.
• Mô tả các tập dữ liệu thực nghiệm (Semantic Drone, Swiss Drone, Okutama Drone), sơ đồ ánh xạ giữa các lớp đối tượng (classes) với mã màu phân đoạn, và quy trình thiết lập thử nghiệm trên video mô phỏng.

Chương 4: Kết quả và thảo luận

Chương 4 cung cấp các số liệu thực nghiệm thu được từ quá trình kiểm thử mô hình:

• Trình bày kết quả so sánh định lượng giữa mô hình đề xuất và các mạng tiên tiến (UNet, DeepLabV3+, FPN) trên tập dữ liệu chính.
• Đánh giá sự cải thiện hiệu suất của mô hình UNet++-Xception trước và sau khi bổ sung các khối cơ chế chú ý kép (CBAM và Self-Attention).
• Phân tích chi tiết chỉ số mIoU trên từng lớp đối tượng cụ thể (nhà cửa, cây cối, mặt đất, đường xá).
• Đánh giá hiệu suất tổng thể khi huấn luyện trên tập dữ liệu drone kết hợp mới.
• Minh họa và thảo luận kết quả phân đoạn trực quan (visual inspection) trên các khung hình trích xuất từ video thực tế, chứng minh tính ổn định của mô hình khi gặp nhiễu và biến động ánh sáng.

Chương 5: Kết luận và hướng phát triển

Chương 5 tóm lược các kết quả nghiên cứu đã đạt được so với mục tiêu đề ra ban đầu; khẳng định hiệu quả của kiến trúc UNet++ cải tiến trong việc phân đoạn ảnh drone; đồng thời chỉ ra các hạn chế thực tế và vạch ra định hướng nghiên cứu tiếp theo nhằm đưa mô hình vào ứng dụng thực tiễn.

Kết quả và đóng góp

Nghiên cứu đạt được các kết quả định lượng cụ thể thông qua việc đánh giá trên tập dữ liệu drone tổng hợp:

Mô hình / Cấu hình thực nghiệm	Pixel Accuracy	mIoU
Mô hình đề xuất (UNet++ kết hợp Xception, CBAM, Self-Attention & Albumentations)	0.922	0.689

Ghi chú: Số liệu trích xuất từ kết quả thử nghiệm mô hình cải tiến trên tập dữ liệu drone kết hợp (Semantic Drone, Swiss, Okutama Drone) được công bố trong văn bản.

Các phát hiện và kết quả chính:

• Mô hình UNet++ cải tiến đạt điểm Pixel Accuracy là 0.922 (92,2%) và điểm mIoU đạt 0.689 (68,9%), tăng trưởng đáng kể so với mô hình UNet++ nguyên bản và vượt trội hơn các kiến trúc so sánh như DeepLabV3+ và FPN trên cùng điều kiện dữ liệu.
• Việc kết hợp backbone Xception giúp tăng cường độ sâu và khả năng trích xuất đặc trưng không gian đa tỷ lệ từ góc nhìn trên cao của UAV.
• Tích hợp khối chú ý kép (CBAM và Self-Attention) tại nhánh mã hóa giúp mô hình tập trung phân biệt rõ ranh giới các đối tượng phức tạp như cây cối, mái nhà và vùng đất an toàn, giảm thiểu hiện tượng phân đoạn nhầm lẫn tại các vùng chuyển tiếp địa hình.
• Ứng dụng kỹ thuật tăng cường dữ liệu Albumentations giúp mô hình duy trì khả năng nhận diện ổn định trên chuỗi video thử nghiệm ngay cả trong điều kiện ánh sáng thay đổi hoặc có nhiễu hình ảnh.

Đóng góp của khóa luận:

• Đề xuất giải pháp kiến trúc học sâu cải tiến cho bài toán phân đoạn ngữ nghĩa ảnh drone phục vụ hạ cánh tự động, kết hợp thành công UNet++, mạng Xception và các module chú ý kép.
• Xây dựng quy trình xử lý dữ liệu và huấn luyện mô hình trên các tập dữ liệu ảnh chụp từ UAV đa dạng nguồn, giải quyết vấn đề hạn chế góc nhìn trên không trong giao hàng tự động.
• Cung cấp phương án kỹ thuật khả thi giúp drone tự nhận biết bãi đáp an toàn mà không cần phụ thuộc vào con người hay các dấu hiệu nhân tạo (marker).

Hạn chế và hướng nghiên cứu tiếp

Hạn chế của nghiên cứu:

• Do giới hạn về thời gian và trang thiết bị thực nghiệm, đề tài mới chỉ dừng lại ở phạm vi mô phỏng và kiểm thử offline trên các bộ dữ liệu có sẵn cùng video trích xuất, chưa được nạp lên bo mạch nhúng để thử nghiệm bay thực tế trên thiết bị drone vật lý. Điều này tạo ra khoảng cách sai số nhất định giữa kết quả mô phỏng và điều kiện vận hành ngoài thực địa.
• Chi phí tính toán của mô hình kết hợp (UNet++, Xception và Attention) tương đối cao, đòi hỏi tài nguyên phần cứng GPU đáng kể.

Hướng nghiên cứu phát triển:

• Tích hợp mô hình học sâu vào phần cứng nhúng biên (edge devices) chuyên dụng trên drone và kết nối trực tiếp với hệ thống điều khiển bay (như PX4, ArduPilot).
• Nghiên cứu các phương pháp nén mô hình (pruning, quantization) nhằm giảm độ phức tạp tính toán, tối ưu hóa tốc độ xử lý khung hình để đảm bảo khả năng ra quyết định theo thời gian thực nghiêm ngặt khi bay.
• Mở rộng thử nghiệm bay thực tế trong các điều kiện môi trường, thời tiết khắc nghiệt và địa hình khu dân cư đa dạng để tinh chỉnh hệ thống.

Giá trị tham khảo

Khóa luận là tài liệu tham khảo hữu ích cho sinh viên, học viên và các nhóm nghiên cứu thuộc các chuyên ngành Hệ thống nhúng và IoT, Kỹ thuật Máy tính, Điện tử - Viễn thông, Công nghệ Thông tin và Trí tuệ Nhân tạo.

Các nội dung có giá trị tham khảo chuyên môn cao bao gồm:

• Thiết kế tích hợp các cơ chế chú ý (CBAM, Self-Attention) vào cấu trúc mạng nơ-ron phân đoạn ảnh mã hóa - giải mã.
• Quy trình áp dụng thư viện Albumentations để tăng cường và xử lý dữ liệu ảnh góc nhìn trên cao từ UAV.
• Phương pháp khảo sát, đối chiếu định lượng giữa các kiến trúc học sâu thị giác máy tính phổ biến (UNet, UNet++, DeepLabV3+, FPN) trên bài toán cụ thể.

Câu hỏi thường gặp

1. Vì sao đề tài lựa chọn phương pháp phân đoạn ngữ nghĩa thay vì phân đoạn đối tượng cho drone giao hàng?

Trong bài toán tìm kiếm vị trí hạ cánh an toàn, drone chỉ cần xác định tổng thể các khu vực bề mặt an toàn (như bãi cỏ, sân trống) và phát hiện chướng ngại vật (công trình, cây cối, mặt nước) mà không cần phân biệt ranh giới giữa các cá thể riêng lẻ trong cùng một nhóm đối tượng. Do đó, phân đoạn ngữ nghĩa đáp ứng đầy đủ yêu cầu nghiệp vụ, đồng thời giảm độ phức tạp tính toán và tăng tốc độ xử lý so với phân đoạn đối tượng hoặc phân đoạn toàn cảnh.

2. Mô hình phân đoạn đề xuất có những cải tiến cấu trúc cụ thể nào so với UNet++ tiêu chuẩn?

Tác giả đã thực hiện hai cải tiến kỹ thuật chính trên mô hình UNet++: (1) Thay thế bộ mã hóa chuẩn bằng mạng Xception với các khối tích chập tách biệt theo chiều sâu nhằm trích xuất đặc trưng không gian hiệu quả hơn; (2) Tích hợp các module chú ý kép gồm CBAM (chú ý kênh và chú ý không gian) và Self-Attention vào nhánh mã hóa để tối ưu hóa việc phân bổ trọng số cho các vùng thông tin quan trọng.

3. Thư viện Albumentations được sử dụng trong khóa luận nhằm mục đích gì?

Thư viện Albumentations được sử dụng để thực hiện tiền xử lý và tăng cường dữ liệu huấn luyện thông qua các phép biến đổi hình ảnh: xoay, lật, thay đổi tỷ lệ, điều chỉnh độ sáng, độ tương phản và thêm nhiễu. Phương pháp này giúp mô hình thích nghi tốt với các điều kiện thay đổi ngoại cảnh thực tế như góc quay của drone hay môi trường ánh sáng yếu.

4. Nhóm nghiên cứu đã sử dụng những bộ dữ liệu nào để huấn luyện và kiểm định mô hình?

Mô hình được huấn luyện và đánh giá trên các bộ dữ liệu ảnh drone chuyên dụng gồm: Semantic Drone Dataset, Swiss Drone Dataset và Okutama Drone Dataset.

5. Kết quả định lượng cao nhất mà mô hình UNet++ cải tiến đạt được là bao nhiêu?

Trên tập dữ liệu thử nghiệm kết hợp, mô hình UNet++ cải tiến đạt chỉ số độ chính xác điểm ảnh (Pixel Accuracy) là 0.922 và chỉ số Mean Intersection over Union (mIoU) đạt 0.689, vượt trội hơn mô hình UNet++ gốc cùng các kiến trúc so sánh DeepLabV3+ và FPN.

Kết luận

Khóa luận tốt nghiệp của sinh viên Nguyễn Đình Đức Thọ và Nguyễn An Minh Triết đã nghiên cứu và phát triển giải pháp ứng dụng học sâu trong phân đoạn ngữ nghĩa ảnh chụp từ drone phục vụ giao hàng chặng cuối. Bằng việc cải tiến mạng UNet++ kết hợp backbone Xception, các module chú ý kép CBAM và Self-Attention cùng kỹ thuật tăng cường dữ liệu Albumentations, mô hình đã đạt hiệu suất cao với Pixel Accuracy 0.922 và mIoU 0.689 trên tập dữ liệu thử nghiệm. Mặc dù còn hạn chế do dừng lại ở mức độ mô phỏng video và chưa thử nghiệm trên phần cứng drone thực tế, công trình đã đề xuất một phương án kỹ thuật khả thi, đóng góp dữ liệu tham khảo chuyên môn cho bài toán tự động hóa hạ cánh UAV trong logistics tương lai.

Trích đoạn nội dung tài liệu

Chương 1: Tổng quan • Chương 2: Cơ sở lý thuyết • Chương 3: Thiết kế hệ thống • Chương 4: Kết quả và thảo luận • Chương 5: Kết luận và hướng phát triển. 4 Chương 2 CƠ SỞ LÝ THUYẾT 2.1 HỆ THỐNG DRONE GIAO HÀNG TỰ ĐỘNG Trong thời đại công nghệ 4.0, khi mà sự phát triển của trí tuệ nhân tạo và tự động hóa đang định hình lại cách chúng ta sống và làm việc, drone giao hàng tự động nổi lên như một biểu tượng của sự đổi mới trong ngành logistics. Những chiếc máy bay không người lái này không chỉ đơn thuần là phương tiện vận chuyển hàng hóa mà còn là những hệ thống tinh vi, có khả năng hoạt động độc lập, tương tác với môi trường xung quanh và thực hiện các nhiệm vụ giao hàng một cách hiệu quả và an toàn. Với khả năng vượt qua những giới hạn của phương thức giao hàng truyền thống, drone giao hàng tự động hứa hẹn sẽ cách mạng hóa ngành vận chuyển, mang lại sự tiện lợi và nhanh chóng cho người tiêu dùng.

Tuy nhiên, để đạt được điều đó, một hệ thống drone giao hàng hoàn chỉnh cần phải được xây dựng từ nhiều thành phần khác nhau, từ phần cứng hiện đại cho đến phần mềm đi kèm với các thuật toán AI. Dựa vào những nghiên cứu và bài báo trước đây, tác giả sẽ phân tích về hệ thống phần cứng và phần mềm của một drone hoàn chỉnh phục vụ cho công việc giao hàng tự động.1 Các thành phần chính của drone Để tạo ra hệ thống drone giao hàng tự động như Hình 2.1 cần có một công nghệ tiên tiến và phức tạp, trong đó phần cứng đóng vai trò rất quan trọng. Một trong những thành phần cốt lõi của hệ thống này là drone vật lý, được thiết kế với khung nhẹ nhưng bền, giúp chịu lực trong suốt quá trình bay. Theo nghiên cứu của Chien et al.

Các cánh quạt thường có từ 4 đến 6 cánh, tạo ra lực nâng cần thiết và giúp drone duy trì sự ổn định khi bay. Hệ thống pin và năng lượng cũng là yếu tố quan trọng, ảnh hưởng đến thời gian hoạt động của drone. Hiện nay, pin lithium-ion và lithium-polymer được ưa chuộng vì khả năng lưu trữ năng lượng cao và trọng lượng nhẹ. Tuy nhiên, việc tối ưu hóa dung lượng và hiệu quả năng lượng của pin vẫn là một thách thức lớn trong việc mở rộng quy mô sử dụng drone giao hàng tự động.

Để có thể hoạt động hiệu quả trong môi trường thực tế, các drone giao hàng tự động cần được trang bị một hệ thống cảm biến mạnh mẽ, bao gồm cảm biến GPS, IMU, LiDAR và camera quang học. LiDAR là công nghệ hiệu quả trong việc phát hiện vật cản 5 và xác định khoảng cách trong không gian ba chiều, giúp drone điều chỉnh hành trình một cách chính xác để tránh va chạm [7]. Các cảm biến GPS đóng vai trò quan trọng trong việc xác định vị trí và dẫn đường cho drone, trong khi camera quang học kết hợp với AI giúp nhận diện các vật thể và chướng ngại vật xung quanh trong quá trình bay. Việc tích hợp các cảm biến này không chỉ giúp drone hoạt động an toàn hơn mà còn nâng cao khả năng tự động hóa, cho phép drone thực hiện các nhiệm vụ giao hàng mà không cần sự can thiệp của con người.1: Máy bay giao hàng DJI Flycart 30 [8].

Ngoài phần cứng, phần mềm điều khiển cũng đóng vai trò quan trọng trong việc quản lý các tác vụ của drone. Hệ điều hành drone, như PX4 và ArduPilot, cung cấp nền tảng mở cho phép tùy chỉnh các ứng dụng và tính năng, đồng thời hỗ trợ phát triển các thuật toán điều khiển tự động, giúp drone hoạt động ổn định trong môi trường thay đổi [9].