Ứng dụng công nghệ học sâu cho robot cứu hộ dưới nước

Đồ án ứng dụng công nghệ học sâu cho robot cứu hộ dưới nước tại ĐH Sư phạm Kỹ thuật TP.HCM

• Tác giả: Võ Sỹ Bình
• Người hướng dẫn: TS. Dương Minh Thiện
• Trường học: Trường Đại học Sư phạm Kỹ thuật Thành phố Hồ Chí Minh
• Chuyên ngành: Công nghệ Kỹ thuật Điều khiển và Tự động hóa
• Đề tài: Ứng dụng công nghệ học sâu cho robot cứu hộ dưới nước
• Loại tài liệu: Đồ án tốt nghiệp
• Năm xuất bản: 2025
• Địa điểm: Thành phố Hồ Chí Minh

Tóm tắt

I. Tổng quan robot cứu hộ dưới nước tích hợp trí tuệ nhân tạo

Robot cứu hộ dưới nước, hay ROV (Remotely Operated Vehicle), giữ vai trò then chốt trong công tác tìm kiếm cứu nạn hiện đại. Thiết bị lặn tự hành giúp giảm thiểu rủi ro cho thợ lặn con người tại các vùng nước nguy hiểm hoặc độ sâu lớn. Xu hướng toàn cầu ghi nhận sự phát triển mạnh mẽ của công nghệ chế tạo ROV cứu hộ. Nhiều quốc gia như Mỹ, Trung Quốc và Nhật Bản đã công bố hàng trăm bằng sáng chế về lĩnh vực này. Tại Việt Nam, nhóm nghiên cứu tại Trường Đại học Sư phạm Kỹ thuật TP.HCM đã chủ động phát triển hệ thống ROV chuyên dụng. Dự án kết hợp công nghệ cơ điện tử và thị giác máy tính hiện đại nhằm tạo ra giải pháp nội địa hóa hiệu quả cao. Nền tảng phần cứng trang bị bộ xử lý Raspberry Pi 5 kết hợp vi điều khiển Arduino Due. Hệ thống vận hành 6 động cơ đẩy thông qua bộ điều tốc ESC, bảo đảm khả năng cơ động đa chiều dưới nước. Cảm biến định hướng BNO055 cùng cảm biến áp suất chuyên dụng giúp duy trì trạng thái cân bằng và giám sát độ sâu chính xác.

1.1. Xu hướng phát triển robot lặn cứu hộ trên thế giới

Nghiên cứu robot lặn cứu hộ bắt đầu phát triển mạnh mẽ từ những năm 1980. Mỹ khởi xướng nhiều chương trình sáng chế tiên phong từ năm 1981 và dẫn đầu thế giới trong giai đoạn dài. Sau đó, Trung Quốc gia tăng tốc độ nghiên cứu vượt bậc từ năm 2014 và vươn lên vị trí dẫn đầu về số lượng bằng sáng chế vào năm 2018. Nhật Bản và Úc cũng duy trì vị thế vững chắc với hàng loạt công trình nghiên cứu sâu về thủy động lực học và điều khiển ngầm. Xu thế hiện nay tập trung vào việc thu nhỏ kích thước ROV, nâng cao độ bền vật liệu và tích hợp trí tuệ nhân tạo. Thiết bị lặn hiện đại không chỉ quan sát thụ động mà còn có khả năng tự động xử lý tình huống thực địa.

1.2. Đề tài nghiên cứu cứu hộ tại ĐH Sư phạm Kỹ thuật TP.HCM

Đề tài tốt nghiệp tại Trường Đại học Sư phạm Kỹ thuật TP.HCM được thực hiện bởi sinh viên Võ Sỹ Bình và Nguyễn Chí Tâm dưới sự hướng dẫn của TS. Dương Minh Thiện. Nghiên cứu tập trung giải quyết bài toán tự động nhận diện và định vị đối tượng cứu hộ dưới nước. Hệ thống tích hợp camera chất lượng cao cùng thuật toán học sâu để phát hiện người hoặc vật thể gặp nạn. Mục tiêu cốt lõi là xây dựng phương tiện có giá thành hợp lý nhưng vẫn đáp ứng độ chính xác cao. Đề tài đánh dấu bước tiến quan trọng trong việc ứng dụng công nghệ trí tuệ nhân tạo vào thiết bị cơ điện tử biển tại Việt Nam, phục vụ công tác cứu nạn dân sự.

II. Thách thức thị giác máy tính cho robot cứu hộ dưới nước sâu

Môi trường dưới nước đặt ra những thách thức vật lý vô cùng phức tạp đối với hệ thống thị giác máy tính. Hiện tượng hấp thụ ánh sáng làm suy giảm độ tương phản nghiêm trọng theo độ sâu. Tán xạ ánh sáng do các hạt lơ lửng gây ra hiện tượng mờ đục và nhiễu ảnh hạt. Màu sắc bị biến đổi mạnh do bước sóng đỏ bị hấp thụ nhanh nhất trong cột nước. Thấu kính camera đặt sau lớp vỏ bảo vệ trong suốt gặp hiện tượng khúc xạ qua nhiều bề mặt môi trường khác nhau. Điều này gây ra biến dạng hình học đáng kể cho ảnh thu nhận được. Biến dạng quang học gồm hai dạng chính là biến dạng xuyên tâm và biến dạng tiếp tuyến. Nếu không hiệu chỉnh ma trận thấu kính, tọa độ đối tượng sẽ bị sai lệch nghiêm trọng. Ngoài ra, dòng chảy ngầm và rung lắc động cơ liên tục làm xáo trộn hướng di chuyển của robot. Thiết bị cứu hộ cần một mô hình học sâu vừa đủ nhẹ để chạy trực tiếp trên máy tính nhúng, vừa đủ nhạy để phân biệt mục tiêu trong khung hình chất lượng thấp. Giải quyết hài hòa các rào cản quang học và tính toán là điều kiện tiên quyết để vận hành cứu nạn thành công.

2.1. Biến dạng quang học và suy giảm chất lượng ảnh ngầm

Khi ánh sáng đi qua nước và thấu kính camera, hiện tượng tán sắc và khúc xạ xảy ra liên tục. Biến dạng xuyên tâm khiến các đường thẳng ngoài đời thực bị cong vòng ở rìa ảnh. Biến dạng tiếp tuyến xuất hiện khi thấu kính không hoàn toàn song song với cảm biến CMOS. Điều này khiến điểm ảnh bị xê dịch khỏi vị trí thực tế trong không gian ba chiều. Bên cạnh đó, độ suy giảm ánh sáng nhanh chóng làm mất đi các chi tiết đặc trưng của mục tiêu cứu nạn. Tỉ lệ tín hiệu trên nhiễu giảm sút khiến thuật toán nhận diện thông thường dễ xảy ra báo động giả hoặc bỏ sót nạn nhân trong thực địa.

2.2. Giới hạn tài nguyên tính toán trên thiết bị nhúng

Robot cứu hộ hoạt động độc lập dưới nước đòi hỏi mọi thuật toán xử lý phải diễn ra trên bo mạch nhúng gắn trong thân tàu. Việc mang theo các dòng card đồ họa chuyên dụng công suất lớn là bất khả thi do giới hạn về dung lượng pin và không gian kín tản nhiệt. Bộ xử lý Raspberry Pi 5 sở hữu hiệu năng tính toán cao trong phân khúc nhúng nhưng vẫn có ngưỡng chịu tải nhất định. Các mô hình học sâu truyền thống thường có kích thước nặng, gây hiện tượng nghẽn cổ chai và độ trễ khung hình lớn. Nếu hệ thống nhận diện phản hồi chậm trễ, robot sẽ không kịp đưa ra lệnh bẻ lái hoặc dừng tiếp cận, dẫn đến nguy cơ va chạm nguy hiểm với chướng ngại vật.

III. Mô hình học sâu YOLOv11 và điều khiển robot cứu hộ dưới nước

Giải pháp kỹ thuật của đồ án xây dựng một chu trình khép kín từ cảm biến quang học đến cơ cấu chấp hành. Hệ thống sử dụng Pi Camera Module 3 độ phân giải 12MP để thu nhận hình ảnh thời gian thực. Camera trải qua quy trình hiệu chuẩn quang học nghiêm ngặt để xác định ma trận nội tại K và loại bỏ biến dạng xuyên tâm lẫn tiếp tuyến. Ảnh đầu vào được điều chỉnh kích thước chuẩn 480x480 pixel trước khi đưa vào mạng nơ-ron. Nhóm nghiên cứu lựa chọn kiến trúc mạng YOLOv11nano gọn nhẹ và tối ưu hóa thông qua framework NCNN. Nhờ đó, mô hình đạt tốc độ suy luận thời gian thực mượt mà trên bộ xử lý Raspberry Pi 5. Kết quả dự đoán trả về khung bao đối tượng (bounding box). Từ kích thước và tọa độ tâm khung bao, thuật toán tính toán chính xác ba tham số điều khiển cốt lõi: góc lệch ngang alpha, độ lệch độ sâu Z và khoảng cách tiếp cận d. Các tham số này được chuyển đổi thành lệnh điều khiển và truyền xuống bo mạch Arduino Due qua cổng USB. Thuật toán PID trên Arduino Due sẽ điều phối 6 bộ ESC để vận hành chính xác 6 động cơ đẩy.

3.1. Hiệu chuẩn camera và xử lý ảnh đầu vào

Quá trình calibration camera đóng vai trò cốt lõi trong việc chuẩn hóa dữ liệu thị giác. Nhóm nghiên cứu thiết lập ma trận nội tại K với tiêu cự fx, fy và điểm chính cx, cy dựa trên độ phân giải đầu vào 480x480 pixel. Các hệ số méo xuyên tâm k1, k2, k3 và hệ số méo tiếp tuyến p1, p2 được tính toán chính xác để nắn thẳng ảnh chụp. Quy trình tiền xử lý này loại bỏ hiện tượng cong góc mép thấu kính thường gặp dưới nước. Nhờ việc khử méo quang học triệt để, tọa độ pixel trên khung hình phản ánh chính xác vị trí thực tế của đối tượng. Dữ liệu chuẩn xác giúp nâng cao độ tin cậy cho các phép tính toán hình học ở giai đoạn sau.

3.2. Tối ưu hóa YOLOv11n với NCNN và điều khiển PID

Mô hình YOLOv11nano sau khi huấn luyện được chuyển đổi định dạng sang framework NCNN để tối ưu hiệu suất thực thi trên phần cứng nhúng. Công nghệ này giúp tăng tốc độ xử lý đồ họa và giảm tiêu thụ bộ nhớ RAM trên Raspberry Pi 5. Khi phát hiện mục tiêu, chương trình trích xuất tọa độ tâm để tính góc lệch alpha và độ lệch độ sâu Z. Đồng thời, độ lớn của khung bao cho phép nội suy khoảng cách dừng an toàn d. Toàn bộ thông số truyền qua giao thức USB về Arduino Due. Thuật toán PID liên tục tính toán sai số để điều khiển 6 động cơ đẩy (4 động cơ ngang và 2 động cơ dọc). Nhờ đó, robot tự động điều chỉnh tư thế và bám sát mục tiêu chính xác.

IV. Ứng dụng thực tiễn và triển vọng robot cứu hộ dưới nước SPKT

Đồ án tốt nghiệp tại Đại học Sư phạm Kỹ thuật TP.HCM khẳng định tính khả thi cao của việc tích hợp học sâu vào robot ngầm. Hệ thống hoàn chỉnh đã chứng minh năng lực tự hành linh hoạt trong môi trường thử nghiệm thực tế. Tốc độ nhận diện nhanh của YOLOv11n kết hợp khả năng giữ thăng bằng ổn định của Arduino Due tạo ra bước đột phá kỹ thuật. Robot có khả năng triển khai tức thì tại các vùng nước nguy hiểm như hồ sâu, sông suối chảy xiết hoặc khu vực lũ lụt đô thị. Giải pháp này hỗ trợ đắc lực cho lực lượng cứu nạn, giảm thiểu thương vong và hiểm nguy cho các thợ lặn cứu hộ. Ngoài nhiệm vụ cứu nạn dân sự, nền tảng thiết bị còn có thể ứng dụng trong khảo sát đê điều, kiểm tra đường ống dẫn dầu và kiểm định kết cấu công trình ngầm. Dữ liệu trạng thái và hình ảnh được truyền trực tiếp về máy tính trung tâm qua cổng cáp mạng Ethernet, tạo thuận lợi cho công tác giám sát. Thành công của đồ án mở ra triển vọng nội địa hóa thiết bị lặn thông minh tại Việt Nam với chi phí cạnh tranh.

4.1. Hiệu quả cứu hộ trong các điều kiện thực tế

Khi triển khai thực địa, robot cứu hộ dưới nước hoạt động hiệu quả trong nhiều kịch bản phức tạp. Thiết bị có thể lặn sâu xuống những vùng nước chảy xiết và không gian hạn hẹp, nơi thợ lặn khó tiếp cận an toàn. Nhờ cảm biến áp suất DFRobot Gravity và con quay BNO055, robot luôn tự cân bằng và duy trì độ sâu chuẩn xác. Mô hình học sâu nhận diện nạn nhân tức thì và dẫn hướng robot tiếp cận mục tiêu trong cự ly an toàn đã định trước. Cơ chế truyền hình ảnh qua cáp Ethernet bảo đảm người giám sát trên bờ nhận được luồng video chất lượng cao mà không bị gián đoạn tín hiệu.

4.2. Hướng phát triển và thương mại hóa sản phẩm

Đề tài mở ra tiềm năng lớn để tiếp tục nâng cấp hệ thống phần cứng và thuật toán thông minh trong tương lai. Nhóm nghiên cứu có thể tích hợp thêm các cánh tay gắp cơ khí để trực tiếp cứu hộ nạn nhân hoặc thu gom dị vật. Việc bổ sung cảm biến sóng âm sonar sẽ hỗ trợ robot định vị tốt hơn trong môi trường nước có độ đục cực cao. Ngoài ra, việc tối ưu hóa khung vỏ bằng vật liệu composite siêu nhẹ giúp tăng thời lượng pin và khả năng chịu áp lực nước sâu. Sản phẩm sở hữu tiềm năng thương mại hóa mạnh mẽ cho các cơ quan phòng chống thiên tai và các doanh nghiệp dịch vụ hàng hải trong nước.

Nội dung chính

Bối cảnh và vấn đề nghiên cứu

Khảo sát đáy biển, bảo trì công trình ngầm (đường ống dẫn dầu, cáp ngầm, giàn khoan) và tìm kiếm cứu nạn dưới nước là những công việc tiềm ẩn nhiều hiểm nguy đối với tính mạng con người do áp lực nước lớn, tầm nhìn hạn chế và dòng chảy phức tạp. Để giảm thiểu rủi ro cho thợ lặn, việc ứng dụng thiết bị lặn không người lái điều khiển từ xa (ROV - Remotely Operated Vehicle) đã trở thành xu thế kỹ thuật tất yếu. Theo các số liệu thị trường được trích dẫn trong văn bản, quy mô thị trường ROV toàn cầu được ước tính đạt 0,11 tỷ USD vào năm 2024 và dự kiến tăng lên 0,21 tỷ USD vào năm 2032 với tốc độ tăng trưởng kép hàng năm khoảng 8,5%. Tuy nhiên, tại Việt Nam, phần lớn thiết bị ROV hiện đại đều phải nhập khẩu hoặc thuê từ nước ngoài với chi phí cao (điển hình như dòng Quasar II-30 của PTSC G&S). Các nghiên cứu trong nước đa số vẫn ở quy mô thử nghiệm nhỏ, giới hạn về độ sâu và mức độ tự động hóa. Xuất phát từ thực tiễn đó, đề tài "Ứng dụng công nghệ học sâu cho robot cứu hộ dưới nước" được thực hiện nhằm làm chủ công nghệ thiết kế, chế tạo mô hình ROV có khả năng nhận diện và tự động tiếp cận đối tượng bị nạn giả lập.

Mục tiêu chính của đề tài là xây dựng mô hình robot lặn điều khiển từ xa tích hợp trí tuệ nhân tạo, có khả năng phát hiện và tiếp cận đối tượng bị nạn giả lập (gấu bông). Nhiệm vụ nghiên cứu cụ thể được phân định theo 6 nội dung:

1. Phát hiện và tiếp cận đối tượng: Xây dựng hệ thống ROV thu nhận hình ảnh môi trường nước qua camera, ứng dụng thuật toán trí tuệ nhân tạo để phát hiện mục tiêu và tự động điều hướng tiếp cận dựa trên cự ly và vị trí tương đối.
2. Hỗ trợ cứu nạn và giám sát: Tích hợp chức năng truyền luồng video thời gian thực và dữ liệu vận hành từ robot về trạm điều khiển trên mặt nước thông qua đường truyền mạng cáp.
3. Thiết kế cấu hình phần cứng: Tích hợp hệ thống truyền động gồm 6 động cơ điều khiển 4 bậc tự do (4 DOF), camera chuyên dụng Pi Module 3, cảm biến góc nghiêng BNO055 và cảm biến áp suất nước.
4. Phát triển thuật toán xử lý ảnh và điều hướng: Ứng dụng mô hình YOLOv11n tối ưu hóa qua framework NCNN để xử lý thời gian thực trên vi xử lý nhúng, tính toán tọa độ tâm, ước lượng khoảng cách dừng tiếp cận, góc lệch ngang và độ lệch độ sâu so với mục tiêu.
5. Thiết lập giao tiếp điều khiển: Xây dựng giao thức truyền thông hai chiều giữa máy tính nhúng và vi điều khiển qua kết nối nối tiếp USB, đồng thời truyền dữ liệu trạng thái và hình ảnh lên máy tính giám sát qua cáp Ethernet.
6. Đánh giá và thử nghiệm thực tế: Kiểm chứng độ chính xác nhận diện của mô hình học sâu, hiệu quả ổn định góc của bộ điều khiển cân bằng và khả năng điều hướng tiếp cận đối tượng trong môi trường nước thực nghiệm.

Đối tượng nghiên cứu của đồ án bao gồm mô hình ROV 6 động cơ chuyển động 4 bậc tự do; bộ xử lý trung tâm Raspberry Pi 5 (8GB RAM); vi điều khiển Arduino Due; mô hình mạng nơ-ron tích chập YOLOv11 nano; các cảm biến phụ trợ gồm BNO055 và DFRobot Gravity Pressure Sensor; đối tượng nhận diện thực nghiệm là mô hình gấu bông giả lập người bị nạn. Phạm vi nghiên cứu giới hạn ở hình ảnh đầu vào độ phân giải 480x480 pixel, kiểm thử trong môi trường nước thực nghiệm, không mở rộng sang vùng biển sâu tự nhiên hay nhận diện người thật.

Cơ sở lý thuyết và phương pháp

Đề tài kết hợp nền tảng lý thuyết cơ học thủy khí, lý thuyết điều khiển tự động và các kỹ thuật thị giác máy tính hiện đại:

• Lý thuyết phương tiện lặn điều khiển từ xa: Phân tích cấu trúc cơ bản của ROV (khung vỏ, hệ thống động lực, mạch điều khiển, cảm biến, dây cáp nối tether và trạm điều khiển mặt đất GCS), so sánh đặc tính hoạt động giữa ROV, phương tiện tự hành dưới nước (AUV) và phương tiện mặt nước không người lái (USV).
• Động lực học phương tiện dưới nước: Xây dựng hệ tọa độ gắn liền với thân robot (Body Frame - b-frame), thiết lập phương trình động học phi tuyến và phương trình chuyển động cho ROV với 4 bậc tự do điều khiển gồm chuyển động dọc trục (Surge), dạt ngang (Sway), chìm/nổi (Heave) và quay hướng (Yaw).
• Thị giác máy tính 2D và hiệu chỉnh camera (Camera Calibration): Thiết lập mô hình máy ảnh lỗ kim (pinhole camera model), xác định ma trận tham số nội tại $K$ (gồm tiêu cự $f_x, f_y$ và điểm gốc quang học $c_x, c_y$) và vector hệ số biến dạng thấu kính (biến dạng xuyên tâm $k_1, k_2, k_3$; biến dạng tiếp tuyến $p_1, p_2$).
• Lý thuyết điều khiển phản hồi PID: Ứng dụng thuật toán điều khiển tỉ lệ - tích phân - đạo hàm (PID) nhằm tự động ổn định góc nghiêng ngang (Roll) và điều khiển góc quay hướng (Yaw) theo tín hiệu đặt.
• Mô hình học sâu nhận diện vật thể YOLOv11: Tiếp cận kiến trúc mạng nơ-ron phát hiện đối tượng thời gian thực một giai đoạn (one-stage detector), cơ chế trích xuất đặc trưng và thuật toán triệt tiêu phi cực đại (Non-Maximum Suppression - NMS) để loại bỏ các khung bao (bounding box) trùng lặp.

Phương pháp nghiên cứu thực nghiệm được triển khai thông qua các bước cụ thể:

• Thu thập và chuẩn bị dữ liệu: Chụp ảnh thực tế các mẫu gấu bông trong môi trường nước ở nhiều góc chụp, khoảng cách và độ sáng khác nhau; tải tập dữ liệu lên nền tảng Roboflow để gán nhãn thủ công bounding box.
• Huấn luyện và tối ưu hóa mô hình AI: Huấn luyện kiến trúc YOLOv11n trên phần mềm PyCharm sử dụng máy tính xách tay cấu hình GPU rời (Asus ROG Strix G15 G513IE). Sau khi huấn luyện, tệp trọng số .pt được chuyển đổi sang định dạng NCNN nhằm tối ưu hóa tốc độ tính toán, giảm độ trễ khi chạy trực tiếp trên vi xử lý Raspberry Pi 5.
• Đo lường và hiệu chuẩn camera: Chụp ảnh bàn cờ tiêu chuẩn (chessboard) dưới nước để tính toán các tham số nội tại và khử biến dạng ảnh.
• Nguồn dữ liệu nghiên cứu: Dữ liệu hình ảnh thực tế được thu thập qua Pi Camera Module 3; dữ liệu góc nghiêng, hướng la bàn từ cảm biến BNO055; và dữ liệu độ sâu từ cảm biến áp suất DFRobot Gravity.

Thiết kế và triển khai

Hệ thống được thiết kế theo cấu trúc điều khiển phân tầng, tách biệt giữa tầng xử lý thuật toán cấp cao (AI, thị giác máy tính) và tầng điều khiển chuyển động thời gian thực cấp thấp.

Bộ phận / Thành phần	Tên linh kiện / Thông số kỹ thuật	Vai trò chức năng chính
Bộ xử lý trung tâm	Raspberry Pi 5 (8GB RAM)	Nhận luồng video từ camera, chạy mô hình YOLOv11n.ncnn, tính toán cự ly $d$, góc lệch $\alpha$, độ lệch sâu $Z$, gửi lệnh điều hướng
Vi điều khiển cấp thấp	Arduino Due R3 (Lõi ARM 32-bit Cortex-M3)	Đọc dữ liệu từ IMU và cảm biến áp suất, tính toán thuật toán PID góc Roll/Yaw, tạo xung PWM điều khiển 6 bộ ESC
Cảm biến thị giác	Raspberry Pi Camera Module 3 (12MP)	Lắp ở vị trí chính giữa đầu robot, chụp và truyền ảnh kích thước 480x480 pixel phục vụ nhận diện
Cảm biến tư thế (IMU)	Bosch BNO055 (9 trục)	Cung cấp dữ liệu định hướng, góc nghiêng Roll, Pitch và Yaw để phục vụ vòng lặp điều khiển cân bằng
Cảm biến áp suất nước	DFRobot Gravity Pressure Sensor	Đo áp suất thủy tĩnh để quy đổi ra độ sâu hoạt động của ROV trong môi trường nước
Hệ thống động cơ đẩy	6 Động cơ không chổi than D2830-08 (1300KV)	4 động cơ đặt ngang điều khiển tiến, lùi, dạt ngang và quay Yaw; 2 động cơ đặt thẳng đứng điều khiển chìm, nổi và cân bằng Roll
Bộ điều khiển tốc độ	6 Mạch ESC BLHeli-S 30A	Nhận tín hiệu xung điều chế từ Arduino Due để điều chỉnh tốc độ và đảo chiều quay của các động cơ đẩy
Nguồn cấp năng lượng	Pin LiPo 4S Shangyi dung lượng 3300mAh	Cung cấp dòng xả lớn cho hệ thống động cơ và mạch hạ áp
Mạch ổn áp nguồn	Mạch giảm áp DC-DC Buck MOSFET 5VDC 5A	Hạ áp từ pin LiPo xuống mức điện áp ổn định 5V để cấp nguồn nuôi Raspberry Pi 5 và các linh kiện logic
Giao tiếp truyền thông	Cáp mạng Ethernet TCP/IP & Giao tiếp USB Serial	Ethernet truyền video và trạng thái lên máy tính mặt đất; USB truyền lệnh điều khiển và dữ liệu cảm biến giữa Pi 5 và Arduino

Quy trình xử lý phần mềm diễn ra theo một chuỗi khép kín. Luồng ảnh thu nhận từ Pi Camera Module 3 được đưa về kích thước 480x480 pixel. Mô hình YOLOv11n.ncnn thực hiện suy luận để trích xuất tọa độ bounding box bao gồm vị trí tâm $(x_c, y_c)$ cùng chiều rộng $w$ và chiều cao $h$. Từ các giá trị này, hệ thống áp dụng các phép tính hình học:

• Tính khoảng cách ước lượng $d$ dựa trên tương quan kích thước khung bao đối tượng trên mặt phẳng ảnh với cự ly thực tế.
• Tính góc lệch ngang $\alpha$ dựa trên độ lệch tâm $\Delta x$ so với trục quang học giữa màn hình kết hợp tiêu cự thấu kính $f_x$.
• Tính độ lệch chiều sâu $Z$ dựa trên độ lệch $\Delta y$ so với tâm ảnh theo trục đứng.

Các giá trị sai lệch này được gửi qua cổng USB Serial xuống Arduino Due. Chương trình nhúng trên Arduino Due thực thi giải thuật PID để phối hợp tốc độ 6 động cơ thông qua 6 bộ ESC. Hệ thống hỗ trợ ba chế độ vận hành chính gồm: Chế độ thủ công (Manual), Chế độ tự động bám mục tiêu (Auto), và Chế độ xoay tìm kiếm mục tiêu (Searching) khi đối tượng nằm ngoài khung hình. Toàn bộ thông số vận hành và hình ảnh sau xử lý được hiển thị trực tiếp trên giao diện đồ họa người dùng (GUI) tại máy tính giám sát thông qua kết nối cáp Ethernet.

Nội dung chính theo từng chương

Chương 1: Tổng quan

Chương 1 trình bày tính cấp thiết của việc phát triển phương tiện lặn điều khiển từ xa phục vụ công tác cứu hộ, cứu nạn và khảo sát đáy biển. Tác giả tổng hợp bức tranh toàn cảnh về thị trường ROV toàn cầu với tốc độ tăng trưởng dự kiến 8,5% giai đoạn 2024-2032; phân tích số liệu công bố sáng chế tại 28 quốc gia, chỉ ra các nước dẫn đầu gồm Mỹ (222 sáng chế, chiếm 19,4%), Trung Quốc (173 sáng chế) và Nhật Bản (101 sáng chế). Đối chiếu với thực trạng tại Việt Nam, chương 1 khẳng định sự phụ thuộc vào thiết bị nhập khẩu và sự cần thiết phải nghiên cứu tự chủ công nghệ. Từ đó, chương này xác định rõ mục tiêu, nhiệm vụ, phương pháp nghiên cứu, đối tượng thực nghiệm và các giới hạn kỹ thuật của đồ án.

Chương 2: Cơ sở lý thuyết

Nội dung chương tập trung xây dựng cơ sở toán học và lý thuyết chuyên ngành. Tác giả phân loại các dòng ROV (quan sát, công tác, nghiên cứu, cứu hộ) và phân tích bảng so sánh đa tiêu chí giữa ROV, AUV và USV. Chương đi sâu vào mô hình động lực học 4 bậc tự do của ROV gắn với hệ tọa độ thân phương tiện; trình bày mô hình toán học chiếu ảnh từ không gian 3D sang mặt phẳng 2D, các thành phần của ma trận tham số nội tại $K$ và các hệ số biến dạng thấu kính $k_1, k_2, k_3, p_1, p_2$. Ngoài ra, chương làm rõ cấu trúc mạng YOLO, nguyên lý hoạt động của phiên bản YOLOv11 và nguyên lý của bộ điều khiển vi tích phân tỉ lệ PID trong việc hiệu chỉnh sai lệch góc.

Chương 3: Tính toán và thiết kế phần cứng

Chương 3 trình bày chi tiết các tiêu chí lựa chọn linh kiện cơ điện tử dựa trên yêu cầu chịu áp lực nước, khả năng cơ động và độ ổn định. Tác giả thiết kế kết cấu cơ khí, bố trí vị trí 6 cụm động cơ không chổi than D2830-08 1300KV cùng hệ thống cánh quạt đẩy, bố trí ống trụ kín nước bảo vệ linh kiện điện tử trung tâm. Hệ thống điện tử được thiết kế phân tầng hoàn chỉnh, bao gồm vi xử lý Raspberry Pi 5 8GB, vi điều khiển Arduino Due ARM 32-bit, hệ thống cảm biến BNO055 và DFRobot Gravity, mạch giảm áp Buck 5V 5A và bộ nguồn pin LiPo 4S 3300mAh, đi kèm sơ đồ kết nối mạch điện 2D chi tiết.

Chương 4: Tính toán và thiết kế phần mềm

Chương này mô tả toàn bộ kiến trúc phần mềm và lưu đồ thuật toán của hệ thống. Tác giả trình bày quy trình thu thập dữ liệu ảnh dưới nước, công đoạn gán nhãn trên nền tảng Roboflow, quy trình huấn luyện YOLOv11n và kỹ thuật chuyển đổi sang định dạng NCNN nhằm đạt tốc độ suy luận cao trên CPU Raspberry Pi 5. Chương cung cấp các lưu đồ giải thuật cho chế độ Manual, chế độ Auto, chế độ Searching, giải thuật tính toán khoảng cách $d$, góc lệch $\alpha$ và độ lệch sâu $Z$. Về phía Arduino Due, chương trình bày thuật toán hiệu chuẩn cảm biến IMU BNO055, thuật toán PID ổn định góc Roll và Yaw, thuật toán giải mã tín hiệu áp suất nước và hàm cập nhật xung PWM điều khiển tốc độ động cơ qua ESC. Đồng thời, cấu trúc giao diện điều khiển GUI trên máy tính giám sát cũng được phân tích cụ thể.

Chương 5: Thực nghiệm và kiểm chứng

Chương 5 ghi lại kết quả thử nghiệm mô hình trong môi trường nước thực tế. Tác giả tiến hành kiểm chứng các chức năng của giao diện GUI ở cả hai chế độ Manual và AI; kiểm tra tính năng hiệu chỉnh góc IMU về mốc 0 độ; kiểm nghiệm hoạt động của bộ điều khiển PID cho góc Roll (giữ thăng bằng khi lặn) và góc Yaw (ổn định góc quay khi rẽ 90 độ và đi thẳng 0 độ). Chương trình nhận diện vật thể của mô hình YOLOv11n.ncnn được kiểm thử với 4 mẫu gấu bông khác nhau ở các vị trí: thẳng hàng, lệch sang trái và lệch sang phải so với hướng nhìn của robot. Các bảng dữ liệu thực nghiệm ghi nhận khả năng tính toán chính xác các tham số vị trí tương đối và điều hướng tự động tiếp cận mục tiêu thành công.

Chương 6: Kết luận và hướng phát triển

Chương tổng kết toàn bộ các kết quả đạt được về mặt phần cứng cơ khí, mạch điện tử, thuật toán AI và khả năng điều khiển bám mục tiêu dưới nước. Tác giả thẳng thắn chỉ ra các nhược điểm còn tồn tại của hệ thống như ảnh hưởng của dòng chảy chưa được mô phỏng chi tiết, giới hạn của cảm biến camera 2D và độ phân giải ảnh 480x480 pixel. Cuối cùng, chương đề xuất các giải pháp nâng cấp phần cứng và hoàn thiện thuật toán trong các giai đoạn phát triển tiếp theo.

Kết quả và đóng góp

Về mặt kỹ thuật và số liệu thực nghiệm, đề tài đã đạt được các kết quả cụ thể:

• Chuyển đổi thành công mô hình học sâu YOLOv11n sang định dạng tối ưu NCNN, cho phép suy luận thời gian thực ổn định trên bộ xử lý Raspberry Pi 5 với kích thước ảnh đầu vào 480x480 pixel mà không cần card đồ họa chuyên dụng.
• Nhận diện chính xác 4 mẫu vật thể gấu bông giả lập dưới nước trong nhiều điều kiện bố trí: thẳng hàng, lệch trái và lệch phải so với trục trung tâm của camera ROV.
• Triển khai thành công bộ điều khiển PID trên vi điều khiển Arduino Due: kiểm chứng thực nghiệm cho thấy hệ thống giữ ổn định tốt góc Roll khi kích hoạt 2 động cơ thẳng đứng để lặn sâu, đồng thời duy trì chính xác góc Yaw khi điều khiển robot đi thẳng (góc 0 độ) hoặc quay chuyển hướng (góc 90 độ).
• Xây dựng thành công hệ thống tính toán tọa độ tương đối từ ảnh 2D, suy xuất các tham số quan trọng ($d$, $\alpha$, $Z$) làm đầu vào cho thuật toán điều hướng tự động tiếp cận mục tiêu.

Nội dung kiểm chứng	Điều kiện thử nghiệm	Kết quả ghi nhận trong văn bản
Nhận diện vật thể YOLOv11n.ncnn	4 mẫu gấu bông (thẳng hàng, lệch trái, lệch phải)	Phát hiện đúng bounding box, trích xuất chính xác tọa độ tâm đối tượng
Điều khiển cân bằng PID Roll	Chế độ lặn kích hoạt 2 động cơ phương thẳng đứng	Triệt tiêu độ nghiêng ngang, duy trì trạng thái thăng bằng khi lặn
Điều khiển góc quay PID Yaw	Robot chuyển động theo góc đặt 0 độ và 90 độ	Bám sát góc đặt, hỗ trợ rẽ hướng chính xác và đi thẳng ổn định
Hệ thống truyền thông Ethernet	Truyền video sau xử lý và dữ liệu cảm biến về GUI	Hiển thị luồng hình ảnh thời gian thực, điều khiển mượt mà giữa các chế độ

Về đóng góp khoa học và kỹ thuật, đề tài đã làm chủ quy trình chế tạo hoàn chỉnh một hệ thống ROV 4 bậc tự do từ khâu thiết kế cơ khí chống nước, cấu hình mạch điện tử nhúng đến lập trình phần mềm điều khiển. Điểm mới của đề tài so với các mô hình ROV trong nước trước đây là việc tích hợp thành công mô hình học sâu hiện đại YOLOv11 trên phần cứng nhúng biên công suất thấp (Raspberry Pi 5), kết hợp nhịp nhàng giữa thị giác máy tính và giải thuật PID điều khiển động cơ đẩy, tạo nền tảng cho việc tự động hóa quá trình cứu nạn dưới nước.

Các giải pháp và kiến nghị được nhóm tác giả đề xuất gồm:

• Nâng cấp cảm biến thị giác từ camera đơn 2D sang hệ thống camera lập thể (Stereo Camera) hoặc tích hợp cảm biến sonar thủy âm để xác định chính xác tọa độ 3D thực tế trong môi trường nước đục.
• Tối ưu hóa cấu trúc cơ khí của ống bảo vệ thiết bị nhằm nâng cao hiệu quả tản nhiệt cho Raspberry Pi 5 và tăng cường khả năng chịu áp suất nước ở các độ sâu lớn hơn.
• Cải thiện thuật toán điều khiển để bù trừ tác động của các lực thủy động lực học phi tuyến như lực nâng, lực cản và ảnh hưởng của dòng chảy ngầm.

Hạn chế và hướng nghiên cứu tiếp

Căn cứ theo các giới hạn đề tài và phần đánh giá nhược điểm được tác giả trình bày trong văn bản, công trình còn tồn tại một số hạn chế kỹ thuật:

• Đối tượng thử nghiệm mới chỉ dừng lại ở mô hình gấu bông giả lập trong môi trường nước kiểm soát, chưa được huấn luyện và đánh giá trên người thật cũng như chưa thử nghiệm trong môi trường biển tự nhiên có sóng lớn.
• Giới hạn khung hình phát hiện ở độ phân giải 480x480 pixel làm giảm khả năng phát hiện vật thể ở cự ly xa hoặc đối tượng có kích thước nhỏ.
• Việc sử dụng camera 2D duy nhất không cho phép xác định trực tiếp tọa độ không gian 3D đầy đủ ($X, Y, Z$ thực tế) mà chỉ ước lượng gián tiếp khoảng cách thông qua kích thước bounding box và ma trận hiệu chuẩn.
• Chưa tích hợp các thuật toán điều hướng tự động cấp cao như định vị và xây dựng bản đồ đồng thời (SLAM) hay quy hoạch quỹ đạo di chuyển (path planning), đồng thời thiếu vắng hệ thống định vị toàn cầu (GPS) hoặc định vị âm học dưới nước.
• Mô hình động lực học chưa tính toán chi tiết sự ảnh hưởng của lực nâng, lực cản hình học và các nhiễu động phức tạp của dòng chảy xoáy trong môi trường nước thực tế.

Hướng phát triển tiếp theo được tác giả vạch ra tập trung vào hai nhánh:

• Về phần cứng: Nâng cấp vỏ khung cơ khí chịu áp suất cao hơn, cải tiến hệ thống tản nhiệt cho lõi điện tử, bổ sung cảm biến đo sâu chuyên dụng hoặc hệ thống camera đo khoảng cách, gia tăng dung lượng pin để kéo dài thời gian hoạt động.
• Về phần mềm: Mở rộng tập dữ liệu huấn luyện cho mô hình AI trong nhiều điều kiện nước đục và thiếu sáng; nghiên cứu tích hợp thuật toán SLAM dưới nước nhằm nâng cao tính tự hành và khả năng tự lập bản đồ cho robot.

Giá trị tham khảo

Đồ án là tài liệu tham khảo có giá trị kỹ thuật đối với sinh viên, học viên cao học và kỹ sư thuộc các chuyên ngành Kỹ thuật Điều khiển và Tự động hóa, Kỹ thuật Cơ điện tử, Kỹ thuật Robot, Công nghệ Thông tin và Điện tử - Viễn thông. Những người đang thực hiện các đề tài nghiên cứu về robot di động dưới nước, hệ thống nhúng biên hoặc ứng dụng thị giác máy tính trong môi trường đặc biệt có thể khai thác nhiều kiến thức hữu ích từ công trình này.

Các nội dung có giá trị tham khảo chuyên sâu nhất bao gồm:

• Quy trình triển khai và tối ưu hóa mô hình học sâu nhận diện vật thể YOLOv11 sang định dạng NCNN để đạt tần số xử lý khung hình thời gian thực trên vi xử lý nhúng Raspberry Pi 5.
• Phương pháp luận và công thức toán học tính toán khoảng cách $d$, góc lệch ngang $\alpha$ và độ lệch sâu $Z$ từ tọa độ bounding box 2D kết hợp với ma trận tham số hiệu chuẩn camera.
• Giải pháp kiến trúc phân tầng điều khiển nhúng, phân định rõ ràng giữa tầng xử lý thuật toán thị giác (Raspberry Pi) và tầng điều khiển chuyển động phản hồi PID thời gian thực (Arduino Due) thông qua kênh truyền nối tiếp.

Câu hỏi thường gặp

1. Tại sao hệ thống lại phân chia nhiệm vụ cho cả Raspberry Pi 5 và Arduino Due thay vì sử dụng duy nhất một bộ điều khiển?
Việc phân chia này nhằm tối ưu hóa tải tính toán và bảo đảm tính thời gian thực của hệ thống. Raspberry Pi 5 với cấu hình 8GB RAM đảm nhiệm việc tiếp nhận luồng video phân giải cao, chạy mô hình học sâu YOLOv11n.ncnn nặng về tính toán và xử lý thuật toán điều hướng. Trong khi đó, Arduino Due với vi xử lý lõi ARM Cortex-M3 32-bit chịu trách nhiệm giao tiếp tần số cao với các cảm biến (BNO055, cảm biến áp suất), thực thi vòng lặp thuật toán PID và xuất 6 luồng xung PWM chính xác điều khiển 6 bộ ESC động cơ, tránh việc trễ nhịp điều khiển động học do quá trình xử lý ảnh gây ra.

2. Làm thế nào robot ước lượng được khoảng cách đến đối tượng khi chỉ sử dụng một camera 2D thông thường?
Do không có cảm biến đo sâu 3D hay camera lập thể, hệ thống sử dụng phương pháp ước lượng gián tiếp. Sau khi camera Pi Module 3 được hiệu chuẩn ma trận nội tại $K$ và khử biến dạng thấu kính bằng bàn cờ tiêu chuẩn, mô hình YOLOv11n sẽ trả về bounding box bao quanh đối tượng. Thuật toán tiến hành so sánh kích thước (chiều rộng, chiều cao theo pixel) của khung bao này với kích thước vật thể chuẩn để nội suy ra khoảng cách tương đối $d$. Khi $d$ chạm ngưỡng quy định, robot sẽ kích hoạt lệnh dừng lại để bảo đảm an toàn tiếp cận.

3. Làm cách nào mô hình YOLOv11 có thể chạy mượt mà theo thời gian thực trên phần cứng nhúng của Raspberry Pi 5?
Tác giả đã lựa chọn phiên bản nhẹ nhất trong họ mô hình là YOLOv11nano (YOLOv11n). Sau khi hoàn tất quá trình huấn luyện trên máy tính xách tay với GPU rời, tệp trọng số PyTorch (.pt) được tối ưu hóa và xuất sang định dạng NCNN (YOLOv11n.ncnn). Thư viện NCNN được thiết kế chuyên biệt để tăng tốc mạng nơ-ron trên tập lệnh CPU của các kiến trúc nhúng ARM, kết hợp với việc giảm độ phân giải đầu vào xuống 480x480 pixel, giúp giảm thiểu đáng kể thời gian suy luận trên mỗi khung hình.

4. Cơ cấu 6 động cơ của ROV được bố trí như thế nào để tạo ra 4 bậc tự do chuyển động?
Hệ thống sử dụng 6 động cơ không chổi than D2830-08 chia làm hai nhóm chức năng: 4 động cơ được bố trí nằm ngang theo các góc đối xứng để tạo lực đẩy cho các chuyển động tiến/lùi (Surge), dạt ngang sang trái/phải (Sway) và xoay tròn quanh trục đứng (Yaw); 2 động cơ còn lại được bố trí theo phương thẳng đứng chuyên trách việc điều khiển lặn xuống/nổi lên (Heave) và hỗ trợ cân bằng góc nghiêng ngang (Roll). Cấu hình này giúp phương tiện chuyển động linh hoạt trong không gian 3 chiều dưới nước.

5. Đâu là những hạn chế kỹ thuật lớn nhất được tác giả xác nhận trong quá trình thực nghiệm?
Các hạn chế cốt lõi bao gồm việc mới chỉ thử nghiệm nhận diện trên mô hình gấu bông giả lập trong hồ nước thực nghiệm có điều kiện ổn định, chưa thử nghiệm với con người trong môi trường sóng biển phức tạp. Ngoài ra, việc dùng camera 2D làm hạn chế khả năng tái tạo tọa độ không gian 3D chính xác, độ phân giải ảnh 480x480 pixel làm giảm tầm nhận biết tầm xa, và thuật toán điều khiển chưa tính toán chi tiết tác động của lực cản phi tuyến cũng như dòng chảy ngầm đối với vỏ thân robot.

Kết luận

Đồ án tốt nghiệp "Ứng dụng công nghệ học sâu cho robot cứu hộ dưới nước" của sinh viên Võ Sỹ Bình và Nguyễn Chí Tâm (Trường Đại học Sư phạm Kỹ thuật TP. Hồ Chí Minh) đã hoàn thành trọn vẹn mục tiêu thiết kế, chế tạo và thử nghiệm một hệ thống ROV 4 bậc tự do tích hợp trí tuệ nhân tạo. Bằng việc kết hợp thành công mô hình học sâu YOLOv11n.ncnn trên máy tính nhúng Raspberry Pi 5 cùng vòng điều khiển PID trên vi điều khiển Arduino Due, robot có khả năng nhận diện chính xác mục tiêu giả lập và tự động điều hướng tiếp cận ổn định trong môi trường nước. Mặc dù còn những giới hạn về phạm vi thử nghiệm và cảm biến thị giác 2D, công trình đã thể hiện khả năng làm chủ công nghệ cơ điện tử ngầm và cung cấp một nền tảng thực nghiệm giá trị cho các định hướng phát triển thiết bị lặn cứu hộ tự hành tại Việt Nam.

Trích đoạn nội dung tài liệu

CHƯƠNG 1. TỔNG QUAN triển ROV không chỉ nhằm tối ưu hóa khả năng hoạt động dưới nước, nâng cao hiệu quả công việc, mà còn đảm bảo an toàn và giảm thiểu rủi ro cho con người. Trong nghiên cứu này, chúng tôi tập trung vào việc tìm hiểu cấu trúc, nguyên lý hoạt động, và các ứng dụng thực tiễn của ROV, từ đó đề xuất các giải pháp công nghệ phù hợp nhằm phát triển hệ thống ROV đáp ứng nhu cầu trong nước. Thông qua nghiên cứu về ROV, chúng tôi kỳ vọng đóng góp vào sự phát triển của ngành công nghiệp dưới nước tại Việt Nam, đồng thời khám phá thêm các ứng dụng mới của công nghệ này trong các lĩnh vực khoa học, công nghệ, và bảo vệ môi trường biển.2 Tình hình nghiên cứu 1.1 Tình hình nghiên cứu trên thế giới Trong nhiều thập kỷ qua, các hệ thống robot điều khiển từ xa dưới nước (ROV - Remotely Operated Vehicle) đã trở thành một công cụ quan trọng phục vụ các hoạt động khảo sát, nghiên cứu khoa học, bảo trì công trình ngầm và cứu hộ dưới biển.

Sự phát triển của ROV gắn liền với nhu cầu mở rộng khai thác tài nguyên biển, bảo vệ môi trường và phát triển công nghiệp quốc phòng trên toàn cầu.3 là biểu đồ thể hiện quy mô thị trường ROV (phương tiện vận hành từ xa) dưới nước toàn cầu được ước tính đạt 0,11 tỷ USD vào năm 2024 và dự kiến sẽ tăng lên 0,21 tỷ USD vào năm 2032, với tốc độ tăng trưởng kép hàng năm khoảng 8,5% trong giai đoạn dự báo. [2] Trong nghiên cứu này, các nhà phân tích đã xem xét kỹ lưỡng các nhà cung cấp ROV dưới nước hàng đầu. Các công ty này bao gồm Videoray, Teledyne, ECA Group, Deep Trekker, Seamor Marine, Lighthouse, Saab, Deep Ocean Engineering, Robosea, Bludo Robotics, Deepinfar, Shenzhen Vxfly, Nido Robotics, Subsea Tech, Blue Robotics và Irov Technologies, đây là những công ty chủ chốt hoạt động trong lĩnh vực ROV dưới nước.Đại dịch COVID-19 toàn cầu là một sự kiện chưa từng có và gây kinh ngạc, đã thúc đẩy nhu cầu cao hơn so với dự kiến ở tất cả các khu vực trước đại dịch. Nhờ việc sử dụng các phương tiện điều khiển từ xa, con người có thể khám phá đại dương mà không cần phải có mặt trực tiếp.

Các ROV dưới nước thường được vận hành bởi một người trên một tàu mặt nước, sử dụng một cần điều khiển tương tự như khi chơi trò chơi điện tử. ROV được kết nối với tàu thông qua một hệ thống cáp, cho phép truyền tải các xung điện giữa người vận hành và phương tiện. Vì hầu hết các ROV đều có ít nhất một camera, một đèn chiếu sáng và một bộ phận thao tác hoặc ĐỒ ÁN TỐT NGHIỆP 3 CHƯƠNG 1. TỔNG QUAN một cánh tay, chúng có thể truyền hình ảnh và dữ liệu về nước.

Một bộ phận thao tác hoặc một cánh tay có thể được bổ sung để lấy mẫu nước và các thiết bị có thể đánh giá các yếu tố như nhiệt độ nước và độ đục, giúp thu thập các mẫu vật. Ban đầu, ROV được phát triển cho nhiều mục đích sử dụng, bao gồm kiểm tra bên trong và bên ngoài các đường ống ngầm và đánh giá cấu trúc của các nền tảng ngoài khơi. Hiện nay, chúng được ứng dụng rộng rãi, nhiều trong số đó mang tính khoa học. Chúng được sử dụng cho các hoạt động giáo dục trong thủy cung, phục vụ các chuyến thám hiểm khoa học và được coi là công cụ quý giá trong việc khám phá đại dương.

Kích thước của ROV có thể dao động từ một ô tô nhỏ đến một chiếc xe tải nhỏ. Các ROV lớn hơn cần các thiết bị bổ sung như cần cẩu để hạ xuống tàu và đưa vào đại dương do trọng lượng của chúng.