Research and Design of LiDAR and Camera-Based Object Following System for Automated Ground Vehicles

Đồ án thiết kế hệ thống bám mục tiêu dựa trên LiDAR và camera cho AGV tại HCMUTE năm 2025

• Tác giả: Phạm Xuân Đại
• Người hướng dẫn: ThS. Nguyễn Trung Hiếu
• Trường học: Đại học Sư phạm Kỹ thuật Thành phố Hồ Chí Minh
• Chuyên ngành: Công nghệ kỹ thuật ô tô
• Đề tài: Research and Design of LiDAR and Camera-Based Object Following System for Automated Ground Vehicles
• Loại tài liệu: Khóa luận tốt nghiệp
• Năm xuất bản: 2025
• Địa điểm: Thành phố Hồ Chí Minh

Tóm tắt

I. Tổng quan hệ thống bám mục tiêu LiDAR và camera cho AGV tại HCMUTE

Xe tự hành AGV đóng vai trò nòng cốt trong mô hình nhà máy thông minh và trung tâm logistics hiện đại. Nhu cầu tự động hóa vận chuyển hàng hóa đòi hỏi AGV phải sở hữu khả năng bám mục tiêu dẫn đường linh hoạt. Đồ án tốt nghiệp tại Trường Đại học Sư phạm Kỹ thuật TP.HCM tập trung giải quyết bài toán này thông qua việc kết hợp cảm biến LiDAR và camera. Cấu trúc hệ thống bao gồm khung xe dẫn động vi sai, cơ cấu gá đặt cảm biến và bộ điều khiển trung tâm mạnh mẽ. Sự kết hợp giữa dữ liệu đám mây điểm 3D và thông tin thị giác màu giúp xe nhận dạng người hoặc pallet phía trước một cách tức thời. Môi trường công nghiệp trong nhà thường chứa nhiều vật cản động, lối đi hẹp và ánh sáng biến đổi liên tục. Hệ sinh thái phần mềm Robot Operating System cung cấp nền tảng xử lý dữ liệu tin cậy cho cấu trúc đa cảm biến. Mô hình nghiên cứu này tạo bước đệm kỹ thuật vững chắc cho việc nội địa hóa các giải pháp xe tự hành phục vụ công nghiệp sản xuất tại Việt Nam.

1.1. Nhu cầu tự động hóa và bám mục tiêu của AGV

Sự phát triển của thương mại điện tử tạo áp lực lớn lên tốc độ xử lý kho vận. Các phương pháp thủ công bộc lộ nhiều điểm nghẽn về năng suất và an toàn. Xe tự hành AGV với chức năng bám mục tiêu mang lại giải pháp cộng tác hiệu quả. Người vận hành chỉ cần di chuyển phía trước trong khi xe tự động bám theo chuyên chở hàng hóa. Cơ chế này giảm đáng kể thao tác trung gian và tối ưu hóa thời gian vận chuyển. Để đảm bảo an toàn, hệ thống bám bắt buộc phải duy trì khoảng cách chính xác liên tục. Độ trễ điều khiển cần giữ ở mức tối thiểu nhằm ngăn ngừa rủi ro va chạm trong môi trường nhà xưởng đông đúc.

1.2. Mục tiêu nghiên cứu đồ án tốt nghiệp tại HCMUTE

Đồ án tốt nghiệp ngành Công nghệ Kỹ thuật Ô tô tại HCMUTE hướng tới việc làm chủ công nghệ xe tự hành. Nhóm nghiên cứu tập trung chế tạo hoàn chỉnh hệ thống cơ khí và giá đỡ cảm biến chuyên dụng cho AGV. Mục tiêu quan trọng là thiết lập quy trình tích hợp giữa LiDAR, camera RGB và cảm biến quán tính IMU. Hệ thống phải đảm bảo khả năng phát hiện mục tiêu ổn định trong phạm vi khoảng cách từ hai đến năm mét. Bên cạnh phần cứng, đề tài xây dựng thuật toán điều khiển bám vận tốc và góc lái mượt mà trên nền ROS. Kết quả nghiên cứu cung cấp mô hình thực nghiệm chuẩn xác phục vụ đào tạo và phát triển ứng dụng công nghiệp thực tế.

II. Thách thức kỹ thuật khi bám mục tiêu bằng LiDAR và camera trên AGV

Việc định vị và bám mục tiêu chính xác trong môi trường nhà xưởng luôn đối mặt với nhiều rào cản kỹ thuật phức tạp. Mỗi loại cảm biến đều có những hạn chế vật lý cố hữu khi vận hành độc lập. Cảm biến LiDAR cung cấp tọa độ không gian chính xác nhưng lại thiếu thông tin màu sắc và hoa văn để phân loại vật thể. Ngược lại, camera ghi nhận chi tiết hình ảnh phong phú nhưng dễ bị suy giảm chất lượng dưới điều kiện ánh sáng thay đổi. Hiện tượng che khuất mục tiêu khi có vật cản cắt ngang đường đi là nguyên nhân hàng đầu gây mất dấu đối tượng theo dõi. Ngoài ra, sự rung lắc cơ học trong quá trình AGV di chuyển liên tục tạo ra sai số góc quét và làm nhòe khung hình quang học. Tốc độ lấy mẫu không đồng nhất giữa cổng quét laser và cảm biến hình ảnh gây nên hiện tượng trễ tín hiệu điều khiển. Khối lượng tính toán của thuật toán xử lý ảnh thời gian thực cũng gây áp lực lớn lên bộ xử lý nhúng. Những yếu tố này đòi hỏi giải pháp dung hợp cảm biến đồng bộ và thuật toán bù sai số hiệu quả.

2.1. Hạn chế của từng cảm biến đơn lẻ trong định vị

Khi hoạt động riêng rẽ, cảm biến LiDAR 2D chỉ thu thập dữ liệu khoảng cách trên một mặt phẳng cắt ngang duy nhất. Thiết bị này không thể phân biệt giữa chân người và chân bàn hay vật cản tĩnh có biên dạng tương tự. Khi vật thể chuyển động ra khỏi mặt phẳng quét do địa hình nghiêng, LiDAR sẽ mất dấu ngay lập tức. Đối với camera màu, khả năng nhận diện hình thái rất vượt trội nhưng cự ly ước lượng thường thiếu độ chuẩn xác cao. Ánh sáng yếu hoặc bóng đổ mạnh trong nhà kho khiến thuật toán trích xuất đặc trưng hình ảnh gặp nhiều sai số lớn. Cả hai thiết bị nếu đứng riêng lẻ đều không thể thỏa mãn đồng thời tiêu chí nhận dạng và đo cự ly chính xác.

2.2. Khó khăn khi đồng bộ dữ liệu thời gian thực

Việc dung hợp dữ liệu từ LiDAR và camera đòi hỏi sự đồng bộ chặt chẽ cả về không gian lẫn thời gian. Tần số quét của LiDAR thường dao động từ 10 đến 20 Hz trong khi camera hoạt động ở mức 30 đến 60 FPS. Sự lệch pha thời gian lấy mẫu khiến các khung dữ liệu không tương ứng chính xác với cùng một thời điểm di chuyển của AGV. Về mặt không gian, việc xác định ma trận chuyển đổi tọa độ ngoại quan giữa tâm cảm biến laser và thấu kính camera rất phức tạp. Bất kỳ sai lệch góc đặt nhỏ nào cũng dẫn đến sai số cự ly đáng kể khi chiếu điểm quét lên ảnh màu. Hệ thống máy tính nhúng cần xử lý phép biến đổi hình học này liên tục với độ trễ thấp nhất.

III. Giải pháp dung hợp LiDAR và camera bám mục tiêu cho xe AGV HCMUTE

Nhóm nghiên cứu tại HCMUTE đã đề xuất phương án dung hợp cảm biến đa tầng để khắc phục các nhược điểm trên. Cấu trúc phần cứng được thiết kế theo module với hệ giá đỡ cảm biến triệt tiêu rung động hiệu quả. LiDAR được bố trí ngang tầm quét chân đối tượng, kết hợp camera RGB đặt tại vị trí trung tâm hướng thẳng về phía trước. Dữ liệu từ camera trải qua mô hình mạng nơ-ron học sâu để phát hiện khung bao mục tiêu người vận hành. Tọa độ 2D từ ảnh màu được ánh xạ vào đám mây điểm 3D của LiDAR nhằm trích xuất khoảng cách chính xác đến từng milimét. Nền tảng ROS 2 điều phối toàn bộ quá trình truyền thông giữa các nút tính toán thông qua cơ chế Publisher và Subscriber. Thuật toán lọc Kalman mở rộng tiếp tục được áp dụng để ước lượng trạng thái vận tốc và quỹ đạo di chuyển của đối tượng. Nhờ quy trình xử lý khép kín này, bộ điều khiển cấp thấp có thể điều chỉnh mô-men động cơ xe bám sát mục tiêu tức thời mà không xảy ra hiện tượng giật cục.

3.1. Thiết kế cơ khí giá đỡ và bố trí cảm biến

Khung gá đặt cảm biến được thiết kế bằng phần mềm CAD với độ chính xác cao trước khi gia công thực tế. Nhóm tác giả tại HCMUTE đã lựa chọn vật liệu nhôm định hình và nhựa chịu lực nhằm tối ưu trọng lượng xe. Cơ cấu giá đỡ cho phép điều chỉnh linh hoạt góc nghiêng của camera cùng cao độ quét của LiDAR. Các đệm cao su giảm chấn được tích hợp tại điểm bắt bu lông nhằm triệt tiêu dao động cơ học khi xe di chuyển qua gờ giảm tốc. Vị trí camera được đặt cao hơn LiDAR giúp mở rộng góc quan sát tổng thể và tránh điểm mù phía trước mũi xe. Sự đồng trục hình học giữa các thiết bị tạo điều kiện thuận lợi cho bước hiệu chuẩn ma trận ngoại quan sau này.

3.2. Kiến trúc phần mềm điều khiển trên nền tảng ROS

Kiến trúc phần mềm của AGV được phân chia thành các nút chức năng độc lập theo chuẩn Robot Operating System. Nút camera đảm nhận việc thu nhận khung hình và nhận diện mục tiêu qua mạng học sâu. Nút LiDAR tiếp nhận đám mây điểm, lọc nhiễu không gian và tính toán khoảng cách tới đối tượng. Một nút dung hợp trung gian đóng vai trò Subscriber để tiếp nhận dữ liệu từ cả hai cảm biến trên cùng một trục thời gian. Sau khi xử lý thuật toán lọc Kalman, nút dung hợp sẽ Publish dữ liệu vận tốc tuyến tính và vận tốc góc tới bộ điều khiển động cơ. Cấu trúc truyền thông phân tán này giúp giảm tải bộ nhớ, tăng tính module hóa và dễ dàng mở rộng thêm cảm biến trong tương lai.

IV. Hiệu quả hệ thống bám mục tiêu LiDAR và camera cho AGV tại HCMUTE

Nghiên cứu thiết kế hệ thống bám mục tiêu đa cảm biến cho AGV tại HCMUTE đã chứng minh tính khả thi và độ tin cậy thực tiễn cao. Việc dung hợp LiDAR và camera giúp xe khắc phục hoàn toàn nhược điểm mất dấu khi hoạt động trong môi trường ánh sáng phức tạp. Xe tự hành phản ứng mượt mà khi bám theo người đi bộ ở vận tốc di chuyển lên đến một mét trên giây. Sai số khoảng cách duy trì luôn nằm trong giới hạn an toàn cho phép từ năm đến mười centimet. Kết quả thử nghiệm khẳng định vai trò quyết định của kiến trúc phần mềm hướng module và cơ cấu gá đặt vững chắc. Công trình nghiên cứu này đóng góp trực tiếp vào mục tiêu đào tạo kỹ sư công nghệ ô tô chất lượng cao, đáp ứng xu hướng công nghiệp 4.0. Giải pháp hoàn toàn có thể ứng dụng rộng rãi tại các kho vận thông minh, bệnh viện, nhà máy lắp ráp linh kiện điện tử và trung tâm phân phối hàng hóa tự động.

4.1. Đánh giá độ chính xác và khả năng đáp ứng

Các bài thử nghiệm thực tế tại phòng thí nghiệm cho thấy hệ thống có khả năng nhận dạng mục tiêu ổn định trong cự ly hoạt động từ 1.5 đến 4 mét. Thuật toán lọc Kalman giúp xe duy trì quỹ đạo bám ngay cả khi mục tiêu đột ngột rẽ hướng hoặc bị che khuất thoáng qua dưới hai giây. Độ trễ xử lý từ khi camera thu nhận tín hiệu đến lúc động cơ nhận lệnh phản hồi chỉ mất chưa đầy ba mươi mili-giây. AGV không gặp tình trạng giật cục hay dừng khẩn cấp bất thường khi di chuyển qua các khu vực có cường độ sáng không đồng đều. Hệ thống đạt độ tin cậy vượt bậc so với việc chỉ sử dụng một cảm biến đơn lẻ.

4.2. Tiềm năng ứng dụng thực tế trong công nghiệp

Giải pháp bám mục tiêu tự động mở ra triển vọng ứng dụng to lớn trong mô hình kho hàng fulfillment và dây chuyền sản xuất lắp ráp. Thay vì lắp đặt hệ thống đường ray từ tính tốn kém, doanh nghiệp có thể triển khai đội xe AGV bám mục tiêu linh hoạt với chi phí thấp hơn nhiều. AGV dễ dàng phối hợp nhịp nhàng với công nhân trong quá trình lấy hàng và vận chuyển vật tư nặng nhọc. Mô hình này còn phù hợp triển khai trong môi trường y tế để hỗ trợ vận chuyển dụng cụ hoặc suất ăn tại bệnh viện. Khả năng tùy biến phần mềm mở trên nền tảng ROS cũng tạo điều kiện thuận lợi để doanh nghiệp tích hợp thêm các tính năng điều hướng tự chủ cao cấp hơn.

Nội dung chính

Bối cảnh và vấn đề nghiên cứu

Trong tiến trình phát triển của ngành công nghệ kỹ thuật ô tô và hệ thống giao thông thông minh, việc tích hợp các hệ thống nhận thức môi trường (perception systems) lên phương tiện tự hành đóng vai trò cốt lõi. Các nền tảng di chuyển tự động, từ xe tự hành công nghiệp (Automated Guided Vehicles - AGV) trong nhà xưởng cho đến xe tự lái trên đường giao thông, đều phụ thuộc chặt chẽ vào hệ thống cảm biến để thu thập dữ liệu thời gian thực và ra quyết định điều khiển an toàn.

Đứng dưới góc độ chuyên ngành Công nghệ Kỹ thuật Ô tô (Automotive Engineering Technology), nhóm tác giả Phạm Xuân Đại, Phan Tấn Minh và Lê Nguyễn Anh Thi (Trường Đại học Sư phạm Kỹ thuật TP. Hồ Chí Minh) chỉ ra rằng: việc tiếp nhận thông tin từ môi trường không đơn thuần là bài toán phần mềm hay thuật toán xử lý dữ liệu, mà gắn liền trực tiếp với bài toán tích hợp cơ khí. Các cảm biến như LiDAR, máy ảnh số (camera), cảm biến quán tính (IMU) và cảm biến siêu âm nếu bị lắp đặt sai lệch góc, thiếu độ cứng vững kết cấu, chịu rung động quá mức hoặc bị che khuất tầm nhìn sẽ làm suy giảm nghiêm trọng độ chính xác của thuật toán bám bắt mục tiêu, hạn chế khả năng phát hiện vật cản và gây mất an toàn cho hệ thống điều hướng tự hành. Do đó, đồ án tập trung vào việc nghiên cứu, thiết kế và chế tạo một kết cấu giá đỡ cảm biến mô-đun có khả năng định vị tối ưu, triệt tiêu rung động và tương thích linh hoạt với các cấu hình phương tiện tự hành.

Theo văn bản đồ án, mục tiêu nghiên cứu cụ thể được xác định bao gồm 6 nhiệm vụ:

1. Nghiên cứu nguyên lý hoạt động của các hệ thống AGV, bao gồm các phương pháp dẫn đường và điều hướng phổ biến.
2. Thiết kế khung gá lắp cảm biến LiDAR và camera đảm bảo độ bền, độ ổn định kết cấu và phù hợp với yêu cầu vận chuyển thực tế.
3. Tích hợp các cụm cảm biến chính (cảm biến siêu âm, camera, IMU, LiDAR) nhằm hỗ trợ phát hiện vật cản và điều hướng tự hành.
4. Phát triển và hoàn thiện thuật toán bám đối tượng (object following) phục vụ hệ thống điều khiển động cơ, xử lý tín hiệu cảm biến và di chuyển tự động.
5. Triển khai hệ thống tránh vật cản nhằm nâng cao độ an toàn vận hành cho AGV và đánh giá độ chính xác của thuật toán điều hướng.
6. Đánh giá toàn diện hiệu năng hệ thống, phân tích độ ổn định vận hành và đề xuất giải pháp tối ưu hóa, cải tiến kỹ thuật.

Đối tượng nghiên cứu của đề tài là kết cấu giá đỡ cảm biến cơ khí và hệ thống nhận thức tích hợp trên nền tảng AGV di chuyển trong nhà. Phạm vi nghiên cứu giới hạn ở việc thiết kế khung đỡ dạng mô-đun, tích hợp phần cứng cảm biến (LiDAR SICK LMS 511-PRO, camera HIKVISION DS-U320, IMU MPU-9150, cảm biến siêu âm AJ-SR04M, GPS U-blox EVK-6R), triển khai thuật toán SLAM 2D, lập bản đồ và bám mục tiêu người (class person) trong môi trường phòng thí nghiệm có kiểm soát.

Phương pháp nghiên cứu kết hợp giữa:

• Tổng quan tài liệu: Khảo sát các công trình nghiên cứu trong nước (robot phân loại bưu kiện của Viettel Post, xe tự hành QFS1550V2 và CA-ZR1080V1 của ETEK Automation) và quốc tế (robot AMR Proteus của Amazon Robotics, kho thông minh Cainiao thuộc Alibaba Group, luận văn AMR trên nền tảng ROS của Gervasio Danilo tại Đại học Padua).
• Thiết kế hệ thống: Thiết kế mô hình cơ khí 3D trên SolidWorks, tính toán động lực học, lập trình phần mềm trên hệ điều hành Robot Operating System 2 (ROS 2).
• Thực nghiệm và đánh giá: Thử nghiệm lắp ráp cơ khí, kiểm tra thuật toán SLAM, điều hướng tránh vật cản và bám đối tượng trong các kịch bản thực tế.

Cơ sở lý thuyết và phương pháp

Cơ sở lý thuyết của đồ án được xây dựng dựa trên động học, động lực học robot di động, hệ điều hành robot thế hệ mới và các thuật toán xử lý thị giác máy tính:

Động học và động lực học robot di động

Mô hình toán học áp dụng cho khung gầm AGV là hệ thống dẫn động vi sai (differential-drive mobile robot) di chuyển trên mặt phẳng 2 chiều với 3 bậc tự do (tọa độ $x, y$ và góc hướng $\theta$). Khung tọa độ được xác lập thông qua hệ quy chiếu toàn cục $(X, Y)$ và hệ quy chiếu cục bộ $(X_B, Y_B)$ gắn tại tâm bệ robot $B$. Mối quan hệ động học thuận và nghịch được thiết lập dựa trên khoảng cách giữa hai bánh chủ động ($s$), bán kính bánh xe ($r$), tâm quay tức thời (Instantaneous Center of Curvature - ICC) cùng vận tốc dài ($v_L, v_R$) và vận tốc góc ($\dot{\phi}_L, \dot{\phi}_R$) của từng bánh:

$$\begin{bmatrix} \dot{x} \ \dot{y} \ \dot{\theta} \end{bmatrix} = \begin{bmatrix} \frac{r \cos(\theta)}{2} & \frac{r \cos(\theta)}{2} \ \frac{r \sin(\theta)}{2} & \frac{r \sin(\theta)}{2} \ -\frac{r}{s} & \frac{r}{s} \end{bmatrix} \begin{bmatrix} \dot{\phi}_L \ \dot{\phi}_R \end{bmatrix}$$

Về mặt động lực học, văn bản trình bày hai phương pháp mô hình hóa:

• Định luật II Newton: Phân tích lực kéo tiếp tuyến, lực cản lăn, ma sát trượt và mô-men quán tính $I_z$ quanh trục thẳng đứng ($F_x = m \cdot a_x$, $F_y = m \cdot a_y$, $\tau = I_z \cdot \dot{\omega}$).
• Phương pháp Lagrange: Sử dụng hàm Lagrange $L = K - P$ (với thế năng $P$ không đổi trên mặt phẳng ngang) để thiết lập phương trình chuyển động từ tổng động năng tịnh tiến và động năng quay của toàn bộ khối lượng xe $m$.

Hệ điều hành robot ROS 2 và các thuật toán liên quan

Đề tài chuyển đổi nền tảng từ ROS 1 sang ROS 2 (Robot Operating System 2) nhằm tận dụng kiến trúc truyền thông phân tán dựa trên chuẩn DDS (Data Distribution Service), loại bỏ điểm nghẽn của máy chủ trung tâm ROS Master. Bảng tổng hợp so sánh giữa hai phiên bản được trích xuất từ văn bản:

Đặc tính kỹ thuật	ROS (ROS 1)	ROS 2
Kiến trúc truyền thông	Tập trung (dựa trên ROS Master)	Phân tán (dựa trên chuẩn DDS)
Hệ điều hành thử nghiệm	Chủ yếu trên Ubuntu Linux	Đa nền tảng: Ubuntu, Windows, macOS
Ngôn ngữ lập trình	C++03, Python 2	C++11/C++14/C++17, Python 3
Quản lý vòng đời (Lifecycle)	Không có chuẩn vòng đời cố định	Hỗ trợ Managed Nodes kiểm soát trạng thái
Mô hình tiến trình	Một tiến trình chỉ chứa một nút đơn lẻ	Nhiều nút (nodes) cùng chạy trong một tiến trình
Tệp khởi chạy (Launch file)	Định dạng XML đơn giản, hạn chế logic	Lập trình bằng Python, hỗ trợ rẽ nhánh và vòng lặp

Về định vị và dẫn đường, đồ án vận dụng phương pháp định vị thích ứng Monte Carlo (AMCL), tích hợp thuật toán sinh bản đồ chi phí (Global/Local Costmap) và phối hợp dữ liệu Odometry cùng IMU thông qua bộ lọc Kalman mở rộng (EKF). Đối với tác vụ nhận dạng, mô hình học sâu YOLOv5 được khai thác để phát hiện đối tượng người trong khung hình RGB, sử dụng cơ chế chia ô lưới (grid cell), hộp neo (anchor box), tính toán chỉ số giao diện trên diện tích hợp (IoU) và giải thuật triệt tiêu phi cực đại (Non-Maximum Suppression - NMS).

Thiết kế và triển khai hệ thống kỹ thuật

Hệ thống được hiện thực hóa thông qua quy trình thiết kế kỹ thuật tích hợp cơ khí - điện tử - điều khiển:

Kết cấu cơ khí và trụ gá cảm biến

Giá đỡ cảm biến được thiết kế dạng phân tầng gồm 3 phần chính: khung đế chịu lực bên dưới, khung thân đỡ trung tâm và cụm gá lắp cảm biến trên đỉnh.

• Vật liệu chế tạo: Thép tấm carbon 1023 (1023 carbon steel sheet) dùng cho các vị trí liên kết chịu tải chính; hợp kim nhôm 1060 (1060 aluminum alloy) và nhôm thanh định hình (aluminum extrusion profile) được sử dụng để giảm khối lượng tổng thể; các tấm nhựa mica (acrylic panels) tạo vách bảo vệ; vật liệu nhựa ABS in 3D được ứng dụng cho các vỏ hộp cảm biến chuyên dụng.
• Phương pháp chế tạo: Cắt laser kim loại tấm, chấn gấp định hình dập nguội, hàn điểm và liên kết bulông ke góc đối với khung nhôm. Toàn bộ chi tiết kim loại sau gia công được làm sạch bề mặt và sơn phủ bảo vệ.
• Mô phỏng và phân tích: Mô hình hóa toàn diện bằng phần mềm SolidWorks, cho phép kiểm tra độ đồng trục giữa chùm quét laser LiDAR và góc nhìn máy ảnh, đồng thời mô phỏng ước tính khối lượng các cụm chi tiết và toàn bộ khối lượng xe AGV sau khi tích hợp.

Kiến trúc phần cứng và tích hợp cảm biến

Hệ thống phần cứng điều khiển bao gồm:

• Bộ xử lý nhúng: NVIDIA Jetson Nano Developer Kit đóng vai trò trung tâm tính toán, chạy các nút ROS 2, xử lý ảnh từ mô hình YOLOv5 và xử lý dữ liệu đám mây điểm.
• Cảm biến LiDAR: SICK LMS 511-PRO công nghiệp, dải quét rộng, trang bị công nghệ lọc đa phản xạ (multi-echo filter), kết nối với Jetson Nano qua cổng giao tiếp Ethernet công nghiệp (chuẩn đầu nối M12 4-chân D-coded) và cấp nguồn qua cổng M12 5-chân A-coded.
• Camera: HIKVISION DS-U320 gắn phía trên trụ cảm biến, cung cấp luồng hình ảnh màu RGB.
• Cảm biến quán tính: InvenSense MPU-9150 9 trục, giao tiếp trực tiếp với Jetson Nano qua giao thức I2C.
• Cảm biến siêu âm: Cụm cảm biến chống nước AJ-SR04M kết nối với vi điều khiển ESP32 để đo khoảng cách vật cản ở tầm gần, đóng vai trò lớp bảo vệ an toàn vật lý.
• Bộ thu GPS: U-blox EVK-6R hỗ trợ thu nhận tọa độ không gian.

Thuật toán điều khiển và bám mục tiêu

Thuật toán bám đối tượng (object following) được xây dựng theo chu trình khép kín:

1. Nhận diện mục tiêu: Camera ghi nhận khung hình, mô hình YOLOv5 phát hiện đối tượng người (class person), trích xuất tọa độ bounding box và tính toán góc lệch tâm (offset angle) của mục tiêu so với trục quang học của camera.
2. Xác định cự ly: Dữ liệu chùm quét từ LiDAR SICK LMS 511-PRO được chiếu tương ứng theo góc lệch nhận được từ camera để trích xuất cự ly thực tế chính xác đến mục tiêu.
3. Bộ điều khiển chuyển động: Nút điều khiển (controller node) trong ROS 2 tính toán sai lệch khoảng cách và sai lệch góc, sau đó xuất lệnh điều khiển vận tốc dài ($v$) và vận tốc góc ($\omega$) qua topic /cmd_vel tới bộ điều khiển động cơ.
4. Cơ chế an toàn (Safety system): Tích hợp dữ liệu từ cảm biến siêu âm AJ-SR04M và LiDAR; nếu phát hiện vật cản bất ngờ hoặc mục tiêu vi phạm khoảng cách an toàn tối thiểu, hệ thống lập tức phát lệnh ngắt chuyển động.

Nội dung chính theo từng chương

Chương 1: Introduction

Chương này làm rõ lý do chọn đề tài từ yêu cầu thực tiễn của công nghệ ô tô tự hành và logistics. Trình bày 6 mục tiêu nghiên cứu cụ thể, giới hạn phạm vi đề tài vào việc thiết kế khung gá mô-đun và tích hợp cảm biến trên nền tảng AGV trong nhà. Tổng thuật các công trình nghiên cứu AGV tiêu biểu tại Việt Nam (Viettel HighTech, ETEK) và quốc tế (Amazon Proteus, Cainiao Smart Warehouse, mô hình AMR dùng ROS của tác giả Gervasio Danilo).

Chương 2: Theoretical Basis

Trình bày tổng quan lịch sử phát triển 4 giai đoạn của AGV từ năm 1953 đến nay, phân loại các dòng AGV (AGC, Forklift, Unit Load, Tugger, Heavy Burden, Hybrid, AMR) và số liệu ứng dụng thực tế tại Amazon, Coca-Cola Brasil, BMW. Thiết lập hệ thống công thức giải tích động học thuận/nghịch cho cơ cấu vi sai 2 bánh; phân tích động lực học bằng phương pháp Newton-Euler và năng lượng Lagrange. So sánh cấu trúc kỹ thuật giữa ROS và ROS 2; phân tích cơ chế hoạt động của các thuật toán EKF-SLAM, Graph-SLAM, Particle-SLAM, giải thuật AMCL và kiến trúc mạng nơ-ron tích chập trong mô hình YOLOv5.

Chương 3: System Design Methodology

Xác định yêu cầu kỹ thuật và kịch bản sử dụng (use case) của hệ thống AGV tự hành. Đưa ra sơ đồ phương pháp thiết kế tổng thể từ cơ khí, mạch điện tử đến giải thuật phần mềm. Phân tích chi tiết thông số kỹ thuật các linh kiện phần cứng: máy tính nhúng Jetson Nano, LiDAR SICK LMS 511-PRO, camera HIKVISION DS-U320, IMU MPU-9150, cảm biến siêu âm AJ-SR04M và GPS U-blox EVK-6R. Tính toán tọa độ không gian, chiều cao gá đặt và góc nghiêng của LiDAR và camera nhằm tối ưu hóa vùng nhận thức và hạn chế điểm mù.

Chương 4: Mechanical Sensor Mounting Structure Design and Fabrication

Trình bày quy trình thiết kế và chế tạo khung cơ khí chịu lực. Phân rã kết cấu thành ba cụm: cụm đế, cụm thân giữa và cụm giá đỡ cảm biến trên đỉnh bằng bản vẽ hình học và bản vẽ phát nổ (exploded views). Lựa chọn vật liệu thép carbon 1023 và hợp kim nhôm 1060 dựa trên đặc tính cơ lý; áp dụng công nghệ gia công cắt laser, chấn dập tấm kim loại, hàn điểm và gia công in 3D nhựa ABS. Thực hiện mô phỏng trên SolidWorks để đánh giá khối lượng các chi tiết gá, khối lượng LiDAR và ước tính tổng khối lượng xe sau khi lắp ráp hoàn thiện.

Chương 5: Controller System Design

Xây dựng kiến trúc điều khiển trên nền tảng ROS 2. Thiết lập quy trình thu nhận và xử lý dữ liệu camera qua mô hình YOLOv5, xác định góc lệch mục tiêu (offset angle). Tích hợp thuật toán định vị không gian đối tượng bằng việc đồng bộ hóa dữ liệu LiDAR với thị giác máy tính. Xây dựng lưu đồ thuật toán cho nút điều khiển chuyển động (controller node) và thuật toán giám sát an toàn (safety system flowchart).

Chương 6: Testing and Evaluation

Ghi nhận kết quả gia công, lắp ráp hoàn chỉnh cụm giá đỡ lên xe AGV thực tế. Trình bày kết quả thử nghiệm SLAM 2D, lập bản đồ không gian và định vị AMCL thông qua công cụ Rviz2. Đánh giá khả năng điều hướng tự hành qua các kịch bản: chạy thẳng, chuyển hướng rẽ góc, quay về điểm xuất phát và né tránh chướng ngại vật tĩnh. Kiểm nghiệm thực tế thuật toán bám người: kiểm tra độ chính xác đo cự ly ở trạng thái tĩnh, khóa mục tiêu khi người đứng lệch góc, bám theo người khi di chuyển đổi hướng và phản ứng phanh an toàn khi có người khác xuất hiện bất ngờ.

Chương 7: Conclusion and Future Development

Tổng kết mức độ hoàn thành so với các mục tiêu đề ra ban đầu. Đánh giá tính cứng vững của kết cấu cơ khí và độ tin cậy của thuật toán điều khiển. Chỉ ra các hạn chế kỹ thuật hiện hữu của mô hình và định hướng các nội dung nghiên cứu nâng cao tiếp theo.

Kết quả và đóng góp

Văn bản đồ án ghi nhận các kết quả thực nghiệm và giá trị khoa học đạt được:

Kết quả thực nghiệm

• Kết quả chế tạo cơ khí: Khung giá đỡ cảm biến hoàn thiện có kết cấu vững chắc, định vị chính xác vị trí làm việc của LiDAR SICK LMS 511-PRO và camera HIKVISION DS-U320, triệt tiêu hiện tượng rung lắc trong quá trình AGV di chuyển, các bề mặt kim loại được bảo vệ chống oxy hóa.
• Kết quả SLAM và điều hướng: AGV xây dựng thành công bản đồ 2D của môi trường thí nghiệm trong nhà; thông qua môi trường Rviz2, xe thực hiện chính xác các lệnh điều hướng theo đường thẳng, thực hiện các thao tác chuyển hướng mượt mà, định vị chính xác vị trí bằng thuật toán AMCL, tự động thiết lập đường đi vòng qua vật cản trên bản đồ chi phí (costmap) và quay trở về điểm xuất phát thành công.
• Kết quả bám mục tiêu: Hệ thống nhận diện ổn định người mục tiêu thông qua YOLOv5, duy trì khóa mục tiêu ngay cả khi đối tượng đứng lệch trục quang học của xe. Thuật toán hợp nhất dữ liệu cho phép xe theo sát người dẫn đường khi đi thẳng và khi chuyển hướng rẽ góc; hệ thống an toàn phản ứng chính xác bằng cách dừng xe khi người dẫn đường dừng lại hoặc khi có chướng ngại vật/người khác bất ngờ cắt ngang qua khoảng cách an toàn.

Đóng góp kỹ thuật của đề tài

• Cung cấp một phương pháp luận thiết kế tích hợp liên ngành giữa Kỹ thuật Cơ khí Động lực và Kỹ thuật Điều khiển - Robot, chứng minh tầm quan trọng của kết cấu gá đặt phần cứng đối với chất lượng dữ liệu nhận thức.
• Xây dựng thành công cấu trúc giá đỡ cảm biến dạng mô-đun hóa, dễ dàng tháo lắp, căn chỉnh và có khả năng chuyển giao áp dụng cho nhiều nền tảng xe tự hành nghiên cứu hoặc phương tiện hỗ trợ lái xe tiên tiến (ADAS).
• Chuyển đổi và làm chủ thành công kiến trúc phần mềm điều khiển trên nền tảng ROS 2 kết hợp mô hình thị giác máy tính YOLOv5 và cảm biến công nghiệp trong bài toán bám đối tượng tự hành.

Hạn chế và hướng nghiên cứu tiếp

Theo đánh giá của nhóm tác giả trong văn bản, đề tài tồn tại các hạn chế kỹ thuật:

• Năng lực xử lý thời gian thực: Việc xử lý đồng thời mô hình học sâu YOLOv5, các nút truyền thông ROS 2 và giải thuật SLAM/Nav2 trên bộ vi xử lý nhúng Jetson Nano vẫn còn độ trễ nhất định, cần tối ưu hóa mã nguồn và mô hình để đạt tần số đáp ứng cao hơn.
• Phạm vi môi trường hoạt động: Hệ thống mới chỉ được kiểm chứng trong môi trường phòng thí nghiệm có bề mặt sàn bằng phẳng và điều kiện ánh sáng ổn định; chưa kiểm tra hoạt động khi mặt đường mấp mô có rung động mạnh hoặc ánh sáng thay đổi đột ngột.
• Khai thác phần cứng: Mô-đun GPS (U-blox EVK-6R) đã được tích hợp lên khung gá nhưng chưa được đưa vào kiểm thử thuật toán điều hướng định vị do phạm vi nghiên cứu tập trung trong nhà (indoor).

Hướng nghiên cứu tiếp theo được đề xuất:

• Tối ưu hóa thuật toán nhận diện và bám mục tiêu theo thời gian thực nhằm giảm tải tính toán cho bộ xử lý nhúng.
• Nâng cấp thuật toán hợp nhất đa cảm biến (multi-sensor fusion) để nâng cao độ chính xác định vị trong môi trường động phức tạp.
• Mở rộng phạm vi thử nghiệm ra môi trường ngoài trời (outdoor), kết hợp dữ liệu vệ tinh GPS và hoàn thiện thiết kế vỏ bảo vệ chống chịu các tác động thời tiết (bụi, nước).

Giá trị tham khảo

Đồ án là tài liệu tham khảo có giá trị kỹ thuật đối với:

• Sinh viên và kỹ sư các ngành Kỹ thuật Cơ khí Động lực, Kỹ thuật Ô tô, Cơ điện tử, Kỹ thuật Robot và Tự động hóa đang thực hiện các đề tài về xe tự hành, AGV kho bãi hoặc hệ thống hỗ trợ lái xe nâng cao (ADAS).
• Chương 4 của đồ án là tài liệu thực hành hữu ích về quy trình thiết kế cơ khí từ việc chọn vật liệu (thép 1023, nhôm 1060), phân chia cụm kết cấu, tạo vỏ bảo vệ, ứng dụng gia công cắt laser, in 3D cho đến mô phỏng khối lượng trên SolidWorks.
• Chương 3 và Chương 5 là tài liệu tham khảo chi tiết cho việc thiết kế kiến trúc phần cứng nhúng (Jetson Nano, ESP32), phương thức ghép nối cảm biến LiDAR công nghiệp (SICK LMS 511-PRO) qua cổng giao tiếp Ethernet M12 và cách thức xây dựng thuật toán bám đối tượng dựa trên ROS 2 kết hợp YOLOv5.

Câu hỏi thường gặp

1. Hệ thống sử dụng cảm biến LiDAR và máy ảnh nào, được kết nối với bộ xử lý trung tâm qua giao diện gì?

Hệ thống sử dụng cảm biến LiDAR công nghiệp SICK LMS 511-PRO và máy ảnh số HIKVISION DS-U320 webcam. LiDAR kết nối với bộ máy tính nhúng NVIDIA Jetson Nano Developer Kit thông qua giao thức truyền thông mạng Ethernet công nghiệp (sử dụng đầu nối tròn M12 4-chân D-coded), trong khi máy ảnh kết nối qua cổng giao tiếp USB chuẩn để truyền luồng dữ liệu hình ảnh RGB.

2. Trụ đỡ cảm biến được chế tạo từ những loại vật liệu nào và được phân chia kết cấu ra sao?

Khung giá đỡ cảm biến được phân chia thành 3 phần: phần đế chịu lực, phần thân giữa và cụm giá đỡ cảm biến trên đỉnh. Các vật liệu được sử dụng gồm có: thép tấm carbon 1023 (1023 carbon steel sheet) dùng cho các chi tiết chịu lực cắt laser và dập chấn; hợp kim nhôm 1060 (1060 aluminum alloy) và nhôm thanh định hình tiêu chuẩn; các tấm nhựa mica (acrylic panels) tạo vách vỏ hộp bảo vệ bên ngoài; và nhựa ABS in 3D dùng để chế tạo vỏ gá chuyên dụng cho LiDAR và camera.

3. Mô hình động học vi sai của AGV trong đề tài được mô tả bằng những tham số hình học nào?

Mô hình động học vi sai của AGV được xác định dựa trên các tham số: tâm bệ robot $B$ (gốc tọa độ cục bộ $X_B, Y_B$), tâm bánh xe bên trái $L$ và bên phải $R$, tâm quay tức thời ICC ($C$), bán kính bánh xe $r$, khoảng cách giữa hai tâm bánh xe $s$, khoảng cách từ tâm robot $B$ đến tâm quay $C$ ($l$), cùng với góc hướng xe $\theta$ so với hệ tọa độ toàn cục.

4. Thuật toán bám người kết hợp giữa Camera và LiDAR hoạt động theo nguyên lý nào?

Mô hình mạng nơ-ron học sâu YOLOv5 nhận luồng dữ liệu hình ảnh từ camera để phát hiện đối tượng người (class person), trích xuất tọa độ khung bao (bounding box) và tính toán góc lệch (offset angle) so với tâm khung hình. Góc lệch này được ánh xạ sang chùm quét dữ liệu của LiDAR SICK LMS 511-PRO nhằm đo chính xác khoảng cách vật lý thực tế từ xe tới người. Từ sai lệch góc và khoảng cách, nút điều khiển ROS 2 xuất lệnh vận tốc dài và vận tốc góc để điều khiển AGV di chuyển bám theo mục tiêu.

5. Vì sao nhóm tác giả chuyển đổi sang hệ điều hành ROS 2 thay vì tiếp tục sử dụng ROS 1 (ROS Noetic)?

Nhóm nghiên cứu lựa chọn ROS 2 vì nền tảng này sử dụng kiến trúc phân tán dựa trên chuẩn truyền thông công nghiệp DDS, loại bỏ sự phụ thuộc vào nút quản lý tập trung ROS Master của ROS 1, từ đó nâng cao tính tin cậy và khả năng mở rộng hệ thống. Ngoài ra, ROS 2 hỗ trợ chạy nhiều nút trong cùng một tiến trình, kiểm soát vòng đời của nút (lifecycle management), hỗ trợ tệp khởi chạy bằng Python và bảo đảm khả năng phát triển lâu dài khi phiên bản ROS 1 cuối cùng (ROS Noetic) kết thúc hỗ trợ vào tháng 5 năm 2025.

Kết luận

Đồ án tốt nghiệp của nhóm tác giả Phạm Xuân Đại, Phan Tấn Minh và Lê Nguyễn Anh Thi đã giải quyết thành công bài toán tích hợp cơ khí và điều khiển thông minh cho hệ thống nhận thức trên xe tự hành AGV. Nghiên cứu hoàn thành trọn vẹn quy trình từ khảo sát động học, thiết kế chế tạo kết cấu giá đỡ cảm biến phân tầng bằng kim loại tấm và in 3D, đến lập trình điều khiển trên hệ điều hành ROS 2 kết hợp mô hình thị giác YOLOv5 và LiDAR công nghiệp SICK. Kết quả thực nghiệm khẳng định khung gá đạt độ cứng vững cao, hệ thống AGV vận hành ổn định trong các tác vụ lập bản đồ 2D SLAM, tự động né vật cản và bám bắt người dẫn đường an toàn trong môi trường trong nhà.

Trích đoạn nội dung tài liệu

HO CHI MINH CITY UNIVERSITY OF TECHNOLOGY AND EDUCATION FACULTY OF INTERNATIONAL EDUCATION GRADUATION PROJECT RESEARCH AND DESIGN OF LIDAR AND CAMERA-BASED OBJECT FOLLOWING SYSTEM FOR AUTOMATED GROUND VEHICLES PHAM XUAN DAI Student ID: 20149005 PHAN TAN MINH Student ID: 21145028 LE NGUYEN ANH THI Student ID: 21145612 Major: AUTOMOTIVE ENGINEERING TECHNOLOGY Supervisor: NGUYỄN TRUNG HIẾU, M. Ho Chi Minh City, June 2025 HO CHI MINH CITY UNIVERSITY OF TECHNOLOGY AND EDUCATION FACULTY OF INTERNATIONAL EDUCATION GRADUATION PROJECT RESEARCH AND DESIGN OF LIDAR AND CAMERA-BASED OBJECT FOLLOWING SYSTEM FOR AUTOMATED GROUND VEHICLES PHAM XUAN DAI Student ID: 20149005 PHAN TAN MINH Student ID: 21145028 LE NGUYEN ANH THI Student ID: 21145612 Major: AUTOMOTIVE ENGINEERING TECHNOLOGY Supervisor: NGUYỄN TRUNG HIẾU, M. Ho Chi Minh City, June 2025 Acknowledgements We would like to express our deepest gratitude to all those who have supported and guided us throughout the completion of this project. First and foremost, we extend our heartfelt appreciation to our families.

Your constant encouragement, unconditional love, and belief in our potential have been a driving force behind our motivation. Thank you for supporting us both emotionally and financially, and for always standing by our side through every challenge and achievement. Your faith in us gave us the strength to keep going. We are especially grateful to our mentor, whose valuable time, insightful guidance, and thoughtful feedback played a pivotal role in shaping the direction and quality of this project.

Your mentorship not only helped us technically but also taught us how to think critically and solve problems with a systematic approach. For your unwavering support and dedication, we are truly indebted. We also wish to thank all our teachers for creating a learning environment that nurtured our curiosity and helped us develop a deeper understanding of the subject matter. Your teachings laid the foundation for our knowledge and inspired us to apply what we learned in practical ways.

Additionally, we are thankful to our classmates and friends, whose collaboration, encouragement, and shared enthusiasm made the process more engaging and enjoyable. The exchange of ideas and teamwork were instrumental in helping us overcome obstacles and bring this project to a successful completion. Finally, we acknowledge every individual who contributed, directly or indirectly, to the development of this project. This achievement is not ours alone, it is the result of collective effort, support, and shared learning.

With sincere appreciation, The Project Team i Faculty of International Education – HCMC University of Technology and Education Abstract This thesis presents the complete design, fabrication, and validation of a sensor mounting system for an Automated Ground Vehicle (AGV) intended for smart indoor navigation using LIDAR, camera and IMU. Motivated by the growing demand for adaptable robotic platforms in research and industry, the study aims to build a robust mechanical structure and integrate a functional navigation system using state-of-the-art algorithms. Theoretical foundations were first reviewed, including AGV architecture, mobile robot kinematics, ROS2 middleware, SLAM techniques, computer vision, and object detection using the YOLO model. The proposed system architecture was then conceptualized, breaking down the AGV into key components sensor configuration, frame design, and control architecture leading to an optimized layout.

The mechanical system was designed to include a steel base plate, aluminum vertical frame, precision sensor brackets, and a protective enclosure. A detachable mounting structure was developed for the LIDAR, camera, combining laser-cut steel parts, ABS 3D printed housings, and spot-welded joints. SolidWorks was used for detailed modeling, weight estimation, and alignment analysis. Materials were selected based on structural strength, weight, and ease of manufacturing.

On the software side, the ROS2-based navigation system includes real-time object tracking using YOLO and a custom object-following algorithm. The AGV was tested in a controlled environment, showing stable mechanical integrity and successful target-following performance. The results demonstrate a reliable mechanical and control framework for modular sensor integration in mobile robotics. Limitations were identified, and recommendations for future improvement are provided, particularly in real-time optimization and outdoor extension.

ii Faculty of International Education – HCMC University of Technology and Education Table of Contents Acknowledgements. ii Table of Contents. iii List of Figures .v List of Tables. xi List of Abbreviations.

xii Chapter 1: INTRODUCTION. Reason for Choosing The Topic. Scope of The Topic .13 Chapter 2: THEORETICAL BASIS. Overview of Robots and AGVs Robots.

Kinematics and Dynamics in Mobile Robots. Overview of Robot Operating System 2 (ROS2). Overview of Simultaneous Localization and Mapping (SLAM) Techniques. Introduction to Computer Vision.

Overview about YOLO model. Overview about Navigation.62 Chapter 3: SYSTEM DESIGN METHODOLOGY. Functional Requirements and Use Case. Overall Design Methodology.

System Design Procedure. Fundamental Elements of a Smart AGV Robot. Detailed Component Modules of the Navigation System .79 iii Faculty of International Education – HCMC University of Technology and Education 3. Determination of Sensor Positions and Mounting Height .95 Chapter 4: MECHANICAL SENSOR MOUNTING STRUCTURE DESIGN AND FABRICATION.

Layout of External Components. Load-Bearing Frame Design and Fabrication. Outer Enclosure Design and Fabrication. Design of Mounting Positions and Alignment Considerations of LIDAR and Camera.

Simulation-Based Estimation of the Model’s Total Mass Using SolidWorks 115 Chapter 5: CONTROLLER SYSTEM DESIGN. Building Navigation Algorithm For AGV. Building Object Following Algorithm For AGV .130 Chapter 6: TESTING AND EVALUATION. Mechanical Fabrication Results.

Slam And Navigation Experimental Results. Object Following Experimental Results .150 Chapter 7: CONCLUSION AND FUTURE DEVELOPMENT. Conclusion And Evaluation About The Results. Drawbacks of the model.166 iv Faculty of International Education – HCMC University of Technology and Education List of Figures Fig.

Automated Guided Vehicles (AGVs) used in Viettel Post’s parcel sorting line. Model QFS1550V2 of ETEK. Model CA-ZR1080V1. Amazon's autonomous mobile robots, Proteus, independently navigating warehouse floors to transport outbound packages in modern fulfillment centers.

Cainiao AGV Smart Warehouse – Robotic Shelving System in Action. 3D model chassis and right-side view of the robot of the robot’s, Gervasio Danilo[ [1], Fig. Graphical description of the chassis’s deformation considering the same boundary con ditions considered, Gervasio Danilo. The first AGV robot.

Assembling line VW Passat at VW in Emden with AGVs. AGVs in industry 4. 3A Mouse & Mole AGVs (Bastian Solutions, a Toyota Automated Logistics company). CQD-AJ Small Reach Truck Forklift AGV (EFORK).

C3-01 Unit Load Carrier AGV Trolley (Casun). M100-TT Tunnel/Tugger (DAIFUKU). SIASUN’s heavy payload mobile robots (SIASUN). C6-21 Bidirectional Hybrid Robot AGV (Casun).

The MiR1350 is compliant with the highest available robot standards (MIR). Global reference frame and local reference frame of the robot. Mobile robot aligned to global axis. Kinematic (velocity) diagram of mobile robot.

The Publisher-Subscriber model in ROS 2 [16].36 v Faculty of International Education – HCMC University of Technology and Education Fig. Service Communication Model in ROS 2 [17]. Action Communication Model in ROS 2 [18]. Structure of a ROS 2 Launch File with Multiple Nodes and Parameters [19].

EKF-SLAM concept [20]. Graph-Slam concept [21]. Particle-slam concept [20]. Object detection application.

The architecture of Object detection. Performance comparison of YOLOv5, YOLOv4 and SSD algorithm. Architecture of YOLO model. The network structure of yolov5 model.

Architecture of CNN. Fully connected layer. Picture after applied gril cell. Applying anchor box.

Intersection over Union. Final result of YOLOv5 model. Visualization of AMCL Localization in Rviz [22]. 2D map generated by SLAM algorithm.

The local costmap displays the area surrounding the robot, while the global costmap represents the entire environment [23].68 vi Faculty of International Education – HCMC University of Technology and Education Fig. Example EKF configuration file integrating Odometry and IMU sensor data. A systematic design approach. AGV System Architecture.

Jetson Nano Developer Kit – Hardware Interface Overview. SICK LiDAR - LMS 511-PRO. LMS511 specification is presented in [ [7], Tab. LiDAR LMS 511 scanning range as illustrated in [ [8], Fig.

Multi-echo filter technology as illustrated in [ [8], Fig. Connection ports in LMS 511. Male power connector (M12, 5-pin, A-coded). Female Ethernet connector (M12, 4-pin, D-coded).

LMS511 Communication Protocols. HIKVISION DS-U320 webcam for this robots. MPU-9150 Connection to Jetson Nano via I2C Interface. AJ-SR04M Waterproof Ultrasonic Sensor.

Connection diagram between the ESP32 and the ultrasonic sensor. U-blox GPS EVK-6R. Flat steel sheet in raw (unmachined) form. Standard aluminum extrusion profile.

Various corner brackets for aluminum extrusion. Formed steel brackets with stamped shapes. Thin stamped steel sheet with shaped profile. Various types of mica plastic sheets (acrylic panels).

Overall view of the load-bearing frame for the sensor mounting structure. Enlarged view of the upper section of the frame.103 vii Faculty of International Education – HCMC University of Technology and Education Fig. Exploded view with component descriptions. Enlarged view of the middle section of the sensor mount.

Exploded view of the middle section with component descriptions. Enlarged view of the load-bearing base frame. Exploded view of the base section showing individual components. Sensor mounting frame after complete assembly.

Overall design view of the sensor mounting structure’s housing. Exploded view of the sensor column casing components. Surface coating of all metal components after machining and surface cleaning. Overall view of the sensor column after assembly.

Front and rear side views of the sensor mounting structure. Exploded view of the sensor mounting assembly components. Integrated LIDAR, Camera, and GPS sensor module after complete fabrication. Technical specification table of 1023 carbon steel sheet.

Technical specification table of 1060 aluminum alloy. Application of standard materials to individual parts. Determine the weight of the SICK LiDAR provided by the manufacturer and the custom-designed mounting bracket. Determine the weight of the AGV platform based on the design provided by the previous project team.

Total estimated mass of the Sensor mounting structure. Total estimated mass of the AGV with sensor mounting structure integrated. Right-side view of the completed physical model after assembly. Left view of the completed physical model.123 viii Faculty of International Education – HCMC University of Technology and Education Fig.

The robot optimizes its path by moving through the lowest-cost (green) areas on the cost map [23]. Overview about program in object following. Objection detection with YOLOv5. Prefer class person.

Objection detection flowchart. Description of offset angle in RGB camera. Simulation of mounting positions of LiDAR and camera. Localization of object flowchart.

Controller node flowchart. Safety system flowchart. LiDAR and camera housing. LiDAR and camera mounting position.

Fully assembled AGV design model. The first SLAM result. The map after SLAM. AGV path planning and obstacle avoidance on SLAM-generated map.

Setting a Straight-Line Navigation Goal in rviz2. Straight-line navigation. Setting the Goal Point for the AGV to Return to Its Initial Position. Return to initial position.

Turning maneuver during navigation. Navigation with a straight path followed by a turning maneuver. Obstacle avoidance navigation experiment. Obstacle avoidance navigation.

Testing range detection.151 ix Faculty of International Education – HCMC University of Technology and Education Fig. Check the actual distance #1. Person stands offset to the right side of the robot. Check the acutal distance #2.

Robot in Idle state. Waiting to lock target (robot’s POV). Waiting to lock target. Robot is in following state (robot’s POV).

Robot light indicator in following mode. Distance Offset Graph in test case 1. Angle Offset Graph in test case 1. Testing following ability when person turn (robot’s POV).

Testing following ability when person turn. Distance Offset Graph in test case 1. Angle Offest Graph in test case 2. Unexpected person appears.

Robot following detected target (robot's POV).160 x Faculty of International Education – HCMC University of Technology and Education List of Tables Table 2. Notable improvements of ROS 2 compared to ROS. Scanning modes specifications is presented in [ [8], Tab. Some key specifications of the MPU-9150.

Specifications of EVK-6R.