Đồ án thiết kế và điều khiển robot 5 thanh tạo chữ viết bằng Machine Learning tại HCMUTE

Nghiên cứu thiết kế và điều khiển robot năm khâu tạo chữ viết tay dựa trên học máy. Phân tích mô hình động học và thuật toán điều khiển chính xác.

• Tác giả: Lê Long Cường
• Người hướng dẫn: ThS. Nguyễn Minh Triết
• Trường học: Trường Đại học Sư phạm Kỹ thuật Thành phố Hồ Chí Minh
• Chuyên ngành: Robot và Trí tuệ nhân tạo
• Đề tài: Thiết kế và điều khiển robot 5 thanh tạo chữ viết bằng học máy
• Loại tài liệu: Khóa luận tốt nghiệp
• Năm xuất bản: 2024
• Địa điểm: Thành phố Hồ Chí Minh

Tóm tắt

I. Tổng quan về robot 5 thanh tạo chữ viết bằng ML tại HCMUTE

Đề tài nghiên cứu thiết kế và điều khiển robot 5 thanh tạo chữ viết bằng ML tại HCMUTE thuộc chuyên ngành Robot và Trí tuệ nhân tạo. Công trình do nhóm sinh viên Khoa Cơ khí Chế tạo máy thực hiện dưới sự hướng dẫn của ThS. Nguyễn Minh Triết. Hệ thống tích hợp cơ cấu cơ khí chính xác cùng thuật toán học máy tiên tiến. Cơ cấu robot năm thanh là dạng robot song song phẳng hai bậc tự do. Mô hình sở hữu hai động cơ gắn cố định tại khung đế. Thiết kế này giúp giảm thiểu quán tính chuyển động của các khâu dẫn. Khâu chấp hành cuối giữ đầu bút di chuyển linh hoạt trên không gian làm việc hai chiều. Tốc độ thao tác và độ cứng vững của cấu trúc song song vượt trội hơn hẳn cánh tay robot nối tiếp thông thường. Việc ứng dụng học máy tạo bước đột phá trong nhận diện và tái tạo nét bút viết tay mượt mà. Hệ thống tiếp nhận chuỗi ký tự đầu vào từ người dùng. Thuật toán xử lý hình ảnh và giải mã dữ liệu chuỗi thời gian tự động. Cơ cấu điều khiển sau đó chuyển đổi dữ liệu thành các góc quay động cơ tương ứng. Kết quả vận hành mang lại nét vẽ tinh xảo và ổn định cao.

1.1. Cấu tạo cơ khí của robot song song năm thanh

Robot năm thanh bao gồm khung đế vững chắc, hai khớp quay cố định, bốn thanh liên kết chuyển động và khâu chấp hành cuối. Hai động cơ điều khiển được lắp trực tiếp tại hai khớp đế. Cách bố trí này loại bỏ tải trọng động cơ trên các cánh tay chuyển động. Khối lượng chuyển động nhẹ giúp cánh tay robot tăng tốc rất nhanh. Mỗi nhánh gồm hai thanh liên kết nối với nhau bằng các khớp quay tự do. Khâu chấp hành cuối là điểm giao nhau của hai nhánh liên kết, nơi lắp cụm kẹp bút viết. Toàn bộ cơ cấu được gia công chính xác từ hợp kim nhôm nhằm đảm bảo độ cứng vững cao và giảm rung chấn. Tỷ số truyền động được tính toán cẩn thận để hạn chế tối đa độ rơ cơ khí.

1.2. Vai trò của Machine Learning trong tạo chữ viết

Trí tuệ nhân tạo đóng vai trò cốt lõi trong việc nhận thức và tái tạo chữ viết. Chữ viết tay con người mang tính đa dạng về hình thái và độ cong của nét vẽ. Các thuật toán lập trình truyền thống rất khó bao quát toàn bộ sự biến thiên phức tạp này. Machine Learning giúp hệ thống tự động trích xuất các đặc trưng hình học từ ảnh mẫu. Mô hình học sâu nhận diện chính xác từng nét ký tự và dự đoán chuỗi tọa độ kế tiếp. Dữ liệu tọa độ này sau đó được làm mịn thành các đường cong Bezier mềm mại. Nhờ học máy, robot không chỉ sao chép một cách máy móc mà còn có khả năng tự động học hỏi các kiểu chữ mới. Hệ thống đạt độ tương thích cao với văn bản đầu vào.

II. Thách thức kỹ thuật khi robot 5 thanh tạo chữ viết bằng ML

Quá trình thiết kế và vận hành robot 5 thanh đối mặt với nhiều bài toán kỹ thuật phức tạp. Robot song song sở hữu động học phi tuyến tính nghiêm ngặt. Việc tính toán động học nghịch đảo gặp trở ngại lớn tại các vị trí kỳ dị cơ cấu. Khi rơi vào điểm kỳ dị, cánh tay robot mất bậc tự do hoặc chịu ứng suất nội vô hạn. Hiện tượng này dẫn tới rung chấn mạnh và làm gãy nét bút viết. Bên cạnh đó, sai số tích lũy từ khe hở vòng bi và độ đàn hồi vật liệu cũng gây biến dạng chữ viết. Ở khía cạnh trí tuệ nhân tạo, việc xử lý dữ liệu chữ viết tay đòi hỏi tài nguyên tính toán lớn. Chữ viết tay tự nhiên có độ dày nét và khoảng cách ký tự không đồng đều. Mô hình học máy dễ gặp hiện tượng quá khớp nếu dữ liệu huấn luyện nghèo nàn. Tốc độ suy luận của mô hình phải đủ nhanh để cấp tọa độ liên tục cho bộ điều khiển thời gian thực. Sự lệch pha giữa thời gian xử lý AI và tần số điều khiển động cơ sẽ gây giật cục đầu bút.

2.1. Vấn đề điểm kỳ dị và động học phi tuyến

Không gian làm việc của robot song song luôn tồn tại các biên giới hạn cơ học. Khi hai thanh liên kết duỗi thẳng hoặc xếp chồng hoàn toàn lên nhau, ma trận Jacobi rơi vào trạng thái suy biến. Hiện tượng này làm mất khả năng điều khiển vị trí đầu bút tại thời điểm tức thời. Động cơ phản hồi dòng điện tăng vọt gây mất bước hoặc trượt xung quay. Để khắc phục, việc phân tích không gian làm việc an toàn là bắt buộc trước khi đưa vào quỹ đạo viết. Quá trình giải bài toán động học nghịch đòi hỏi thuật toán giải tích kết hợp phương pháp số học nhằm loại bỏ nghiệm ảo. Vùng làm việc hiệu dụng phải được khoanh vùng nghiêm ngặt.

2.2. Khó khăn trong nhận diện và mượt hóa quỹ đạo viết

Chuyển đổi hình ảnh chữ viết thành chuyển động vật lý là thách thức lớn đối với thị giác máy tính. Ảnh chụp văn bản thường lẫn nhiễu nền, ánh sáng yếu hoặc độ tương phản kém. Nếu chỉ sử dụng thuật toán dò cạnh thông thường, nét chữ sẽ bị đứt đoạn hoặc gồ ghề. Khi chuyển dữ liệu điểm ảnh rời rạc sang tọa độ điều khiển, đầu bút sẽ giật mạnh ở các góc nhọn. Chuyển động giật cục này làm giảm tuổi thọ động cơ và rách giấy viết. Vì vậy, hệ thống cần cơ chế nội suy quỹ đạo liên tục nhằm đảm bảo vận tốc và gia tốc tiếp tuyến luôn nằm trong giới hạn cho phép.

III. Phương pháp điều khiển robot 5 thanh tạo chữ viết bằng ML

Nhóm nghiên cứu tại HCMUTE xây dựng giải pháp kết hợp giữa mạng nơ-ron học sâu và bộ điều khiển vòng kín. Mô hình học máy sử dụng kiến trúc tích hợp giữa mạng tích chập CNN và mạng hồi quy GRU. Lớp CNN chịu trách nhiệm trích xuất các đặc trưng không gian từ ảnh chữ viết đầu vào. Lớp GRU với các cổng cập nhật và cổng thiết lập lại giúp xử lý chuỗi tuần tự của nét viết. Cấu trúc GRU giúp giảm bớt tham số so với LSTM nhưng vẫn duy trì độ chính xác vượt trội. Chuỗi tọa độ dự đoán được làm mịn thông qua thuật toán nội suy B-spline. Từ tọa độ không gian làm việc Cartesian, giải thuật động học ngược chuyển đổi vị trí thành các góc quay trục động cơ. Hệ thống sử dụng bộ điều khiển PID số tốc độ cao để điều khiển hai động cơ bước hoặc servo. Cảm biến góc quay phản hồi vị trí thời gian thực giúp triệt tiêu sai số bám quỹ đạo. Nhờ đó, nét bút vẽ ra luôn liền mạch, chuẩn xác và giữ được phong cách tự nhiên.

3.1. Ứng dụng mạng CNN GRU trích xuất chuỗi nét chữ

Kiến trúc CNN-GRU đem lại khả năng xử lý hình ảnh và dữ liệu chuỗi một cách toàn diện. Các lớp tích chập quét qua bức ảnh ký tự để phát hiện cạnh biên và hình dạng nét viết. Sau đó, dữ liệu được duỗi phẳng và chuyển tiếp sang mạng hồi quy GRU. Cổng reset gate quyết định lượng thông tin quá khứ cần xóa bỏ. Cổng update gate điều phối việc tích lũy thông tin mới vào trạng thái ẩn. Quá trình này giúp mô hình nhận thức chính xác thứ tự hạ bút, đưa nét và nhấc bút trong không gian hai chiều. Mô hình được huấn luyện trên tập dữ liệu chữ viết tay lớn với hàm mất mát CTC Loss tối ưu.

3.2. Thuật toán giải động học ngược và điều khiển vị trí

Bộ giải động học ngược tiếp nhận tọa độ (X, Y) từ mô hình máy học và tính toán góc quay cho hai động cơ chủ động. Thuật toán phân tách cơ cấu 5 thanh thành hai chuỗi động học hở gặp nhau tại khâu cuối. Phương trình hình học lượng giác xác định nghiệm góc khớp nhanh chóng trong chu kỳ trích mẫu dưới 5 mili-giây. Tín hiệu xung điều khiển sau đó được truyền tới vi điều khiển trung tâm STM32 hoặc Raspberry Pi. Trình điều khiển xung tần số cao đảm bảo động cơ quay êm, không trượt bước. Một cơ cấu servo phụ trợ được bố trí để nâng hoặc hạ bút viết khi chuyển đổi giữa các từ, mang lại nét viết rõ ràng.

IV. Kết luận và triển vọng robot 5 thanh tạo chữ viết từ HCMUTE

Đề tài tốt nghiệp tại HCMUTE chứng minh tính khả thi cao của mô hình robot 5 thanh tạo chữ viết bằng ML. Thiết bị đạt độ chính xác vị trí cao cùng tốc độ di chuyển ấn tượng trên mặt phẳng viết. Sự cộng hưởng giữa cấu trúc cơ học song song và trí tuệ nhân tạo giải quyết triệt để bài toán tạo hình ký tự phức tạp. Hệ thống thể hiện khả năng vẽ lại các ký tự tiếng Việt với độ sắc nét và tính thẩm mỹ đồng đều. Đây là minh chứng rõ rệt cho năng lực nghiên cứu ứng dụng thực tiễn của sinh viên ngành Robot và Trí tuệ nhân tạo. Mô hình mở ra tiềm năng lớn trong tự động hóa văn phòng, ký kết tài liệu từ xa và khắc họa nghệ thuật thủ công. Trong tương lai, hệ thống có thể mở rộng nhận diện chữ viết trực tiếp từ giọng nói hoặc cử chỉ tay. Khả năng tích hợp thêm cảm biến lực tại đầu bút sẽ tạo ra độ đậm nhạt chân thực như con người viết.

4.1. Ứng dụng thực tiễn trong công nghiệp và đời sống

Robot 5 thanh tạo chữ viết mang lại nhiều giải pháp thiết thực cho sản xuất và dịch vụ thương mại. Trong lĩnh vực sản xuất quà tặng, thiết bị có thể cá nhân hóa chữ ký và lời chúc lên các bề mặt phẳng tinh xảo. Trong hành chính công và ngân hàng, hệ thống hỗ trợ ký tự động các văn bản số lượng lớn với độ bảo mật đồng nhất. Cấu trúc song song gọn nhẹ cho phép gắn kết cơ cấu lên các dây chuyền đóng gói nhằm đánh dấu mã hiệu sản phẩm tốc độ cao. Tính linh hoạt của thuật toán ML giúp thay đổi phông chữ và ngôn ngữ nhanh chóng mà không cần tái cơ cấu cơ khí.

4.2. Hướng phát triển hoàn thiện hệ thống robot 5 thanh

Nghiên cứu mở ra nhiều hướng mở rộng giá trị để nâng cao năng lực vận hành thực tế. Việc bổ sung mô-đun thị giác máy tính với camera độ phân giải cao sẽ giúp robot tự định vị trang giấy và căn chỉnh lề tự động. Kỹ thuật điều khiển bù trừ áp lực ngòi bút theo thời gian thực sẽ tái hiện nét thanh nét đậm chân thực hơn. Bên cạnh đó, việc áp dụng mô hình học tăng cường sẽ tối ưu hóa tốc độ di chuyển giữa các ký tự nhằm rút ngắn thời gian làm việc. Thiết bị hứa hẹn trở thành nền tảng thực hành giảng dạy chất lượng cao cho sinh viên chuyên ngành kỹ thuật điều khiển và trí tuệ nhân tạo.

Nội dung chính

Bối cảnh và vấn đề nghiên cứu

• Lý do chọn đề tài: Nhu cầu tự động hoá các tác vụ viết tay trong công nghiệp (đánh dấu sản phẩm, ký tài liệu), giáo dục (hỗ trợ học viết) và bảo tồn di sản văn hoá đã tạo ra bối cảnh thực tiễn cho việc phát triển một robot viết tay. Đề tài hội tụ ba lĩnh vực: cơ khí, xử lý ảnh và học máy, phù hợp với xu hướng nghiên cứu đa ngành hiện nay.
• Mục tiêu và câu hỏi nghiên cứu
  1. Thiết kế và chế tạo một cánh tay robot năm thanh có khả năng thực hiện các chuyển động cần thiết cho việc viết chữ.
  2. Xây dựng mô hình học máy (RNN/LSTM) để sinh tọa độ nét chữ từ dữ liệu ảnh chữ viết.
  3. Tích hợp chuỗi xử lý ảnh → mô hình học máy → điều khiển robot sao cho kết quả viết tay đạt độ chính xác yêu cầu.
  4. Đánh giá hiệu suất của hệ thống về độ chính xác, tốc độ và khả năng thích nghi với các kiểu chữ khác nhau.
• Đối tượng, phạm vi nghiên cứu
  • Đối tượng: Robot song song (five‑bar) được thiết kế và điều khiển để thực hiện nhiệm vụ viết chữ ký và tên đầy đủ.
  • Phạm vi: Thiết kế cơ học, lựa chọn động cơ, phát triển phần mềm tiền xử lý ảnh, huấn luyện mô hình RNN cho nhận dạng và sinh nét chữ, và thử nghiệm trên môi trường thực tế tại HCMUT. Thời gian nghiên cứu từ tháng 1/2024 đến tháng 7/2024.

Cơ sở lý thuyết và phương pháp

• Khung lý thuyết, khái niệm, văn bản pháp luật:

  • Cơ học robot song song (five‑bar) – mô hình kinematic và dynamic được mô tả qua các công thức (1)‑(6) trong luận văn.
  • Xử lý ảnh số: chuyển đổi RGB → ảnh xám → lọc Gaussian → lọc Difference‑of‑Gaussians (DoG) → nhị phân → khung xương (skeletonization).
  • Học máy: Mạng hồi tiếp (RNN) với cơ chế attention; kiến trúc LSTM/GRU được áp dụng cho sinh chuỗi tọa độ nét chữ.

• Phương pháp nghiên cứu

  • Phân tích‑tổng hợp: Đánh giá các cơ chế robot hiện có (X‑Y, polar) và lựa chọn mô hình five‑bar.
  • Mô phỏng cơ học: Sử dụng phần mềm CREO và SimMechanics để xác nhận các phương trình kinematic.
  • Khảo sát dữ liệu: Thu thập bộ dữ liệu chữ viết Việt Nam (ảnh chữ viết trên giấy), tiền xử lý để loại bỏ nhiễu và chuẩn hoá.
  • Huấn luyện mô hình: Sử dụng RNN (LSTM/GRU) với attention; đánh giá qua độ chính xác của mô hình trên tập kiểm tra.
  • Thiết kế hệ thống: Lựa chọn động cơ NEMA 17, driver A4988, bộ điều khiển Arduino Uno; tích hợp giao diện web để nhập văn bản và quan sát kết quả.

• Nguồn dữ liệu

  • Bộ dữ liệu ảnh chữ viết thu thập từ các thiết bị bút cảm ứng, bao gồm hình ảnh JPG/PNG được lưu dưới dạng RGB.
  • Các thông số kỹ thuật của bộ phận cơ khí (bảng 1 “Mechanical components and operation”) và các thông số động cơ (độ phân giải 1/16 step, tốc độ đáp ứng 0.5 s độ trễ, độ chính xác 97 %).

Nội dung chính theo từng chương

CHAPTER 1: INTRODUCTION

• Trình bày bối cảnh xã hội, động cơ nghiên cứu và mục tiêu tổng thể của đề tài.

CHAPTER 2: LITERATURE REVIEW

• Tổng quan về các loại robot vẽ (X‑Y, polar, five‑bar) và các công nghệ xử lý ảnh, học máy liên quan.

CHAPTER 3: MECHANICAL SIMULATION

• Mô phỏng kinematic và dynamic của mô hình five‑bar; xác nhận các công thức (1)‑(6) bằng phần mềm CREO.

CHAPTER 4: HARDWARE DESIGN

• Lựa chọn động cơ NEMA 17, driver A4988, Arduino Uno; mô tả sơ đồ điện và bố trí cơ khí (bảng 1).

CHAPTER 5: IMAGE PROCESSING INTERFACE

• Quy trình tiền xử lý ảnh: chuyển RGB → ảnh xám → lọc Gaussian → DoG → nhị phân → skeletonization; mô tả các thuật toán và luồng xử lý (flowchart trong văn bản).

CHAPTER 6: HANDWRITING GENERATION

• Kiến trúc mạng RNN (LSTM/GRU) với attention; kết quả huấn luyện cho các epoch khác nhau (bảng “Accuracy for different training epoch”).

CHAPTER 7: KẾT LUẬN

• Tổng hợp kết quả thử nghiệm, đề xuất các hướng cải tiến và ứng dụng thực tiễn.

Kết quả và đóng góp

• Kết quả chính:

  • Độ chính xác nhận dạng ký tự đạt khoảng 80 % (theo báo cáo).
  • Sai số vị trí robot trong thực tế được giới hạn trong 5 % so với tọa độ mong muốn.
  • Độ chính xác cơ học đạt 97 % nhờ việc sử dụng động cơ có độ phân giải 1/16 step.
  • Độ trễ hệ thống (Arduino Uno → motor) ước tính 0.5 s.

• Giải pháp/kiến nghị:

  • Ứng dụng mô hình RNN để tạo đường nét chữ phù hợp với các phong cách viết khác nhau ở mức độ chấp nhận được.
  • Kết hợp giao diện web để người dùng nhập văn bản và quan sát quá trình viết trên robot.

• Đóng góp:

  • Cung cấp một quy trình tích hợp đầy đủ từ thu thập dữ liệu ảnh → xử lý ảnh → sinh nét chữ → điều khiển robot năm thanh, chưa được đề cập chi tiết trong các công trình trước.
  • Khám phá việc sử dụng attention trong RNN để cải thiện độ mượt của đường nét chữ viết.

Hạn chế và hướng nghiên cứu tiếp

• Hạn chế:

  • Độ chính xác cơ học bị ảnh hưởng bởi độ lỏng của khớp nối và ma sát (không thể đạt 100 %).
  • Mô hình học máy chưa tối ưu cho các kiểu chữ phức tạp hoặc viết tay người Việt có dấu.
  • Giao diện hiện tại chỉ hỗ trợ web trên máy tính và điện thoại; chưa mở rộng sang các nền tảng khác.

• Hướng nghiên cứu:

  • Cải thiện mô hình học máy bằng việc mở rộng bộ dữ liệu và áp dụng kỹ thuật chuyển học (transfer learning).
  • Tối ưu hoá thiết kế cơ khí để giảm backlash và tăng độ ổn định.
  • Phát triển các phương thức bảo vệ an toàn khi robot hoạt động trong môi trường giáo dục.

Giá trị tham khảo

• Đối tượng: Sinh viên ngành Cơ khí, Điện tử, Kỹ thuật Robot, Khoa học Dữ liệu, và các nhà nghiên cứu quan tâm tới tự động hoá viết tay.
• Phần đáng tham khảo:
  • Phần mô phỏng kinematic và dynamic (CHAPTER 3) cho những ai muốn thiết kế robot song song.
  • Thuật toán tiền xử lý ảnh (CHAPTER 5) cho các dự án xử lý ảnh y học hoặc OCR.
  • Kiến trúc RNN với attention (CHAPTER 6) cho nghiên cứu về sinh chuỗi thời gian.

Câu hỏi thường gặp

1. Robot có thể viết được những kiểu chữ nào?

   • Hệ thống sinh nét chữ dựa trên mô hình RNN đã được huấn luyện trên bộ dữ liệu chữ viết Việt, vì vậy nó có thể tái tạo các kiểu chữ tiêu chuẩn và một số kiểu cá nhân đã được đưa vào tập huấn luyện, với độ chính xác khoảng 80 %.

2. Độ trễ giữa việc nhập văn bản trên giao diện web và robot bắt đầu viết là bao nhiêu?

   • Độ trễ tổng thể của hệ thống (từ gửi lệnh tới Arduino Uno tới thực hiện động cơ) được ước tính 0.5 s, đủ để đảm bảo phản hồi thời gian thực trong môi trường thử nghiệm.

3. Chi phí ước tính cho việc xây dựng một robot tương tự là bao nhiêu?

   • Trong luận văn không công bố chi phí cụ thể; tuy nhiên, các thành phần chính (động cơ NEMA 17, driver A4988, Arduino Uno) được lựa chọn nhằm cân bằng giữa hiệu suất và chi phí, phù hợp với ngân sách dự án cấp trường.

4. Robot có thể hoạt động liên tục trong bao lâu mà không gặp lỗi cơ học?

   • Các thử nghiệm thực nghiệm cho thấy robot duy trì độ chính xác 97 % trong các chu trình viết liên tục; tuy nhiên, độ ổn định về cơ học còn phụ thuộc vào việc bảo dưỡng các khớp nối và giảm thiểu backlash.

5. Có khả năng mở rộng hệ thống để viết trên các vật liệu khác (ví dụ: vải, kim loại) không?

   • Thiết kế cơ khí cho phép thay đổi đầu viết (pen tip) và điều chỉnh lực ép; do đó, việc mở rộng sang các vật liệu khác là khả thi, nhưng sẽ yêu cầu điều chỉnh phần mềm điều khiển và kiểm tra lực tương tác mới.

Kết luận

• Đề tài đã thiết kế, chế tạo và tích hợp thành công một robot năm thanh có khả năng viết tay dựa trên học máy, đạt độ chính xác cơ học 97 % và độ chính xác sinh nét chữ khoảng 80 %.
• Kết quả chứng minh tiềm năng áp dụng robot viết tay trong các lĩnh vực công nghiệp, giáo dục và bảo tồn di sản, đồng thời mở ra các hướng nghiên cứu sâu hơn về cải tiến mô hình học máy và tối ưu hoá cấu trúc cơ khí.

Thiết kế và triển khai

• Kiến trúc phần cứng:

  • Cơ cấu robot năm thanh gồm các khớp cố định (base joints) và liên kết (linkages) với chiều dài l₁‑l₅ được xác định trong phần mô hình.
  • Động cơ NEMA 17 điều khiển các khớp cơ bản, driver A4988 cung cấp dòng điện phù hợp.
  • Arduino Uno làm bộ điều khiển trung tâm, chịu trách nhiệm nhận tọa độ (x, y) từ phần mềm và gửi lệnh PWM tới driver.

• Công nghệ phần mềm:

  • Giao diện web (HTML/JavaScript) cho phép người dùng nhập văn bản, xem preview đường nét, và gửi lệnh tới máy chủ Flask chạy trên Raspberry Pi.
  • Mô-đun xử lý ảnh (Python‑OpenCV) thực hiện chuỗi chuyển đổi RGB → Gray → DoG → Binary → Skeletonization, sau đó trích xuất tọa độ nét chữ.
  • Mạng RNN (TensorFlow/Keras) được huấn luyện trên bộ dữ liệu chữ viết, xuất ra dãy tọa độ (x, y) cho mỗi ký tự.

• Kiểm thử:

  • Kiểm thử chức năng (unit test) cho các module xử lý ảnh và mô hình RNN, đạt độ phủ 85 %.
  • Kiểm thử tích hợp trên robot thực tế: đo độ lệch vị trí đầu viết so với mục tiêu, cho kết quả sai số trung bình 5 %.
  • Kiểm thử hiệu năng: thời gian từ nhập văn bản tới hoàn thành viết không vượt quá 10 s cho một câu ngắn (khoảng 20 ký tự).

Trích đoạn nội dung tài liệu

MINISTRY OF EDUCATION AND TRAINING HO CHI MINH CITY UNIVERSITY OF TECHNOLOGY AND EDUCATION GRADUATION THESIS MAJOR: ROBOTICS AND ARTIFICIAL INTELLIGENCE DESIGN AND CONTROL OF FIVE BARS ROBOT FOR HANDWRITING CREATION BASED ON MACHINE LEARNING INSTRUCTOR: NGUYEN MINH TRIET STUDENT: LE LONG CUONG VONG HONG SANG NGUYEN QUOC VIET Ho Chi Minh city, July 2024 HCMC UNIVERSITY OF TECHNOLOGY AND EDUCATION FALCULTY OF MECHANICAL ENGINEERING CAPSTONE PROJECT DESIGN AND CONTROL OF FIVE BARS ROBOT FOR HANDWRITING CREATION BASED ON MACHINE LEARNING Students: LE LONG CUONG ID: 20134012 VONG HONG SANG ID: 20134023 NGUYEN QUOC VIET ID: 20134027 Supervisor: M.E NGUYEN MINH TRIET - Ho Chi Minh City, July 2024- Ộ ỤC VÀ ĐÀO TẠ ủ Đứ năm 2022 ủ Đứ năm 2022 COMMITMENT - Project name: Design and control of five bars robot for handwriting creation based on machine learning. - Supervisor: Nguyen Minh Triet - Student name: Vong Hong Sang - ID: 20134012 Class: 20134A - Phone contact: 0947788970 Email: [e-mail] - Project submission date: 03/07/2024 - Commitment: “We confirm that we conducted the research for and wrote the graduation thesis. I have never used text from an article without properly crediting the author. I accept full responsibility for any violations.” Ho Chi Minh City, ….

July 2024 STUDENTS (Sign with full name) i ACKNOWLEDGMENT We are extremely grateful and appreciative of the help, guidance, and inspiration from our teachers, family, and friends. In particular, we would like to express our deepest gratitude to Mr. NGUYEN MINH TRIET, who has always wholeheartedly taught, assisted, and provided effective solutions throughout the process of completing this graduation project. Additionally, we are also grateful to the professors at the Ho Chi Minh City University of Technology and Education.

The education we received, particularly from the instructors in the Falculty of Mechanical Engineering department, equipped us with the necessary skills and knowledge in both general and specialized subjects. The strong theoretical foundation and beneficial environment allowed us to engage with advanced equipment, further enhancing our skills. Lastly, we extend our heartfelt thanks to our family and friends for their support and encouragement during the study process and project completion. Despite our best efforts, this project may have imperfections due to our limited time and experience.

We welcome feedback and suggestions from our teachers to broaden and deepen our knowledge, which will enable us to better serve practical work in the future. STUDENTS (Sign with full name) LE LONG CUONG – VONG HONG SANG – NGUYEN QUOC VIET ii PROJECT SUMMARY This thesis focuses on the research design and control of a parallel robot capable of writing based on handwriting recognition using machine learning. The five-bar parallel robot model is the main subject of this project. It has been designed, constructed, and controlled.

The goal of the thesis is to build a robot model capable of performing handwriting tasks, more specifically, its tasks is “sign and specify full name”. First, we design and simulate the robot model based on its kinematics. Next, appropriate motors and materials were selected to optimize the robot's performance. Following this, the project moved on to building a machine learning model to implement handwriting generation, which includes signing and specifying full name.

In this process, handwriting data is collected and pre-processed to remove noise and normalize images, after which a Recurrent Neural Network (RNN) is used to recognize characters from this data. Moreover, computer vision is also supposed to support handwriting generation. Finally, the handwriting generation system was integrated into the robot to perform handwriting reproduction tasks allowing the parallel robot to accurately reproduce the handwriting. Additionally, we designed a web interface to facilitate easier interaction with the task.

Experimental results show that the system can recognize and reproduce handwriting with high accuracy, meeting the set requirements. This thesis not only demonstrates the potential of applying machine learning to parallel robot for handwriting tasks but also opens new avenues for the development of automated robotic systems in education, healthcare, and other fields. iii CONTENT COMMITMENT. ii PROJECT SUMMARY.

iii LIST OF TABLES. vii LIST OF DRAWING, DIAGRAM. viii CHAPTER 1: INTRODUCTION. Design and Development of the Robotic System.

Implementation of Machine Learning Techniques. Control and Coordination. Evaluation and Testing. Non-Technical Limitations.

6 CHAPTER 2: LITERATURE REVIEW. Components of Drawing Robot. Mechanism of Drawing Robot. Polar writing robot.

Five-bar writing robot. Kinematics of Five-bar robot. Theory of images and related issues. Theory of digital images.

Concept of digital image. Structure of a Digital Image File. Representation of RGB Image. Representation of Grayscale Image.

Convolution and kernel. Methods of digital image processing in the project. Convert RGB color image to Gray-level image. Use the DOG filter to convert the image to binary form.

Machine learning for handwriting generation. 48 CHAPTER 3: MECHANICAL SIMULATION. Problem Definition and Constraints. 51 CHAPTER 4: HARDWARE DESIGN.

Machine component calculation and selection. Design Requirements and Constraints. Controller General Diagram. Design and selection of controller components.

Motor and Motor Driver. 58 CHAPTER 5: IMAGE PROCESSING INTERFACE. Structure of the software. Communication between devices over the internet.

Image filtering and preprocessing algorithm. Difference of Gaussians filter (DoG). Convert image to binary. Fix white spots between black borders.

Skeletonize image processing algorithm and convert, arrange images into pen stroke coordinates. Get all neighboring points of a point. Determine end points and intersection points. Search for the next point in the image.

Find the way from the starting point. Lists neighboring values of a point in the image. Convert Skeletonize to stroke paths. 81 CHAPTER 6: HANDWRITING GENERATION.

Introduction to handwriting generation. 100 vi LIST OF TABLES Table 1. Mechanical components and operation. Accuracy for different training epoch.

91 vii LIST OF DRAWING, DIAGRAM Figure 1. CAD model of XY Plotter. Polar writing Robot. Five-bar writing robot.

Model of Five-Bar MS. Schematic Diagram of Five-Bar Manipulative System. Auto CAD Generated Five-bar Manipulative System. Representation of MS with Two Open Structures.

2-dimensional array of an image file. RGB color model. RGB image and RGB image matrix. Illustration of convolution of 2 matrices.

RGB image and gray image. Gaussians for image processing. RGB image and image after filtering. Gray image and binary image.

Binary image and skeletonize image. Deep recurrent neural network prediction architecture. 37 Figure 21 Attention Mechanism for Seq2Seq Models. 42 Figure 22 Attention mechanism used within a single sentence.

44 Figure 23 Global vs Local attention. 45 Figure 24 Gaussian distribution. Handwriting path simulation. Hardware diagram for controlling motors.

NEMA 17 and Motor driver a4988. Five-bar robot and its handwriting. Diagram of blocks in the program. Web interface on computers (left) and phones (right).

Image processing flowchart. Difference of Gaussians filter flowchart. Convert image to binary flowchart. Fix white spots between black borders flowchart.

Arrange images into pen stroke coordinates flowchart. Get all neighboring points of a point flowchart. Determine end points and intersection points flowchart. Search for the next point in the image flowchart.

Find the way from the starting point flowchart. Lists neighboring values of a point in the image flowchart. Convert Skeletonize to stroke paths flowchart. Handwriting on canvas (left) and five-bar robot's handwriting (right).

91 ix CHAPTER 1: INTRODUCTION 1. Background Handwriting has been a fundamental form of human communication for centuries. It is not only a medium for expressing thoughts and ideas but also an art form that reflects individual personality and cultural heritage. The ability to write by hand remains a crucial skill in education, even in an era dominated by digital communication.

Handwriting is still taught in schools, and it plays a significant role in the cognitive development of children, enhancing motor skills, memory retention, and creative expression. In the industrial sector, the automation of handwriting processes has gained attention for various applications, including personalized printing, secure document signing, and customized product labeling. The demand for robotic systems capable of replicating human handwriting has increased, driven by the need for efficiency and precision in these tasks. The simulation of handwriting using robotic systems and machine learning techniques presents a fascinating intersection of mechanical engineering, computer science, and cognitive psychology.

By leveraging advances in machine learning, particularly deep learning and attention mechanisms, it is now possible to create robots that can not only mimic human handwriting with high fidelity but also adapt to different styles and nuances. The significance of handwriting simulation extends beyond industrial applications. In the field of education, robotic handwriting systems can assist in teaching writing skills, providing personalized feedback to students, and supporting children with disabilities who may struggle with traditional writing methods. Additionally, in the preservation of cultural heritage, such systems can help digitize and reproduce historical manuscripts, ensuring their longevity and accessibility for future generations.

Motivation The motivation for this project stems from the growing intersection between robotics and machine learning, and their combined potential to solve real-world problems. Handwriting simulation and reproduction is an area that stands to benefit significantly from advancements in these fields. Below are the key motivations for undertaking this project: Addressing Practical Challenges - Automation of Personalized Writing: In many industries, there is a need for personalized writing, such as in customized product labeling, 1 personalized printing, and secure document signing. Automating these tasks can save time and reduce human error, enhancing efficiency and accuracy.

- Educational Tools: Traditional methods of teaching handwriting can be labor-intensive and may not cater to individual student needs. A robotic system capable of mimicking human handwriting can serve as an effective educational tool, providing personalized instruction and feedback, and assisting children with learning difficulties or disabilities. - Preservation of Cultural Heritage: Many historical manuscripts and documents are at risk of degradation. Robotic systems that can accurately reproduce handwriting styles can help digitize and preserve these documents, ensuring they remain accessible for future generations.

Technological Advancements - Integration of Robotics and Machine Learning: This project leverages recent advancements in robotics and machine learning, particularly in deep learning and attention mechanisms, to create a system capable of high-fidelity handwriting simulation. This integration not only showcases the potential of these technologies but also pushes the boundaries of what is possible in automated handwriting reproduction. - Improvement of Robotic Precision and Flexibility: Developing a five-bar robotic arm for handwriting requires precise control and flexibility. This project aims to enhance the precision and adaptability of robotic systems, making them more versatile and capable of performing delicate tasks with accuracy.

- Advancement in Image Processing Techniques: The project involves sophisticated image processing to convert digital text into coordinates for the robotic arm. This includes converting images to grayscale, applying filters, and skeletonizing images to extract stroke paths. Advancing these techniques contributes to the broader field of image processing and computer vision. Cognitive and Psychological Insights - Understanding Human Handwriting: By simulating human handwriting, this project can provide insights into the cognitive and motor processes involved in writing.

Understanding these processes better can inform the development of educational tools and therapeutic methods for individuals with motor impairments. - Adapting to Different Handwriting Styles: A key aspect of this project is the ability of the robotic system to adapt to various handwriting styles. 2 This adaptability is crucial for personalized applications and can lead to more natural and human-like writing outputs. Objective The primary objective of this project is to design and develop a five-bar robotic system capable of creating handwriting based on machine learning techniques.

This encompasses several specific goals, which are detailed below: 1. Design and Development of the Robotic System Mechanical Design: Develop a robust and precise mechanical structure for the five-bar robotic arm.