Ứng dụng nhận dạng sơ đồ tự động sử dụng Computer Vision: Luận văn tốt nghiệp

Xây dựng ứng dụng nhận dạng sơ đồ bằng thị giác máy tính. Tìm hiểu cách triển khai các thuật toán nhận dạng để tự động hóa quá trình phân tích sơ đồ.

• Tác giả: Huỳnh Tấn Thành
• Người hướng dẫn: TS. Nguyễn Đức Dũng
• Trường học: Trường Đại học Bách khoa, Đại học Quốc gia Thành phố Hồ Chí Minh
• Chuyên ngành: Khoa học Máy tính
• Đề tài: Xây dựng ứng dụng nhận diện lưu đồ sử dụng cách tiếp cận của thị giác máy tính
• Loại tài liệu: Luận văn tốt nghiệp
• Năm xuất bản: 2021
• Địa điểm: Thành phố Hồ Chí Minh

Mục lục chi tiết

• Declaration
• Acknowledgments
• Abstract
• List of Tables
• List of Figures
• 1. INTRODUCTION
• 1.1. Project Goals
• 2. INTRODUCTION
• Diagram recognition applications on mobile devices
• Handwriting Text recognition
• Regional Proposal Network
• Non-Maximum Suppression
• Region of Interest Pooling (RoI Pooling)
• Feature Pyramid Network
• Region of Interest Align (RoI Align)
• Handwriting Text Recognition
• Long Short Term Memory (LSTM)
• Gated Recurrent Unit (GRU)
• Connectionist Temporal Classification (CTC)
• Diagram Recognition Approach
• Preparing diagram dataset
• Feature map generator
• Symbol-Arrow relationship
• The relationship of text
• Handwriting Text Recognition Approach
• Digital diagram output format
• Diagram File Design
• Login/Register Screen
• Create from blank
• Converting to drawio files
• Version and History
• Experiments on the recognition pipeline
• Perform training and evaluation on HTR model
• Perform training and evaluation on diagram recognition model
• Perform experiments on the combination of diagram recognition model and HTR model
• Display diagram on device
• Interactive Viewer and Matrix4
• Rendering diagram recognition on device
• 7. Conclusion and Future Work
• A Usecase detail
• B User interface design
• B.1. Login/Register Screen
• B.1.1. Login and register
• B.1.2. Home screen options

Tóm tắt

I. Cách Computer Vision Thay Đổi Nhận Dạng Sơ Đồ Thực Tế

Trong kỷ nguyên số hóa, sơ đồ đóng vai trò then chốt trong việc truyền tải ý tưởng phức tạp, từ sơ đồ quy trình kinh doanh đến bản vẽ kỹ thuật số chuyên sâu. Khả năng trực quan hóa giúp người xem dễ dàng nắm bắt thông tin, vượt xa mọi mô tả bằng văn bản. Tuy nhiên, việc chuyển đổi các bản vẽ tay sang định dạng số vẫn là một thách thức lớn, tiêu tốn nhiều thời gian và nguồn lực. Đây là lúc Computer Vision phát huy tiềm năng, mở ra một kỷ nguyên mới cho nhận dạng sơ đồ bằng Computer Vision: Ứng dụng thực tế. Công nghệ này không chỉ giúp tự động hóa quá trình số hóa mà còn biến các bản phác thảo thô thành tài liệu kỹ thuật số có thể chỉnh sửa và chia sẻ dễ dàng. Bằng cách ứng dụng các kỹ thuật tiên tiến, Computer Vision đang cách mạng hóa cách chúng ta tương tác và quản lý thông tin đồ họa, từ đó tối ưu hóa quy trình làm việc trong nhiều ngành nghề.

1.1. Tổng quan về vai trò của sơ đồ và nhu cầu số hóa

Sơ đồ là ngôn ngữ đồ họa mạnh mẽ, đóng vai trò không thể thiếu trong nhiều lĩnh vực, từ minh họa thuật toán, mô hình quy trình kinh doanh đến cấu trúc sản xuất. Chúng cung cấp cái nhìn rõ ràng hơn về một kế hoạch hoặc quy trình bằng các ký hiệu đơn giản và chú thích. Con người có xu hướng xử lý thông tin trực quan và ghi nhớ dữ liệu đồ họa dễ dàng hơn văn bản. Trong các buổi thuyết trình, biểu đồ và đồ thị thông tin hấp dẫn giúp khán giả hiểu ý tưởng minh họa nhanh hơn. Do lợi ích vượt trội, nhu cầu số hóa các bản phác thảo sơ đồ từ giấy hoặc bảng trắng trở nên cấp thiết. Việc chuyển đổi thủ công các bản vẽ kỹ thuật số này thành tệp chỉnh sửa được tốn kém và dễ gây mất mát thông tin. Mục tiêu là tạo ra một ứng dụng có khả năng chuyển đổi ý tưởng vẽ tay thành dạng số, hỗ trợ chỉnh sửa, chia sẻ và quản lý dễ dàng.

1.2. Giới thiệu Computer Vision Chìa khóa tự động hóa phân tích sơ đồ

Computer Vision là một lĩnh vực của trí tuệ nhân tạo (AI) cho phép máy tính 'nhìn' và 'hiểu' các hình ảnh kỹ thuật số. Trong ngữ cảnh nhận dạng sơ đồ, công nghệ này là chìa khóa để tự động hóa trích xuất thông tin và phân tích tài liệu hình ảnh. Thay vì vẽ lại sơ đồ bằng các công cụ số, thị giác máy tính ứng dụng có thể tự động nhận diện các thành phần (ký hiệu, mũi tên, văn bản) từ ảnh chụp và chuyển chúng thành định dạng có thể chỉnh sửa. Điều này giúp giảm đáng kể thời gian, công sức và hạn chế sai sót trong quá trình số hóa tài liệu kỹ thuật. Các hệ thống sử dụng Computer Vision mang lại hiệu quả cao, cho phép người dùng tương tác dễ dàng hơn với sơ đồ số hóa trên nhiều nền tảng, biến các bản phác thảo thô thành tài liệu chuyên nghiệp chỉ trong tích tắc.

II. Thách Thức Nào Khi Số Hóa Sơ Đồ Thủ Công Bằng AI

Mặc dù tiềm năng của nhận dạng sơ đồ bằng Computer Vision rất lớn, việc số hóa các sơ đồ vẽ tay vẫn phải đối mặt với nhiều thách thức đáng kể. Sự không đồng nhất trong cách vẽ của con người, chất lượng hình ảnh kém từ các bản quét hoặc ảnh chụp, và sự phức tạp cố hữu của cấu trúc sơ đồ đều tạo ra rào cản cho các hệ thống AI trong phân tích tài liệu. Các công cụ kỹ thuật số truyền thống thường đòi hỏi nhập liệu thủ công, không có khả năng chuyển đổi trực tiếp. Điều này đặt ra yêu cầu cao cho các thuật toán Computer Vision phải đủ mạnh mẽ để xử lý các biến thể lớn và trích xuất thông tin một cách chính xác. Việc vượt qua những thách thức này là chìa khóa để phát triển các giải pháp số hóa tài liệu kỹ thuật hiệu quả, đảm bảo tính toàn vẹn và khả năng sử dụng của dữ liệu được số hóa.

2.1. Vấn đề bản vẽ tay và giới hạn các công cụ truyền thống

Sơ đồ vẽ tay thường chứa đựng sự không nhất quán về kích thước, hình dạng và nét vẽ, làm cho việc phân loại đối tượng trong hình ảnh trở nên khó khăn. Chất lượng ảnh đầu vào cũng có thể bị ảnh hưởng bởi ánh sáng kém, bụi bẩn hoặc độ cong của giấy, tạo ra nhiễu làm giảm hiệu quả của các thuật toán xử lý ảnh. Hơn nữa, các công cụ số hóa hiện tại như Lucidchart hay draw.io được thiết kế để tạo sơ đồ từ đầu, chứ không phải để chuyển đổi bản vẽ có sẵn. Chúng yêu cầu người dùng nhập liệu thủ công lại toàn bộ sơ đồ, điều này vừa lãng phí thời gian và nguồn lực, vừa dễ gây ra lỗi hoặc hiểu sai ý tưởng gốc. Việc số hóa tài liệu kỹ thuật theo cách thủ công như vậy không chỉ kém hiệu quả mà còn hạn chế khả năng lưu trữ và tham chiếu trong tương lai.

2.2. Độ phức tạp của phát hiện đối tượng sơ đồ và biến thể hình dạng

Đối với Computer Vision, việc phát hiện đối tượng sơ đồ như ký hiệu, mũi tên và văn bản là một nhiệm vụ phức tạp. Các ký hiệu thường có kích thước nhỏ, chồng lấn hoặc được vẽ không hoàn hảo, đòi hỏi độ chính xác cao trong nhận dạng. Sơ đồ quy trình thường có các biến thể về hình dạng và kích thước của các thành phần, từ hình chữ nhật, kim cương đến hình bầu dục, cũng như các mũi tên phức tạp có thể bị cong hoặc giao cắt. Các thuật toán cần phân biệt giữa các loại ký hiệu này và các đối tượng khác trong hình ảnh. Việc xử lý hiệu quả các biến thể này, đặc biệt là khi phân đoạn ảnh sơ đồ và nhận dạng ký hiệu trong sơ đồ, là một thách thức lớn, đòi hỏi các mô hình học sâu trong Computer Vision tiên tiến có khả năng học hỏi từ một lượng lớn dữ liệu đa dạng.

III. Phương Pháp Tối Ưu Nhận Dạng Sơ Đồ Từ Phát Hiện Đến Phân Tích

Để giải quyết các thách thức trong việc nhận dạng sơ đồ bằng Computer Vision, các phương pháp tiên tiến kết hợp học sâu trong Computer Vision và xử lý ảnh truyền thống đã được phát triển. Trọng tâm là xây dựng một hệ thống có khả năng không chỉ phát hiện chính xác các thành phần sơ đồ mà còn hiểu được mối quan hệ giữa chúng. Điều này đòi hỏi một quy trình từ tiền xử lý hình ảnh thô đến áp dụng các mô hình mạng nơ-ron tích chập (CNN) cho nhận dạng phức tạp. Việc tối ưu hóa từng giai đoạn trong quy trình này là yếu tố quyết định đến hiệu suất tổng thể của hệ thống, giúp chuyển đổi hiệu quả các bản vẽ tay thành định dạng số có ý nghĩa. Các phương pháp này tạo nền tảng vững chắc cho thị giác máy tính ứng dụng vào việc số hóa và phân tích tài liệu đồ họa.

3.1. Học sâu trong Computer Vision Nền tảng nhận dạng hiệu quả

Các mô hình học sâu trong Computer Vision là xương sống của hệ thống nhận dạng sơ đồ hiện đại. Cụ thể, kiến trúc như Mask R-CNN, một phần mở rộng của Faster R-CNN, kết hợp với Feature Pyramid Network (FPN), đã chứng minh hiệu quả vượt trội trong việc phát hiện đối tượng sơ đồ và phân đoạn. Mask R-CNN không chỉ xác định hộp giới hạn mà còn tạo ra mặt nạ nhị phân cho từng đối tượng, cho phép nhận dạng chính xác từng ký hiệu riêng lẻ. FPN giải quyết vấn đề biến thể về kích thước của các đối tượng, đặc biệt là các ký hiệu nhỏ như mũi tên, bằng cách tạo ra một kim tự tháp đặc trưng ở nhiều tỷ lệ khác nhau [12]. Kiến trúc này, thường sử dụng ResNet (ví dụ: ResNet101) làm xương sống [44], cung cấp các đặc trưng mạnh mẽ cho các tác vụ phân loại đối tượng trong hình ảnh và phát hiện, làm nền tảng vững chắc cho nhận dạng ký hiệu trong sơ đồ phức tạp.

3.2. Kỹ thuật xử lý ảnh sơ đồ Tối ưu dữ liệu đầu vào cho AI

Trước khi dữ liệu được đưa vào các mô hình học sâu trong Computer Vision, các bước xử lý ảnh tiền xử lý đóng vai trò cực kỳ quan trọng để tối ưu hóa chất lượng. Quy trình này bao gồm chuyển đổi ảnh sang thang độ xám, thay đổi kích thước, nhị phân hóa (ví dụ: sử dụng Adaptive Threshold) và các phép toán hình thái như erode để loại bỏ nhiễu và làm rõ các đường nét. Các bước này giúp chuẩn hóa hình ảnh, giảm thiểu tác động của điều kiện chụp (ví dụ: ánh sáng yếu, bóng đổ) và làm nổi bật các đặc trưng quan trọng của sơ đồ. Công cụ như thư viện OpenCV cung cấp các chức năng mạnh mẽ để thực hiện các thao tác này một cách hiệu quả [29]. Trích chọn đặc trưng ảnh sau tiền xử lý trở nên dễ dàng và chính xác hơn, cải thiện đáng kể hiệu suất của các mô hình nhận dạng sơ đồ, đặc biệt là khi làm việc với các bản vẽ chất lượng thấp hoặc có nhiều chi tiết.

IV. Bí Quyết Trích Xuất Văn Bản Xây Dựng Cấu Trúc Sơ Đồ Chính Xác

Để biến một hình ảnh sơ đồ thành một bản vẽ kỹ thuật số hoàn chỉnh, việc chỉ phát hiện đối tượng sơ đồ là chưa đủ. Hệ thống cần có khả năng đọc hiểu văn bản viết tay và xác định mối quan hệ logic giữa các thành phần. Đây là lúc OCR cho văn bản trên sơ đồ và phân tích cấu trúc sơ đồ trở nên quan trọng. Các kỹ thuật tiên tiến được áp dụng để chuyển đổi chữ viết tay thành văn bản kỹ thuật số và sau đó kết nối các ký hiệu, mũi tên và văn bản để tạo nên một sơ đồ có ý nghĩa. Việc tích hợp các phương pháp này không chỉ nâng cao độ chính xác của quá trình nhận dạng sơ đồ bằng Computer Vision mà còn đảm bảo rằng thông tin được trích xuất là đầy đủ và có thể sử dụng được cho các ứng dụng thực tế, góp phần vào tự động hóa trích xuất thông tin trong khoa học dữ liệu hình ảnh.

4.1. OCR cho văn bản trên sơ đồ Chuyển đổi chữ viết tay kỹ thuật số

Việc OCR cho văn bản trên sơ đồ đối với chữ viết tay (Handwriting Text Recognition - HTR) là một phần không thể thiếu trong quá trình nhận dạng sơ đồ. Các mô hình HTR hiện đại thường dựa trên kiến trúc Convolution Recurrent Neural Network (CRNN), kết hợp Gated CNN cho phần xương sống và Bidirectional GRU (BGRU) làm bộ giải mã [35]. Để xử lý các biến thể trong chữ viết tay, kỹ thuật Connectionist Temporal Classification (CTC) được sử dụng để căn chỉnh và giải mã chuỗi ký tự, ngay cả khi không có vị trí ngang chính xác của từng ký tự [60]. Các tập dữ liệu như Bentham và IAM được dùng để huấn luyện mô hình, với các bước tiền xử lý như binarization, deslanting (chỉnh nghiêng chữ) và Illumination Compensation (cân bằng ánh sáng) để cải thiện chất lượng ảnh đầu vào [31, 43]. Mục tiêu là chuyển đổi văn bản viết tay trên sơ đồ thành dạng số, hỗ trợ AI trong phân tích tài liệu sâu hơn.

4.2. Phân tích cấu trúc sơ đồ Liên kết các thành phần thông minh

Sau khi các ký hiệu, mũi tên và văn bản được phát hiện đối tượng sơ đồ và nhận dạng, bước tiếp theo là phân tích cấu trúc sơ đồ để thiết lập mối quan hệ logic giữa chúng. Đối với mũi tên, việc xác định điểm đầu và điểm cuối (keypoints) là rất quan trọng. Thuật toán Weighted Euclidean Distance được sử dụng để liên kết các keypoints của mũi tên với các tâm của ký hiệu, đồng thời xem xét hướng của vector mũi tên để đảm bảo kết nối chính xác [25]. Điều này giải quyết vấn đề khi khoảng cách không phải là yếu tố duy nhất quyết định kết nối, đặc biệt với các sơ đồ phức tạp. Tương tự, văn bản được liên kết với ký hiệu bằng cách kiểm tra hộp giới hạn chứa tâm văn bản, hoặc với mũi tên sử dụng biến thể của Weighted Euclidean Distance. Quá trình này giúp hệ thống hiểu được dòng chảy và logic của sơ đồ quy trình, tạo ra một biểu diễn số hóa đầy đủ và chính xác.

V. Top Ứng Dụng Thực Tế Của Nhận Dạng Sơ Đồ Bằng Computer Vision

Công nghệ nhận dạng sơ đồ bằng Computer Vision không chỉ là một đột phá về mặt học thuật mà còn mang lại nhiều ứng dụng thực tế có giá trị trong nhiều ngành nghề. Từ việc chuyển đổi các bản phác thảo ý tưởng thành bản vẽ kỹ thuật số có thể chỉnh sửa đến việc tự động hóa trích xuất thông tin cho sơ đồ quy trình, tiềm năng là vô hạn. Nó giúp các doanh nghiệp và cá nhân tiết kiệm thời gian, giảm thiểu sai sót và tăng cường hiệu quả công việc. Khả năng số hóa các tài liệu đồ họa cũ hoặc được vẽ tay một cách nhanh chóng và chính xác mở ra cánh cửa cho việc quản lý tài liệu tốt hơn, hỗ trợ ra quyết định thông minh hơn. Đây là một minh chứng rõ ràng cho sức mạnh của thị giác máy tính ứng dụng trong việc giải quyết các vấn đề đời thực và thúc đẩy sự đổi mới.

5.1. Tự động hóa quy trình nghiệp vụ và số hóa tài liệu kỹ thuật

Một trong những ứng dụng thực tế nổi bật nhất của nhận dạng sơ đồ bằng Computer Vision là tự động hóa trích xuất thông tin từ các tài liệu kinh doanh và kỹ thuật. Các doanh nghiệp có thể sử dụng công nghệ này để chuyển đổi các sơ đồ quy trình vẽ tay, biểu đồ và đồ thị tổ chức, hoặc bản vẽ kỹ thuật số cũ thành định dạng số có thể tìm kiếm, chỉnh sửa và tích hợp vào các hệ thống quản lý. Điều này không chỉ giảm thiểu nhu cầu nhập liệu thủ công tốn kém và dễ mắc lỗi mà còn cải thiện đáng kể hiệu quả hoạt động. Ví dụ, trong ngành sản xuất, việc tự động hóa kiểm tra sơ đồ mạch hoặc trích xuất dữ liệu từ sơ đồ P&ID có thể giúp tăng tốc độ sản xuất và giảm chi phí. Số hóa tài liệu kỹ thuật theo cách này cũng giúp bảo quản dữ liệu và dễ dàng chia sẻ thông tin trong các nhóm làm việc.

5.2. Computer Vision trong thiết kế kỹ thuật Cải thiện hiệu suất

Trong lĩnh vực thiết kế và kỹ thuật, Computer Vision cung cấp một công cụ mạnh mẽ để cải thiện hiệu suất. Các kiến trúc sư, kỹ sư có thể nhanh chóng chuyển đổi bản phác thảo thiết kế ban đầu thành các mô hình CAD kỹ thuật số, loại bỏ bước vẽ lại thủ công. Thị giác máy tính ứng dụng giúp tự động nhận dạng và chuẩn hóa các ký hiệu, thành phần trong sơ đồ điện, cơ khí, hoặc kiến trúc. Điều này không chỉ tăng tốc quá trình thiết kế mà còn tạo điều kiện cho sự hợp tác dễ dàng hơn giữa các nhóm. Công nghệ này cũng đóng góp vào khoa học dữ liệu hình ảnh bằng cách tạo ra các bộ dữ liệu có cấu trúc từ hình ảnh thô, mở đường cho các phân tích sâu hơn và phát triển các hệ thống hỗ trợ thiết kế thông minh hơn. Khả năng chuyển đổi ý tưởng nhanh chóng từ giấy sang số là một lợi thế cạnh tranh lớn.

VI. Tương Lai Nào Cho Computer Vision Trong Nhận Dạng Sơ Đồ

Mặc dù nhận dạng sơ đồ bằng Computer Vision đã đạt được những tiến bộ đáng kể, vẫn còn nhiều thách thức cần giải quyết và tiềm năng lớn để khám phá. Việc xử lý các sơ đồ cực kỳ phức tạp, bản vẽ chất lượng thấp hoặc các biến thể không chuẩn mực vẫn là giới hạn hiện tại của công nghệ. Tuy nhiên, với sự phát triển không ngừng của học sâu trong Computer Vision và khoa học dữ liệu hình ảnh, tương lai hứa hẹn các giải pháp mạnh mẽ hơn. Các xu hướng như nhận dạng theo thời gian thực, tích hợp với thực tế tăng cường (AR), và mở rộng phạm vi ứng dụng cho nhiều loại sơ đồ khác nhau đang được tích cực nghiên cứu. AI trong phân tích tài liệu và thị giác máy tính ứng dụng sẽ tiếp tục đóng vai trò trung tâm trong việc định hình cách chúng ta tương tác với thông tin đồ họa trong tương lai.

6.1. Thách thức và giới hạn hiện tại của công nghệ nhận dạng sơ đồ

Công nghệ nhận dạng sơ đồ bằng Computer Vision vẫn đối mặt với một số thách thức cố hữu. Bao gồm xử lý sơ đồ có chất lượng hình ảnh rất thấp (mờ, nhòe), các bản vẽ với nhiều nét chồng chéo phức tạp, hoặc các ký hiệu không chuẩn mực. Đặc biệt, việc xử lý các mũi tên giao cắt hoặc các sơ đồ có cấu trúc quá phức tạp vẫn còn là một hạn chế. Các mô hình hiện tại đôi khi gặp khó khăn trong việc khái quát hóa hoàn toàn các biến thể vô hạn của chữ viết tay hoặc phong cách vẽ cá nhân. Mặc dù các bộ dữ liệu như DIDI [26] và IAM [39] đã giúp ích rất nhiều, việc thu thập và gán nhãn dữ liệu đa dạng hơn, đặc biệt cho các trường hợp 'khó', vẫn là một rào cản. Cần có thêm nghiên cứu để phát triển các mô hình mạnh mẽ hơn, có khả năng thích ứng tốt hơn với các tình huống thực tế.

6.2. Xu hướng phát triển và tiềm năng mở rộng ứng dụng Computer Vision

Tương lai của nhận dạng sơ đồ bằng Computer Vision rất hứa hẹn với nhiều xu hướng phát triển tiềm năng. Các nghiên cứu tiếp theo sẽ tập trung vào việc cải thiện độ chính xác, tốc độ xử lý để đạt được nhận dạng theo thời gian thực trên các thiết bị di động. Việc tích hợp công nghệ này với thực tế tăng cường (AR) có thể cho phép người dùng tương tác trực tiếp với sơ đồ số hóa trên bản vẽ vật lý. Mở rộng khả năng nhận dạng sang các loại sơ đồ khác ngoài sơ đồ khối, như sơ đồ mạng, sơ đồ mạch điện, hoặc sơ đồ tư duy, cũng là một hướng đi quan trọng. Sự tiến bộ trong học sâu trong Computer Vision và khoa học dữ liệu hình ảnh sẽ thúc đẩy các hệ thống AI trong phân tích tài liệu trở nên thông minh hơn, có khả năng hiểu ngữ cảnh và thậm chí tự động tạo ra các biến thể sơ đồ, tối đa hóa giá trị của thị giác máy tính ứng dụng trong môi trường số hóa.

Trích đoạn nội dung tài liệu

VIETNAM NATIONAL UNIVERSITY - HO CHI MINH CITY HO CHI MINH UNIVERSITY OF TECHNOLOGY COMPUTER SCIENCE AND ENGINEERING FACULTY ——————– * ——————— GRADUATION THESIS Building A Diagram Recognition Application with Computer Vision Approach Committee: Computer Science 1 Advisor: Dr. Nguyen Duc Dung Reviewer: Dr. Tran Tuan Anh —–o0o—– Students: Huynh Tan Thanh 1752048 Nguyen Quang Sang 1752465 HO CHI MINH CITY, 12/2021 A萎K"J窺E"SW渦E"IKC"VR0JEO E浦PI"JñC"ZÊ"J浦K"EJ曳"PIJ C"XK烏V"PCO ---------- A瓜e"n壱r"- V詠"fq"- J衣pj"rj¿e VT姶云PI"A萎K"J窺E"DèEJ"MJQC KHOA: KH & KT Máy tính PJK烏O"X影"NW一P"èP"V渦V"PIJK烏R D浦"OðP<"KHMT Ej¿"#<"Ukpj"xk‒p"rjＶk"fƒp"vぜ"p {"x q"vtcpi"pjＸv"eてc"dＶp"vjw{ｘv"vt·pj J窺"XÉ"VçP<"PIW[右P"QUANG SANG MSSV: 1752465 J窺"XÉ"VçP<"JW PJ"V遺P"VJÉPJ MSSV: 1752048 NGÀNH: KHMT N閏R<"CLC-K2017 30"A亥w"8隠"nw壱p"ƒp<" ÐZ¤{"f詠pi"泳pi"f映pi"pj壱p"fk羽p"n逢w"8欝"u穎"f映pi"eƒej"vk院r e壱p"e栄c"vj鵜"ikƒe"oƒ{"v pjÑ (Building A Diagram Recognition Application with Computer Vision Approach) 40"Pjk羽o"x映"*{‒w"e亥w"x隠"p瓜k"fwpi"x "u嘘"nk羽w"dcp"8亥w+< - Investigate approaches in computer vision for diagram recognition problem - Design the framework and the processing pipeline for the diagram recognition system - Collect data and perform labeling tasks on the data - Implement the recognition model, which uses both the DL approach and traditional Computer vision algorithms in the pipeline - Implement the mobile application - Evaluating the application and performance of the proposed system 50"Pi {"ikcq"pjk羽o"x映"nw壱p"ƒp<"3712;14243 60"Pi {"jq p"vj pj"pjk羽o"x映<"3513414243 70"J丑"v‒p"ik違pi"xk‒p"j逢噂pi"f磯p< Rj亥p"j逢噂pi"f磯p< 1) TS. Piw{宇p"A泳e"F pi, Khoa KH&KT Máy tính P瓜k"fwpi"x "{‒w"e亥w"NXVP"8«"8逢嬰e"vj»pi"swc"D瓜"o»p0 Pi {"00000000"vjƒpi"2;0"p<o"4243 EJ曳"PJK烏O"D浦"OðP IK謂PI"XKçP"J姶閏PI"F郁P"EJëPJ *M#"x "ijk"t "jが"v‒p+ *M#"x "ijk"t "jが"v‒p+ RIU0"VU0"Jw pj"V逢運pi"Piw{‒p" Piw{宇p"A泳e"F pi RJＹP"FÉPJ"EJQ"MJQC."Dし"OðP< Pi逢運k"fw{羽v"*ej医o"u挨"d瓜+< A挨p"x鵜< Pi {"d違q"x羽< Ak吋o"v鰻pi"m院v< P挨k"n逢w"vt英"nw壱p"ƒp< VT姶云PI"A萎K"J窺E"DèEJ"MJQC E浦PI"JñC"ZÊ"J浦K"EJ曳"PIJ C"XK烏V"PCO KHOA KH & KT MÁY TÍNH A瓜e"n壱r"- V詠"fq"- J衣pj"rj¿e ---------------------------- Pi {"42"vjƒpi"34"p<o"4243 RJK蔭W"EJ遺O"D謂Q"X烏"NXVP *F pj"ejq"pi⇔ぜk"j⇔ずpi"fｄp+ 30"J丑"x "v‒p"UX<"Piw{宇p"Swcpi"Ucpi."Jw pj"V医p"Vj pj MSSV: 1752465, 1752048 Ngành (chuyên ngành): KHMT 40"A隠"v k<" Z¤{"f詠pi"泳pi"f映pi"pj壱p"fk羽p"n逢w"8欝"u穎"f映pi"eƒej"vk院r"e壱p"e栄c"vj鵜"ikƒe"oƒ{"v pj (Building A Diagram Recognition Application with Computer Vision Approach) 3.

H丑"v‒p"pi逢運k"j逢噂pi"f磯p<"VU0"Piw{宇p"A泳e"F pi 60"V鰻pi"swƒv"x隠"d違p"vjw{院v"okpj< U嘘"vtcpi<" U嘘"ej逢挨pi<" U嘘"d違pi"u嘘"nk羽w U嘘"j·pj"x胤< U嘘"v k"nk羽w"vjco"mj違q<" Rj亥p"o隠o"v pj"vqƒp< Jk羽p"x壱v"*u違p"rj育o+ 70"V鰻pi"swƒv"x隠"eƒe"d違p"x胤< - U嘘"d違p"x胤< D違p"C3< D違p"C4< Mj鰻"mjƒe< - U嘘"d違p"x胤"x胤"vc{ U嘘"d違p"x胤"vt‒p"oƒ{"v pj< 80"Pj英pi"逢w"8k吋o"ej pj"e栄c"NXVP< - The students proposed a solution for the diagram recognition problem, which utilizes the advantages of computer vision techniques and machine learning approaches. In addition, the students have successfully built a mobile application that allows users to interact with the system easier. The application was built with useful features and easy to use interface. - The students also did a lot of evaluation as well as proposed some improvement in the recognition algorithm.

90"Pj英pi"vjk院w"u„v"ej pj"e栄c"NXVP< - Some algorithms used in the project are not so advanced and may not be able to handle some difficult cases in the problem. - The evaluation results are promising but still need to improve further, especially when investigating various cases in recognition. :0"A隠"pij鵜<"A逢嬰e"d違q"x羽"฀ D鰻"uwpi"vj‒o"8吋"d違q"x羽" Mj»pi"8逢嬰e"d違q"x羽" ;0"O瓜v"u嘘"e¤w"j臼k"UX"rj違k"vt違"n運k"vt逢噂e"J瓜k"8欝pi< a. 320"Aƒpj"ikƒ"ejwpi"*d茨pi"ej英<"ik臼k."VD+<"Ik臼k Ak吋o<"9/10 M#"v‒p"*ijk"t "j丑"v‒p+ VU0"Piw{宇p"A泳e"F pi VT姶云PI"A萎K"J窺E"DèEJ"MJQC E浦PI"JñC"ZÊ"J浦K"EJ曳"PIJ C"XK烏V"PCO KHOA KH & KT MÁY TÍNH A瓜e"n壱r"- V詠"fq"- J衣pj"rj¿e ---------------------------- Ngày 27 tháng 12 p<o 2021 RJK蔭W"EJ遺O"D謂Q"X烏"NXVP *F pj"ejq"pi⇔ぜk"j⇔ずpi"fｄp1rjＶp"dkうp+ 30"J丑"x "v‒p"UX< Nguy宇n Quang Sang, Hu nh T医n Th nh MSSV: 1752465, 1752048 Ngành (chuyên ngành): Khoa H丑e"Oáy Tính 40"A隠"v k< Building A Diagram Recognition Application with Computer Vision Approach 50"J丑"v‒p"pi逢運k"j逢噂pi"f磯p1rj違p"dk羽p< Tr亥p"Vw医p"Cpj 60"V鰻pi"swƒv"x隠"d違p"vjw{院v"okpj< U嘘"vtcpi< U嘘"ej逢挨pi< U嘘"d違pi"u嘘"nk羽w U嘘"j·pj"x胤< U嘘"v k"nk羽w"vjco"mj違q< Rj亥p"o隠o"v pj"vqƒp< Jk羽p"x壱v"*u違p"rj育o+ 70"V鰻pi"swƒv"x隠"eƒe"d違p"x胤< - U嘘"d違p"x胤< D違p"C3< D違p"C4< Mj鰻"mjƒe< - U嘘"d違p"x胤"x胤"vc{ U嘘"d違p"x胤"vt‒p"oƒ{"v pj< 80"Pj英pi"逢w"8k吋o"ej pj"e栄c"NXVP< - The thesis presents a system that can convert handwritten flowcharts into digital documents.

- The system is built quite full of features and has a good application demo. - This thesis has quite a large amount of work including recognizing shapes, handwriting, arrows and building demo app. - The thesis has experiments and is quite fully cited. This thesis also presents quite detailed algorithms and models 90"Pj英pi"vjk院w"u„v"ej pj"e栄c"NXVP< - This application requires many techniques combined, leading to a lot of work in many technique areas.

This is also one of the weaknesses of the thesis when the research works on the topic have not been strongly developed. For example, the handwriting entry. The team can focus on developing a few key techniques instead of all of them, the rest can use existing results. - The evaluation parameters are not detailed and user-oriented, for example, is the assessment of the arrow considered fair for all arrow types? - The data used to train the model is not clearly presented.

The application should explore more about usability, adapting to the user, instead of just focusing on general accuracy. - Models should be analyzed in more detail, rather than just using it. A隠"pij鵜<"A逢嬰e"d違q"x羽" D鰻"uwpi"vj‒o"8吋"d違q"x羽" Mj»pi"8逢嬰e"d違q"x羽" ;0"5"e¤w"j臼k"UX"rj違k"vt違"n運k"vt逢噂e"J瓜k"8欝pi< a. The evaluation methods proposed in this thesis is effective? For example, is the assessment of the arrow considered fair for all arrow types? is there any general evaluation for the application? b.

What are the main strengths of this thesis? Also, what is the main point that users should use your app? c. What is your next research priority? 320"Aƒpj"ikƒ"ejwpi"*d茨pi"ej英<"ik臼k."VD+< Gi臼k Ak吋o"<"""""8.7 /10 M#"v‒p"*ijk"t "j丑"v‒p+ Tr亥p"Vw医p"Cpj Declaration We hereby undertake that this is our own research project under the guidance of Dr. Research content and results are truthful and have never been published before. The data used for the analysis and comments are collected by us from many different sources and will be clearly stated in the references.

Additionally, a number of reviews and figures of other authors and organizations we use will have citations and origins clearly stated in the report. If we detect any fraud, we take full responsibility for the content of our graduation thesis. Ho Chi Minh City University of Technology is not related to the copyright and copyright infringement caused by us in the implementation process. Nguyen Quang Sang Huynh Tan Thanh Acknowledgments We would like to express my deepest thanks to Dr.Nguyen Duc Dung for the continuous support in studying and implementing this thesis.

This project would not have been possible without your thoughtful and passionate guides. Besides our advisor, we would also like to thank all of our faculty lecturers, who gave us the valuable knowledge to do this wonderful project. With the invaluable experience from this golden opportunity, we became more confident in our research ability and technical skills. We strongly believe that there is no perfection, especially in the science field.

With that in mind, we will always have room for more enhancement and would love to hear your opinion about any improvement. Best regards, Nguyen Quang Sang Huynh Tan Thanh Abstract Graphical language has been and is always one of the most effective tools for demonstrating ideas to others. Besides text and images, a flow chart plays a vital role in providing people a clearer view of a plan, or a process with simple symbols, notations. Nowadays, many meetings still enjoy the traditional way by using board, paper to draw diagrams expressing their thoughts on the topics discussed.

A problem occurs when saving these drawings as a reference for future purposes since we cannot edit the diagram taken from the picture. These drawn pictures need to be re-drawn by some tools to be suitable in professional documents. In addition, the re-drawn tool can be a computer or a particular device like electronics drawing boards and digital pens, which cost a lot and is not the most convenient tools to use. Therefore, a new approach is necessary to convert hand-drawing charts pictures into digital ones.

The approach can help us avoid re-drawn tasks, simplify the sharing process between users, and be able to export them into another form like picture files (png, jpg), document files (pdf), or standard diagram editing files (drawio). The application must be able to run on popular platforms and accessible to everyone.3 Diagram recognition applications on mobile devices .3 Handwriting Text recognition .2 Regional Proposal Network .3 Non-Maximum Suppression .4 Region of Interest Pooling (RoI Pooling) .2 Feature Pyramid Network .3 Region of Interest Align (RoI Align) .3 Handwriting Text Recognition .1 Long Short Term Memory (LSTM) .2 Gated Recurrent Unit (GRU) .4 Connectionist Temporal Classification (CTC) .1 Diagram Recognition Approach .1 Preparing diagram dataset .1 Feature map generator .4 Symbol-Arrow relationship .5 The relationship of text .2 Handwriting Text Recognition Approach .3 Digital diagram output format .1 Diagram File Design .2 Login/Register Screen .2 Create from blank .1 Converting to drawio files .8 Version and History .2 Experiments on the recognition pipeline .1 Perform training and evaluation on HTR model .2 Perform training and evaluation on diagram recognition model .3 Perform experiments on the combination of diagram recognition model and HTR model .3 Display diagram on device .1 Interactive Viewer and Matrix4 .2 Rendering diagram recognition on device. 63 7 Conclusion and Future Work 68 7. 69 A Usecase detail 70 B User interface design 83 B.1 Login/Register Screen .1 Login and register .2 Home screen options.

100 List of Tables 4.1 Statistics of DIDI images[26] .1 Number of symbols in dataset .2 Measure Arrow Average Precision .3 Evaluation summary of the two models .3 Usecase: Sign up.4 Usecase: Create new diagram.5 Usecase: Scan diagram with camera.6 Usecase: Scan from image.7 Usecase: Preview Diagram.8 Usecase: Export file.9 Usecase: Modify diagram.10 Usecase: Delete Diagram.12 View version history. 82 iv List of Figures 2.1 Flor-HTR architecture [35] .2 Anchor Box in RPN [46] .3 Result of a Non-Maximum Suppression application[47] .4 Region of Interest Pooling[48] .5 Mask R-CNN architecture[51] .6 Binary mask sample in diagram recognition .7 Feature Pyramid Network[53] .8 Region of Interest Align [54] .9 Long Short Term Memory [56] .10 Gated Recurrent Unit [57] .12 Horizontal position of characters [60] .13 Character-score Matrix [60], the black lines presents the path to get character "a" ("aa", "a-" and "-a"), while the dash line presents the character "" ("–") .2 A original sample of FC dataset (left) and preprocessed result (right) .3 Our drawn image (left) and the preprocessed result (right) .5 Feature Pyramid Network with ResNet[63] .6 A prediction of our model .7 Example of Eucludian Distance not working .9 Line segmentation sample .10 Diagram recognized image .11 Model JSON output .1 System Architecture Design .3 Diagram JSON file design .5 Login/Register Screen .2 Experiment results of figure 6. (a) The warped image of figure 6.1a after applying perspective transformation and grayscale conversion; (b) The binary image converted from (a) .3 Experiment results of figure 6.1b after resizing and grayscale conversion; (b) the binary image converted from figure (a).4 Inference results from model training with DIDI dataset images only .5 Inference results from model training with new dataset .6 Loss and validate loss over epoch of HTR model .7 Loss over iterations of diagram recognition model .8 Inference results at above 0.9 (a) Normal text box and (b) Padded text box .10 Small boxes in sub function .11 Inference with problem drawings .12 Example of matrix4 .13 Interactive space using identity matrix .14 Scaling in X and Y .16 Moving the space .17 Diagram display result .18 Rendering drawn diagram pictures on a mobile device .4 Turn off save a copy .1 Overview Diagram has quickly risen to become one of the efficient communication method that has replaced text for demonstrating certain types of information such as algorithms, business pro- cess models, and production structure. The ideas proposed that visualized by diagrams are more clear than any word can do, which helps viewers easily comprehend the key ideas, how it works, and so on.

Additionally, people tend to process information visually and be able to remember graphical information more readily than anything we read. The powerful effects of diagrams are able to be seen in many common events which we often attend, presentations. It will be a night- mare for the audience if a presentation only uses words, numbers to describe the knowledge. The inability to absorb the raw knowledge in a limited time will lead to most of them are leaked and the failure of the presentation is inevitable.

On the other hand, with informative diagrams or pictures, their presentation will be more catchy and comprehensive, thus helps audiences understand the illustrated ideas faster comparing with texts. Nowadays, due to the benefits of diagrams, various of services are created to serve the pur- pose of creating diagrams with diverse types and a wide range of supported platforms such as web, desktop, and mobile. One of the most popular is the Lucidchart website, draw.io website, DrawExpress Diagram Lite for android, etc.