Chương 1: Giới thiệu tổng quan đề tài. Nêu tổng quan, mục tiêu đề tài và phân tích nghiên cứu trước đó đã được thực hiện, điểm mạnh và điểm yếu của các giải pháp đó. Chương 2: Cơ sé lý thuyết. Trình bày các nền tảng lý thuyết được sử dụng trong đề tài.
Mỗi mục trình bày về lý thuyết và hình ảnh nếu có. Chương 3: Phương pháp đề xuất. Trình bày mô hình đề xuất, lý do chọn mô hình. Đưa ra chỉ tiết quá trình hiện thực mô hình lên trên Kria KV260 Vision AI Starter Kit.
Chương 4: Kết quả. Nêu kết quả đạt được, độ chính xác khi huấn luyện trên Google Colab, so sánh với kết quả khi chạy trên kit. Ngoài ra, so sánh với kết quả độ chính xác sau lượng tử, hiệu suất khi đưa các kịch bản kiểm thử vào. Chương 5: Kết luận và hướng phát triển tiếp theo.
Nêu kết luận, nhận xét đề tài, các vấn đề gặp phải và nêu hướng phát triển tiếp theo. GIỚI THIỆU TONG QUAN DE TÀI. Các kỹ thuật dựa vào mạng nơ-ron tích chập ngày cảng được áp dụng rộng hơn với các biến thé khác nhau trong lĩnh vực phát hiện hoặc nhận diện đối tượng. Triển khai mô hình học sâu lên trên các edge devices nhằm hướng đến mục tiêu xử lý thời gian thực là thử thách lớn bởi vì tài nguyên hạn chế.
Các kỹ thuật tối ưu như là lượng tử hóa, sử dụng mạng nơ-ron nhẹ hơn cho phép chạm đến thực thi thời gian thực tuy nhiên phải đánh đổi bằng độ chính xác giảm đi một phần. Tuy nhiên, nếu sử dụng các cách tiếp cận hợp lý thì việc áp dụng các kỹ thuật cải tiến làm cho hiệu suất không giảm đi quá nhiều là khả thi. Cac one-stage detector đã được phát hành và tiếp tục phát triển dé có thé đáp ứng được nhu cau xử lý thời gian thực với mức độ chính xác và tốc độ xử lý ở mức tương đối. Các phương pháp này loại bỏ giai đoạn chọn trước các vùng Region of Interest(ROI) và hậu xử lý như: tỉnh chỉnh các bounding box, loại bỏ các kết quả trùng lặp và hiệu chỉnh detection score nhăm mục đích giảm độ phức tap và đảm bảo tốc độ xử lý đáp ứng được thực thi thời gian thực.
Các giai đoạn được loại bỏ ở trên được sử dụng trong các two-stage detector như là: R-CNN [8] và các phiên bản nâng cấp của nó [9][10]. Các nhà nghiên cứu đã liên tục phát triển và cho ra đời các mô hình học sâu khác nhau, trong đó có mô hình nổi trội như YOLO có thời gian tính toán tương đối nhanh và độ chính xác khá cao nhưng kích thước lại rất lớn. You Only Look Once (YOLO) gan đây đã được đề xuất trong [11] như một mô hình one-stage detector hiệu quả có thể nhận diện và phát hiện các đối tượng trong thời gian rất nhanh. Các so sánh được công bồ và đánh giá bởi các nghiên cứu [12][13][14] cho thấy YOLO vượt trội hơn các two-stage detector và các one-stage detector khác như Single Shot Detector (SSD).
Ké từ khi được giới thiệu, nhiều phiên bản của YOLO đã ra đời như YOLOv2 [15], YOLOv3 [16]. Trong YOLOv2 [15], các lớp fully connected ở cuối đã bị loại bỏ và áp dụng kiến trúc Darknet-19. YOLOv3 [16] sử dụng kiến trúc Darknet-53 và kế thừa khái niệm của residual network. Việc phát hiện được thực hiện ở 3 đầu ra có tỉ lệ khác nhau, điều này giúp làm giảm đi khả năng bỏ qua các đối tượng có kích thước nhỏ vốn là một điểm yếu chưa cải thiện được của các phiên bản YOLO trước.
Tuy nhiên, do phiên bản YOLOv3 có độ sâu tương đối lớn, phiên ban YOLO-Tiny có thời gian tính toán và khối lượng được cải thiện hơn rất nhiều được cho ra đời, mô hình này tập trung vào tốc độ nên độ chính xác giảm hơn khi so với phiên bản gốc [17].1 cho thấy hiệu suất của mô hình YOLO-Tiny với một số Hình 1. Hiệu suất YOLO-Tiny với các phiên bản khác trên tập COCO dataset. Các nghiên cứu liên quan. Phát hiện và nhận diện biến báo giao thông trong môi trường giao thông thực tế sao cho hiệu quả là van dé vẫn đang tiếp tục được nghiên cứu, phát triển và tối ưu.
Trong lúc các phương tiện ngày càng tiện lợi, một hệ thống nhanh và chính xác đề hỗ trợ cảnh báo là cực kì cần thiết dé có thé giảm đi các tình huống đáng tiếc. Một số nghiên cứu được thực hiện trước đây và đã cho ra kết quả khá tốt, nhưng vẫn có các mặt hạn chế. Trước đây, các kỹ thuật trích xuất đặc trưng đã được áp dụng vao việc phát hiện đối tượng [6], [7]. Gần đây, các phương pháp ứng dụng mang no-ron tích chập (CNN) đã được sử dụng rất nhiều trong việc giải quyết van đề phát hiện và xác định vị tri nhiều đối tượng.
Với hướng tiếp cận truyền thống, thông thường sẽ bao gồm 3 bước: chọn vùng dự kiến có chứa biển báo, sau đó trích xuất thủ công đặc trưng từ vùng đó và dùng các đặc trưng đó thành đầu vào của bộ nhận diện (như là SVM, HOG,. Tuy nhiên, các đặc trưng đã trích xuất bởi các thuật toán truyền thống thường chỉ sử dụng được cho các đối tượng riêng, dễ bị nhiễu bởi môi trường và hiệu suất không được tốt đối với các đối tượng có nhiều loại. Với phương pháp cần hai công đoạn: một công đoạn sẽ thực hiện ROI extraction và recognition (Hình 1. Công đoạn nay sẽ dùng các thuật toán như color transformation, shape matching,.
Dé chọn ra vùng có thê chứa biển báo và sau đó trích xuất đặc trưng vùng đó và đưa thành đầu vào của các bộ phân loại như SVM, HOG,. Quá trình ROI extraction va recognition [2]. Voi hướng tiép cận hiện đại hơn, một số phương pháp phát hiện và nhận diện dùng mạng nơ-ron tích chập có kết quả tốt hơn với đối tượng có nhiều loại và có độ phân giải cao[4][5]. Việc sử dụng mạng nơ-ron tích chập như [5], các nhà nghiên cứu đã huấn luyện fully convolutional network (FCN) và sử dụng mạng học sâu 7 lớp (4 lớp convolutional và 3 lớp fully connected) (Hình 1.
Nhưng lại có thời gian tính toán lớn và sử dụng rat nhiều tài nguyên. Một sô khác cải thiện về thời gian tính toán nhưng lại bị hạn chế ở phương diện phát hiện những vật thể có khoảng cách khác nhau. Original images Heat maps Coarse sign regions Sign proposals Hình 1. Quy trình trích xuất các vùng trên anh[5].
Dé có thê giải quyét được bài toán đưa ra nhóm sử dụng mô hình học sâu triên khai trên SoC - FPGA, trong khóa luận này, nhóm đưa ra bốn mục tiêu chính: 1. Nhận diện chính xác các biển báo ở các khoảng cách khác nhau. Tốc độ khung hình ôn định với mật độ biển báo khoảng 4 biển báo trong cùng khung hình. Nhận diện được 40 loại biển báo khác nhau.
Triển khai hệ thống trên SoC- FPGA. Hệ thống phát hiện và phân loại biển báo giao thông được hiện thực trên SoC- FPGA, đầu vào là dữ liệu được ghi lại bởi camera Logitech kết nối với board KV260, dữ liệu được xử lý trong Kria KV260 Vision AI Starter Kit và kết quả được xuất ra màn hình hién thị được kết nối vào kit qua công HDMI. Tìm hiểu Kria KV260 Vision AI Starter Kit. Xilinx đang trong giai đoạn thay đôi rõ ràng các chiến lược nhằm tiếp cận thị trường mới.
Trong nhiều năm, Xilinx được biết đến bởi các thiết bị dựa trên công nghệ FPGA. Giờ đây, Xilinx đang cố gang phát triển thêm các thị trường có thé tiếp cận (TAM) cho các FPGA của mình bằng cách hướng sản phẩm của mình phát triển các lĩnh vực mới. Xilinx có Alveo Accelerator Boards có thé kết hợp với khe cắm PCIE của máy chủ và đã mở rộng sang Building Ready-to-Deploy Solutions. Dong sản phẩm Xilinx Kria được thiết kế dưới dạng System on Modules (SOM) [6] sẽ tăng tốc cho các ứng dụng AI một cách vượt trội (Accelerate Edge AI Inferencing) bằng cách kết hợp cả phân cứng tôi ưu và phân mêm từ Xilinx.
Kria K26 System on Module ra mắt ngày 20/04/2021 được thiết kế như một “Vision Accelerator”. Trước hết, Xilinx Kria là một thương hiệu mới giống như Xilinx Alveo. Ngay sau khi ra bản Kria K26 System on Module thì Xilinx cũng tung ra ban Developer Kit dành cho người mới bắt đầu với khả năng tạo ra các hệ thống nhanh và dễ tiếp cận. Xilinx đã ra mắt “Xilinx Kria KV260 Starter Kit” có thể hỗ trợ tối đa 3 MIPI Sensors va Display Outputs (HDMI và DisplayPort), bên cạnh đó là IGbE và USB tích hợp cùng.
Bản thân Module cũng có một bộ làm mát dành cho Desktop Development. SOM được kết nối rất chắc chắn và chỉ bao gồm các components chính như AMD Zynq UltraScale+ MPSOC based thiết bi silicon, bộ nhớ, boot va module bảo vệ. Carrier card cho phép lựa chon da dang interface, các giải pháp về năng lượng, mạng kết nối cho camera, display và thẻ microSD.1 cho thấy hình ảnh tổng quan của Kria KV260 Vision AI Starter Kit. 11 Raspberry Pi Micro-USB Camera Connector UART/JTAG Pmod IAS Connector SOM Module with Fansink IAS Connector nat Fan Power H sunt Ethernet 4x USB 3.0 HDMI DisplayPort Hình 2.
Cấu tạo của Kria KV260 Vision AI Starter Kit. Xilinx cũng phát triển các Accelerated applications cho phép người dùng phát triển và ứng dụng mô hình của họ ở cấp phần mềm. Các ứng dụng Edge Vision phổ biến hiện có sẵn và một hệ sinh thái các đối tác của Xilinx đang phát triển. Xilinx không chỉ cung cấp FPGA.
Thay vào đó, hãng còn cung cấp cho FPGA các tính năng và Software Stacks đã được xây dựng san. Sẽ có các giải pháp Vitis AI được xây dựng dé giúp SOM nay được sử dụng với Frameworks phô biến. Cuối cùng, người dùng có thể lập trình bằng RTL, hoặc sử dụng các công cụ cao cấp hơn được hỗ trợ bởi Xilinx. Xilinx đang trong hành trình gỡ bỏ các rào cản sử dụng các sản phẩm đề khách hàng có thể triển khai trên FPGA mà không cần tìm hiểu các chỉ tiết phức tạp.
Học sâu là một phương thức trong lĩnh vực học máy thuộc trí tuệ nhân tạo; ở đây, phương thức này sẽ giúp máy tính học và cải tiến bản thân bằng các thuật toán. Trong đó, mạng nơ-ron trong học sâu được thiết kế mô phỏng quá trình nhận thức của não bộ con người. 12 Mạng nơ-ron sẽ có nhiêu lớp khác nhau, môi lớp chứa các node được kết nôi với các node ở các lớp lân cận khác. Khái niệm về độ sâu trong mạng nơ-ron được xác định bởi sô lớp mà nó có, do đó, càng nhiêu lớp thì mạng sẽ "sâu hơn".
Tât cả kêt nôi giữa các nút đêu có một trọng sô, biêu thị tính quan trọng của kêt nôi đó trong mạng.