Chương 1: Tổng quan. Giới thiệu tong quan về nội dung đề tài luận văn bao gồm: động lực nghiên cứu, phát biểu bai toán, mục tiêu, phạm vi nghiên cứu và những đóng góp chính của khóa luận. e Chương 2: Cơ sở lý thuyết. Trong chương 2, báo cáo sẽ trình bay phần khảo sát, tìm hiểu các bộ đữ liệu tài liệu dạng ảnh và các nghiên cứu liên quan đến hướng tiếp cận cho bài toán của đề tài.
e Chương 3: Xây dựng bộ dif liệu ấn phẩm tiếng Việt. Trình bày về quy trình thu thập, gan nhãn dữ liệu, xây dựng các quy tac gan nhãn và phân tích bộ dit liệu xây dựng được e Chương 4: Phương pháp phân tích an â phẩm tiếng Việt. Chương này sẽ giới thiệu quy trình chuan dé giai quyét bai toan dé tai dat ra, cac phuong phap hoc sâu dé qua quyết bài toán và những hướng đề xuất giúp cải thiện kết qua. e Chương 5: Thực nghiệm và đánh giá.
Chương này sẽ trình bày cấu hình thực nghiệm, các độ đo đánh giá đánh giá thực nghiệm các phương pháp đã tìm hiểu ở Chương 4 và tổng quan về chương trình demo. e_ Chương 6: Kết luận và hướng phát triển. Cuối cùng, Chương 6 sẽ tổng kết lại những kết quả đã đạt được của khóa luận, bàn luận thêm những ý tưởng va hướng phát triển cho dé tài khóa luận. Phương pháp phát hiện đối tượng 2.
Faster R-CNN Năm 2016, Shaoqing Ren và cộng sự đã dé xuất Faster R-CNN là phiên bản cải tiền dựa trên phiên bản tiền nhiệm là Fast R-CNN [16] và R-CNN [17]. Mục tiêu của đề xuất hướng đến như tiêu đề “Towards Real-Time Object Detection with Region Proposal Networks” [18] là hướng tới phát hiện đối tượng theo thời gian thực với mang dé xuất khu vực RPN. classifier Region Proposal Networ! feature maps conv layers Hình 2-1. Kiến trúc Faster R-CNN [18].
Kiến trúc Faster R-CNN được minh hoa tại Hình 2-1. Tương tự như Fast R- CNN, Faster R-CNN cũng cho toàn bộ hình anh đầu vào qua ConvNet đề hình thành bản đồ đặc trưng (feature map). Tuy nhiên, Faster R-CNN đã đạt được tốc độ xấp xỉ thời gian thực bằng cách bỏ qua các đề xuất khu vực, thay vào đó nó tính toán các vùng quan tâm (Region of Interest — Rol) bằng cach sử dụng một mạng riêng là mạng đề xuất vùng (Region Proposal Network - RPN). RPN được thêm trực tiếp vào sau lớp tích chập cuối cùng để tạo ra các đề đề xuất khu vực một cách trực tiếp.
Đầu vào của mạng RPN là bản đồ đặc trưng (feature map) được trích xuất từ backbone trước đó. Sau đó, RPN sử dụng cửa số trượt dé trượt trên bản đồ đặc trưng, tại mỗi vị trí RPN sẽ thực hiện dự đoán vi trí cho k hộp neo (anchor box). Các hộp neo được xác định bằng tọa độ vi trí trung tâm (Xcenter» Veenter) cùng với chiều dai và chiều rộng (width, height). Đầu ra của RPN gồm 2 phần là phân loại để phân loại có phải là đối tượng hay không (background/foreground) và hồi quy dé hồi quy vị trí vùng có khả năng chứa đối tượng.
Các dé xuất khu vực sau khi được dự đoán từ mạng con RPN sẽ tiếp tục được tinh chỉnh kích thước bằng lớp Rol Pooling và thực hiện phần dự đoán tương tự như thuật toán Fast R-CNN. Tuy nhiên nhánh phân loại (classifier) và hồi quy (regression) của Fast R-CNN sẽ khác với RPN: e Nhánh phân loại có C + 1 unit cho C lớp của bai toán va | lớp nền (background). Các vector đặc trưng được truyền qua lớp softmax để thu được điểm số xác suất dự đoán phân loại lớp đối tượng (classifier score). e Đầu ra của nhánh hồi quy hộp giới hạn (bounding box regression) dung dé cải thiện độ chính xác cho các hộp được dự đoán thu được từ RPN.
Cascade R-CNN (a) Detection of u = 0. Két quả dự đoán của mô hình phát hiện đối tượng được huấn luyện tại các mức IoU = 0. Nhìn chung, hiệu suất của trình phát hiện đối tượng học sâu trước đây có xu hướng giảm khi tăng ngưỡng IoU do bị hai yếu tổ chính: se Quá trình huấn luyện bị overfitting do các mẫu dương tính (positive sample) biến mat theo cấp số nhân, tức là rất nhiều mẫu dương tính sẽ biến mat khi ngưỡng IoU tăng lên. e Sự không phù hợp về chất lượng thời gian suy luận giữa bộ phát hiện và các đề xuất đầu vào (huấn luyện ở ngưỡng IoU cao hơn/thấp hơn nhưng kiểm tra ở ngưỡng IoU thấp hon/cao hơn.
Từ đó, Cascade R-CNN được đề xuất dé giải quyết các van đề trên bằng cách mở rộng Faster R-CNN. Cascade R-CNN được Zhaowei Cai, Nuno Vasconcelos giới thiệu vào năm 2018 trong bai bai cáo “Cascade R-CNN - Delving into High Quality Object Detection” [19] để hướng đến phát hiện đối tượng chat lượng cao. Sự thành công của Cascade R-CNN được thể hiện ở hai khía cạnh chính: cải tiến tùng bước các dự đoán và xử lý thích ứng các phân phối huấn luyện. Trong các phương pháp phát hiện đối tượng trước đây thường sử dụng IoU dé xác định các mẫu tích cực (positive) và tiêu cực (negative) cho các hộp giới hạn, tuy nhiên các máy đò nay thường được huấn luyện với một ngưỡng IoU khá thấp (0.5), đây được xem là một ngưỡng tương đối nhạy cảm và thường tạo ra các phát hiện nhiễu (Hình 2-2 a).
Ngược lại, khả năng phát hiện đối tượng có xu hướng giảm do sự khan hiếm của các vùng tích cực khi tăng giá trị IoU lên cao một cách đột ngột (Hình 2-2 b). Vì vậy, việc phát hiện đối tượng ở ngưỡng IoU nào cũng cũng đều có tính đối nghịch cao. Do đó, các giai đoạn của máy dò cần được chọn lọc tuần tự hơn. Các giai đoạn của Cascade R-CNN được huấn luyện một cách tuần tự, sử dụng đầu ra của giai đoạn trước dé huấn luyện tại giai đoạn tiếp theo.
Cascade R-CNN được thiết kế theo quy tac phân tang dựa trên quan sát rằng IoU dau ra gần như luôn tốt hơn IoU đầu vào. Điều đó có nghĩa là đầu ra của bộ phát hiện đối tượng được huấn luyện ở một ngưỡng IoU nhất định là một phân phối tốt dé huấn luyện IoU ở ngưỡng cao hơn. Vi vậy, điểm nổi bật của Cascade R-CNN là quy trình resampling khi các head khác nhau được sử dụng ở các giai đoạn khác nhau (H1, H2, H3) (Hình 2-4 d) và mỗi head được thiết kế cho một ngưỡng IoU từ nhỏ đến lớn. Bằng cách điều chỉnh các hộp giới hạn, mỗi giai đoạn sẽ tìm ra một tập hợp các mẫu dương tính gần đúng dé huấn luyện giai đoạn tiếp theo.
Khi hoạt động theo cách này, chuỗi các máy đò sẽ thích ứng với IoU ngày càng cao hơn dé có thể loại bỏ đi van đề overfitting trong quá trình huấn luyện. Trong Cascade R-CNN, nhiệm vụ hồi quy được phân tách thành một chuỗi các bước đơn giản hơn và xem như nhiệm vụ hồi quy theo từng giai đoạn. Cascade Regression là một quy trình resampling để cung cấp các mẫu dương tính cho giai đoạn tiếp theo nhờ vào mộ bộ hồi quy trình biệt. Đối với các bộ hồi quy bình thường thì chỉ tối ưu cho phân phối ban đầu nhưng bộ Cascade Regression tối ưu cho phân phối của giai đoạn trước đó.
So sánh với Iterative Bbox (Hình 2-3 b) là là một cách lặp đi lặp lại dé cải thiện hộp giới hạn, Cascade Regression là quá trình lay mau lai (resampling) làm thay đổi sự phân bố của các giả thuyết ban đầu và được xử ly khác nhau ở các giai đoạn khác nhau. Cascade Regression có nhiều bộ hồi quy đặc biệt Ứ,.} được tối ưu cho các phân phối được resampling ở các giai đoạn khác nhau. Những khác biệt này khiến cho quá trình định vị chính xác hơn Iterative Bbox. So sánh Cascade R-CNN và các phương pháp trước đó [19].
Bên cạnh đó, phân phối ban đầu (của RPN) thường nghiêng nhiều về các trường hợp có chất lượng thấp, nếu sử dung Iterative Bbox thì nó sẽ giữ như vậy nên khiến cho việc học các bộ phân loại chất lượng cao sẽ không được hiệu quả. Điều này chắc chắn dẫn đến việc học các bộ phân loại có chất lượng cao hơn không hiệu quả. Cascade R-CNN khắc phục vấn đề này bằng cách dựa vào Cascade Regression như một cơ chế resampling dựa trên một bộ hồi quy hộp được huấn luyện cho một + nhất định có xu hướng tạo ra các hộp giới hạn có IoU cao hơn. Do đó, tại mỗi giai đoạn £, R-CNN bao gồm một bộ phân lớp hạ và hồi quy ƒ, được tôi ưu hóa cho ngưỡng IoU uf (ut > u'1).
Theo cách này có thé giữ các tập hop mẫu dương tinh của giai đoạn kế tiếp ngay cả khi ngưỡng IoU được tăng lên. Tom tại, Cascade R-CNN đã giảm tinh trạng overfitting trong huấn luyện, vi chất lượng đề xuất được cải thiện theo tuần tự. Bên cạnh đó, Cascade R-CNN giảm 10 sự không khớp về chất lượng trong thời gian suy luận, vì cùng một giai đoạn cũng được sử dụng khi suy luận. Dynamic R-CNN Phát hiện đối tượng là một nhiệm vụ rất phức tạp vì cần phải giải quyết hai nhiệm vụ chính: nhận diện (recognition) và định vi (localization).
Trong các mô hình phát hiện đối tượng truyền thống, để đạt được khả năng phát hiện đối tượng chất lượng cao thì cần phải đào tạo ở ngưỡng IoU cao. Tuy nhiên như Cascade R-CNN đã đề cập, việc tăng trực tiếp ngưỡng IoU là không thực tế do các mẫu dương tính bị biến mắt. Giải pháp Cascade R-CNN hay các mạng Cascade khác đưa ra là cung cấp sự cải tiến các đề xuất thành nhiều giai đoạn, hiệu quả nhưng tốn nhiều thời gian. Đối với hồi quy, trong quá trình huấn luyện, chất lượng của các vùng đề xuất được cải thiện, tuy nhiên tham sỐ trong hàm mất mát hồi quy SmoothL1 Loss được cô định.
Do đó, dẫn đến việc huấn luyện không đủ cho các đề xuất chất lượng cao. Dynamic R-CNN [7] được đề xuất đề khai thác thuộc tính động của quy trình huấn luyện tốt hơn bang cách điều chỉnh bộ phân loại và hồi quy dé phù hợp với sự thay đổi của phân phối đề xuất. Dynamie R-CNN giải quyết vấn đề trên dựa trên ý tưởng sẽ điều chỉnh bộ phân loại và hồi quy dé phù hợp với sự thay đổi phân phối của các đề xuất. Dynamic R-CNN là một phương pháp đơn giản nhưng hiệu quả dé khai thác tốt hơn chất lượng động của các đề xuất dé phát hiện đôi tượng.
Nó bao gồm hai thành phan: Dynamic Label Assignment (DLA) được thiết kế cho nhánh phân loại va Dynamic SmoothL1 Loss (DSL) được thiết kế cho nhánh hồi quy. Kiến trúc Dynamic R-CNN.Dynamic R-CNN bao gồm hai thành phần chính (a) Dynamic Label Assignment (DLA) và (b) Dynamic SmoothL1 Loss (DSL) [7].