Chương 1. MÔ TẢ BÀI TOÁN 1. Bài toán và Ý nghĩa Nhận dạng đối tượng trong ảnh là bài toán khá quen thuộc với hầu hết những người làm nghiên cứu trong lĩnh vực khoa học máy tính nói chung, hay thị giác máy nói riêng, có rất nhiều phương pháp với các mục đích khác nhau đã được đề xuất nhằm nhận dạng khuân mặt, nhận dạng vị trí, nhận dạng đối tượng, trong đó nổi bật là các công trình nghiên cứu như: Pictorial structures Fishcher and Elschlager 1973 IEEE ( hình 1-1a), Eigenfaces Turk and Pentland 1991b( hình 1-1b), Real-time face detection Viola and Jones 2004, Springer( hình 1-1c), Instance (known object) recognition Lowe 1999 IEEE( hình 1-1d), Feature-based recognition Fergus, Perona, and Zisserman 2007( hình 1-1e), Region-based recognition Mori, Ren, Efros et al 2004 IEEE( hình 1-1f), Simultaneous recognition and segmentation Shotton, Winn, Rother et al 2009 Springer ( hình 1- 1g), Location recognition Philbin, Chum, Isard et al. 2007 IEEE( hình 1-1h), Using context Russell, Torralba, Liu et al.
Các nghiên cứu của thị giác máy liên quan tới vấn đề nhận dạng đối tượng [17]. 8 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Những năm gần đây nhiều nghiên cứu trong khoa học máy tính đang có những bước đột phá rõ rệt khi liên tục công bố các kết quả nghiên cứu về trí tuệ nhân tạo, cho phép tạo ra những hệ thống Robot có khả năng thu nhận thông tin từ môi trường tự nhiên và phân tích để đưa ra phản ứng phù hợp, ví dụ như Robot có khả năng gấp khăn, hay có thể giữ trạng thái thăng bằng trong các điều kiện tác động khác nhau, hay Robot có thể giao tiếp với con người bằng giọng nói và hành động. các hệ thống này được kết hợp từ các nghiên cứu trong các lĩnh vực riêng như: Thị giác máy, xử lý ngôn ngữ tự nhiên, trí tuệ nhân tạo., điều này cho thấy kết hợp các công trình nghiên cứu trong các lĩnh vực khác nhau đang phát huy hiệu quả, đặc biệt là mô phỏng khả năng của con người hiện đại, đó là khả năng nghe, nhìn, phân tích, hành động hoặc nói chuyện. Trong lĩnh vực thị giác máy các nghiên cứu cải tiến các hệ thống nhận dạng cũng đang phát triển mạnh mẽ, hiện nay trung tâm nghiên cứu thị giác máy thuộc trường đại học Berkeley đang phát triển hệ thống nhận dạng các đối tượng trong ảnh thông qua huấn luyện mô hình theo phương pháp Deep Learning, cụ thể năm 2013 một mô hình có tên mô hình R-CNN (R-CNN model) được phát triển cho phép nhận dạng các đối tượng trong hình ảnh, nhưng nhược điểm là hệ thống tiêu tốn tài nguyên và chậm chạp, ngay sau đó mô hình Fast R-CNN rút ngắn được thời gian, tới đầu năm 2015 họ công bố hệ thống Neural Talk, hệ thống cải tiến này có khả năng nhận dạng đối tượng trong ảnh và nhận dạng được cả hành động của các đối tượng đó.
Từ đó có thể thấy rằng các hệ thống thông minh này đang có những bước cải tiến rõ rệt về hiệu năng cũng như chất lượng. Việc sinh câu miêu tả cho hình ảnh được quy về bài toán tìm ra câu có xác suất lớn nhất có thể cho các đối tượng đã nhận dạng được trong ảnh. Vậy vấn đề đặt ra là làm thế nào để từ hai hay nhiều từ rời rạc mà ta có thể bổ sung các từ vào sao cho thành lập/sinh câu có ngữ nghĩa tốt? Chúng tôi nghiên cứu một phương pháp giải quyết bài toán sinh câu áp dụng phương pháp tìm đường đi tốt nhất giữa các đỉnh của đồ thị, trong đó mỗi đỉnh là 1 từ, và hàm chi phí được tính dựa trên giá trị xác suất giữa các đỉnh. Có thể thấy rằng, trong điều kiện cụ thể, chúng ta có đầu vào nhiều hơn 2 từ, vì thế cho nên bài toán được nâng lên thành tìm đường đi tối ưu qua nhiều đỉnh cho trước, chính vì thế việc tìm ra một câu có ý nghĩa và tối ưu được về mặt thời gian và tài nguyên hệ thống là vấn đề khó khăn có thể sẽ mất nhiều thời gian để có thể giải quyết được vấn đề này.
9 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Đối với nghiên cứu khoa học, giải quyết bài toán này không chỉ có ý nghĩa trong phạm vi sinh câu miêu tả hình ảnh mà còn có ý nghĩa khi nghiên cứu vấn đề sinh câu miêu tả cho các đoạn phim ngắn bằng việc kết hợp hoặc xây dựng mô hình phát hiện đối tượng trong các đoạn phim đó tại các thời điểm khác nhau với kết quả nghiên cứu mà chúng tôi đã thực hiện. Đối với thực tiễn dựa trên những nghiên cứu về sinh câu miêu tả cho hình ảnh, chúng ta có thể xây dựng các hệ thống phục vụ cho đời sống con người như các hệ thống nhu có khả năng thu nhận hình ảnh và đưa ra câu miêu tả dưới dạng văn bản hoặc dạng giọng nói, như một người trợ lý. Mặt khác trong thời đại bùng nổ của internet những nghiên cứu về sinh câu miêu tả cho hình ảnh cũng mở ra ý tưởng về hệ thống cho phép tìm kiếm hình ảnh thông qua các miêu tả có hiệu quả cao hơn, ngay cả đối với những hình ảnh có tên và mô tả mặc định hoặc không đúng với nội dung hình ảnh, giúp cho người sử dụng internet dễ dàng tiếp cận với tài nguyên khi cần thiết. Các nghiên cứu liên quan Nghiên cứu về sinh câu từ ảnh lần đầu tiên được nhóm tác giả B.
Zhu đề xuất vào năm 2010. Ý tưởng của nghiên cứu này là từ bức ảnh đầu vào, áp dụng kỹ thuật Image Parsing để phân đoạn thành các đối tượng [5], mỗi đối tượng tiếp tục được phân chia thành nhiều thành phần, sau đó từ các biểu diễn ngữ nghĩa (semantic representation) sinh câu trong khi phải bảo đảm chính xác về mặt ngữ pháp. Một nghiên cứu khác đã được công bố, thông qua một mô hình ngữ pháp thực nghiệm (experimental grammar model) để hình thành câu, với đầu vào là các keyphrases (cụm từ khóa), các keyphrases này được giả định là nhận được sau khi phân tích nội dung của ảnh [6]. Phương pháp này có ưu điểm là không cần phải phân loại thủ công theo các trường nhất định (các trường này có thể là các đối tượng, các hành động và khung cảnh) như các phương pháp đã được nghiên cứu trước đó.
Mới đây nhất, năm 2015 một phương pháp tự động sinh câu miêu tả ảnh được đề xuất [7], quy trình sinh câu miêu tả được thực hiện thông qua 3 bước: Với đầu vào là 1 ảnh hệ thống sẽ phát hiện đối tượng và hành động, sinh câu và xếp hạng cho các câu, đầu ra là một câu miêu tả tốt nhất cho bức ảnh đầu vào. Phương pháp này có sử dụng một mô hình ngôn ngữ được huấn luyện từ các miêu tả của hơn 400.000 ảnh thuộc tập dữ liệu Microsoft COCO. 10 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Ngoài ra còn có một vài nghiên cứu khác áp dụng chủ đề này cho miêu tả các đoạn video, qua nhiều năm các phương pháp được đề xuất đã có nhiều thay đổi, cho phép các hệ thống sinh câu gần với ngôn ngữ tự nhiên hơn, cụ thể là việc gần đây các nhà khoa học đã nghiên cứu về chủ đề này sử dụng các mô hình ngôn ngữ đem lại hiệu quả tốt hơn. Nhận thấy hiệu quả của hướng tiếp cận mới, chúng tôi đã nghiên cứu một phương pháp sinh câu miêu tả cho hình ảnh, sử dụng mô hình ngôn ngữ tự nhiên.
Phạm vi nghiên cứu của luận văn Ý tưởng chủ đạo của luận văn chúng tôi nghiên cứu là sinh câu miêu tả cho hình ảnh, vì vậy để có được kết quả chúng ta phải thực hiện cả công đoạn phát hiện đối tượng trong ảnh và sinh câu miêu tả từ các đối tượng đã được phát hiện, tuy nhiên một mặt là do hiện nay trong lĩnh vực thị giác máy các nhà nghiên cứu cũng đang nghiên cứu và đưa ra các mô hình tối ưu để phát hiện đối tượng, mặt khác do điều kiện cụ thể về thời gian cho nên chúng tôi quyết định sử dụng mô hình phát hiện đối tượng đã được huấn luyện từ trước như một giả thiết với đầu vào là một ảnh và đầu ra là các đối tượng/ nhãn để tập trung cho công đoạn 2, nghiên cứu phương pháp sinh câu từ các nhãn vừa thu được. Sau đó ghép 2 công đoạn lại sẽ là hệ thống tổng thể cho phép trả về kết quả là một câu tương ứng với hình ảnh đầu vào. Tuy nhiên do đặc thù của hệ thống khi cài đặt có sử dụng kết quả nghiên cứu mô hình phát hiện đối tượng, cho nên trong luận văn chúng tôi sẽ trình bày ở mức tìm hiểu, mục đích là để chúng ta có cái nhìn toàn diện hơn trên tổng thể hệ thống. Luận văn sẽ trình bày những nội dung sau: Khái niệm về tập văn bản, mô hình ngôn ngữ và phương pháp đánh giá, sau đó là các thuật toán tìm kiếm đặc trưng như thuật toán tìm kiếm theo chiều rộng, tìm kiếm theo chiều sâu và thuật toán tìm kiếm theo lựa chọn tốt nhất.
Ngoài ra, chúng tôi cũng trình bày mô hình bài toán mà chúng tôi nghiên cứu, bao gồm: Giới thiệu tổng quan mô hình bài toán, phương pháp phát hiện đối tượng trong ảnh, và phương pháp sinh câu miêu tả cho hình ảnh. Chương cuối sẽ trình bày về thực nghiệm của chúng tôi trong điều kiện cụ thể. 11 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Chương 2. PHƯƠNG PHÁP 2.
Tập văn bản Để xây dựng được mô hình ngôn ngữ chúng ta cần có tập văn bản mẫu huấn luyện. Cùng với từ điển, tập văn bản là những tài nguyên ngôn ngữ vô cùng căn bản và cần thiết cho xử lý ngôn ngữ tự nhiên (Natural Language Processing: NLP). Từ điển là tập hợp các tri thức về ngôn ngữ, cách sử dụng và ý nghĩa của từng từ thì tập văn bản là dữ liệu về cách sử dụng, cách viết của từ đó trong thực tế. Trên quan điểm sử dụng trong mô hình ngôn ngữ, tập văn bản có thể chia thành 2 loại chính : tập văn bản hẹp và tập văn bản rộng.
Tập văn bản hẹp là tập văn bản được xây dựng một cách cân bằng nhằm phản ánh trung thực tính đa dạng của ngôn ngữ trên một miền hẹp và vì vậy mô hình ngôn ngữ sẽ chính xác hơn. Ngược lại, tập văn bản rộng là tập văn bản tập hợp rất lớn các văn bản trên phổ rộng và vì vậy khó phản ánh đầy đủ mô hình ngôn ngữ và tính nhập nhằng vì thế cũng lớn hơn.