Chương 1: Giới thiệu. Phần này giải thích về các thông tin chung của đề tài như động lực, bối cảnh, cũng như thách thức,. của bài toán chủ đề e Chương 2: Các kiến thức, nghiên cứu liên quan đến đề tài. Chương này sẽ trình bày tổng quan các kiến thức cũng như các nghiên cứu liên quan đến khoá luận e Chương 3: Phương pháp đề xuất.
Chương này sẽ mô tả chi tiết về cách thức của mô hình của chúng tôi hoạt động để sinh ảnh dựa trên câu mô tả e Chương 4: Thực nghiệm và Đánh giá. Trình bày các kết quả thí nghiệm, kết quả đánh giá mô hình dựa trên khảo sát, làm thí nghiệm và cuối cùng là minh hoạ các ảnh cách điệu vốn là kết quả của mô hình đề xuất e Chương 5: Xây dựng ứng dụng minh hoa và thực nghiệm. Chương nay trình bày tổng quát quá trình chúng tôi xây dựng hệ thống giúp hệ thống dễ dàng tương tác với mô hình đề xuất e Kết luận và Hướng phát triển. Phan này tổng kết các công việc của chúng tôi đối với đề tài cũng như những kế hoạch trong tương lai mà chúng tôi hướng đến để cải thiện phương pháp đề xuất Chương 2 Các nghiên cứu liên quan 2.1 Kiến thức tong quan về mạng CNN Trong phần này, chúng tôi sẽ trình bày tổng quan các kiến thức nền tảng cần phải có để tiến hành công việv nghiên cứu về bài toán chuyển hoá phong cách anh dưa trên câu mô ta tự nhiên như mạng tích chập, mô hình mang học sâu,.1 Tổng quan về Deep Learning Deep Learning hay còn gọi là kỹ thuật Học sâu, là một nhánh kỹ thuật trong lĩnh vực máy học rộng lón.
Sỡ dĩ được gọi là học "sâu" vì deep leaning ám chỉ việc sử dụng mạng lưới thần kinh gồm nhiều lớp để phân tích dữ liệu mô phỏng lại cách hoạt động não bộ của con người khi đối diện với một vấn đề cần phải giải quyết. Càng nhiều dữ liệu, con người chúng ta càng xử lý thông tin tốt hơn, tương tự vậy, các mô hình deep learning sẽ cải thiện được hiệu suất nếu có thể tiếp cận được với nhiều dữ liệu liên quan tới bài toán. Cho đến hiện nay, Deep Learning đã chứng tỏ được sự hiệu quả của mình thông qua loạt các thành tựu trong cuộc sống, từ các lĩnh vực như xử lý hình 9 ảnh, ứng dụng trong các hệ thống kiểm soát phương tiện giao thông và thậm chí cả y học và môi trường giáo dục hàng ngày.2 Tổng quan về Convolutional Neural Network Convolutional Neural Network (CNN) hay Mang no-ron tích chập là một kiến trúc mang hoc sâu. Về cơ ban, CNN sẽ gồm các lớp (layers) được sắp xếp theo kiến trúc phân tầng, tương ứng với mỗi lớp sẽ có các đơn vị nơ-ron thần kinh (nodes).
Các nodes trên mỗi layer sẽ được kết nối với các nodes ở layer trước đó. Chính vì kiến trúc được cấu tạo nhằm để xử lý thông tin theo từng lớp có kiên kết chặt chẽ với nhau (minh hoạ Hình 2.1), CNN được ứng dụng rat nhiều trong việc phân tích thong tin. Ứng dụng phổ biến nhất của CNN chủ yếu là ở các toán liên quan đến hình ảnh như nhận dạng khuôn mặt, vật thể từ hình ảnh, video clips,. Phần tiếp theo sẽ trình bay chi tiết cu thể về các thành phần cấu tạo của một mạng CNN cơ bản.
y Input Convolutional+ Activation Layers Pooling Layers Convolutional+ Activation Layers Pvt Pooling Layers Convolutional+ Activation Layers Pooling Layers Fully Connected Output Layers Hình 2.1: Minh hoa kiến trúc của một mang CNN cơ bản. 10 Các lớp tích chập - Convolutional Layers Một thành phần quan trọng không thể thiếu của một mạng CNN đó chính là các lớp tích chập (convolutional layers). Các lớp này có nhiệm vụ thực hiện trích xuất các đặc điểm đặc trưng của dữ liệu đầu vào và biểu diễn dưới dạng ma trận gọi feature maps. Để tìm ra các features maps, convolution layers sử dung một khung kênh cửa số (kernel) để trượt trên toàn bộ dữ liệu đầu vào, tại mỗi vùng được cửa số kernel trượt tới, một phép nhân tích chập sẽ được thực hiện để tìm ra ma trận biểu diễn thông tin dữ liệu gốc (Hình 2.
Ta có thể điều chỉnh kích thuớc (kernel_ size) và bước nhảy của kênh cửa số nay (stride). Cần lưu ý rằng, kích thước của cửa số càng nhỏ thì thông tin nội dung của đặc điểm được trích xuất càng chỉ tiết và cụ thể, tuy nhiên cũng có thể làm giảm bớt dữ kiện về không gian của đữ liệu gốc đầu vào, vì lẽ đó, việc lựa chọn kernel_ size và stride phụ thuộc nhiều vào yêu cầu của bài toán ta đang hướng đến. Các lớp kích hoạt phi tuyến - Activation Non-linear Layers Về bản chất, các lớp tích chập thực chất là các phép biến đổi tuyến tính. Việc chỉ sử dụng một loạt các lớp biết đổi tuyến tính không thực sự có tác dụng đối với các bài toán đặc biệt yêu cầu chúng ta cần khám phá được những điểm phức tạp của dữ liệu, như các bài toán mà dữ liệu không có dạng tuyến tính như dự đoán cổ phiếu, phân loại hình ảnh đầu vào.
Vì lí do đó, sử dụng kết nối phi tuyến vào các mạng học sâu sau mỗi lớp tích chập là cần thiết. Một số loại hàm kích hoạt phi tuyến tiêu biểu nhất hiện nay như là hàm Sigmoid (hàm này nhận dữ liệu đầu vào là số thực và trả về kết quả nằm trong khoảng từ 0 đến 1 nên thường được dùng để biểu trưng cho xác suất trong một số bài toán), hàm ReLu (hàm này đơn giản chi lọc các giá trị âm, do phép tính toán đơn giản 11 và nhanh, độ chính xác cao nên hàm ReLu được sử dụng rộng rãi trong những nằm gần đây) và còn một số hàm kích hoạt khác nữa như Tanh, LeakyReLu, MMaxout,. Các lớp chuẩn hoá - Normalization Layers Lớp chuẩn hoá có tác dụng chuẩn hoá giá trị pixels về một khoảng nhất định nào đó. Tác dụng của lớp chuẩn hoá được thể hiện rõ trong việc làm ổn định, tránh trường hợp có sự biến thiên mạnh mẽ trong quá trình huấn luyện mạng học sâu, giúp tối ưu hoá được đầu ra của mạng.
Các lớp chiết xuất - Pooling Layers Các lớp chiết xuất cũng đóng một vai trò vô cùng quan trọng không thể thiếu trong một mang CNN cơ bản, tác dụng của các lớp này chính là làm giảm chi phí tính toán của mạng. Các lớp chiết xuất sẽ xét trên một vùng kênh cục bộ nó tự quy định trước đó để tính toán, tổng hợp và làm giản lược các thông tin của ma trận dau ra của lớp trước. Có thể kế đến các cách chiến xuất thông tin ma trận tiêu biểu sau đây: max pooling (tổng hợp thông tin ma trận bằng cách lấy giá trị lớn nhất trong vùng lân cận đang xét), average pooling (tổng hợp thông tin ma trận bằng cách lấy giá trị trung bình trong vùng lân cận đang xét),. Vùng đang được xét có kích thích càng lớn và bước nhảy càng lớn thì phạm vi ảnh hưởng càng lớn và ngược lại.
Các lớp kết nối đầy đủ - Fully Connected Layers Đây là các lớp ở vị trí cuối cùng nhưng không thể thiếu trong một mạng học sâu. Các bản đồ sau khi được trích xuất ở các lớp tích chập trước đó sẽ được 12 làm duõi (flatten) trước khi được đưa vào các lớp kết nối đầy đủ để thực hiện việc phân loại lớp, gán nhãn. Các lớp kết nối đầy đủ có hàm softmax ở cuối để trả về kết quả là một vector có kích thước bằng số lớp trong tập dữ liệu gốc ban đầu, chứa xác suất biểu thị khả năng đối tượng đang xét thuộc lớp nhãn nào là cao nhất.2 Bài toán Chuyển hoá phong cách ảnh 2.1 Giới thiệu về bài toán Trong những năm gần đây, trí tuệ nhân tạo đã có cho mình những bước tiến nhảy vọt nhờ vào sự ra đời của loạt công nghệ tiên tiến. Giờ đây, máy móc không những có thể mô phỏng lại những kỹ năng cơ bản của con người như nhận diện và phân loại đối tượng, đọc và hiểu văn ban,.
mà còn có khả năng đặc biệt như sáng tạo ra các sản phẩm, đòi hỏi trí tưởng tượng, tính chuyên môn cao như các tác phẩm hội hoạ, sáng tác ra các bài nhac,. Điển hình phải kể đến lĩnh vực Thị giác Máy tính (Computer Vision), các nghiên cứu trong lĩnh vực này đã tái hiện lại thành công các chức năng phức tạp của hệ thống cũng như tư duy thị giác của con người. Chúng tôi sẽ tập trung vào khả năng sáng tạo ra nội dung của máy móc thông qua bài toán Như đã đề cập ở trên, chúng tôi sẽ tập trung vào khả năng sáng tạo ra nội dung của máy móc thông qua việc trình bày chi tiết về các công trình nghiên cứu đã có các đóng góp chính cho bài toán chuyển hoá phong cách ảnh. Để có cái nhìn tổng quan, các nghiên cứu sẽ được chia thành hai phần riêng biệt dựa vào phương pháp đề xuất cũng như các đóng góp chính.2 Hướng tiếp cận sử dụng đặc trưng ảnh cấp thấp Dựa trên hiểu biết của chúng tôi, mặc dù được áp dụng rộng rãi thành các các ứng dụng trong cuộc sống, chuyển hoá đặc trưng ảnh với đa dạng phong cách khác nhau vẫn là một đề tài vô cùng thách thức và có nhiều khó khăn.
Trong khoảng 20 năm, kể từ khi bài toán được phát biểu lần đầu tiên, hàng loại các đề xuất tiêu biểu ra đời, trong đó các nghiên cứu tiên phong giải quyết bài toán chuyển hoá phong cách ảnh phải kể đến nghiên cứu sử dụng giải thuật Numerous Non-Photorealistic Rendering (NPR) để tạo nên các hình ảnh thi giác mang tính nghệ thuật. Kỹ thuật này chủ yếu được vận dụng nên các hình ảnh đầu vào trong không gian hai chiều 2D với tên gọi là Image-based Artistic Rendering (IB-AR). Dựa trên cùng ý tưởng với IB-AR của Kyprianidis và cộng sự, hàng loại các nghiên cứu ra đời tiếp theo, chúng tôi xin chia thành bốn nhóm đóng góp chính như sau: Phương pháp kết xuất hình ảnh dựa trên đường viền Stroke-based redering hay còn gọi là SBR đề xuất quá trình thay thế dần các đặc trưng thị giác cơ bản của bức ảnh nội dung kỹ thuật số ban đầu bằng các đặc trưng nổi bật của bức ảnh với phong cách cụ thể (ví dụ như đường viền, nét vẽ màu, nét vẽ gạch nối, sọc ca-ro,.) cho đến khi tạo ra một hình ảnh kết quả có nội dung của ban đầu nhưng thừa hưởng phong cách kết cấu, hoa văn của phong cách tham chiếu. Để làm đợc điều đó, một hàm mục tiêu được thiết kế để hướng dẫn vị trí các nét được phong cách được áp dụng bằng thuật toán tham lam hoặc đơn giản là một vòng lặp.