Chương 1: Trình bày một cái nhìn thống nhất về bài toán phát hiện mẫu chất liệu đồng thời trình bày một số giải pháp mô tả và phát hiện mẫu chất liệu, cũng như các cách tiếp cận để biểu diễn và phát hiện mẫu chất liệu trong ảnh. Chương 2: Trình bày về đặc trưng bất biến địa phương và đề xuất sử dụng đặc trưng bất biến địa phương cho việc tìm trực tiếp mẫu chất liệu xuất hiện trong ảnh dựa vào cấu trúc tương quan hình học của các đặc trưng trong mẫu chất liệu. Trong chương này cũng đề xuất ứng dụng phát hiện mẫu chất liệu cho bài toán phát hiện ảnh số giả mạo dạng cắt dán trong trường hợp vùng nghi ngờ giả mạo bị thay đổi tỉ lệ và quay. Các đề xuất được cài đặt và đánh giá thử nghiệm cho thấy kết quả phát hiện khá hiệu quả.
Chương 3: Luận án trình bày về khái niệm nhiễu, sự hình thành của nhiễu trong quá trình thu nhận ảnh và chứng minh đặc trưng ảnh của mẫu chất liệu phụ thuộc nhiều vào đặc trưng nhiễu của nó. Từ đó đề xuất một kỹ thuật mới cho phát hiện mẫu chất liệu dựa trên đặc trưng nhiễu này. Kỹ thuật được cài đặt và kết quả 21 thực nghiệm cho thấy kỹ thuật đề xuất phát hiện mẫu chất liệu khá tốt trong trường hợp ảnh bị thay đổi bởi ánh sáng và mẫu chất liệu có cấu trúc hình học bề mặt thấp. Chương 4: Trình bày biểu diễn mẫu chất liệu dựa vào hình học Fractal trên cơ sở các hệ hàm lặp IFS mô tả tính chất tự tương tự tại các tỉ lệ khác nhau trên các vùng khác nhau của mẫu chất liệu nhằm xây dựng mô hình Fractal cho mẫu chất liệu.
Đồng thời đề xuất hai thuật toán biểu diễn và phát hiện mẫu chất liệu dựa trên tiếp cận Fractal. TỔNG QUAN VỀ PHÁT HIỆN MẪU CHẤT LIỆU TRONG ẢNH Phần này trình bày khái quát về chất liệu, mẫu chất liệu và bài toán phát hiện mẫu chất liệu trong ảnh, các cách tiếp cận cho bài toán đặt ra và các nghiên cứu liên quan nhằm mục đích làm cơ sở cho các nghiên cứu chính trong các chương sau. Chất liệu và bài toán phát hiện mẫu chất liệu trong ảnh 1. Chất liệu và mẫu chất liệu trong ảnh Chất liệu là một dạng tồn tại vật chất nào đó và được cấu tạo từ một hoặc nhiều thành phần hóa học khác nhau theo một nguyên tắc nhất định, chúng có cùng tính chất vật lý, ví dụ gỗ được cấu tạo chủ yếu từ xenlulo và một số chất hóa học khác.
Tùy thuộc vào sự sắp xếp các thành phần hóa học để cấu tạo nên những chất liệu khác nhau, chẳng hạn có nhiều chất liệu gỗ khác nhau về sự lặp lại của các đường vân, màu sắc, độ cứng, chịu nhiệt, hấp thụ và phản xạ ánh sáng khác nhau, nên không thể có một định lượng vật lý cụ thể cho một chất liệu mà chỉ là một khoảng xác định. Do đó, chất liệu có thể được hiểu dựa trên các phương diện khác nhau theo từng lĩnh vực khoa học nghiên cứu. Trong xử lý ảnh và thị giác máy, chất liệu được thể hiện dưới dạng ảnh, nghĩa là chất liệu chỉ có thể cảm nhận và nhận biết được chỉ thông qua quan sát, phân tích sự tương tác của chúng đối với ánh sáng. Mỗi chất liệu khi quan sát được đó là do ánh sáng mặt trời chiếu vào và phản xạ đến mắt người, tùy thuộc từng loại chất liệu mà sự phản xạ ánh sáng sẽ khác nhau.
Chẳng hạn có chất liệu thì phản xạ ánh sáng mạnh như gương soi hoặc mặt phẳng nhẵn, những chất liệu khác thì phản xạ ánh sáng yếu hoặc thậm chí còn gần như là trong suốt, có những chất liệu thì phản chiếu ánh sáng theo một hướng những chất liệu thì phản chiếu ánh sáng theo mọi hướng hoặc theo nhiều hướng khác nhau. Màu mà mắt người quan sát được chính là màu ánh sáng phản xạ từ chất liệu, nên ảnh chất liệu nhận được dựa vào lượng ánh sáng phát tán từ chất liệu đến mắt người và có sự ghi nhận khác nhau. Trong thực tại ảo, người ta đã 23 tiếp cận dựa vào các tính chất đó của chất liệu trong thực tế, vận dụng trong kỹ thuật che phủ và camera cũng giống như mắt người quan sát vậy. Ánh sáng phản chiếu từ chất liệu được cụ thể thành từng loại ánh sáng riêng biệt như ánh sáng phản chiếu khúc xạ, ánh sáng phản chiếu toàn bộ, ánh sáng phản chiếu từ môi trường xung quanh v.
Chính vì những yếu tố của thực tế mà trong môi trường thực tại ảo các loại ánh sáng đó được cụ thể bằng các loại màu phản chiếu từ chất liệu. Khái niệm chất liệu dùng trong kỹ thuật che phủ là sự tổng hợp của ánh sáng và chất liệu cấu tạo để tạo nên bề mặt chất liệu và cả hai nhân tố trên đều là rất quan trọng trong việc quyết định các bề mặt chất liệu sẽ được xuất hiện như thế nào, nghĩa là từ sự xuất hiện của bề mặt chất liệu cho trước ta có thể xác định chất liệu cấu tạo nên đối tượng đó thông qua nguyên tắc tổng hợp và phân tích ánh sáng nhất định. Ánh sáng gồm cả thành phần trong môi trường tác động lên chất liệu cấu tạo để nhận được ảnh chất liệu. Thực chất, chất liệu thu nhận được thông qua quá trình thu nhận ảnh và chất liệu cấu tạo sai khác nhau do môi trường ánh sáng và quá trình thu nhận.
Thể hiện ảnh của chất liệu phụ thuộc vào bản chất bề mặt của chất liệu cấu tạo trong đó có hình dạng kết cấu cụ thể, thuộc tính ánh sáng và thuộc tính hình học của môi trường thu nhận.2 bên dưới minh họa quá trình thu nhận chất liệu phụ thuộc sự phản xạ ánh sáng. Sự phản chiếu theo một hướng (Specular Reflection) 24 Hình 1. Sự phản chiếu khuyếch tán (Diffuse Reflection) Nếu chúng ta biết được các thuộc tính cụ thể của các thành phần bên ngoài đó và bên trong đó, thì việc phát hiện chất liệu của đối tượng hay chất liệu cấu tạo dễ dàng hơn rất nhiều. Ngày nay, chất liệu trong thực tế rất đa dạng và phong phú gồm chất liệu tự nhiên và chất liệu nhân tạo, việc nghiên cứu bài toán phát hiện mẫu chất liệu trong xử lý ảnh còn phụ thuộc vào điều kiện thu nhận ảnh do đó càng phức tạp hơn.
Dù chất liệu được xét trên phương diện nào thì nó cũng phản ánh được phần nào đó của chất liệu thực. Con người có nhiều cách để nhận biết được chất liệu theo nhiều phương diện khác nhau và trong thị giác máy cũng vậy, để thuận tiện cho việc nghiên cứu các phương pháp biểu diễn và phát hiện chất liệu thông qua mẫu chất liệu, mẫu chất liệu có thể chia làm hai loại: Mẫu chất liệu có mô hình biểu diễn: Là các mẫu chất liệu được biểu diễn bằng các quy tắc hoặc các công thức do chuyên gia nghiên cứu về chất liệu đó đưa ra. Mẫu chất liệu không có mô hình biểu diễn: Trong thực tế có rất nhiều mẫu chất liệu không có mô hình biểu diễn. Trường hợp này mẫu chất liệu sẽ được biểu diễn dưới dạng một hoặc một tập các ảnh của chất liệu đó.
Mẫu chất liệu có tính vùng, có sự lặp lại, có sự tương đồng về các thuộc tính hình ảnh.3 là một số mẫu chất liệu không có mô hình biểu diễn. Một số mẫu chất liệu thông thường 1. Bài toán phát hiện mẫu chất liệu trong ảnh Đối với con người, để phát hiện chất liệu trong ảnh chúng ta có thể nhìn và so sánh chúng với chất liệu đã được chúng ta hình dung và mô tả theo nhiều hướng khác nhau hoặc sờ mó vào chúng. Nhưng trong xử lý ảnh và thị giác máy, hay nói khác hơn là trên phương diện quan sát và nhận biết, chất liệu được thể hiện dưới dạng mẫu chất liệu, nó là ảnh của chất liệu thật, nó phản ánh một số thuộc tính của chất liệu thực tế.
Như vậy bài toán phát hiện chất liệu trong ngữ cảnh xử lý ảnh và thị giác máy sẽ chính là bài toán phát hiện mẫu chất liệu trong ảnh, tức là tìm xem trong một bức ảnh cho trước có mẫu chất liệu nào đó hay không. Phát biểu bài toán cụ thể như sau: Cho trước một bức ảnh 𝓘 và một mẫu chất liệu 𝓜. Hãy tìm kiếm và xác định các vùng chứa mẫu chất liệu 𝓜 trên ảnh 𝓘? Phát hiện mẫu chất liệu hay nói khác hơn là tìm và xác định vị trí và kích thước của một mẫu chất liệu cho trước trong một bức ảnh nào đó. Trong trường hợp mẫu chất liệu có mô hình biểu diễn, phát hiện mẫu chất liệu được thực hiện đơn giản bằng cách áp dụng công thức của mẫu chất liệu 𝓜 lên ảnh chúng ta sẽ nhận được các vùng ảnh chứa mẫu chất liệu đó.
Đối với loại mẫu chất liệu không có mô hình biểu diễn, việc phát hiện mẫu chất liệu chính là tìm ảnh con trong ảnh lớn. Việc tìm ảnh con trong ảnh lớn đối với con người thì hết sức dễ dàng, nhưng đối với máy tính thì vẫn đang là vấn đề hết sức khó khăn vì thông thường các ảnh con đều có sự thay đổi quang học và hình học gây ra do nhiều yếu tố như: thuộc tính phản xạ bề mặt, ánh sáng, hướng thu nhận và cấu trúc bề mặt v.v làm cho các ảnh con có thể có tỉ lệ, hướng (bị quay), màu sắc khác nhau và khác với ảnh mẫu chất liệu. 26 Sơ đồ hệ thống phát hiện mẫu chất liệu trong ảnh: Hình 1. Sơ đồ hệ thống phát hiện mẫu chất liệu tổng quát 1.
Các thách thức của phát hiện mẫu chất liệu trong ảnh Khó khăn lớn nhất trong bài toán phát hiện mẫu chất liệu trong ảnh đó là việc mô hình hóa hay biểu diễn mẫu chất liệu sao cho có thể phát hiện được vùng chất liệu trong vô vàn các thể hiện khác nhau do bản chất bề mặt cấu tạo, thuộc tính phản xạ của bề mặt, ánh sáng và hướng thu nhận ảnh. Thể hiện của chất liệu phụ thuộc vào bề mặt chất liệu cấu tạo, ánh sáng và hướng thu nhận ảnh. Mẫu chất liệu chỉ thể hiện trên mặt phẳng ảnh 2D, trong khi chất liệu thực tế lại trong không gian 3D, do đó mẫu chất liệu không thể phản ánh được toàn bộ các thuộc tính của chất liệu thực tế.