Luận văn: Mô hình học từ điển thưa ứng dụng nhận dạng thóc giống

Luận văn thạc sĩ: Nghiên cứu mô hình học từ điển thưa cho nhận dạng thóc giống. Mã số 84801, chuyên ngành máy tính. Tải luận văn tại đây!

• Tác giả: Phạm Thị Lan Anh
• Người hướng dẫn: PGS. Nguyễn Thị Thủy
• Trường học: Trường Đại Học Công Nghệ - ĐHQG Hà Nội
• Chuyên ngành: Công Nghệ Thông Tin
• Đề tài: Nghiên Cứu Mô Hình Học Từ Điển Thưa Ứng Dụng Trong Nhận Dạng Thóc Giống
• Loại tài liệu: Luận Văn Thạc Sĩ
• Năm xuất bản: 2018
• Địa điểm: Hà Nội

Mục lục chi tiết

• Lời cam đoan
• Lời cảm ơn
• Mục lục
• Danh mục ký hiệu và chữ viết tắt
• Danh mục hình vẽ
• Danh mục bảng biểu
• 1. CHƯƠNG 1: MÔ HÌNH HỌC TỪ ĐIỂN VÀ MÃ THƯA
• 1.1. Biểu diễn thưa và học từ điển
• 1.1.1. Biểu diễn thưa
• 1.1.2. Học từ điển
• 1.2. Mô hình học từ điển và mã thưa
• 1.3. Xây dựng mô hình học từ điển và mã thưa
• 1.3.1. Giới thiệu họ các chuẩn
• 1.3.2. Xác định mã thưa và xây dựng từ điển học
• 1.3.3. Một số mô hình học từ điển ứng dụng cho phân lớp
• 1.3.3.1. Mô hình học từ điển có đảm bảo tính thưa
• 1.3.3.2. Mô hình học từ điển không cần đảm bảo tính thưa
• 2. CHƯƠNG 2: BÀI TOÁN NHẬN DẠNG ẢNH VÀ ỨNG DỤNG
• 2.1. Tổng quan về bài toán nhận dạng
• 2.2. Giới thiệu thị giác máy tính
• 2.3. Bài toán nhận dạng ảnh và quy trình thực hiện của hệ nhận dạng ảnh tự động
• 2.4. Ứng dụng của nhận dạng ảnh
• 3. CHƯƠNG 3: CÀI ĐẶT VÀ KẾT QUẢ THỰC NGHIỆM
• 3.1. Mô tả bài toán
• 3.2. Kết quả đạt được
• 3.3. Thảo luận về ảnh hưởng của ràng buộc thưa vào kết quả nhận dạng
• 4. CHƯƠNG 4: KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN
• Tài liệu tham khảo

Tóm tắt

I. Tổng Quan Học Từ Điển Thưa trong Nhận Dạng Thóc Giống 50 60 ký tự

Bài toán nhận dạng giống lúa là một vấn đề quan trọng trong nông nghiệp hiện đại. Phương pháp biểu diễn thưa (Sparse Representation) đang nổi lên như một giải pháp mạnh mẽ cho nhiều lĩnh vực, đặc biệt là xử lý hình ảnh và học máy. Nó cho thấy tiềm năng lớn trong các bài toán về ảnh, bao gồm phân loại hình ảnh. Sự kết hợp giữa biểu diễn thưa và học từ điển (Dictionary Learning) đã tạo ra một mô hình mạnh mẽ để biểu diễn tín hiệu. Ban đầu, mô hình này tập trung vào việc biểu diễn lại tín hiệu một cách thưa thớt nhất, đồng thời đảm bảo khả năng khôi phục tốt nhất. Trong những năm gần đây, với sự phát triển của khoa học kỹ thuật và nhu cầu thực tế, các nhà nghiên cứu đã cải tiến mô hình cổ điển thành những mô hình cạnh tranh hơn trong việc giải quyết các bài toán phân loại/nhận dạng, đặc biệt là phân loại/nhận dạng ảnh số. Luận văn này sẽ trình bày về lý thuyết biểu diễn thưa và các phương pháp cơ bản để xây dựng một mô hình học từ điển thưa, đồng thời cũng trình bày hai hướng phát triển chính của mô hình: mô hình học từ điển đảm bảo tính thưa và mô hình học từ điển không cần đảm bảo tính thưa. Sau đó, sẽ triển khai cài đặt hai mô hình đại diện cho hai hướng trên bộ dữ liệu ảnh thóc giống được thu thập từ thực tế Việt Nam. Việc áp dụng các mô hình học từ điển trên bộ dữ liệu ký tự biển số xe (được trình bày trong phần Phụ lục của luận văn này) nhằm mục đích đánh giá sơ bộ khả năng ứng dụng của các mô hình với bài toán nhận dạng ảnh để làm tiền đề cho bài toán nhận dạng thóc giống. Ngoài ra, việc áp dụng các mô hình trên hai bộ dữ liệu khác nhau với những đặc điểm, khó khăn khác nhau sẽ giúp tôi có sự đánh giá khách quan hơn đối với mô hình học từ điển đảm bảo thưa và không đảm bảo thưa. Từ đó đưa ra những nhận xét về hai dạng mô hình học từ điển cũng như đề xuất hướng ứng dụng của mô hình học từ điển thưa. Chương này sẽ trình bày cụ thể về mô hình học từ điển cổ điển cũng như cách để xác định từ điển và hệ số biểu diễn thưa (mã thưa). Ngoài ra, luận văn cũng trình bày một hướng phát triển khác của mô hình học từ điển ứng dụng cho phân lớp là mô hình học từ điển không cần đảm bảo tính thưa (tức yếu tố ràng buộc đối với hệ số biểu diễn thưa đã không còn được chú trọng).

1.1. Tìm Hiểu Về Biểu Diễn Thưa Sparse Representation

Trong thế giới số, mọi tín hiệu đều được biểu diễn dưới dạng số. Hiệu quả của việc biểu diễn này ảnh hưởng đến các phép xử lý tiếp theo, bao gồm cả truyền tải và lưu trữ. Vì vậy, các nhà nghiên cứu luôn mong muốn việc biểu diễn tín hiệu trong thế giới số gần nhất có thể với tín hiệu thế giới thực, nhưng có thể truyền tải và lưu trữ một cách ngắn gọn. Điều này dẫn đến việc tín hiệu thường không được biểu diễn trùng khớp hoàn toàn, mà thông qua các đặc trưng đủ để phân biệt tín hiệu này với tín hiệu khác, giúp quá trình truyền tải và lưu trữ bớt tốn kém cũng như tăng tốc độ xử lý tín hiệu sau đó. Ý tưởng này hình thành nên một phương pháp biểu diễn tuyến tính gọi là biểu diễn thưa. Về mặt lý thuyết, biểu diễn thưa có liên quan đến lý thuyết cảm biến nén (Compressed Sensing – CS). Theo lý thuyết CS, những tín hiệu thưa hoặc được nén thì tín hiệu ban đầu có thể được khôi phục bằng cách triển khai một vài giá trị đo được, trong khi số lượng những giá trị này ít hơn nhiều so với cách lấy mẫu của Shannon (Shannon’sampling theorem - SST) và luật lấy mẫu Nyquist (Nyquist sampling law - NSL). Các thành tố cơ bản trong lý thuyết CS bao gồm biểu diễn thưa, mã hóa và thuật toán khôi phục. Mục đích của biểu diễn thưa là đưa không gian biểu diễn tín hiệu ban đầu sang không gian nhiều chiều hơn, giúp những thành phần đặc trưng của tín hiệu “nổi lên” rõ ràng hơn so với “bề mặt”. Sau đó, tín hiệu sẽ được “ghi nhớ” thông qua những thành phần đặc trưng này thay vì toàn bộ các thành phần như lúc ban đầu để đưa vào các quá trình xử lý tiếp theo.

1.2. Định Nghĩa và Ứng Dụng của Học Từ Điển Dictionary Learning

Trong ngôn ngữ học, bộ từ điển bao gồm tất cả các từ đơn, từ ghép, từ láy,... đủ để giúp diễn đạt mọi câu nói, viết trong ngữ pháp của ngôn ngữ đó. Trong học máy, mô hình học từ điển có tên gọi tương tự. Với góc nhìn toán học, nếu coi từ điển là một ma trận vectơ trong đó mỗi thành tố hay từ là một vectơ, thì từ điển trong mô hình học từ điển giống như một hệ sinh vectơ mà tại đó các thành tố hay các từ không đảm bảo độc lập tuyến tính với nhau. Việc xác định từ điển sẽ được học từ chính những tín hiệu đầu vào và quá trình sinh là quá trình biểu diễn lại đối tượng bằng tập hợp các từ trong từ điển sao cho việc biểu diễn chính xác tín hiệu đầu vào hoặc gần “giống” tín hiệu đó. Mô hình học từ điển có thể có lịch sử hình thành từ những năm 1960 với sự ra đời của biến đổi nhanh Fourier (FFT). Ban đầu từ điển được tạo ra bằng các biến đổi miền của tín hiệu như biến đổi bước sóng, biến đổi wavelet. Tuy nhiên những biến đổi đó không thực sự đem lại hiệu quả, thay vào đó, phương pháp học từ điển biểu diễn thưa lại đem lại những kết quả thuyết phục hơn. Khi từ điển có số từ nhiều hơn số chiều (tính over-complete) thì có thể dẫn tới một biểu diễn thưa, và khi đó ta có mô hình học từ điển thưa. Mô hình học từ điển, với ý nghĩa ban đầu dùng để biểu diễn tín hiệu (representation), được ứng dụng cho các bài toán khôi phục dữ liệu (reconstruction), khử nhiễu và mã hóa thưa (sparse coding), gần đây được mở rộng cho bài toán phân lớp (classification).

II. Xây Dựng Mô Hình Học Từ Điển Thưa Nhận Dạng Thóc Giống 50 60 ký tự

Việc xây dựng mô hình học từ điển thưa cần đảm bảo hai yếu tố cơ bản: từ điển học được tạo ra từ chính dữ liệu mẫu ban đầu và hệ số biểu diễn đảm bảo ràng buộc thưa. Có nhiều phương pháp để giải quyết các yêu cầu đặt ra đối với việc xây dựng mô hình. Luận văn này sẽ giới thiệu một số phương pháp cổ điển và đặc biệt trình bày về giải thuật K-SVD trong quá trình xác định mã thưa và cập nhật từ điển. Để làm rõ hơn việc sử dụng điều kiện ràng buộc thưa dựa trên các chuẩn 𝑙0 hay 𝑙1 của mô hình học từ điển, cũng như vì sao khi áp dụng chuẩn 𝑙2 vào việc tìm hệ số biểu diễn thì hệ số sẽ không được đảm bảo tính thưa, phần này sẽ trình bày về họ các chuẩn thông thường. Về mặt toán học, một chuẩn là tổng kích thước hoặc chiều dài của tất cả các vectơ trong một không gian vectơ hoặc ma trận nào đó, khi đó, chuẩn càng cao thì (độ lớn) ma trận hay vectơ càng lớn. Chuẩn có thể có nhiều hình thức và nhiều tên gọi khác nhau như khoảng cách Euclide, sai số bình phương trung bình – phương sai của ước lượng (Mean Squared Error). Ký hiệu ‖𝑥 ‖với x có thể là vectơ hoặc ma trận.

2.1. Các Chuẩn Thường Dùng l0 l1 l2 Frobenius

Một chuẩn Euclide của một véc-tơ x: x= [−2] là ‖𝑥‖2 = √32 + (−2)2 + 12 = 3.742 là kích thước của x. Công thức xác định một chuẩn 𝑙𝑝 của x: 𝑝 ‖𝑥‖𝑝 = √∑𝑖|𝑥𝑖 |𝑝 với p ∈ 𝑅 . Mỗi chuẩn đều trông rất giống nhau về mặt công thức tổng quát, nhưng tính toán của chúng rất khác nhau và do đó ứng dụng của chúng cũng khác nhau rất nhiều. Chuẩn 𝑙0 của x được xác định bởi: ‖𝑥‖0 = 0√∑𝑖|𝑥𝑖 |0. Trong thực tế, hầu hết các nhà toán học và kỹ sư xác định chuẩn 𝑙0 bằng công thức: ‖𝑥‖0 = (𝑖|𝑥𝑖 ≠ 0). Đó là số các phần tử khác 0 trong một véc-tơ và là một số nguyên khác không. Giải pháp thưa thớt nhất là giải pháp có chuẩn 𝑙0 nhỏ nhất. Vấn đề này thường liên quan đến vấn đề tối ưu hoá chuẩn theo 𝑙0 . Chuẩn 𝑙1 của x được xác định bởi: ‖𝑥‖1 = 1√∑𝑖|𝑥𝑖 |1 . Tiêu chuẩn này có nhiều tên và nhiều hình thức trong các lĩnh vực khác nhau. Nếu chuẩn 𝑙1 được tính cho sự khác biệt giữa hai vectơ hoặc ma trận, thì chuẩn 𝑙1 được gọi là Sum of Absolute Difference (SAD). Phổ biến nhất là chuẩn 𝑙2 với công thức: ‖𝑥‖2 = √∑𝑖|𝑥𝑖 |2 . Chuẩn 𝑙2 được biết đến như là một chuẩn Euclide, được sử dụng như một đại lượng chuẩn để đo sự chênh lệch véc-tơ. Chuẩn Frobenius được biết đến như là chuẩn 𝑙2,1 (chuẩn F). Việc xác định chuẩn F của một ma trận X ∈ 𝑅𝑚∗𝑛 thông qua 2 bước: Tìm chuẩn 𝑙1 của X theo công thức ‖𝑋 ‖1 = 𝑚𝑎𝑥𝑗=1,…,𝑛 ∑𝑚 𝑛 |𝑥𝑖,𝑗 |. Tìm chuẩn 𝑙2 của X theo công thức ‖𝑋 ‖2 = 𝛿𝑚𝑎𝑥 (X) = (𝜆𝑚𝑎𝑥 (𝑋 𝑇 𝑋))1/2 .

2.2. Giải Thuật Xác Định Mã Thưa và Xây Dựng Từ Điển Học

Quá trình mã hóa thưa được xác định thông qua tính toán hệ số biểu diễn x dựa trên việc biểu diễn tín hiệu vào y và từ điển D sao cho thỏa mãn hàm mục tiêu. Việc tìm biểu diễn thưa nhất thỏa mãn được biết đến như một vấn đề NP-khó . Có một số hướng giải quyết cho vấn đề biểu diễn thưa này: biểu diễn thưa với tối thiểu hóa theo chuẩn 𝑙0 , biểu diễn thưa với tối thiểu hóa theo chuẩn 𝑙1 , biểu diễn thưa với tối thiểu hóa theo chuẩn F. Với hướng giải quyết theo chuẩn 𝑙0 các giải thuật thực hiện đơn giản nhất là các giải thuật theo đuổi tham lam như matching pursuit (MP) hay orthogonal matching pursuit (OMP). Với hướng giải quyết theo chuẩn 𝑙1 có thể nói đến giải thuật theo đuổi như basis pursuit (BP) . Hoặc giải thuật focal underdetermined system solver (FOCUSS) cũng là đơn giản được xây dựng theo hướng giải quyết dựa vào chuẩn 𝑙𝑝 (𝑝 ≤ 1) thay thế cho chuẩn 𝑙0 . Việc học từ điển có thể thực hiện theo ba phương pháp học: học không giám sát, học có giám sát và học bán giám sát. Từ quan điểm của cơ sở lý thuyết, sự khác nhau của việc học từ điển không giám sát và có giám sát dựa vào việc nhãn của lớp được khai thác trong quá trình học để lựa chọn từ điển hay không. Một số phương pháp học từ điển không giám sát như method of directions (MOD) hay K-means Singular Value Decomposition (K-SVD).

III. Ứng Dụng Mô Hình Học Từ Điển Phân Loại Thóc Giống 50 60 ký tự

Ban đầu, mô hình học từ điển thưa được ứng dụng trong việc biểu diễn và khôi phục dữ liệu. Vì vậy, mã hóa thưa được thiết kế để giảm thiểu lỗi khôi phục trong các ràng buộc thưa thớt, và không được sử dụng như một sự mã hóa phân biệt cho việc phân loại. Những năm gần đây, mô hình học từ điển thưa đã được cải tiến, ví dụ có thể kết hợp thêm các nhãn lớp (học có giám sát) đưa vào công thức mã hóa thưa để thúc đẩy sự phân biệt giữa các từ điển giúp cho bài toán phân lớp hiệu quả hơn. Các kỹ thuật học từ điển giám sát cho việc mã hóa thưa thớt đã thu hút được nhiều sự chú ý. Một số phương pháp tiếp cận như học nhiều từ điển hoặc các từ điển chuyên biệt theo loại . Ngoài ra, khi quan tâm tới hệ số biểu diễn của mô hình học từ điển để tăng cường tính phân biệt của mô hình ứng dụng trong bài toán phân lớp nhận dạng, các mô hình đi theo hai hướng tiếp cận bao gồm xây dựng mô hình học từ điển đảm bảo thưa và mô hình học từ điển không cần đảm bảo thưa. Do thời gian có hạn, tôi chỉ tập trung vào tìm hiểu và trình bày một mô hình tiêu biểu cho từng hướng.

3.1. Mô Hình Học Từ Điển Đảm Bảo Tính Thưa LC KSVD

Một số mô hình học từ điển theo đuổi việc đảm bảo thưa cho hệ số biểu diễn như K-SVD, DKSVD (Discrimnative KSVD), FDDL (Fisher discrimation dictionary learning). Trong luận văn này, tôi trình bày mô hình LC-KSVD là một mô hình học từ điển đảm bảo tính thưa áp dụng tốt cho mục đích phân loại ảnh. LC-KSVD khai thác thông tin được giám sát để học từ điển và tích hợp quá trình xây dựng từ điển và tối ưu hóa bộ phân lớp tuyến tính thành một hàm mục tiêu tổng hợp của hàm tái tạo và hàm phân biệt, và sau đó thu được từ điển đã học và một bộ phân loại hiệu quả. Mỗi cụm từ trong từ điển sẽ được chọn sao cho nó đại diện tốt nhất cho tập các tín hiệu huấn luyện thuộc một lớp duy nhất nên mỗi từ 𝑑𝑘 có thể được liên kết với một nhãn cụ thể. Hàm mục tiêu của LC-KSVD được xây dựng như sau: LC-KSVD1: 〈𝐷, 𝐴, 𝑋 〉 = argmin‖𝑌 − 𝐷𝑋 ‖22 + µ ‖𝐿 − 𝐴𝑋 ‖22 với ‖𝑥𝑗 ‖ ≤ T . LC-KSVD2: 〈𝐷, 𝐴, 𝑊, 𝑋 〉 = argmin‖𝑌 − 𝐷𝑋 ‖22 + µ ‖𝐿 − 𝐴𝑋 ‖22 + η ‖𝐻 − 𝑊𝑋 ‖22 trong đó thành phần đầu tiên biểu thị lỗi tái tạo, thành phần thứ hai biểu thị lỗi phân biệt của mã thưa, và thành phần cuối cùng biểu thị lỗi phân loại.

3.2. Mô Hình Học Từ Điển Không Đảm Bảo Tính Thưa DPL

Mặc dù học từ điển đảm bảo tính thưa chứng tỏ được hiệu quả cho bài toán phân loại, nhưng chi phí thời gian để học mô hình còn lớn khiến cho các giải thuật áp dụng cho mô hình bị hạn chế. Một số nhà nghiên cứu đặt ra nghi vấn về việc yếu tố thưa có thật sự là yếu tố quyết định cho mô hình học từ điển trở nên hiệu quả với bài toán phân loại hay không. Đó là lý do khiến một bộ phận nghiên cứu về phát triển mô hình học từ điển không đảm bảo tính thưa được ra đời và gần đây đã có những kết quả thành công nhất định. Phần này trình bày về một lớp mô hình học từ điển điển hình theo hướng không cần đảm bảo tính thưa là mô hình học cặp từ điển (Dictionary Pair Learnng: DPL) do Shuhang Gu đã đề xuất, để làm cơ sở lý thuyết cho việc cài đặt mô hình học từ điển không đảm bảo thưa cho bộ dữ liệu thực nghiệm. Ý tưởng của tác giả dựa trên việc xây dựng hai từ điển độc lập thay vì một từ điển duy nhất, trong đó một từ điển đóng vai trò tăng cường tính phân biệt giúp cho việc phân lớp (từ điển phân tích) và một từ điển đóng vai trò tổng hợp hỗ trợ việc biểu diễn (từ điển tổng hợp). Hàm mục tiêu sẽ được triển khai thành hàm mục tiêu (mô hình DPL sử dụng chuẩn F thay thế cho chuẩn 2 và không quan tâm đến ràng buộc thưa đối với hệ số biểu diễn X trong hàm mục tiêu): {𝑃∗ , 𝐷 ∗ } = arg min‖𝑌 − 𝐷𝑃𝑌‖2𝐹 + ψ (D, P, Y, H).

IV. Thực Nghiệm và Đánh Giá Hiệu Quả Mô Hình Nhận Dạng 50 60 ký tự

Dựa trên việc tìm hiểu lý thuyết mô hình học từ điển, phần tiếp theo của luận văn là phần trình bày quá trình cài đặt cũng như kết quả ứng dụng mô hình học từ điển đảm bảo thưa và mô hình học từ điển không đảm bảo thưa trên bộ dữ liệu ảnh thóc giống được thu nhận từ thực tế tại Việt Nam. Bộ dữ liệu được dùng cho thực nghiệm đã được tiền xử lý để có thể đưa vào mô hình học: bộ dữ liệu thóc giống do Bộ môn Khoa học máy tính – Khoa Công nghệ thông tin – Học viện Nông nghiệp Việt Nam cung cấp. Quá trình cài đặt mô hình và tiền xử lý ảnh đầu vào cho thực nghiệm của luận văn này được thực hiện trên máy tính Window 7 - 64bit, core i5, CPU 2.7 GHz, bộ nhớ 4GB, phần mềm Matlab 2014a với thư viện có sẵn của Matlab. Nội dung của chương 3 này sẽ giải quyết bài toán ứng dụng rất thú vị và thực tiễn: nhận dạng thóc giống. Để có thước đo về hiệu suất phân lớp của các mô hình học (độ chính xác ACC), tôi sử dụng công thức như sau: ACC = . Để có thước đo cho sự so sánh thời gian thực hiện của các mô hình (thời gian học, thời gian kiểm tra), tôi sử dụng hàm tic/toc trong Matlab để xác định.

4.1. Mô Tả Bài Toán và Dữ Liệu Thực Nghiệm

Việt Nam từ lâu đã được coi là một quốc gia có nền nông nghiệp với thế mạnh là cây lúa. Mặc dù là một nước xuất khẩu lúa gạo lớn thứ hai trên thế giới nhưng giá thành và chất lượng gạo lại thuộc hàng thấp nhất. Đó là lý do vì sao nhà nước đặc biệt coi trọng việc nâng cao năng suất cũng như chất lượng của lúa gạo. Một trong những khâu quan trọng để có được gạo thành phẩm tốt chính là có giống lúa tốt, không sâu bệnh, tỉ lệ nảy mầm tốt hay không lẫn giống lúa khác. Để loại bỏ những hạt thóc của giống khác (nếu có) trong quá trình sản xuất thóc giống, kỹ thuật viên tại các trung tâm sản xuất thóc giống cần nhiều thời gian và sự tỉ mỉ để đánh giá xem từng hạt thóc giống trong lô thóc kiểm tra có phải đúng giống thóc chỉ định hay không. Đây cũng là lý do để các nhà khoa học – công nghệ Việt Nam bắt tay vào tìm hiểu và xây dựng các mô hình nhận dạng tự động dựa trên thị giác máy. Dữ liệu Ảnh gồm hai mươi giống thóc phổ biến ở miền Bắc Việt Nam. Ảnh được chia làm 2 loại: ảnh là thóc giống loại A và ảnh không phải là thóc giống loại A (A sẽ được thay thế bằng tên của một loại thóc giống nào đó trong 20 loại thóc giống cần được kiểm tra).

4.2. Cài Đặt Tham Số và Kết Quả Đạt Được

Với việc sử dụng mô hình từ điển có đảm bảo tính thưa LC-KSVD, các tham số để cài đặt mô hình bao gồm: dictsize – kích thước từ điển, sparsitythres – tham số đảm bảo tính thưa của mô hình từ điển, sqrt_alpha – trọng số cho thành phần nhãn phù hợp, sqrt_beta – trọng số cho thành phần lỗi phân lớp, iterations – số vòng lặp, iterations4ini – số vòng lặp cho việc khởi tạo. Hai tham số quan trọng ảnh hưởng lớn tới kết quả nhận dạng của mô hình được đề cập đến trong luận văn này là dictsize và sparsitythres. Ban đầu tôi giữ nguyên dictsize là 100 và thay đổi sparsitythres từ 60 đến 90 thì nhận thấy hiệu suất phân lớp của mô hình không thay đổi. Với việc sử dụng mô hình từ điển không đảm bảo tính thưa DPL, các tham số để cài đặt bao gồm DictSize – kích thước từ điển, tau, lambda, gamma đều là các hằng số vô hướng. Dựa trên kết quả nhận dạng của 20 giống thóc, LC-KSVD2 cho kết quả tốt hơn hẳn so với LC-KSVD1: LC-KSVD2 đạt kết quả nhận dạng cao nhất là 89.7% đối với Bắc thơm 7 trong khi cao nhất của LC-KSVD1 là 73.

V. Thảo Luận và Đánh Giá Ảnh Hưởng của Tính Thưa 50 60 ký tự

Từ thực nghiệm trên hai bộ dữ liệu: nhận dạng thóc giống được trình bày tại Chương 3 và nhận dạng ký tự trong biển số xe được trình bày tại Phụ lục, nhận thấy thời gian tính toán xây dựng mô hình của một mô hình học từ điển không đảm bảo thưa (DPL) nhanh hơn vài lần, gần trăm lần (trong thực nghiệm với thóc giống), thậm chí vài chục nghìn lần (trong thực nghiệm ký tự biển số xe ) so với mô hình học từ điển đảm bảo thưa (LC-KSVD) trong khi kết quả phân loại hết sức cạnh tranh. Do đó, việc theo đuổi biểu diễn thưa có thật sự đóng vai trò quan trọng cho việc phân lớp hay không vẫn là vấn đề cần được nghiên cứu thêm. Kết quả thực nghiệm trong luận văn đang củng cố cho giả thiết biểu diễn thưa không phải yếu tố quyết định cho một mô hình học từ điển phân lớp tốt.

5.1. Nhược Điểm Của Mô Hình Học Từ Điển Đảm Bảo Thưa

Như vậy qua kết quả nghiên cứu lý thuyết tổng quan và thực nghiệm cài đặt hai mô hình học từ điển trên hai bộ dữ liệu khác nhau, nhận thấy việc mô hình học từ điển đảm bảo thưa (như LC-KSVD) có một vài nhược điểm. Đầu tiên, khi tín hiệu đầu vào Y có số chiều cao thì cũng đẩy số chiều của từ điển học lên cao dẫn tới việc kém hiệu quả cho lưu trữ dữ liệu, các thuật toán học mô hình và kiểm tra với yêu cầu đảm bảo biểu diễn là thưa trở nên phức tạp khi phải tính toán với từ điển học số chiều cao, đặc biệt là “big data” và các ứng dụng có số chiều lớn. Hơn nữa, với mô hình học từ điển thưa thì việc biểu diễn thưa là yếu tố quyết định hiệu quả biểu diễn, trong khi đó biểu diễn thưa lại rất nhạy cảm với việc xoay và kéo dãn kích thước (do những thay đổi này có thể khiến việc tính toán hệ số biểu diễn bị thay đổi theo) dẫn tới việc tạo ra những sự sai khác có thể đủ lớn để thay đổi lớp của hình ảnh đối tượng đã được xoay hoặc kéo dãn. Thứ hai, các tham số dùng cho xây dựng mô hình là rất phức tạp bao gồm trọng số phân lớp, tham số đảm bảo thưa và có thể có tham số phù hợp nhãn. Các tham số này đòi hỏi phải được thử chọn mất nhiều thời gian để có được bộ tham số phù hợp và cho ra hiệu suất tốt nhất.

VI. Kết Luận và Hướng Phát Triển Trong Tương Lai 50 60 ký tự

Luận văn đã trình bày một cách tổng quan về mô hình học từ điển thưa và ứng dụng của nó trong bài toán nhận dạng thóc giống. Các kết quả thực nghiệm cho thấy tiềm năng của mô hình, nhưng cũng chỉ ra những hạn chế cần khắc phục. Trong tương lai, cần tập trung vào việc cải thiện hiệu suất của mô hình trên các bộ dữ liệu phức tạp hơn, cũng như nghiên cứu các phương pháp tối ưu hóa tham số hiệu quả hơn. Hướng phát triển chính là nghiên cứu mô hình học từ điển không cần ràng buộc về tính thưa. Qua đó làm tiền đề để xây dựng các hệ thống nhận dạng giống lúa một cách tự động góp phần nâng cao năng suất và chất lượng nông sản.

6.1. Tóm Tắt Kết Quả Nghiên Cứu và Đóng Góp

Nghiên cứu đã thành công trong việc áp dụng mô hình học từ điển thưa cho bài toán nhận dạng thóc giống, một vấn đề thực tiễn quan trọng trong nông nghiệp. Mặc dù còn nhiều hạn chế, nhưng các kết quả ban đầu cho thấy tiềm năng của mô hình trong việc tự động hóa quy trình nhận dạng và phân loại giống lúa.

6.2. Hướng Nghiên Cứu Tiếp Theo và Ứng Dụng Thực Tế

Hướng nghiên cứu tiếp theo sẽ tập trung vào việc cải thiện hiệu suất của mô hình trên các bộ dữ liệu lớn hơn và phức tạp hơn, cũng như nghiên cứu các phương pháp tối ưu hóa tham số hiệu quả hơn. Ngoài ra, cần tập trung vào việc phát triển các ứng dụng thực tế của mô hình, ví dụ như xây dựng các hệ thống nhận dạng giống lúa tự động tại các trung tâm sản xuất thóc giống hoặc các cơ sở kiểm định chất lượng nông sản. Việc này có thể sẽ mang lại những ứng dụng thực tế góp phần nâng cao năng suất và chất lượng nông sản.

Trích đoạn nội dung tài liệu

CHƯƠNG 1. MÔ HÌNH HỌC TỪ ĐIỂN VÀ MÃ THƯA Con người chúng ta ghi nhớ về một hiện tượng, sự vật; cách chúng ta phân biệt các hiện tượng, sự vật khác nhau không hề đầy đủ các tín hiệu về hiện tượng, sự vật đó mà chỉ qua một vài tín hiệu nhất định. Chúng ta phát hiện ra một bản nhạc có thể chỉ bằng vài nốt nhạc đầu tiên hay nhận ra khuôn mặt của ai đó sau nhiều năm không gặp chỉ thông qua vị trí nốt ruồi gần mắt. Đây chính là tiền đề cho một phương pháp biểu diễn tín hiệu được gọi là biểu diễn thưa.

Ban đầu mục đích cho việc biểu diễn thưa chỉ dừng lại ở việc biểu diễn tín hiệu một cách cô đọng, giảm không gian lưu trữ tín hiệu mà không làm mất mát thông tin có giá trị. Trong những năm gần đây, biểu diễn thưa cho một tín hiệu đầu vào đã được đông đảo các nhà nghiên cứu tham gia tìm hiểu và phát triển thêm những tính chất phù hợp hơn với các bài toán thực tế đa dạng. Với ý tưởng thực hiện biểu diễn thưa cho tín hiệu ban đầu dựa trên bộ các thành phần (atoms) được tạo nên từ chính tập tín hiệu đã có sẵn, mô hình học từ điển thưa trở thành một mô hình mạnh trong việc biểu diễn tín hiệu và mở rộng ra cho việc loại bỏ nhiễu, nén, phân loại tín hiệu [4,43]. Bởi thế, mô hình học từ điển thưa đáng được quan tâm và phát triển cũng như ứng dụng vào nhiều hơn nữa các bài toán thực tế đầy thách thức.

Chương này của luận văn sẽ trình bày cụ thể về mô hình học từ điển cổ điển cũng như cách để xác định từ điển và hệ số biểu diễn thưa (mã thưa). Ngoài ra, luận văn cũng trình bày một hướng phát triển khác của mô hình học từ điển ứng dụng cho phân lớp là mô hình học từ điển không cần đảm bảo tính thưa (tức yếu tố ràng buộc đối với hệ số biểu diễn thưa đã không còn được chú trọng). Biểu diễn thưa và học từ điển 1. Biểu diễn thưa Trong thế giới số, mọi tín hiệu đều được biểu diễn dưới dạng số và việc biểu diễn này có hiệu quả hay không sẽ ảnh hưởng đến các phép xử lý tiếp theo trong đó có truyền gửi và lưu trữ.

Vì vậy, các nhà nghiên cứu luôn mong muốn việc biểu diễn tín hiệu trong thế giới số gần nhất có thể với tín hiệu thế giới thực nhưng có thể truyền đưa và lưu trữ ngắn gọn dẫn tới tín hiệu thường không được biễu diễn trùng khớp hoàn toàn mà sẽ được biểu diễn thông qua các đặc trưng đủ để phân biệt tín hiệu này với tín hiệu khác giúp quá TIEU LUAN MOI download : [e-mail] 7 trình truyền đưa và lưu trữ bớt tốn kém cũng như tăng tốc độ của việc xử lý tín hiệu sau đó. Ý tưởng này hình thành nên một phương pháp biểu diễn tuyến tính gọi là biểu diễn thưa. Về mặt nguồn gốc lý thuyết, biểu diễn thưa có liên quan đến lý thuyết cảm biến nén (Compressed Sensing – CS) [43]. Theo lý thuyết CS thì những tín hiệu thưa hoặc được nén thì tín hiệu ban đầu có thể được khôi phục bằng cách triển khai một vài giá trị đo được trong khi số lượng những giá trị này ít hơn nhiều so với cách lấy mẫu của Shannon (Shannon’sampling theorem - SST) và luật lấy mẫu Nyquist (Nyquist sampling law - NSL).

Các thành tố cơ bản trong lý thuyết CS bao gồm biểu diễn thưa, mã hóa và thuật toán khôi phục. Mục đích của biểu diễn thưa là đưa không gian biểu diễn tín hiệu ban đầu sang không gian nhiều chiều hơn giúp những thành phần đặc trưng của tín hiệu “nổi lên” rõ ràng hơn so với “bề mặt”, sau đó tín hiệu sẽ được “ghi nhớ” thông qua những thành phần đặc trưng này thay vì toàn bộ các thành phần như lúc ban đầu để đưa vào các quá trình xử lý tiếp theo. Mỗi ảnh số là một ảnh tự nhiên được số hóa dưới dạng ma trận số. Với ảnh màu ta sẽ có 3 ma trận số tương ứng với các kênh màu tùy thuộc vào hệ màu biểu diễn khác nhau và thông thường các ma trận biểu diễn này là ma trận “dày” với hầu hết các giá trị trong đó khác không [1].1 biểu diễn một mẫu ảnh đa mức xám kích thước 14x14.

Mẫu ảnh đa mức xám và biểu diễn dày Ta hoàn toàn có thể biểu diễn mẫu ảnh này bằng một vec-tơ có 14x14 = 156 chiều, tuy nhiên cách biểu diễn này sẽ dễ bị tác động bởi nhiễu và “cồng kềnh” khi phải truyền gửi và lưu trữ. Khi áp dụng biểu diễn thưa vào, mặc dù sẽ đẩy số chiều vecto biểu diễn cho ảnh lên cao hơn nhưng số lượng giá trị thực tế cần “ghi nhớ” lại rất ít do hầu hết thành phần của vec-tơ mang giá trị không. Vì vậy, việc biểu diễn hầu như chỉ liên quan đến một vài thành phần có giá trị khác không. Ví dụ mẫu ảnh có thể được biểu diễn bằng mô hình thưa như trong hình 1.

TIEU LUAN MOI download : skknchat@gmail. Ảnh đa mức xám với biểu diễn thưa Khi đó, để lưu trữ và xử lý mẫu ảnh đã cho ta có thể sử dụng vec-tơ hệ số biểu diễn X sau: [a1,. Trong ví dụ này, vec-tơ hệ số được dùng để đại diện cho mẫu ảnh chỉ có ba thành phần có giá trị khác không, số lượng thành phần có giá trị khác không này sẽ đóng vai trò là ngưỡng đảm bảo thưa cho mô hình biểu diễn. Ngưỡng đảm bảo thưa này không có quy định rõ ràng về giá trị mà chỉ được lựa chọn tùy thuộc vào bài toán và dữ liệu cụ thể của bài toán đó.

Học từ điển Trong ngôn ngữ học, bộ từ điển được hình thành bao gồm tất cả các từ đơn, từ ghép, từ láy,. đủ để giúp diễn đạt mọi câu nói, viết trong ngữ pháp của ngôn ngữ đó. Trong học máy cũng có một mô hình có tên gọi tương tự đó là học từ điển. Với góc nhìn của toán học, nếu coi từ điển là một ma trận vecto trong đó mỗi thành tố hay từ là một vecto thì từ điển trong mô hình học từ điển giống như một hệ sinh vecto mà tại đó các thành tố hay các từ không đảm bảo độc lập tuyến tính với nhau.

Việc xác định từ điển sẽ được học từ chính những tín hiệu đầu vào và quá trình sinh là quá trình biểu diễn lại đối tượng bằng tập hợp các từ trong từ điển sao cho việc biểu diễn chính xác tín hiệu đầu vào hoặc gần “giống” tín hiệu đó. Mô hình học từ điển có thể có lịch sử hình thành từ những năm 1960 với sự ra đời của biến đổi nhanh Fourier (FFT). Ban đầu từ điển được tạo ra bằng các biến đổi miền của tín hiệu như biến đổi bước sóng, biến đổi wavelet [39],… Tuy nhiên những biến đổi đó không thực sự đem lại hiệu quả, thay vào đó, phương pháp học từ điển biểu diễn thưa lại đem lại những kết quả thuyết phục hơn. Khi từ điển có số từ nhiều hơn số chiều (tính TIEU LUAN MOI download : [e-mail] 9 over-complete) thì có thể dẫn tới một biểu diễn thưa và khi đó ta có mô hình học từ điển thưa.

Mô hình học từ điển, với ý nghĩa ban đầu dùng để biểu diễn tín hiệu (representation) [25], được ứng dụng cho các bài toán khôi phục dữ liệu (reconstruction) [18] , khử nhiễu [8,20] và mã hóa thưa (sparse coding), gần đây được mở rộng cho bài toán phân lớp (classification) [9,21,29,30,34]. Mô hình học từ điển và mã thưa Cho 𝑦1 , 𝑦2 , ., 𝑦𝑛 ∈ 𝑅𝑝 là tất cả n mẫu tín hiệu và Y ∈ 𝑅𝑝∗𝑁 là ma trận tín hiệu đầu vào với N tín hiệu đầu vào mà mỗi tín hiệu 𝑦𝑖 ∈ 𝑅𝑝 tương ứng với một cột của ma trận Y. Từ n mẫu tín hiệu xác định một ma trận D ∈ 𝑅𝑝∗𝐾 (p ≪ K) được gọi là từ điển cơ bản quá hoàn chỉnh (tính overcomplete) mà mỗi từ 𝑑𝑗 ∈ 𝑅𝑝. Một mẫu mới cần biểu diễn 𝑦𝑛𝑒𝑤 ∈ 𝑅𝑝.

Nếu tất cả các mẫu đã biết được sử dụng để biểu diễn tuyến tính cho mẫu mới thì mẫu mới phải được biểu diễn bằng: 𝑦𝑛𝑒𝑤 = 𝑥𝑛𝑒𝑤_1 𝑑1 + 𝑥𝑛𝑒𝑤_2 𝑑2 + ⋯ + 𝑥𝑛𝑒𝑤𝑛 𝑑𝑛 (1) X ∈ 𝑅𝐾∗𝑁 là ma trận hệ số với 𝑥𝑖 là hệ số tương ứng biểu diễn tín hiệu 𝑦𝑖 và phương trình (1) có thể được viết lại bởi phương trình sau: 𝑦𝑛𝑒𝑤 = 𝐷 ∗ 𝑥𝑛𝑒𝑤 (2) Khi đó, mô hình bài toán học từ điển thưa được thể hiện qua biểu thức (3) sau: 2 (3) argmin‖𝑌 − 𝐷𝑋 ‖22 𝑠𝑎𝑜 𝑐ℎ𝑜 ‖𝑥𝑖 ‖0 ≤ T và ‖𝑑𝑗 ‖2 = 1 𝐷 Trong đó, ‖. ‖0 là chuẩn 𝑙0 nhận giá trị số lượng phần tử khác không của vec-tơ. T là giá trị ngưỡng thưa được lựa chọn trước. Việc giải bài toán tối ưu (3) sẽ dẫn tới xác định được một phương pháp biểu diễn mới cho bộ tín hiệu đầu vào Y với không gian biểu diễn lớn hơn và có khả năng khôi phục lại tín hiệu Y thông qua từ điển D và hệ số biểu diễn X.

Quá trình học ra từ điển D và X từ chính dữ liệu ban đầu giúp cho việc biểu diễn lại dữ liệu ban đầu là hiệu quả. Quá trình này bao gồm hai nhiệm vụ: tìm D và xác định X. Việc tìm từ điển D sẽ được gọi là cập nhật từ điển và việc xác định X được gọi là xác TIEU LUAN MOI download : [e-mail] 10 định mã thưa. Thông thường ta sẽ cố định X trong khi cập nhật từ điển và khi xác định mã thưa thì từ điển D sẽ được cố định.

Vấn đề tìm lời giải cho phương trình tuyến tính (2) với quan điểm đại số tuyến tính, nếu không có bất kỳ ràng buộc nào được áp đặt đối với hệ số biểu diễn x thì phương trình (2) sẽ không có lời giải duy nhất. Với việc coi từ điển như một hệ sinh vec-tơ, với tính chất số chiều nhỏ hơn nhiều so với số từ (p ≪ K), theo lý thuyết hình học không gian, ta có vô số lời giải cho biểu diễn vec-tơ. Để giảm bớt khó khăn, các ràng buộc chuẩn hóa thích hợp được áp dụng cho hệ số biểu diễn [19]. Với phương pháp biểu diễn thưa thì yêu cầu đặt ra là giải pháp biểu diễn thu được phải thưa thớt.

Ràng buộc theo chuẩn 𝑙0 giúp cho bài toán có nghiệm đảm bảo tính chất thưa cho véc-tơ hệ số tìm được. Ta cũng có thể thay thế chuẩn 𝑙0 bằng chuẩn 𝑙1 để đảm bảo tính thưa cho mô hình học từ điển, tuy nhiên nếu sử dụng chuẩn 𝑙2 thì tính thưa sẽ không được bảo đảm.