Luận văn thạc sĩ: Ứng dụng xử lý ảnh đếm các đối tượng có ảnh chạm nhau

Luận văn trình bày các phương pháp xử lý ảnh để giải quyết bài toán đếm đối tượng chạm nhau, ứng dụng thực tế trong đếm bó thép, hồng cầu.

• Tác giả: Nguyễn Thị Thanh Xuân
• Người hướng dẫn: Ts. Phạm Đức Long
• Trường học: Đại học Công nghệ Thông tin và Truyền thông
• Chuyên ngành: Khoa học Máy tính
• Đề tài: Ứng dụng xử lý ảnh đếm các đối tượng có ảnh chạm nhau
• Loại tài liệu: Luận văn Thạc sĩ
• Năm xuất bản: 2020
• Địa điểm: Thái Nguyên

Mục lục chi tiết

• LỜI CAM ĐOAN
• DANH MỤC CÁC BẢNG
• DANH MỤC CÁC HÌNH VẼ
• DANH MỤC CÁC KÝ HIỆU, CÁC CHỮ VIẾT TẮT
• ĐẶT VẤN ĐỀ
• 1. CHƯƠNG 1: TỔNG QUAN ĐẾM ĐỐI TƯỢNG VÀ NHU CẦU ĐẾM BẰNG XỬ LÝ ẢNH
• 1.1. Đếm đối tượng trong thực tế
• 1.1.1. Đếm thủ công bằng mắt
• 1.2. Đếm qua thiết bị sensor
• 1.3. Đếm qua ảnh
• 1.4. Đặc điểm đếm đối tượng qua ảnh
• 1.4.1. Những thuận lợi khi áp dụng đếm bằng xử lý ảnh
• 1.4.2. Khó khăn khi đếm đối tượng qua ảnh
• KẾT LUẬN CHƯƠNG 1
• 2. CHƯƠNG 2: CÁC PHƯƠNG PHÁP ĐẾM BẰNG XỬ LÝ ẢNH
• 2.1. Đếm các đối tượng tách rời
• 2.1.1. Thuật toán kinh điểm đếm các đối tượng tách rời nhau
• 2.1.2. Đếm sai khi có các đối tượng chạm nhau
• 2.2. Đếm đối tượng có ảnh dính nhau dùng hình thái học kinh điển
• 2.2.1. Hình thái học kinh điển
• 2.2.2. Hạn chế khi đếm các đối tượng dính nhau
• 2.3. Phối hợp Biến đổi Watershed và biến đổi khoảng cách
• 2.3.1. Biến đổi khoảng cách (DT - Distance Transform)
• 2.3.2. Phân vùng Watershed (WS-Watershed Segmentation)
• 2.3.3. Phối hợp biến đổi Watershed và biến đổi khoảng cách
• 2.4. Sử dụng mạng nơ ron
• 2.5. Đếm đối tượng có ảnh dính nhau dùng hình thái học định hướng
• 2.5.1. Khảo sát Hình thái học gradients kinh điển
• 2.5.2. Hình thái học có định hướng
• 2.6. Xây dựng thuật toán đếm đối tượng có ảnh dính nhau dùng hình thái học định hướng
• KẾT LUẬN CHƯƠNG 2
• 3. CHƯƠNG 3: ỨNG DỤNG XỬ LÝ ẢNH ĐẾM CÂY THÉP QUA ẢNH ĐẦU BÓ
• 3.1. Cơ sở chọn thuật toán và nhu cầu thực tế
• 3.2. Đếm cây thép qua ảnh đầu bó
• 3.3. Kết quả thực nghiệm
• 3.4. Nhận xét và đánh giá, so sánh
• KẾT LUẬN CHƯƠNG 3
• HƯỚNG PHÁT TRIỂN
• TÀI LIỆU THAM KHẢO

Tóm tắt

I. Khám phá Luận văn Xử lý ảnh đếm đối tượng chạm nhau Nền tảng và Mục tiêu

Bài toán đếm đối tượng trong ảnh là một trong những thách thức quan trọng trong lĩnh vực xử lý ảnh và thị giác máy tính. Nó có mặt trong nhiều ứng dụng thực tiễn, từ y học, nông nghiệp đến công nghiệp và giám sát giao thông. Tuy nhiên, khi các đối tượng chạm nhau hoặc chồng chéo lên nhau, việc đếm trở nên phức tạp và dễ dẫn đến sai số. Luận văn này đi sâu vào giải pháp cho vấn đề nan giải đó, đặc biệt tập trung vào việc xử lý ảnh đếm đối tượng khi chúng có xu hướng dính liền.

Nghiên cứu đặt ra mục tiêu cốt lõi là xây dựng một thuật toán hiệu quả để phân tách đối tượng dính liền và đếm chính xác số lượng đối tượng, nâng cao độ tin cậy của các hệ thống tự động. Các phương pháp truyền thống thường gặp khó khăn lớn trong việc phân biệt ranh giới giữa các vật thể liền kề, làm giảm đáng kể độ chính xác kết quả đếm. Luận văn này không chỉ tổng quan về nhu cầu và các phương pháp hiện có mà còn đề xuất một cách tiếp cận mới để khắc phục những hạn chế đó, mang lại tiềm năng đếm chính xác đối tượng trong nhiều kịch bản thực tế.

Sự phát triển của xử lý ảnh đếm đối tượng không ngừng đòi hỏi những giải pháp sáng tạo, đặc biệt là khi đối mặt với các kịch bản phức tạp như nhận dạng đối tượng chạm nhau. Đây là một đóng góp quan trọng, mở ra hướng đi mới trong việc ứng dụng công nghệ thị giác máy tính đếm đối tượng một cách hiệu quả và tin cậy hơn.

1.1. Nhu cầu thực tiễn và vai trò của xử lý ảnh đếm đối tượng

Nhu cầu đếm đối tượng trong ảnh tồn tại rộng khắp các ngành. Trong y học, việc đếm tế bào y học như hồng cầu qua kính hiển vi là cần thiết cho chẩn đoán. Trong nông nghiệp, đếm quả để ước tính sản lượng giúp quản lý mùa vụ hiệu quả. Công nghiệp cũng có nhu cầu đếm hạt công nghiệp hoặc sản phẩm trên dây chuyền sản xuất để kiểm soát chất lượng. Các phương pháp thủ công bằng mắt thường không còn đáp ứng được tốc độ và quy mô hiện tại. Kỹ thuật đếm bằng sensor dù hiệu quả ở một số môi trường kiểm soát, nhưng lại gặp hạn chế về nhiễu hoặc không thể lắp đặt trong mọi trường hợp [3]. Do đó, xử lý ảnh đếm đối tượng nổi lên như một giải pháp tối ưu, cho phép tự động hóa, tin học hóa quá trình đếm mà không bị giới hạn bởi không gian hay tốc độ xuất hiện của đối tượng. Nó mở ra khả năng đếm chính xác đối tượng trong các môi trường phức tạp, nơi các phương pháp khác gặp khó khăn, khẳng định vai trò không thể thiếu của nó trong cuộc sống thực tiễn.

1.2. Những ưu điểm và thách thức khi đếm đối tượng trong ảnh

Việc áp dụng xử lý ảnh đếm đối tượng mang lại nhiều thuận lợi đáng kể. Khả năng tự động hóa và tin học hóa giúp tiết kiệm thời gian, công sức và giảm thiểu sai sót của con người. Đặc biệt, phương pháp này phát huy tối đa hiệu quả trong các trường hợp không thể sử dụng đếm thủ công hay thiết bị cảm biến, như đếm hồng cầu qua kính hiển vi điện tử hay đếm cây thép qua ảnh đầu bó thép trong nhà máy. Tuy nhiên, bên cạnh những ưu điểm, việc đếm đối tượng trong ảnh cũng đối mặt với nhiều thách thức. Chất lượng ảnh là yếu tố tiên quyết; ảnh thiếu sáng, thừa sáng, hoặc bị ngược sáng sẽ làm mất thông tin, ảnh hưởng nghiêm trọng đến các khâu xử lý tiếp theo [11]. Thách thức lớn nhất chính là hiện tượng các đối tượng chạm nhau hoặc chồng chéo lên nhau [12], khiến chúng bị nhận diện sai là một đối tượng duy nhất. Ngoài ra, nhiễu trong ảnh cũng là một vấn đề lớn, đặc biệt là nhiễu đốm trong ảnh y học siêu âm, gây khó khăn cho việc nhận dạng đối tượng chạm nhau và đếm chính xác [13]. Luận văn này tập trung giải quyết những khó khăn này để đạt được kết quả đếm tin cậy.

II. Thách thức nan giải khi đếm đối tượng chạm nhau Vấn đề chính

Trong bối cảnh xử lý ảnh đếm đối tượng ngày càng được ứng dụng rộng rãi, thách thức lớn nhất mà các hệ thống phải đối mặt là khả năng đếm đối tượng chạm nhau một cách chính xác. Các thuật toán đếm kinh điển, dù hiệu quả với các đối tượng tách rời, lại bộc lộ rõ hạn chế khi các vật thể dính liền hoặc chồng chéo. Điều này dẫn đến sai số đáng kể, làm giảm độ tin cậy của toàn bộ quá trình.

Vấn đề không chỉ nằm ở việc nhận diện các đối tượng mà còn ở khả năng phân tách đối tượng dính liền một cách tự động và hiệu quả. Một hình ảnh đơn giản với các vật thể chồng lên nhau có thể dễ dàng đánh lừa các hệ thống dựa trên phương pháp gán nhãn truyền thống. Do đó, việc nghiên cứu sâu hơn về kỹ thuật tách đối tượng chồng chéo là cực kỳ cấp thiết, nhằm phát triển các giải pháp tiên tiến hơn. Luận văn này đi sâu vào phân tích các nguyên nhân gây sai số và đề xuất một hướng tiếp cận mới để giải quyết bài toán cốt lõi này, đảm bảo đếm chính xác đối tượng ngay cả trong những kịch bản phức tạp nhất.

2.1. Sai số nghiêm trọng từ đếm đối tượng dính liền truyền thống

Các thuật toán kinh điển đếm các đối tượng tách rời nhau hoạt động dựa trên nguyên lý gán nhãn các nhóm điểm ảnh liên thông. Mỗi nhóm điểm ảnh này được xem là một đối tượng. Tuy nhiên, khi hai hoặc nhiều đối tượng chạm nhau hoặc dính liền trong ảnh, các điểm ảnh của chúng sẽ liên thông với nhau, khiến hệ thống nhận diện chúng như một đối tượng duy nhất. Điều này dẫn đến kết quả đếm sai lệch so với thực tế [2.2]. Ví dụ điển hình là ảnh năm đồng xu, trong đó có hai nhóm đồng xu bị chồng lên nhau. Khi áp dụng thuật toán đếm kinh điển cho ảnh nhị phân của chúng, hệ thống chỉ đếm được ba nhóm đối tượng thay vì năm đối tượng thực tế [Hình 2.3]. Hạn chế này cho thấy rõ cần có những kỹ thuật tách đối tượng chồng chéo đặc biệt trước khi thực hiện đếm, để đảm bảo đếm chính xác đối tượng trong các ứng dụng thực tiễn.

2.2. Ảnh hưởng của chất lượng ảnh và nhiễu trong xử lý ảnh đếm

Chất lượng ảnh đầu vào là yếu tố then chốt ảnh hưởng trực tiếp đến hiệu suất của các thuật toán đếm hiệu quả trong xử lý ảnh đếm đối tượng. Ảnh bị thiếu sáng hoặc quá sáng có thể làm mất thông tin quan trọng của đối tượng, hoặc làm mờ ranh giới giữa các vật thể, gây khó khăn cho việc phân tách đối tượng dính liền. Theo tài liệu, ảnh thiếu sáng chất lượng kém thường bị mất thông tin [Hình 1.11]. Tương tự, sự hiện diện của nhiễu cũng là một thách thức lớn. Nhiễu có thể xuất hiện từ nhiều nguồn khác nhau, từ môi trường thu thập ảnh đến các đặc tính của cảm biến. Đặc biệt, nhiễu đốm trong ảnh y học siêu âm là loại nhiễu khó loại bỏ, có thể gây ra hiện tượng phân vùng quá mức (over-segmentation) khi áp dụng các thuật toán Watershed [2.20]. Nếu nhiễu không được khử bỏ hiệu quả, nó sẽ làm sai lệch các phép đo và biến đổi hình thái, dẫn đến kết quả đếm sai khi có các đối tượng chạm nhau và làm suy giảm khả năng nhận dạng đối tượng chạm nhau một cách chính xác. Do đó, các bước tiền xử lý ảnh để cải thiện chất lượng ảnh và giảm nhiễu là vô cùng quan trọng trước khi tiến hành đếm.

III. Giải pháp đột phá Phối hợp Watershed và Biến đổi Khoảng cách

Để giải quyết bài toán đếm đối tượng chạm nhau và nâng cao độ chính xác kết quả đếm, một trong những phương pháp hiệu quả được nghiên cứu rộng rãi là sự phối hợp giữa Biến đổi khoảng cách (Distance Transform - DT) và Phân vùng Watershed (Watershed Segmentation - WS). Sự kết hợp này mang lại khả năng phân tách đối tượng dính liền một cách mạnh mẽ, biến các vùng dính thành các thực thể riêng biệt, tạo điều kiện thuận lợi cho việc đếm chính xác đối tượng. Đây là một cách tiếp cận mang tính nền tảng trong xử lý ảnh đếm đối tượng và đã được áp dụng thành công trong nhiều lĩnh vực.

Trong luận văn xử lý ảnh này, việc tìm hiểu sâu về cách DT và WS hoạt động cùng nhau để khắc phục hạn chế của các phương pháp đếm kinh điển là trọng tâm. Từ việc chuyển đổi ảnh nhị phân sang biểu diễn khoảng cách cho đến việc áp dụng thuật toán Watershed để tìm ranh giới tự nhiên của các đối tượng, mỗi bước đều đóng vai trò quan trọng trong việc xây dựng một hệ thống đếm đối tượng trong ảnh đáng tin cậy. Nghiên cứu này chứng minh tiềm năng của sự phối hợp này trong việc xử lý các tình huống phức tạp mà các phương pháp đơn lẻ không thể giải quyết.

3.1. Biến đổi khoảng cách Distance Transform Chuẩn bị cho phân vùng

Biến đổi khoảng cách (DT - Distance Transform) là một toán tử cơ bản và quan trọng trong xử lý ảnh đếm đối tượng, thường được áp dụng cho ảnh nhị phân (có thể cả ảnh xám). Kết quả của DT là một ảnh thang độ xám, trong đó mỗi điểm ảnh có giá trị thể hiện khoảng cách từ điểm đó đến biên gần nhất của đối tượng. Có ba kiểu biến đổi khoảng cách chính dựa trên các công thức khác nhau: khoảng cách Euclidean (L2 norm), khoảng cách Mahattan (city block distance - L1 norm), và khoảng cách Chebyshev (L∞ norm) [Hình 2.11]. Các ví dụ về biến đổi khoảng cách được minh họa trong Bảng 2.1. DT tạo ra một 'bản đồ địa hình' nơi các điểm càng xa biên thì càng có giá trị cường độ cao, hình thành các 'đồi' ở trung tâm đối tượng. Điều này cực kỳ hữu ích để xác định 'hạt giống' (seed points) cho các vùng đối tượng riêng lẻ, ngay cả khi chúng dính liền, từ đó hỗ trợ mạnh mẽ cho quá trình phân tách đối tượng dính liền bằng thuật toán Watershed sau này. Nó là bước tiền xử lý quan trọng, giúp chuẩn bị dữ liệu ảnh để đếm chính xác đối tượng một cách hiệu quả.

3.2. Thuật toán Watershed Tách biệt hiệu quả các vùng đối tượng

Thuật toán Watershed (WS - Watershed Segmentation) là một phương pháp phân đoạn ảnh mạnh mẽ, đặc biệt hiệu quả trong việc phân tách đối tượng dính liền. Nguyên lý hoạt động của WS được ví như quá trình ngập lụt một bản đồ địa hình, nơi các giá trị cường độ điểm ảnh đại diện cho độ cao. Các vùng tối nhất là 'thung lũng', và khi nước dâng lên, nước từ các thung lũng khác nhau sẽ gặp nhau tại các 'đường sườn núi' – chính là các đường ranh giới watershed [Hình 2.12]. Đối với mục đích phân tách đối tượng dính liền, các đường watershed này sẽ tạo thành ranh giới giữa các đối tượng. Tuy nhiên, việc áp dụng trực tiếp thuật toán Watershed cho ảnh gradient có thể dẫn đến phân vùng quá mức (over-segmentation) do nhiễu [Hình 2.20]. Để khắc phục, phương pháp kiểm soát đánh dấu (marker-controlled watershed) được sử dụng, trong đó các 'hạt giống' được xác định trước (thường là từ Biến đổi khoảng cách) giúp định hướng quá trình ngập lụt, đảm bảo mỗi hạt giống tương ứng với một đối tượng cần đếm [Hình 2.21]. Sự kết hợp giữa thuật toán Watershed và Biến đổi khoảng cách cho phép phân tách đối tượng dính liền một cách chính xác, là một kỹ thuật tách đối tượng chồng chéo mạnh mẽ trong xử lý ảnh đếm đối tượng.

IV. Kỹ thuật tiên tiến Hình thái học định hướng cho đối tượng dính

Trong hành trình tìm kiếm các thuật toán đếm hiệu quả cho bài toán xử lý ảnh đếm đối tượng khi có vật thể chạm nhau, luận văn đã đi sâu vào một phương pháp tiên tiến: Hình thái học định hướng (Oriented Morphology - OM). Phương pháp này ra đời để khắc phục những hạn chế cố hữu của hình thái học kinh điển, vốn không đủ mạnh để phân tách đối tượng dính liền một cách hiệu quả trong mọi trường hợp. Thay vì áp dụng các phép toán hình thái học một cách đồng nhất trên toàn bộ ảnh, OM tập trung vào việc xác định các vị trí cụ thể nơi các đối tượng chạm nhau và chỉ thực hiện các phép biến đổi theo hướng nhất định tại đó. Điều này giúp bảo toàn kích thước và hình dạng tổng thể của đối tượng, đồng thời vẫn đạt được mục tiêu nhận dạng đối tượng chạm nhau và tách chúng ra một cách chính xác. Luận văn này trình bày chi tiết về nguyên lý, cách xây dựng và triển khai hình thái học định hướng như một giải pháp đột phá, hứa hẹn đạt được độ chính xác kết quả đếm cao hơn so với các phương pháp hiện hành, đặc biệt trong các ứng dụng công nghiệp khắc nghiệt.

4.1. Hạn chế của hình thái học kinh điển trong tách rời đối tượng

Hình thái học kinh điển (classical morphology) bao gồm các phép toán cơ bản như co (erosion) và dãn nở (dilation), cùng với các toán tử phức tạp hơn như mở (opening) và đóng (closing). Các phép toán này rất hữu ích cho việc làm mịn ảnh, tìm biên, phục hồi và phân tích kết cấu ảnh [Hình 2.4, 2.5]. Tuy nhiên, khi áp dụng các morphological operations này để phân tách đối tượng dính liền, chúng thường bộc lộ nhiều hạn chế. Việc thực hiện phép co để tách các đối tượng có thể dẫn đến hai trường hợp tiêu cực: nếu số lần lặp không đủ, các đối tượng vẫn còn dính nhau, gây sai số đếm [Hình 2.10]; ngược lại, nếu số lần lặp quá lớn, đối tượng có thể bị biến mất hoàn toàn, cũng dẫn đến đếm sai. Hơn nữa, hình thái học gradient, dù có tác dụng nổi bật biên ảnh, lại không hiệu quả trong việc tách rời các đối tượng dính nhau [Hình 2.28, 2.29]. Những hạn chế này khẳng định cần một phương pháp tinh vi hơn để xử lý ảnh đếm đối tượng khi chúng có tính chất chạm nhau, đòi hỏi một cách tiếp cận có định hướng cụ thể hơn.

4.2. Nguyên lý và triển khai hình thái học định hướng

Để khắc phục hạn chế của hình thái học kinh điển, luận văn giới thiệu Hình thái học định hướng (OM - Oriented Morphology) như một giải pháp đột phá cho bài toán đếm đối tượng chạm nhau. Nguyên lý cốt lõi của OM là không áp dụng các phép biến đổi hình thái học một cách đồng nhất, mà thay vào đó, tập trung vào việc xác định các vị trí 'thắt' hoặc 'điểm chạm' trên biên đối tượng và chỉ thực hiện phép toán theo các hướng cụ thể tại những vị trí đó [Hình 2.32]. Các hướng này được quy ước theo các trục cơ bản như X-X, Y-Y, Y-X, X-Y [Hình 2.31]. Quy trình bao gồm việc tính toán góc theta giữa tiếp tuyến của biên và các trục để xác định các điểm lõm, nơi hai đối tượng có khả năng dính nhau [Hình 2.34, 2.35]. Sau đó, các mặt nạ hình thái học tương ứng với từng hướng sẽ được áp dụng tại các tọa độ điểm thắt đã tìm được [Hình 2.37]. Số lần lặp được chọn dựa trên đặc điểm hình học của đối tượng, ví dụ như một phần đường kính của đối tượng hình tròn tương đương. Phương pháp này giúp phân tách đối tượng dính liền mà không làm thay đổi đáng kể kích thước và hình dạng của chúng, từ đó tăng cường độ chính xác kết quả đếm và là một kỹ thuật tách đối tượng chồng chéo hiệu quả trong xử lý ảnh đếm đối tượng.

V. Ứng dụng thực tiễn Đếm cây thép bằng xử lý ảnh hiệu quả

Một trong những ứng dụng thực tiễn nổi bật của luận văn xử lý ảnh này là việc đếm cây thép qua ảnh đầu bó. Đây là một bài toán quan trọng trong ngành công nghiệp thép, nơi việc đếm chính xác đối tượng có ý nghĩa lớn đối với quản lý sản xuất và kiểm kê kho hàng. Phương pháp thủ công hiện tại thường tốn thời gian, công sức và dễ xảy ra sai sót, đặc biệt khi số lượng cây thép lớn và chúng có xu hướng chạm nhau hoặc dính liền. Nghiên cứu đã xây dựng một mô hình thực nghiệm chi tiết, ứng dụng các thuật toán đếm hiệu quả đã được đề xuất để tự động hóa quá trình này.

Thông qua việc xử lý ảnh đếm đối tượng từ ảnh đầu bó thép, hệ thống có thể phát hiện đối tượng dính và phân tách đối tượng dính liền một cách tự động, cung cấp kết quả đếm nhanh chóng và chính xác. Phần này của luận văn không chỉ trình bày cơ sở lý thuyết mà còn đi sâu vào các bước triển khai cụ thể, từ thu thập ảnh, tiền xử lý, đến việc áp dụng các thuật toán hình thái học định hướng để giải quyết thách thức đặc thù của việc đếm đối tượng chạm nhau trong môi trường công nghiệp. Kết quả thực nghiệm đã chứng minh tiềm năng vượt trội của phương pháp, mở ra cơ hội thay thế hoàn toàn quy trình đếm thủ công lạc hậu.

5.1. Cơ sở và quy trình ứng dụng xử lý ảnh đếm cây thép

Việc ứng dụng xử lý ảnh đếm cây thép dựa trên nhu cầu thực tế và cơ sở chọn thuật toán đếm hiệu quả. Trong các nhà máy cán thép, việc đếm cây thép qua ảnh đầu bó là cần thiết để kiểm kê và quản lý sản phẩm. Các dây chuyền cán thép hiện đại như của DANIEL (Ý) đã có cơ cấu đếm, nhưng vẫn tồn tại những hạn chế về độ chính xác hoặc chi phí [Hình 3.5, 3.6]. Quy trình triển khai hệ thống đếm đối tượng trong ảnh này bao gồm nhiều bước [Hình 2.12]: đầu tiên là thu nhận ảnh đầu bó thép, sau đó là các bước tiền xử lý như chuyển đổi sang ảnh xám và nhị phân, loại bỏ nhiễu bằng toán tử mở và lấp lỗ nhỏ bằng toán tử đóng. Tiếp theo, phương pháp thực hiện phép trừ nền để tách vùng quan tâm, gắn nhãn nền và các vùng đối tượng. Quan trọng nhất là bước tìm biên để xác định hướng thực hiện hình thái học định hướng, giúp phân tách đối tượng dính liền và đảm bảo đếm chính xác đối tượng. Mô hình thực nghiệm này được xây dựng trên phần mềm Matlab, cho phép kiểm tra và đánh giá hiệu quả của thuật toán trong môi trường mô phỏng thực tế.

5.2. Kết quả thực nghiệm và đánh giá độ chính xác đếm chính xác đối tượng

Để đánh giá hiệu quả của phương pháp hình thái học định hướng trong luận văn xử lý ảnh đếm đối tượng chạm nhau, các thực nghiệm đã được tiến hành trên ảnh của các bó thép. Mục tiêu là đạt được độ chính xác kết quả đếm gần như tuyệt đối. Các ảnh mẫu được sử dụng để kiểm tra thuật toán, bao gồm cả các trường hợp cây thép bị thụt vào hoặc dính liền [Hình 3.10, 3.11, 3.14]. Sau khi áp dụng quy trình xử lý ảnh đếm đối tượng đã được đề xuất, kết quả đếm số cây đầu bó được so sánh với số lượng thực tế. Theo Bảng 3.3, độ chính xác kết quả đếm qua ảnh đầu bó thép có thể đạt đến mức rất cao. Đánh giá cho thấy phương pháp mới này vượt trội so với các cách đếm thủ công và các phương pháp kinh điển, giảm thiểu đáng kể sai số khi đếm đối tượng chạm nhau. Điều này không chỉ khẳng định tính khả thi mà còn mở ra tiềm năng lớn cho việc ứng dụng xử lý ảnh đếm trong tự động hóa quy trình kiểm kê tại các nhà máy cán thép, thay thế hoàn toàn việc đếm thủ công, mang lại hiệu quả kinh tế và độ tin cậy cao.

VI. Tổng kết Luận văn xử lý ảnh Hướng phát triển cho tương lai

Trong tổng kết luận văn xử lý ảnh này, nghiên cứu đã giải quyết thành công bài toán đếm đối tượng chạm nhau một cách hiệu quả, đặc biệt trong ngữ cảnh công nghiệp. Phát kiến chính nằm ở việc đề xuất và triển khai hình thái học định hướng, một kỹ thuật tách đối tượng chồng chéo tiên tiến. Phương pháp này không chỉ nâng cao đáng kể độ chính xác kết quả đếm so với các cách tiếp cận truyền thống mà còn mở ra những triển vọng mới cho việc xử lý ảnh đếm đối tượng trong các môi trường phức tạp.

Nghiên cứu cũng đã khảo sát các thuật toán đếm hiệu quả khác như sự phối hợp giữa Watershed và Biến đổi khoảng cách, và sơ lược về việc sử dụng mạng nơ ron (CNN) trong đếm đối tượng. Mặc dù các phương pháp này cũng mang lại kết quả tích cực, nhưng giải pháp hình thái học định hướng đã thể hiện ưu điểm vượt trội trong việc giải quyết đặc thù của bài toán đếm đối tượng chạm nhau. Hướng phát triển trong tương lai sẽ tập trung vào việc tối ưu hóa thuật toán để đạt được độ chính xác tuyệt đối trong mọi điều kiện và mở rộng ứng dụng sang các lĩnh vực đa dạng hơn, tiếp tục khẳng định vai trò của thị giác máy tính đếm đối tượng.

6.1. Đánh giá thành tựu và đóng góp của nghiên cứu đếm đối tượng

Nghiên cứu đếm đối tượng trong luận văn này đã đạt được những thành tựu đáng kể. Đầu tiên, nó đã làm rõ những khó khăn cốt lõi của việc đếm đối tượng chạm nhau bằng các phương pháp xử lý ảnh đếm đối tượng truyền thống. Quan trọng hơn, luận văn đã thành công trong việc xây dựng một thuật toán đếm hiệu quả dựa trên hình thái học định hướng, đặc biệt trong việc phân tách đối tượng dính liền một cách chính xác. Ứng dụng thực nghiệm trên đếm cây thép qua ảnh đầu bó đã chứng minh khả năng đạt được độ chính xác kết quả đếm cao, thậm chí có thể đạt độ chính xác tuyệt đối trong một số trường hợp, vượt xa phương pháp đếm thủ công. Đóng góp chính của nghiên cứu là cung cấp một giải pháp mới, thiết thực cho một bài toán thị giác máy tính đếm đối tượng phổ biến, có tiềm năng ứng dụng rộng rãi trong các ngành công nghiệp. Mặc dù các phương pháp khác như deep learning object counting (sử dụng mạng CNN) cũng được đề cập, nhưng trọng tâm của luận văn vẫn là giải pháp hình thái học định hướng, được chứng minh là phù hợp và hiệu quả cho bài toán cụ thể này [7].

6.2. Tiềm năng mở rộng và phát triển các thuật toán đếm hiệu quả

Mặc dù luận văn xử lý ảnh đã đạt được những kết quả tích cực, tiềm năng phát triển của các thuật toán đếm hiệu quả cho bài toán đếm đối tượng chạm nhau vẫn còn rất lớn. Hướng phát triển trong tương lai có thể tập trung vào việc tối ưu hóa hình thái học định hướng để xử lý các đối tượng có hình dạng phức tạp hơn hoặc trong điều kiện ánh sáng thay đổi. Ngoài ra, việc kết hợp sâu hơn các kỹ thuật deep learning object counting (ví dụ như Semantic Segmentation hoặc Instance Segmentation) với các phương pháp hình thái học có thể tạo ra những giải pháp mạnh mẽ hơn nữa, đặc biệt là trong việc nhận dạng đối tượng chạm nhau và phát hiện đối tượng dính trong các bộ dữ liệu lớn và đa dạng. Việc tích hợp các phương pháp học máy để tự động hóa việc chọn mặt nạ và số lần lặp trong hình thái học định hướng cũng là một hướng đi hứa hẹn. Mục tiêu cuối cùng là xây dựng các hệ thống xử lý ảnh đếm đối tượng hoàn toàn tự động, có khả năng thích nghi cao và đạt độ chính xác kết quả đếm tối ưu trong mọi điều kiện thực tế, từ đếm tế bào y học đến đếm hạt công nghiệp, góp phần vào sự phát triển của thị giác máy tính đếm đối tượng.

Trích đoạn nội dung tài liệu

chương 1 đã đề cập: rất nhiều loại hình công việc đếm trong thực tiễn phải dùng phương pháp đếm bằng xử lý ảnh. Đếm số đối tượng trong ảnh là một trong các công việc cơ bản của xử lý ảnh. Trong đó bài toán kinh điển đếm các đối tượng tách rời nhau được mô tả qua thuật toán sau: Thuật toán đếm kinh điển: Input: Ảnh số nhị phân. Output: Số đối tượng cần đếm trong ảnh Thực hiện với ảnh gốc I có kích thước MxN 1.

Tạo các điểm ảnh biên của ảnh I = 0; // sau khi tạo có ảnh mới I1 có kích thước (M+2) x (N+2) Số đối tượng = 0; Hình 2.1 Tạo các điểm ảnh biên cho ảnh I 2.1 Bắt đầu từ điểm bất kỳ (chẳng hạn điểm top-left) Xem điểm ảnh đó có phải điểm đen không? + Nếu điểm ảnh là điểm trắng không làm gì + Nếu điểm ảnh đó là điểm đen thì: gán nhãn cho điểm đó là "2" rồi download by : [e-mail] 12 + Kiểm tra xem 8 điểm ảnh xung quanh có là điểm đen không? Nếu điểm nào trong số 8 điểm đó là đen thì gán chúng là "2". Nếu không thì chúng vẫn bằng "0". Cập nhật vị trí các điểm "2". Cập nhật các vị trí đã kiểm tra (Đánh số từ "2" để không lẫn với giá trị "1").2 Loại trừ điểm đen đầu tiên (điểm "2" đầu tiên).

làm tiếp với từng điểm "2" lân cận với bước 2.1 để tìm các điểm "2" mới tức là tìm các điểm ảnh mới liên kết với các điểm "2" cũ.3 Khi không còn có điểm "2" mới nào thì: + Số đối tượng = Số đối tượng + 1; + Tìm trong số tất cả các điểm ảnh còn lại chưa kiểm tra có điểm đen nào thì lại thực hiện 2. Tìm đến điểm ảnh cuối cùng của ảnh thì sẽ tìm được số đối tượng trong ảnh. Số điểm ảnh có cùng nhãn "2", "3",. sẽ là diện tích (độ lớn) của mỗi đối tượng.

a) Các nhóm điểm đen được gán nhãn (hình b) Hình 2.2 Minh họa phương pháp đếm kinh điển Trên hình 2.2 các nhãn được đánh số từ 2 đến 7 và số đối tượng N là số thứ tự nhãn lớn nhất -1 tức là N=7-1=6.2 Đếm sai khi có các đối tượng chạm nhau Theo cách thức của thuật toán đếm kinh điển chúng ta thấy dựa trên sự gán nhãn các nhóm điểm ảnh liên thông nhau. Mỗi nhóm điểm ảnh là một đối tượng. Như vậy khi có hai đối tượng chạm nhau trong thực tế thì ảnh của chúng cũng có các điểm liên thông như là cùng trong một đối tượng. Áp dụng thuật toán đếm kinh download by : [e-mail] 13 điển trong trường hợp này mà không có xử lý tách hai (hoặc nhiều đối tượng dính nhau ra) sẽ cho kết quả đếm sai.3 a) ảnh nguyên bản b) ảnh nhị phân Trên hình 2.3 nguyên bản có 5 đồng xu trong đó có hai nhóm đồng xu bị chồng lên nhau.

Trên ảnh nhị phân khi đếm dùng thuật toán đếm kinh điển chúng ta chỉ đếm được 3 nhóm đối tượng (mà lẽ ra phải là 5).2 Đếm đối tượng có ảnh dính nhau dùng hình thái học kinh điển 2.1 Hình thái học kinh điển Thuật ngữ thực hiện phép toán hình thái học bao gồm một lớp các thuật toán xử lý ảnh biến đổi ảnh khi thực hiện biến đổi ảnh qua phần tử cấu trúc. Hình thái học có thể được thực hiện với ảnh nhị phân và cả ảnh đa cấp xám. Nó được rất hữu ích trong nhiều công việc xử lý ảnh như tìm xương ảnh, tìm biên, phục hồi và phân tích kết cấu ảnh. Hai phép toán hình thái học cơ bản là dilation và erotion.

Với ảnh nhị phân: Phép biến đổi erosion & dilation ảnh nhị phân thường được dùng để biến đổi ảnh như sau: Hình 2.4 Thực hiện phép co và phép dãn nở ảnh nhị phân Ta có một ảnh P như hình 2.4 Thực hiện phép erosion và dilation ảnh bằng cách tuỳ theo việc thực hiện phép xử lý nào mà tạo ra các tập phần tử có cấu trúc download by : [e-mail] 14 (mặt nạ) tương ứng, sau đó rê mặt nạ đi khắp ảnh và tính giá trị điểm ảnh bởi các điểm lân cận với motip của mặt nạ. Các phép thực hiện có thể là hội, tuyển hoặc liên hợp. Dilation: Rê mặt nạ S đi khắp ảnh và tại mỗi điểm kiểm tra nếu bít có giá trị 1 thì thực hiện phép tuyển với bit mặt nạ quanh điểm ảnh đó. Kết quả được D(P,S).

Erosion: Rê mặt nạ S đi khắp ảnh và tại mỗi điểm kiểm tra nếu bít có giá trị 1 thì thực hiện phép hội với bit mặt nạ quanh điểm ảnh đó. Kết quả được E(P,S); a) b) c) Hình 2.5 a) Ảnh nguyên bản b) Sau khi co ảnh c) Sau khi dãn ảnh Khi kết hợp phép dãn ảnh và phép co ta có thêm các phép hình thái học, toán tử đóng (closing) và toán tử mở (opening) Closing: Toán tử đóng của một ảnh A với một phần tử cấu trúc B được thực hiện theo luật sau: AB=(AB)ΘB (2.1) trong đó  và Θ ký hiệu của phép dilation và erosion. Thuộc tính:  Tính chắc chắn (Imdepotence): (AB)B=AB  Tính tăng: Nếu A  C thì AB CB  Tính mở rộng: A AB  Closing thay đổi bất biến. Opening: toán tử mở của một ảnh A với một phần tử cấu trúc B được thực hiện theo luật sau: AB=(AΘB)B (2.2) download by : [e-mail] 15 trong đó  và Θ ký hiệu của phép dilation và erosion.

Thuộc tính:  Tính chắc chắn (Imdepotence): (AB)B=AB  Tính tăng: Nếu A  C thì AB  CB  Chống mở rộng: AB  A  Toán tử mở thay đổi bất biến.  Toán tử mở và toán tử đóng đáp ứng tính nhị nguyên: AB=(AcBs)c. Trong xử lý ảnh closing được dùng để loại bỏ các lỗ nhỏ và opening được dùng để loại các đối tượng nhỏ của ảnh. Các kỹ thuật này cũng còn được dùng để tìm các hình dạng đặc tả trong ảnh.6 Ảnh nhị phân nguyên bản và sau khi thực hiện các phép hình thái học Hình thái học với ảnh đa cấp xám: Phép co với ảnh xám được thực hiện bởi bộ lọc cực tiểu còn phép dãn nở thì được thực hiện bởi bộ lọc cực đại.

Trong một bộ lọc cực tiểu 3 x 3 = pixel trung tâm thì được thay thế bởi giá trị nhỏ nhất của các pixel trong cửa sổ. Trong một bộ lọc cực đại pixel trung tâm thì được thay thế bởi giá trị lớn nhất của các pixel trong cửa sổ. Sự thực hiện của các bộ lọc cực tiểu và bộ lọc cực đại giống như sự thực hiện của bộ lọc median. Phép hình thái học dãn nở của ảnh xám download by : skknchat@gmail.7 Hình thái học trên ảnh xám Hình 2.8 Thực hiện hình thái học trên ảnh xám.2 Hạn chế khi đếm các đối tượng dính nhau Khi thực hiện hình thái học để tách các đối tượng dính nhau ra thành đối tượng độc lập để đếm có thể xảy ra các trường hợp [4]:  Tách được các đối tượng ra đúng đắn và đếm chính xác download by : skknchat@gmail.9 Dùng phép co để tách các đối tượng  Tách đối tượng không hết vẫn còn có đối tượng dính nhau nên đếm sai Hình 2.10 Do phép co chưa đủ số lần thực hiện nên vẫn còn các nhóm đối tượng dính nhau  Thực hiện hình thái học với số lần lặp lớn quá mức dẫn đến đối tượng bị biến mất.

Khi đó cũng bị đếm sai.3 Phối hợp biến đổi Watershed và biến đổi khoảng cách.1 Biến đổi khoảng cách (DT - Distance Transform) Biến đổi khoảng cách là một toán tử thường áp dụng cho hình ảnh nhị phân (cũng có áp dụng cả với ảnh xám). Kết quả của phép biến đổi là một hình ảnh download by : [e-mail] 18 Graylevel trông tương tự như hình ảnh đầu vào, ngoại trừ cường độ mức xám của các điểm gần các vùng biên được thay đổi. Một số ví dụ trong bảng 2.1 Một số ví dụ biến đổi khoảng cách Ảnh sau biến đổi Ảnh nguyên bản khoảng cách Công thức biến đổi khoảng cách Công thức biến đổi khoảng cách: Một tập các điểm P, số đo khoảng cách DT(P)[x] = min y ∈ P dist(x, y). Đối với mỗi vị trí x khoảng cách đến điểm y gần nhất trong P download by : [e-mail] 19 - Có thể nghĩ về “hình nón” gốc ở mỗi y ∈ P – và cực tiểu (min) trên tất cả các hình nón (đường bao thấp hơn Ba loại biến đổi khoảng cách dựa trên ba kiểu khoảng cách được sử dụng  Khoảng cách Euclidean (L2 norm) sqrt(( x1-y1)2 + (x2-y2)2 + … )  Khoảng cách Mahattan (city block distance - L1 norm) |x1- y1| + |x2-y2| + …ƒ  Khoảng cách Chebyshev (L norm) max(|x1 - y1|, |x2 - y2|, …) Hình 2.11 Tác dụng của ba kiểu biến đổi khoảng cách a) ảnh gốc b) dùng khoảng cách Ơ clit c) Dùng khoảng cách Mahatan d) dùng khoảng cách Chessboard 2.2 Phân vùng Watershed (WS-Watershed Segmentation) Khái niệm) Hình 2.12 Nguyên lý biến đổi lưu vực sông (watershed transform) nơi các giá trị cường độ xác định đồi và lưu vực.

Đối với mục đích phân vùng, các lưu vực có thể bị ngập để kết hợp các vùng tương ứng. Thuật toán Watershed [5], [6] cho phép người dùng đánh dấu những vùng hình ảnh chứa đối tượng, nền và cả những vùng không chắc chắn. Sau khi thuật toán kết thúc, những vùng không chắc chắn sẽ được gắn nhãn tiền cảnh hoặc nền, các đường ranh giới giữa các vùng cũng sẽ được phát hiện. download by : [e-mail] 20 Đầu tiên, thuật toán Watershed xem bức ảnh chứa “Gradient of the Intensity” như là một tấm bản đồ địa hình, trong đó các vùng sáng là các ngọn núi, còn các vùng tối là các thung lũng, hình 2.13 Địa hình khi chưa bị ngập nước Giả sử có một trận mưa cực lớn xuất hiện, ban đầu nước sẽ nhấn chìm toàn bộ các thung lũng, sau đó mực nước tăng dần để nhấn chìm từng ngọn núi, lúc này nước ở trong các thung lũng sẽ gặp nhau, vị trí mà chúng gặp nhau chính là biến đổi watershed (hình 2.15) và đó cũng chính là ranh giới giữa các vùng mà chúng ta cần phân tách.

Nước lũ ở từng thung lũng được tô màu khác nhau để dễ hình dung.14 Bắt đầu cho ngập các thung lũng Hình 2.15 Vị trí của Watershed Hình 2.16 Xây dựng bức tường ngăn cách tại vị trí Watershed download by : [e-mail] 21 Nếu những vùng bị nhấn chìm cùng nhau đã được đánh dấu cùng là tiền cảnh hoặc cùng là nền từ trước thì chúng sẽ được kết nối với nhau. Ngược lại thì tại vị trí watershed, chúng ta cần xây dựng một bức tường để ngăn cản nước từ hai vùng khác biệt (tiền cảnh và nền) hòa trộn với nhau, hình 2.