Đồ án HCMUTE: Ứng dụng camera 3D để phân loại sản phẩm theo hình dạng và kích thước

Đồ án nghiên cứu hcmute ứng dụng camera 3d trong việc phân loại sản phẩm theo hình dạng và kích thước, áp dụng công nghệ tiên tiến, tối ưu giải pháp kỹ thuật cho bài toán .

Người đăng

Ẩn danh

Thể loại

đồ án tốt nghiệp

2019

85
3
0

Phí lưu trữ

30 Point

Mục lục chi tiết

LỜI CAM ĐOAN

LỜI CẢM ƠN

1. CHƯƠNG 1: TỔNG QUAN

1.1. ĐẶT VẤN ĐỀ

1.2. MỤC TIÊU

1.3. NỘI DUNG NGHIÊN CỨU

1.4. GIỚI HẠN

1.5. BỐ CỤC

2. CHƯƠNG 2: CƠ SỞ LÝ THUYẾT

2.1. TỔNG QUAN VỀ XỬ LÝ ẢNH VÀ CÁC THƯ VIỆN LIÊN QUAN

2.1.1. Giới thiệu xử lý ảnh

2.1.2. Những vấn đề trong xử lý ảnh

2.2. PHƯƠNG PHÁP PHÂN LOẠI SẢN PHẨM THEO HÌNH DẠNG

2.2.1. Các hình dạng cơ bản của sản phẩm

2.2.2. Phương pháp nhận dạng sản phẩm theo hình dạng

2.2.3. Các bước thực hiện phân loại sản phẩm theo hình dạng

2.3. ÁP DỤNG KỸ THUẬT HIỆU CHỈNH STEREO CAMERA ĐỂ TÍNH KÍCH THƯỚC SẢN PHẨM

2.3.1. GIỚI THIỆU KỸ THUẬT HIỆU CHỈNH STEREO CAMERA

2.3.2. PHƯƠNG PHÁP HIỆU CHỈNH CHUẨN

2.3.3. NGÔN NGỮ PYTHON

2.3.4. GIỚI THIỆU PHẦN CỨNG

3. CHƯƠNG 3: TÍNH TOÁN VÀ THIẾT KẾ

3.1. THIẾT KẾ HỆ THỐNG PHẦN CỨNG

3.1.1. Khối thu tín hiệu

3.1.2. Khối hiển thị

3.1.3. Khối giao tiếp và điều khiển

3.2. CÁC TÍNH TOÁN TRONG NHẬN DẠNG

3.2.1. Giới thiệu đặc điểm của hình dạng

3.2.2. Phương pháp tính toán các đặc điểm

4. CHƯƠNG 4: THI CÔNG HỆ THỐNG

4.1. THI CÔNG HỆ THỐNG

4.1.1. Các linh kiện và model cần thiết cho mô hình

4.1.2. Kết nối, lắp ráp và kiểm tra mô hình

4.2. THI CÔNG MÔ HÌNH

4.3. LẬP TRÌNH HỆ THỐNG

4.3.1. Lập trình với ngôn ngữ Python cùng thư viện OpenCV

4.3.2. Xử lý tín hiệu hay hình ảnh

5. CHƯƠNG 5: KẾT QUẢ NHẬN XÉT ĐÁNH GIÁ

5.1. XÁC ĐỊNH MÀU SẮC CỦA SẢN PHẨM

5.2. NHẬN DẠNG VÀ TÍNH KÍCH THƯỚC SẢN PHẨM

5.3. PHÂN LOẠI SẢN PHẨM

6. CHƯƠNG 6: KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN

6.1. Kết quả đạt được

6.2. Những mặt hạn chế

6.3. HƯỚNG PHÁT TRIỂN

Tóm tắt

I. Phân loại sản phẩm tự động Tổng quan và ứng dụng camera 3D

Bài viết tập trung vào phân loại sản phẩm tự động, một lĩnh vực ngày càng quan trọng trong công nghiệp hiện đại. Công nghệ camera 3D đóng vai trò then chốt trong việc này, cho phép nhận diện hình dạngkích thước sản phẩm một cách chính xác và hiệu quả. Khác với các phương pháp truyền thống, camera 3D cung cấp thông tin chiều sâu, giúp phân biệt sản phẩm chính xác hơn, đặc biệt trong trường hợp sản phẩm có hình dạng phức tạp hoặc chồng chéo nhau. Ứng dụng này mang lại nhiều lợi ích, bao gồm cải tiến quy trình sản xuất, tăng hiệu quả sản xuất, và giảm chi phí lao động. Quản lý kho hàng tự động cũng là một lĩnh vực được hưởng lợi từ công nghệ này. Việc phát hiện vật thể 3D nhanh chóng và chính xác giúp tối ưu hóa quá trình lưu trữ và vận chuyển.

1.1 Nhận dạng hình dạng 3D và đo lường kích thước

Bước đầu tiên trong phân loại sản phẩm theo hình dạngnhận dạng hình dạng 3D. Camera 3D chụp ảnh, sau đó sử dụng xử lý ảnh 3D để trích xuất thông tin hình học. Phân tích hình ảnh giúp xác định các đặc điểm hình dạng như cạnh, góc, và diện tích bề mặt. Thuật toán phân loại hình ảnh, thường dựa trên mạng neuron tích chập (CNN) hoặc các thuật toán phân loại hình ảnh khác, phân loại hình dạng. Xây dựng mô hình 3D từ ảnh là một bước quan trọng. Đo lường kích thước 3D được thực hiện đồng thời, sử dụng các thuật toán hình học để tính toán chiều dài, chiều rộng, và chiều cao. So sánh kích thước sản phẩm với các thông số tiêu chuẩn giúp loại bỏ sản phẩm lỗi hoặc không đạt yêu cầu. Việc kết hợp nhận dạng hình dạng 3Dđo lường kích thước 3D tạo nên hệ thống phân loại sản phẩm toàn diện và chính xác.

1.2 Công nghệ camera 3D và xử lý ảnh

Có nhiều loại camera 3D, mỗi loại có ưu nhược điểm riêng. Camera 3D cấu trúc ánh sáng tạo ra nhiều hình ảnh từ các góc độ khác nhau để tính toán chiều sâu. Camera 3D thời gian bay (ToF) đo khoảng cách bằng cách đo thời gian ánh sáng đi và về. Camera 3D lập thể sử dụng hai camera để tạo ra hình ảnh lập thể. Chọn loại camera 3D phụ thuộc vào yêu cầu độ chính xác, tốc độ, và chi phí. Xử lý ảnh 3D bao gồm các bước tiền xử lý như làm sạch nhiễu, phân đoạn ảnh, và trích xuất đặc trưng. Các thư viện xử lý ảnh như OpenCV, TensorFlow, và PyTorch cung cấp các công cụ mạnh mẽ cho việc này. Học máydeep learning đóng vai trò quan trọng trong việc xây dựng các mô hình phân loại sản phẩm. Computer Vision API cũng cung cấp các dịch vụ xử lý ảnh tiên tiến.

1.3 Ứng dụng thực tiễn và triển vọng phát triển

Hệ thống phân loại sản phẩm dựa trên camera 3D có nhiều ứng dụng thực tiễn trong các ngành công nghiệp khác nhau. Trong ứng dụng công nghiệp 3D, hệ thống này tự động kiểm tra chất lượng sản phẩm, phân loại và đóng gói. Ứng dụng camera 3D trong sản xuất tối ưu hóa dây chuyền sản xuất, giảm thiểu lỗi, và tăng năng suất. Ứng dụng camera 3D trong logistics cải thiện hiệu quả quản lý kho hàng, phân phối và vận chuyển. Kiểm soát chất lượng tự động dựa trên camera 3D giúp đảm bảo chất lượng sản phẩm đồng đều, loại bỏ sản phẩm lỗi. Sự phát triển của deep learningtầm nhìn máy tính hứa hẹn sẽ mở rộng phạm vi ứng dụng của camera 3D trong phân loại sản phẩm trong tương lai, giúp hệ thống ngày càng chính xác và hiệu quả hơn. Thực tiễn đào tạo trong lĩnh vực kiểm soát chất lượng cũng trở nên dễ dàng và hiệu quả hơn nhờ công nghệ này.

01/02/2025
Đồ án hcmute ứng dụng camera 3d trong việc phân loại sản phẩm theo hình dạng và kích thước

Trích đoạn nội dung tài liệu

đặt vấn đề dẫn nhập lý do chọn đề tài, mục tiêu, nôi dung nghiên cứu, các giới hạn thông số và bố cục đồ án.  Chƣơng 2: Cơ sở lý thuyết Chƣơng này sẽ trình bày cơ bản về xử lý ảnh, phƣơng pháp cơ bản để nhận dạng và phân loại ảnh, tính kích thƣớc sản phẩm, giới thiệu cơ bản về camera 3D và thƣ viện liên quan.  Chƣơng 3: Thiết kế và tính toán Chƣơng này sẽ đi tìm hiểu kỹ các thuật toán nhận dạng sản phẩm theo hình dạng, thuật toán tính kích thƣớc và thiết kế mô hình sản phẩm.  Chƣơng 4: Thi công hệ thống BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP – Y SINH 2 do an CHƢƠNG 1: TỔNG QUAN Nội dụng chƣơng này là quá trình thi công cùng với việc chạy chƣơng trình về phân loại sản phẩm cũng nhƣ tính kích thƣớc sản phẩm.

 Chƣơng 4: Kết quả nhận xét và đánh giá Nội dụng chƣơng này là tổng hợp các kết quả đạt đƣợc sau khi thi công mô hình và kết quả đạt đƣợc khi phân loại sản phẩm.  Chƣơng 5: Kết luận và hƣớng phát triển Kết quả nhận đƣợc khi hoàn thiện đề tài, đƣa ra các hƣớng phát triển hoàn thiện. BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP – Y SINH 3 do an CHƢƠNG 2: CƠ SỞ LÝ THUYẾT CHƢƠNG 2: CƠ SỞ LÝ THUYẾT 2.1 TỔNG QUAN VỀ XỬ LÝ ẢNH VÀ CÁC THƢ VIỆN LIÊN QUAN 2.1 Giới thiệu xử lý ảnh Xử lý ảnh không còn là đề tài quá mới, nó đƣợc áp dụng từ trong các hoạt động thƣờng ngày cho đến việc nâng cao sản xuất. Nó giúp ích cho cá nhân hay gia đình, mà còn ứng dụng cả trong Chính trị, Y tế, Giáo dục… Xử lý tín hiệu là một môn học trong kỹ thuật điện tử, viễn thông và trong toán học.

Liên quan đến nghiên cứu và xử lý tín hiệu kỹ thuật số và analog, giải quyết các vấn đề về lƣu trữ, các thành phần bộ lọc, các hoạt động khác trên tín hiệu. Các tín hiệu này bao gồm truyền dẫn tín hiệu, âm thanh hoặc giọng nói, hình ảnh, và các tín hiệu khác… Trong số các phƣơng pháp xử lý tín hiệu kể trên, lĩnh vực giải quyết với các loại tín hiệu mà đầu vào là một hình ảnh và đầu ra cũng là một hình ảnh, sản phẩm đầu ra đƣợc thực hiện trong một quá trình xử lý. Đó chính là quá trình xử lý ảnh. Nó có thể đƣợc chia thành xử lý hình ảnh tƣơng tự và xử lý hình ảnh kỹ thuật số.

Để có 1 bức ảnh số ta có quá trình thực hiện nhƣ sau: Chụp ảnh từ một máy ảnh là một quá trình vật lý. Ánh sáng mặt trời sử dụng nhƣ một nguồn năng lƣợng. Một dãy cảm biến đƣợc sử dụng cho việc thu lại của hình ảnh. Vì vậy, khi ánh sáng mặt trời rơi trên ngƣời đối tƣợng, sau đó số lƣợng ánh sáng phản xạ của đối tƣợng đƣợc cảm nhận từ các cảm biến, và một tín hiệu điện áp liên tục đƣợc tạo ra bởi số lƣợng dữ liệu cảm biến đó.

Để tạo ra một hình ảnh kỹ thuật số, chúng ta cần phải chuyển đổi dữ liệu này thành một dạng kỹ thuật số. Điều này liên quan đến việc lấy mẫu và lƣợng tử hóa. Kết quả của việc lấy mẫu và lƣợng tử hóa sau một quá trình xử lý là một hình ảnh kỹ thuật số.2 Những vấn đề trong xử lý ảnh Điểm ảnh BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP – Y SINH 4 do an CHƢƠNG 2: CƠ SỞ LÝ THUYẾT Là đơn vị cơ bản nhất để tạo nên một bức ảnh kỹ thuật số, địa chỉ của điểm ảnh đƣợc xem nhƣ là một tọa độ (x,y) nào đó. Một bức ảnh kỹ thuật số - có thể đƣợc tạo ra bằng cách chụp hoặc bằng một phƣơng pháp đồ họa nào khác - đƣợc tạo nên từ hàng ngàn hoặc hàng triệu pixel riêng lẻ.

Bức ảnh càng chứa nhiều pixel thì càng chi tiết. Một triệu pixel thì tƣơng đƣơng với 1 megapixel. Ảnh số Ảnh số là tập hợp hữu hạn các điểm ảnh với mức xám phù hợp dùng để mô tả ảnh gần với ảnh thật. Số điểm ảnh xác định độ phân giải của ảnh.

Ảnh có độ phân giải càng cao thì càng thể hiện rõ nét các đặt điểm của tấm hình càng làm cho tấm ảnh trở nên thực và sắc nét hơn. Một hình ảnh là một tín hiệu hai chiều. Nó đƣợc xác định bởi hàm toán học f(x, y) trong đó x và y là hai tọa độ theo chiều ngang và chiều dọc. Các giá trị của f(x, y) tại bất kỳ điểm nào là cung cấp các giá trị điểm ảnh (pixel ) tại điểm đó của một hình ảnh.

Phân loại ảnh Mức xám của điểm ảnh là cƣờng độ sáng, gán bằng một giá trị tại điểm đó. Các mức ảnh xám thông thƣờng: 16, 32, 64, 128, 256. Mức đƣợc sử dụng thông dụng nhất là 256, tức là dùng 1byte để biểu diễn mức xám. Ảnh nhị phân: Là ảnh có 2 mức trắng và đen.

Chỉ có 2 giá trị 0 và 1 và chỉ sử dụng 1 bit dữ liệu trên 1 điểm ảnh. Ảnh đen trắng: Là ảnh có hai màu đen, trắng (không chứa màu khác) với mức xám ở các điểm ảnh có thể khác nhau. Ảnh màu: Là ảnh kết hợp của 3 màu cơ bản lại với nhau để tạo ra một thế giới màu sinh động. Ngƣời ta thƣờng dùng 3byte để mô tả mức màu, tức là có khoảng 16,7 triệu mức màu.

Quan hệ giữa các điểm ảnh Lân cận điểm ảnh: đƣợc nói một cách hài hƣớc nhƣ là hàng xóm của các điểm ảnh. Có 2 loại lân cận cơ bản là lân cận 4 và lân cận 8. BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP – Y SINH 5 do an CHƢƠNG 2: CƠ SỞ LÝ THUYẾT Điểm Điểm Điểm xét xét xét Lân cận 4 hàng cột Lân cận 4 chéo Lân cận 8 Hình 2.1: Lân cận 4 và lân cận 8 Bốn điểm ảnh lân cận 4 theo cột và hàng với tọa độ lần lƣợt là (x+1, y), (x-1, y), (x,y+1), (x, y-1) ký hiệu là tập N4(p). Bốn điểm ảnh lân cận 4 theo đƣờng chéo có tọa độ lần lƣợt là (x+1, y+1), (x+1, y+1), (x-1, y+1), (x-1, y-1) ký hiệu là tập ND(p).

Tập 8 điểm ảnh lân cận 8 là hợp của 2 tập trên: N8(p) = N4(p) + ND(p). Liên kết ảnh [3][4]: Các mối liên kết của ảnh đƣợc xem nhƣ là mối liên kiết của 2 điểm ảnh gần nhau, có 3 loại liên kết: liên kết 4, liên kết 8, lên kết m(liên kết hỗn hợp). Trong ảnh đa mức xám, ta có thể đặt V chứa nhiều giá trị nhƣ V={tập con}. Liên kết 4: hai điểm ảnh p và q có giá trị thuộc về tập V đƣợc gọi là liên kết 4 của nhau nếu q thuộc về tập N4(p).

Liên kết 8: hai điểm ảnh p và q có giá trị thuộc về tập V đƣợc gọi là liên kết 8 của nhau nếu q thuộc về tập N8(p). Liên kết m: hai điểm ảnh p và q có giá trị thuộc về tập V đƣợc gọi là Liên kết M của nhau nếu thõa 1 trong 2 điều kiện sau: q thuộc về tập N4(p). q thuộc về tập ND(p) và giao của hai tập N4(p), N4(q) không chứa điểm ảnh nào có giá trị thuộc V. Lọc nhiễu Ảnh thu nhận đƣợc thƣờng sẽ bị nhiễu nên cần phải loại bỏ nhiễu.

Các toán tử không gian dùng trong kỹ thuật tăng cƣờng ảnh đƣợc phân nhóm theo công dụng: làm trơn nhiễu, nổi biên. Để làm trơn nhiễu hay tách nhiễu [3-4], ngƣời ta sử dụng các bộ lọc tuyến tính (lọc BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP – Y SINH 6 do an CHƢƠNG 2: CƠ SỞ LÝ THUYẾT trung bình, thông thấp) hoặc lọc phi tuyến (trung vị, giả trung vị, lọc đồng hình). Từ bản chất của nhiễu (thƣờng tƣơng ứng với tần số cao) và từ cơ sở lý thuyết lọc là: bộ lọc chỉ cho tín hiệu có tần số nào đó thông qua, để lọc nhiễu ngƣời ta thƣờng dùng lọc thông thấp (theo quan điểm tần số không gian) hay lấy tổ hợp tuyến tính để san bằng (lọc trung bình). Để làm nổi cạnh (ứng với tần số cao), ngƣời ta dùng các bộ lọc thông cao, lọc Laplace.

Phƣơng pháp lọc nhiễu. Chia làm 2 loại: lọc tuyến tính, lọc phi tuyến. Làm trơn nhiễu bằng lọc tuyến tính Khi chụp ảnh có thể xuất hiện nhiều loại nhiễu vào quá trình xử lý ảnh, nên ta cần phải lọc nhiễu [4]. Gồm các phƣơng pháp cơ bản lọc trung bình, lọc thông thấp… Lọc trung bình: Với lọc trung bình, mỗi điểm ảnh đƣợc thay thế bằng trung bình trọng số của các điểm lân cận.

Lọc trung bình có trọng số chính là thực hiện chập ảnh đầu vào với nhân chập H. Nhân chập H có dạng: 1 1 1 H  1 1 1 1 (2.1) 9 1 1 1 Lọc thông thấp: Lọc thông thấp thƣờng đƣợc sử dụng để làm trơn nhiễu. Về nguyên lý của bộ lọc thông thấp giống nhƣ đã trình bày trên.2) 8 0 1 0 Làm trơn nhiễu bằng lọc phi tuyến Các bộ lọc phi tuyến cũng hay đƣợc dùng trong kỹ thuật tăng cƣờng ảnh. Một số phƣơng pháp lọc cơ bản bộ lọc trung vị, lọc ngoài… Với lọc trung vị, điểm ảnh đầu vào sẽ đƣợc thay thế bởi trung vị các điểm ảnh còn lọc giả trung vị sẽ dùng trung bình cộng của hai giá trị “trung vị” (trung bình cộng của max và min).

Lọc trung vị: Kỹ thuật này đòi hỏi giá trị các điểm ảnh trong cửa sổ phải xếp theo thứ tự tăng hay giảm dần so với giá trị trung vị. Kích thƣớc cửa số thƣờng đƣợc chọn sao cho số điểm ảnh trong cửa sổ là lẻ. BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP – Y SINH 7 do an CHƢƠNG 2: CƠ SỞ LÝ THUYẾT Phƣơng pháp phát hiện biên Biên là một trong những vấn đền ta cần quan tâm trong xử lý ảnh. Vì ở giai đoạn phân đoạn ảnh chủ yếu dựa vào biên [4].2: Hình tách biên Điểm biên: Một điểm ảnh đƣợc coi là điểm biên nếu có sự thay đổi nhanh hoặc đột ngột về mức xám.

Ví dụ trong ảnh nhị phân, điểm đen gọi là điểm biên nếu lân cận nó có ít nhất một điểm trắng. Đƣờng biên: tập hợp các điểm biên liên tiếp tạo thành một đƣờng biên. Ý nghĩa của đƣờng biên trong xử lý: ý nghĩa đầu tiên của đƣờng biên là một loại đặc trƣng cục bộ tiêu biểu trong phân tích, nhận dạng ảnh. Thứ hai, ngƣời ta sử dụng biên làm phân cách các vùng xám cách biệt.

Ngƣợc lại, ngƣời ta cũng sử dụng các vùng ảnh để tìm đƣờng phân cách.

Nội dung được bảo vệ bản quyền — Tải xuống đầy đủ

Bài viết "Ứng dụng camera 3D trong phân loại sản phẩm theo hình dạng và kích thước" khám phá cách công nghệ camera 3D có thể cải thiện quy trình phân loại sản phẩm trong các ngành công nghiệp khác nhau. Tác giả nhấn mạnh những lợi ích của việc sử dụng camera 3D, bao gồm khả năng nhận diện hình dạng và kích thước một cách chính xác, từ đó giúp tăng hiệu quả sản xuất và giảm thiểu sai sót. Độc giả sẽ tìm thấy thông tin hữu ích về cách công nghệ này có thể được áp dụng trong thực tiễn, cũng như những xu hướng mới trong lĩnh vực tự động hóa.

Nếu bạn muốn tìm hiểu sâu hơn về các ứng dụng công nghệ trong phân loại sản phẩm, hãy tham khảo bài viết Luận văn thạc sĩ kỹ thuật cơ điện tử xây dựng và điều khiển mô hình robot song song delta phân loại sản phẩm dựa trên xử lý ảnh, nơi bạn sẽ thấy cách mà robot có thể hỗ trợ trong việc phân loại sản phẩm. Ngoài ra, bài viết Hcmute thiết kế và chế tạo robot song song đa dạng delta sử dụng trong việc phân loại sản phẩm cũng cung cấp cái nhìn sâu sắc về thiết kế và ứng dụng của robot trong quy trình này. Cuối cùng, nếu bạn quan tâm đến việc tích hợp công nghệ IoT trong sản xuất, hãy xem bài viết Đồ án hcmute ứng dụng công nghệ iot để thiết kế hệ thống giám sát và điều khiển thiết bị trong công nghiệp để khám phá thêm về các giải pháp giám sát và điều khiển hiện đại.