Bối cảnh và vấn đề nghiên cứu

Lý do chọn đề tài và bối cảnh thực tiễn

Việt Nam là quốc gia có nền nông nghiệp chiếm tỉ trọng lớn trong cơ cấu kinh tế. Trái cây nhiệt đới của Việt Nam đã được xuất khẩu tới hơn 170 quốc gia và vùng lãnh thổ. Theo số liệu thống kê được tác giả trích dẫn từ Tổ chức Lương thực và Nông nghiệp Liên Hiệp Quốc (FAO) và các báo cáo ngành nông nghiệp năm 2018, kim ngạch xuất nhập khẩu ngành rau quả của Việt Nam đạt hơn 3,8 tỷ USD, trong đó kim ngạch xuất khẩu trái cây chiếm 3,13 tỷ USD (tương đương 82,05% tổng kim ngạch xuất khẩu rau quả). Diện tích trồng cây ăn quả đạt xấp xỉ 1 triệu hecta với tổng sản lượng gần 8 triệu tấn năm 2018.

Tại các cơ sở chế biến và đóng gói xuất khẩu, hoạt động phân loại sản phẩm trên các dây chuyền sản xuất phần lớn vẫn phụ thuộc vào phương thức thủ công bằng sức người. Phương thức này bộc lộ các nhược điểm như dễ phát sinh sai sót do mệt mỏi, chi phí nhân công cao, năng suất và độ đồng đều không ổn định. Việc nghiên cứu ứng dụng công nghệ tự động hóa dựa trên xử lý ảnh (Computer Vision) và học máy (Machine Learning) vào dây chuyền phân loại nông sản là giải pháp cần thiết nhằm nâng cao năng suất và chất lượng sản phẩm.

Mục tiêu và nhiệm vụ nghiên cứu

Mục tiêu cốt lõi của đề tài là nghiên cứu nguyên lý hoạt động của cảm biến, camera; làm quen với ngôn ngữ lập trình Python và thao tác trên kit Raspberry Pi 3 Model B; sử dụng các thư viện hỗ trợ học máy và xử lý ảnh như TensorFlow, Keras và OpenCV; từ đó thiết kế, thi công một mô hình phần cứng kết hợp phần mềm có khả năng tự động nhận dạng và phân loại 3 loại trái cây (táo, chuối, thanh long), đồng thời xây dựng giao diện giám sát, điều khiển và lưu trữ dữ liệu lên đám mây để theo dõi qua Web.

Văn bản xác định 10 nội dung nghiên cứu cụ thể cần hoàn thành bao gồm:

  1. Cài đặt hệ điều hành cho Raspberry Pi, thiết lập giao tiếp với máy tính để truy cập hệ điều hành.
  2. Kết nối các thiết bị ngoại vi (relay, buzzer, quạt, cảm biến, servo, module PWM) qua các chân GPIO của Raspberry Pi.
  3. Kết nối và thiết lập giao tiếp giữa module camera với Raspberry Pi qua cổng CSI.
  4. Viết chương trình điều khiển toàn bộ hệ thống và xây dựng giao diện người dùng.
  5. Viết chương trình xử lý hình ảnh và nhận dạng các loại trái cây cụ thể dựa trên mạng nơ-ron tích chập.
  6. Nghiên cứu và thiết kế buồng chụp ảnh đảm bảo điều kiện ánh sáng ổn định.
  7. Kết hợp và thiết kế hoàn chỉnh toàn bộ mô hình cơ khí và mạch điện của hệ thống.
  8. Vận hành chạy thử nghiệm và hiệu chỉnh các thông số hệ thống.
  9. Viết báo cáo thực hiện đồ án tốt nghiệp.
  10. Bảo vệ đồ án tốt nghiệp trước hội đồng chuyên môn.

Đối tượng và phạm vi nghiên cứu

  • Đối tượng nghiên cứu: 3 loại trái cây gồm táo, chuối và thanh long; cấu trúc mô hình mạng nơ-ron tích chập (CNN); bộ xử lý nhúng Raspberry Pi 3 Model B; hệ thống cơ cấu chấp hành băng tải và cánh gạt servo.
  • Phạm vi không gian và công nghệ: Mô hình phần cứng mini được thiết kế và chế tạo tại Khoa Điện – Điện tử, Trường Đại học Sư phạm Kỹ thuật TP. Hồ Chí Minh; sử dụng camera 5 Megapixel giao tiếp CSI, cảm biến quang hồng ngoại E18-D80NK, động cơ servo MG946R và băng tải dẫn động động cơ DC.
  • Phạm vi thời gian: Đồ án được giao nhiệm vụ từ ngày 10/03/2020, hoàn thành ngày 14/07/2020 và nộp báo cáo vào tháng 08/2020.
  • Giới hạn hệ thống: Mô hình thực hiện phân loại tuần tự từng sản phẩm (tốc độ xử lý chậm, đơn luồng sản phẩm); cơ cấu phân loại giới hạn ở 3 nhánh phân loại chính và một nhánh cuối băng tải dành cho sản phẩm khác loại.

Cơ sở lý thuyết và phương pháp

Khung lý thuyết và khái niệm

Nghiên cứu xây dựng trên nền tảng lý thuyết xử lý ảnh số và học sâu (Deep Learning):

  • Quy trình xử lý ảnh số: Gồm các bước thu nhận ảnh (Image Acquisition), tiền xử lý (Preprocessing - lọc nhiễu, cân bằng tương phản), phân đoạn ảnh (Segmentation), biểu diễn và trích chọn đặc trưng (Feature Selection), nhận dạng và nội suy (Recognition & Interpretation), cơ sở tri thức và mô tả đặc trưng (biên ảnh, vùng ảnh).
  • Biểu diễn không gian ảnh: Xử lý ảnh màu trên không gian 3 kênh RGB (Red, Green, Blue) với độ sâu 8-bit mỗi kênh (256 mức độ sáng từ 0 đến 255), ảnh xám đơn kênh và khái niệm liên kết lân cận điểm ảnh $N_4(p)$, $N_D(p)$, $N_8(p)$ cùng quan hệ liền kề hỗn hợp (m-adjacency).
  • Mạng nơ-ron tích chập (Convolutional Neural Network - CNN): Khắc phục hiện tượng bùng nổ tham số tính toán của mạng kết nối đầy đủ truyền thống (Fully Connected Network - FCN) khi xử lý dữ liệu ma trận ảnh đầu vào có kích thước lớn.
    • Phép toán tích chập 2 chiều giữa ma trận ảnh $f(x, y)$ và bộ lọc hạt nhân (kernel/filter) $k(x, y)$ để tạo ra các bản đồ đặc trưng (feature maps).
    • Hàm kích hoạt phi tuyến tính: ReLU (Rectified Linear Unit) áp dụng tại các tầng ẩn nhằm khử các giá trị âm; hàm Softmax áp dụng tại tầng đầu ra nhằm chuyển đổi tín hiệu thành phân phối xác suất dự đoán cho 3 lớp đối tượng.
    • Cơ chế trượt Stride, đệm viền Padding và tầng lấy mẫu cực đại (Max Pooling kích thước $2 \times 2$, bước trượt $Stride = 2$) nhằm giảm số chiều tham số, tăng tốc độ tính toán và hạn chế hiện tượng quá khớp (overfitting).

Phương pháp nghiên cứu và huấn luyện

  • Phương pháp thực nghiệm và thiết kế kỹ thuật: Tính toán phối ghép phần cứng điện tử - cơ khí kết hợp lập trình điều khiển phần mềm nhúng.
  • Huấn luyện mô hình: Sử dụng môi trường điện toán đám mây Google Colaboratory được trang bị bộ xử lý đồ họa GPU Tesla K80 / TPUv2; xây dựng mạng CNN bằng ngôn ngữ Python với framework TensorFlow và thư viện Keras.
  • Triển khai nhúng: Chuyển giao mô hình đã huấn luyện sang kit Raspberry Pi 3 Model B, phối hợp cùng thư viện OpenCV để xử lý luồng ảnh thời gian thực.

Nguồn dữ liệu huấn luyện

Bộ dữ liệu ảnh được nhóm tác giả tự thu thập và tiền xử lý thực tế, tổng cộng bao gồm 3.722 ảnh màu. Dữ liệu được thu thập dựa trên các nguyên tắc: đảm bảo số lượng tối thiểu, cân bằng số lượng giữa các lớp và đa dạng hóa điều kiện thực tế (chụp trên nhiều phông nền khác nhau, nhiều điều kiện ánh sáng, góc nghiêng của camera, kích thước và các chủng loại trái cây khác nhau).

Tên loại trái cây Số lượng ảnh huấn luyện (ảnh) Tỉ lệ trong tập dữ liệu (%)
Táo 1.172 31,49%
Chuối 1.175 31,57%
Thanh long 1.375 36,94%
Tổng cộng 3.722 100,00%

Thiết kế và triển khai hệ thống

Kiến trúc phần cứng và thiết bị ngoại vi

Hệ thống được tổ chức theo cấu trúc phân khối chức năng với bộ xử lý trung tâm là Raspberry Pi 3 Model B, liên kết cùng các thiết bị ngoại vi và cơ cấu chấp hành:

Khối chức năng Linh kiện / Thiết bị chính Thông số kỹ thuật & Chức năng
Xử lý trung tâm Kit Raspberry Pi 3 Model B Vi xử lý Broadcom BCM2837B0 quad-core A53 64-bit 1,4 GHz, 1GB LPDDR2 RAM, 40 chân GPIO, cổng MIPI CSI. Đảm nhận chạy mô hình CNN, điều khiển I/O và đồng bộ cơ sở dữ liệu.
Thu nhận hình ảnh Raspberry Pi Camera Module v1.2 Cảm biến 5 Megapixel (độ phân giải $2592 \times 1944$), ống kính $f = 3,57\text{ mm}$, $f/2.8$, góc nhìn $65^\circ$, kết nối trực tiếp cổng CSI.
Chiếu sáng & Buồng ảnh Buồng chụp kín + Đèn LED 3W Buồng chụp vật lý khép kín giúp triệt tiêu ánh sáng tán xạ từ môi trường ngoài; bố trí đèn LED 3W góc chiếu tối ưu.
Cảm biến phát hiện Cảm biến hồng ngoại E18-D80NK Nguồn cấp 5VDC, dải phát hiện $3 - 80\text{ cm}$ (chỉnh biến trở), ngõ ra NPN cực thu hở (Open Collector) nối với GPIO.
Dẫn động băng tải Băng tải mini + Động cơ DC giảm tốc Kích thước khung $100 \times 10 \times 10\text{ cm}$; động cơ DC giảm tốc tỉ lệ 1:171, tốc độ có tải 21,5 vòng/phút (12V) hoặc 43 vòng/phút (24V).
Điều khiển động cơ Module Relay 5V + Mạch PWM (IC 555) Relay 5V làm nhiệm vụ đóng/ngắt nguồn động cơ; module điều chế độ rộng xung PWM dùng IC 555 điều chỉnh tốc độ băng tải.
Cơ cấu gạt phân loại 3 x Động cơ Servo MG946R Analog RC Servo, bánh răng kim loại, góc quay điều khiển theo xung PWM cấp trực tiếp từ Raspberry Pi qua chân GPIO.
Nguồn cấp hệ thống 3 bộ nguồn độc lập Nguồn 5V/2,5A microUSB cho Pi 3; nguồn tổ ong 24V/5A cho động cơ băng tải; adapter 5V/3A cấp riêng cho 3 động cơ servo.

Cấu trúc mô hình mạng nơ-ron tích chập (CNN)

Dữ liệu ảnh đầu vào được chuẩn hóa về định dạng ma trận tensor kích thước $100 \times 100 \times 3$. Cấu trúc mạng CNN của đồ án gồm các tầng tuần tự:

  1. Tầng đầu vào: Nhận ma trận tensor $100 \times 100 \times 3$.
  2. Khối tích chập 1: Tầng Convolution (kích thước kernel $5 \times 5$, hàm kích hoạt ReLU) kết hợp Max Pooling $2 \times 2$.
  3. Khối tích chập 2: Tầng Convolution (kích thước kernel $3 \times 3$, hàm kích hoạt ReLU) kết hợp Max Pooling $2 \times 2$.
  4. Khối tích chập 3: Tầng Convolution (kích thước kernel $3 \times 3$, hàm kích hoạt ReLU) kết hợp Max Pooling $2 \times 2$.
  5. Khối tích chập 4: Tầng Convolution (kích thước kernel $3 \times 3$, hàm kích hoạt ReLU) kết hợp Max Pooling $2 \times 2$.
  6. Khối tích chập 5: Tầng Convolution (kích thước kernel $1 \times 1$, hàm kích hoạt ReLU) kết hợp Max Pooling $2 \times 2$.
  7. Tầng phẳng hóa (Flattening): Chuyển đổi tensor đa chiều thành vector 1 chiều.
  8. Tầng đầu ra (Output Layer): Gồm 3 nơ-ron tương ứng với 3 lớp (Táo, Chuối, Thanh long), sử dụng hàm kích hoạt Softmax để xuất xác suất phân loại.

Lưu trình điều khiển và phần mềm

  1. Khởi động hệ thống: Bật băng tải chạy, khởi tạo kết nối camera và load mô hình mạng CNN đã được huấn luyện sẵn trên bộ nhớ Raspberry Pi.
  2. Phát hiện vật thể: Trái cây di chuyển trên băng tải vào buồng chụp; cảm biến hồng ngoại E18-D80NK tại buồng ảnh kích hoạt tín hiệu mức thấp gửi về chân GPIO.
  3. Chụp và tiền xử lý ảnh: Raspberry Pi phát lệnh dừng băng tải tạm thời, bật đèn LED buồng chụp, kích hoạt module Camera Pi chụp ảnh tĩnh, resize ảnh về kích thước $100 \times 100 \times 3$ và chuẩn hóa mảng dữ liệu.
  4. Dự đoán: Đưa dữ liệu qua mô hình CNN để tính toán xác suất, xác định nhãn có xác suất cao nhất giữa 3 lớp: Táo, Chuối, Thanh long. Nếu không khớp ngưỡng nhận dạng, đối tượng được xếp vào loại khác.
  5. Thực thi phân loại: Băng tải tiếp tục chạy; khi trái cây di chuyển đến vị trí cảm biến tương ứng trước cửa gạt, servo được kích hoạt quay cần gạt để đưa trái cây vào khay chứa. Nếu là sản phẩm khác (ví dụ: măng cụt), cả 3 servo đều giữ nguyên vị trí để sản phẩm rơi xuống cuối băng tải.
  6. Cập nhật và lưu trữ: Hiển thị kết quả nhận dạng và ảnh trực tiếp lên giao diện điều khiển màn hình cục bộ (Desktop UI); đồng thời đẩy dữ liệu nhật ký phân loại lên cơ sở dữ liệu thời gian thực Google Firebase để theo dõi trên giao diện Web.

Nội dung chính theo từng chương

Chương 1: Tổng quan

Chương 1 trình bày bối cảnh thực tiễn của ngành nông nghiệp và xuất khẩu trái cây Việt Nam năm 2018; phân tích hạn chế của các phương pháp phân loại thủ công tại các nhà xưởng; điểm qua các công trình nghiên cứu trong nước về xử lý ảnh và học máy (như nhận dạng khuyết tật bề mặt gạch men của Trương Quốc Bảo và cộng sự, hay hệ thống phân loại sản phẩm theo màu sắc của Nguyễn Hiền Minh và Phan Thanh Phong). Tác giả xác định mục tiêu, 10 nội dung nghiên cứu, các giới hạn kỹ thuật của đề tài và cấu trúc báo cáo 6 chương.

Chương 2: Cơ sở lý thuyết

Nội dung chương 2 chia thành 3 phần trọng tâm:

  • Tổng quan về xử lý ảnh: Định nghĩa điểm ảnh, độ phân giải, các hệ màu RGB, ảnh xám chuẩn 256 mức, ảnh nhị phân, ảnh chỉ số, các dạng lân cận điểm ảnh $N_4(p)$, $N_D(p)$, $N_8(p)$ và liền kề m.
  • Phương pháp phân loại sử dụng mạng CNN: Khái quát sự phát triển từ AI, Machine Learning đến Deep Learning; phân tích nhược điểm tốn bộ nhớ của FCN; chi tiết cấu trúc mạng CNN, phép toán tích chập, hàm kích hoạt ReLU, Softmax, stride, padding, max pooling; quy trình xây dựng tập dữ liệu 3.722 ảnh trên Google Colab với TensorFlow/Keras.
  • Giới thiệu phần cứng: Giới thiệu thông số chi tiết của Raspberry Pi 3 Model B, Raspberry Pi Camera v1.2 (5MP), cảm biến hồng ngoại E18-D80NK, động cơ servo MG946R, hệ thống băng tải mini và động cơ DC giảm tốc 1:171.

Chương 3: Tính toán và thiết kế

Chương 3 trình bày chi tiết sơ đồ khối hệ thống gồm khối xử lý trung tâm, khối camera, khối cảm biến hồng ngoại, khối cơ cấu chấp hành (động cơ DC băng tải, module servo gạt), khối nguồn cấp và khối giao diện người dùng. Tác giả tính toán thiết kế chi tiết:

  • Sơ đồ nguyên lý và sơ đồ chân kết nối GPIO của Raspberry Pi 3.
  • Mạch điều khiển động cơ DC băng tải sử dụng kết hợp module relay 5V và mạch điều chế xung PWM bằng IC 555.
  • Thiết kế hình học và vị trí bố trí thiết bị trong buồng chụp ảnh kín (đèn LED 3W, camera, cảm biến quang) nhằm cố định góc chụp và nguồn sáng.
  • Sơ đồ kết nối nguồn độc lập giữa các khối công suất (24VDC), khối servo (5VDC 3A) và khối logic Raspberry Pi (5VDC 2,5A).

Chương 4: Thi công hệ thống

Chương 4 mô tả toàn bộ quá trình thi công thực tế:

  • Gia công cơ khí khung băng tải, gắn đế cố định các cảm biến quang và 3 động cơ servo dọc theo thân băng tải; lắp đặt buồng chụp ảnh bằng khung hộp kín; đóng gói bộ điều khiển trung tâm và module PWM vào hộp bảo vệ.
  • Xây dựng phần mềm hệ thống: Lập trình lưu đồ thuật toán chính, lưu đồ chương trình con chụp và lưu ảnh, chương trình con xử lý dự đoán và lưu đồ so sánh dán nhãn trái cây.
  • Thiết kế giao diện đồ họa người dùng (GUI) hiển thị cục bộ trên Raspberry Pi (kết nối màn hình hoặc qua Remote Desktop Connection) và xây dựng giao diện Web kết nối Firebase Realtime Database.
  • Biên soạn tài liệu hướng dẫn vận hành và thao tác hệ thống từng bước.

Chương 5: Kết quả - Nhận xét - Đánh giá

Chương 5 công bố các hình ảnh và dữ liệu thực nghiệm thu được từ mô hình hoàn chỉnh:

  • Giao diện điều khiển hiển thị trạng thái làm việc (Start/Stop), hình ảnh chụp trực tiếp từ buồng ảnh, kết quả dự đoán và xác suất nhận dạng từng loại trái cây (táo, chuối, thanh long hoặc sản phẩm khác).
  • Giao diện Web hiển thị số lượng thống kê sản phẩm đã phân loại theo thời gian thực được đồng bộ từ Firebase.
  • Kết quả hoạt động cơ khí: Cần gạt servo 1 gạt táo, servo 2 gạt chuối, servo 3 gạt thanh long và sản phẩm khác loại (măng cụt) di chuyển an toàn về cuối băng tải.
  • Đánh giá tổng quan về độ ổn định, khả năng đáp ứng của phần cứng và độ chính xác của mạng CNN trong môi trường thực tế.

Chương 6: Kết luận và hướng phát triển

Tác giả tổng kết các mục tiêu đã đạt được về mặt lý thuyết, thuật toán và mô hình phần cứng; đồng thời nêu rõ các hạn chế tồn đọng và đề xuất 4 định hướng nghiên cứu tiếp theo để nâng cấp hệ thống trong tương lai.

Kết quả và đóng góp

Kết quả kỹ thuật đạt được

  1. Thiết kế và thi công hoàn chỉnh mô hình thực nghiệm: Hệ thống kết hợp cơ khí băng tải, buồng chụp ảnh chuẩn hóa ánh sáng và hệ thống điều khiển trung tâm sử dụng kit nhúng Raspberry Pi 3 Model B vận hành đồng bộ.
  2. Mô hình học sâu nhận dạng trái cây: Xây dựng thành công kiến trúc mạng CNN gồm 5 tầng tích chập và 1 tầng phân loại, được huấn luyện từ tập dữ liệu 3.722 ảnh tự thu thập, có khả năng phân biệt chính xác 3 loại quả: táo, chuối, thanh long.
  3. Cơ chế phân loại chấp hành tự động: Tích hợp thành công 3 vị trí gạt dùng động cơ servo MG946R kết hợp cảm biến hồng ngoại E18-D80NK; xử lý được trường hợp phân loại đúng 3 loại nông sản quy định và tự động chuyển sản phẩm lạ (măng cụt) về cuối băng tải.
  4. Hệ thống giám sát đa nền tảng: Xây dựng giao diện điều khiển cục bộ trên Desktop và hệ thống theo dõi trực tuyến qua Web thông qua việc đồng bộ dữ liệu nhật ký phân loại lên Google Firebase.

Đóng góp so với các nghiên cứu trước đó

So với đề tài phân loại bề mặt gạch men của Trương Quốc Bảo và cộng sự (chủ yếu tập trung vào thuật toán xử lý lỗi công nghiệp) hay đề tài của Nguyễn Hiền Minh và Phan Thanh Phong (chỉ sử dụng kit Arduino kết hợp Raspberry Pi để phân loại sản phẩm đơn giản dựa theo ngưỡng màu sắc cơ bản), đồ án này có những điểm cải tiến riêng:

  • Ứng dụng trực tiếp mạng nơ-ron tích chập (CNN) đa tầng để nhận diện đồng thời cả đặc trưng hình dạng, kết cấu và màu sắc phức tạp của trái cây nông sản, không phụ thuộc vào các thuật toán tách ngưỡng màu cố định.
  • Triển khai toàn bộ mô hình Deep Learning trực tiếp trên phần cứng nhúng Raspberry Pi 3 Model B mà không cần máy tính máy trạm (Workstation/PC) can thiệp trong quá trình suy luận thời gian thực.
  • Xây dựng giải pháp giám sát kết hợp điện toán đám mây Firebase và giao diện Web.

Hạn chế và hướng nghiên cứu tiếp

Hạn chế của đề tài

  • Tốc độ xử lý: Thời gian suy luận mạng CNN và chu trình cơ học còn tương đối chậm, mô hình chỉ hoạt động tuần tự từng sản phẩm đơn lẻ tại một thời điểm, chưa đáp ứng được dây chuyền công nghiệp tốc độ cao.
  • Quy mô phân loại: Danh mục nhận dạng còn hẹp, mới dừng lại ở 3 loại trái cây cụ thể (táo, chuối, thanh long).
  • Cấu hình phần cứng: Năng lực tính toán của Raspberry Pi 3 Model B có giới hạn về RAM và xung nhịp xử lý khi chạy các mô hình học sâu.

Hướng phát triển tiếp theo

Căn cứ vào nội dung được tác giả đề xuất tại Chương 6, các hướng mở rộng bao gồm:

  1. Mở rộng tập dữ liệu và huấn luyện mô hình để phân loại thêm nhiều loại trái cây và nông sản khác.
  2. Tích hợp thêm bài toán đánh giá chất lượng nông sản: phân loại theo kích thước lớn/nhỏ, phát hiện trái cây bị hư hỏng, dập nát, trầy xước hoặc đánh giá độ chín.
  3. Tối ưu hóa thuật toán và nâng cấp phần cứng xử lý trung tâm (sử dụng các kit nhúng có GPU chuyên dụng hoặc bộ tăng tốc AI) nhằm tăng tốc độ xử lý của hệ thống.
  4. Nghiên cứu cơ cấu cấp phôi tự động và tăng tốc độ băng tải để áp dụng vào các dây chuyền đóng gói công nghiệp thực tế.

Giá trị tham khảo

Tài liệu đồ án này mang lại giá trị tham khảo thực tiễn cao cho:

  • Sinh viên các ngành Điện tử - Viễn thông, Điện tử Công nghiệp, Cơ điện tử, Tự động hóa và Công nghệ thông tin: Là tài liệu tham khảo chi tiết về quy trình hoàn chỉnh để tích hợp một mô hình học sâu (Deep Learning) lên phần cứng nhúng Raspberry Pi.
  • Người nghiên cứu các hệ thống phân loại sản phẩm: Tham khảo chi tiết thiết kế buồng chụp ảnh cách ly quang, phương pháp phối ghép mạch công suất PWM điều khiển động cơ DC với relay, cơ chế liên động servo gạt và phương thức đồng bộ dữ liệu cảm biến/nhận dạng lên Firebase và Web.
  • Các chương mục đáng tham khảo nhất: Chương 2 (Cơ sở lý thuyết về CNN, phép toán tích chập và giải pháp thu thập tập dữ liệu đa dạng) và Chương 3 - 4 (Sơ đồ kết nối phần cứng toàn mạch, sơ đồ chân GPIO và lưu đồ thuật toán điều khiển tuần tự).

Câu hỏi thường gặp

1. Đồ án sử dụng mô hình học sâu nào để nhận dạng trái cây và tập dữ liệu huấn luyện gồm bao nhiêu ảnh?

Đề tài sử dụng mô hình Mạng nơ-ron tích chập (Convolutional Neural Network - CNN) với cấu trúc gồm 5 tầng tích chập kết hợp Max Pooling $2 \times 2$, 1 tầng làm phẳng (Flatten) và 1 tầng đầu ra Softmax 3 nơ-ron. Tập dữ liệu huấn luyện do nhóm tự thu thập gồm 3.722 ảnh màu RGB (trong đó có 1.172 ảnh táo, 1.175 ảnh chuối và 1.375 ảnh thanh long), được xử lý và huấn luyện trên nền tảng Google Colaboratory.

2. Bộ xử lý trung tâm và các module phần cứng chính của hệ thống gồm những gì?

Bộ xử lý trung tâm là kit máy tính nhúng Raspberry Pi 3 Model B (chip Broadcom BCM2837B0, RAM 1GB). Các module phần cứng kết nối gồm: Camera Module v1.2 (5MP, kết nối cổng CSI), cảm biến quang hồng ngoại E18-D80NK (ngõ ra NPN), 3 động cơ servo MG946R bánh răng kim loại, khung băng tải mini dẫn động bởi động cơ DC giảm tốc tỉ lệ 1:171, module Relay 5V, mạch băm xung PWM điều khiển tốc độ dùng IC 555 và đèn LED chiếu sáng 3W trong buồng chụp.

3. Hệ thống xử lý thế nào khi có một loại trái cây lạ ngoài 3 loại đã học đi vào buồng chụp?

Khi một sản phẩm khác loại (như trái măng cụt được thử nghiệm thực tế) đi qua buồng chụp, mô hình mạng CNN tính toán xác suất và không gán nhãn trùng khớp với 3 loại táo, chuối, thanh long. Khi đó, hệ thống giữ nguyên cả 3 cần gạt servo ở trạng thái đóng, cho phép sản phẩm lạ di chuyển thẳng về thùng chứa ở cuối băng tải.

4. Dữ liệu phân loại được giám sát và lưu trữ như thế nào?

Hệ thống hiển thị kết quả phân loại cục bộ qua giao diện Desktop UI chạy trực tiếp trên Raspberry Pi. Đồng thời, toàn bộ dữ liệu thống kê số lượng từng loại trái cây được truyền qua mạng Internet và lưu trữ thời gian thực trên nền tảng cơ sở dữ liệu Google Firebase, cho phép người quản lý truy cập và theo dõi từ xa thông qua giao diện Web.

Kết luận

Đồ án tốt nghiệp "Ứng dụng xử lý ảnh vào thiết kế và thi công mô hình phân loại trái cây" của sinh viên Võ Thanh Duy và Trần Quốc Dưỡng đã hoàn thành việc tích hợp kỹ thuật mạng nơ-ron tích chập (CNN) trên nền tảng nhúng Raspberry Pi 3 Model B để tự động nhận dạng và phân loại 3 loại trái cây nhiệt đới. Hệ thống giải quyết trọn vẹn từ khâu thiết kế cơ khí, chuẩn hóa buồng chụp ảnh, tối ưu hóa thuật toán thị giác máy tính cho đến điều khiển cơ cấu chấp hành và giám sát qua Web. Mặc dù còn hạn chế về tốc độ phân loại tuần tự và quy mô nhận dạng, công trình đã chứng minh tính khả thi của việc ứng dụng trí tuệ nhân tạo vào các dây chuyền tự động hóa nông nghiệp quy mô vừa và nhỏ.