Bối cảnh và vấn đề nghiên cứu

Trong bối cảnh trí tuệ nhân tạo (AI) và các công nghệ thị giác máy tính phát triển nhanh chóng, camera giám sát đã từng bước chuyển dịch từ vai trò ghi nhận hình ảnh an ninh thụ động sang các hệ thống thông minh có khả năng nhận thức, phân tích hành vi và tương tác trực tiếp với môi trường sống. Trong các nghiên cứu trước đây về nhận diện hành vi con người qua video, các kiến trúc mạng nơ-ron tích chập (CNN) thường đòi hỏi khối lượng dữ liệu huấn luyện rất lớn và tiêu tốn nhiều tài nguyên tính toán. Bên cạnh đó, các hệ thống camera giám sát truyền thống nhằm phát hiện xâm nhập trái phép hoặc các sự cố bất thường thường sử dụng kỹ thuật trích xuất đặc trưng thủ công, dễ bị suy giảm độ chính xác dưới tác động của nhiễu môi trường và sự biến đổi ánh sáng.

Nhằm giải quyết các bài toán trên và ứng dụng vào môi trường nhà thông minh (Smart Home), tác giả Nguyễn Phú Thiện đã thực hiện đề tài "Thiết kế mô hình camera ứng dụng trong nhà thông minh". Đề tài xác định bốn mục tiêu nghiên cứu cụ thể:

  1. Thiết kế mô hình học sâu Long Short-Term Memory (LSTM) kết hợp trí tuệ nhân tạo để phân loại và giám sát hành vi con người từ hình ảnh camera; tích hợp thuật toán Local Binary Patterns Histogram (LBPH) để nhận diện và phân loại khuôn mặt trong phạm vi quan sát nhằm xác định danh tính.
  2. Kết nối hệ thống camera với bo mạch vi điều khiển Arduino để điều khiển các thiết bị ngoại vi (đèn LED) dựa trên hành vi được nhận diện, đồng thời kích hoạt còi cảnh báo khi phát hiện đối tượng chưa xác định danh tính.
  3. Ứng dụng giao diện lập trình ứng dụng (API) của Telegram để gửi cảnh báo và thông tin trạng thái hệ thống theo thời gian thực khi nhận diện được hành vi hoặc phát hiện người lạ.
  4. Đề xuất khả năng ứng dụng thực tế của mô hình trong các lĩnh vực nhà thông minh, theo dõi hoạt động hàng ngày và giám sát an ninh tại khu vực công cộng.

Đối tượng nghiên cứu của đồ án bao gồm: hệ thống camera thông minh (thành phần phần cứng thu nhận hình ảnh, bộ xử lý và giao diện người dùng); các mô hình và thuật toán AI (mô hình LSTM xử lý chuỗi thời gian, thuật toán trích xuất đặc trưng kết cấu LBPH, giải pháp MediaPipe Pose); và các ứng dụng điều khiển, giám sát an ninh trong nhà thông minh.

Phạm vi nghiên cứu tập trung vào việc thu thập dữ liệu chuỗi cử động và ảnh chân dung trong không gian thực tế; phát triển pipeline xử lý dữ liệu và huấn luyện mô hình phân loại các hành vi sinh hoạt cơ bản; tích hợp phần cứng Arduino UNO R3 và nền tảng điện toán đám mây Telegram. Hệ thống được giới hạn hoạt động tối ưu trong điều kiện môi trường có đủ ánh sáng, góc quan sát trực diện, số lượng người trong khung hình không vượt quá 4 người, và tuân thủ các yêu cầu về an toàn thông tin và quyền riêng tư cá nhân.

Cơ sở lý thuyết và phương pháp

Đồ án xây dựng nền tảng lý thuyết dựa trên các công cụ thị giác máy tính mã nguồn mở, lý thuyết mạng nơ-ron hồi quy và các giải pháp trích xuất đặc trưng hình ảnh cục bộ:

  • Giải pháp MediaPipe và MediaPipe Pose: MediaPipe (do Google Research phát triển) vận hành dựa trên kiến trúc pipeline tích hợp các mô-đun giải mã video, phát hiện và theo dõi đối tượng, phân tích cử chỉ và ước tính tư thế người (Human Pose Estimation - HPE). Mô hình landmark của MediaPipe Pose sử dụng mạng nơ-ron tích chập được huấn luyện để dự đoán vị trí không gian của 33 điểm mốc khớp xương (landmarks) trên cơ thể người từ dữ liệu ảnh hoặc video 2D/3D. Mỗi điểm mốc cung cấp các tọa độ không gian $x, y, z$ cùng hệ số hiển thị (visibility).
  • Mạng nơ-ron hồi quy (RNN) và kiến trúc LSTM: Mạng RNN xử lý dữ liệu dạng chuỗi tuần tự $x = (x_1, x_2, \dots, x_T)$ thông qua cơ chế lưu giữ trạng thái ẩn theo thời gian với công thức $h_t = \sigma(W_{hx} x_t + W_{hh} h_{t-1} + b_h)$ và đầu ra $y_t = \phi(W_{hy} h_t + b_y)$. Để khắc phục hiện tượng suy giảm đạo hàm (vanishing gradient) khi huấn luyện qua giải thuật lan truyền ngược theo thời gian (BPTT), kiến trúc LSTM bổ sung trạng thái ô nhớ (cell state $C_t$) cùng ba cổng điều khiển:
    • Cổng quên (Forget Gate): Sử dụng hàm sigmoid quyết định mức độ loại bỏ thông tin từ trạng thái cũ $C_{t-1}$.
    • Cổng đầu vào (Input Gate): Kết hợp hàm sigmoid và hàm $\tanh$ để xác định và tạo vector giá trị ứng viên $\tilde{C}t$ nhằm cập nhật vào trạng thái ô nhớ: $C_t = f_t * C{t-1} + i_t * \tilde{C}_t$.
    • Cổng đầu ra (Output Gate): Xác định phần trạng thái ô nhớ được chuyển sang trạng thái ẩn mới: $h_t = o_t * \tanh(C_t)$.
    • Bài toán nhận diện hành vi trong đồ án được xếp vào dạng Many-to-one (chuỗi tọa độ khung xương nhiều bước thời gian đưa vào mạng để dự đoán một nhãn hành vi tương ứng), sử dụng hàm mục tiêu Categorical Cross-Entropy để phân loại đa lớp.
  • Thuật toán Local Binary Patterns Histogram (LBPH): Là thuật toán phi tham số mô tả mối quan hệ không gian mức xám giữa điểm ảnh trung tâm với các điểm lân cận trên vòng tròn bán kính $R$ và số điểm lấy mẫu $P$. Trong bài toán phát hiện khuôn mặt, các đặc trưng giai đoạn thô và tinh chỉnh được trích xuất và kết hợp thành vector đặc trưng 203 bin. Trong bài toán nhận diện khuôn mặt, ảnh khuôn mặt được chuẩn hóa mức xám, chia thành lưới $7 \times 7$ khối, mỗi khối trích xuất biểu đồ 59 bin, tạo thành một vector đặc trưng tổng hợp gồm 2891 chiều ($7 \times 7 \times 59 = 2891$). Danh tính được xác định thông qua việc so sánh khoảng cách không tương đồng nhỏ nhất giữa vector mẫu và cơ sở dữ liệu đã đăng ký.

Phương pháp nghiên cứu thực nghiệm được tiến hành qua các giai đoạn: nghiên cứu tài liệu chuyên ngành; thu thập tập dữ liệu hình ảnh khuôn mặt và chuỗi video tư thế người; xây dựng pipeline tiền xử lý và chuẩn hóa dữ liệu; huấn luyện và tinh chỉnh siêu tham số cho mô hình LSTM và LBPH; kết nối mạch phần cứng Arduino và dịch vụ mạng; cuối cùng là kiểm thử thực tế và đánh giá độ chính xác của hệ thống.

Thiết kế và triển khai hệ thống

Hệ thống được thiết kế theo cấu trúc tích hợp giữa phần mềm xử lý trí tuệ nhân tạo trên máy tính và phần cứng điều khiển ngoại vi, phân định thành bốn khối chức năng chính:

Khối chức năng Thành phần phần cứng / phần mềm Nhiệm vụ kỹ thuật
Khối thu nhận tín hiệu Camera độ phân giải cao Thu nhận luồng hình ảnh/video thời gian thực của người dùng trong khu vực quan sát.
Khối xử lý AI trung tâm MediaPipe Pose, Mạng LSTM, Thuật toán LBPH Trích xuất 33 tọa độ khớp xương cơ thể; dự đoán hành vi cử động; phát hiện và phân loại danh tính khuôn mặt.
Khối điều khiển ngoại vi Bo mạch Arduino UNO R3, đèn LED, còi báo Buzzer Tiếp nhận lệnh điều khiển nối tiếp từ máy tính để thay đổi trạng thái/màu sắc đèn LED và phát âm thanh cảnh báo khi có người lạ.
Khối truyền thông & giám sát Telegram Bot API, Giao diện ứng dụng Web Cập nhật trực quan luồng video kèm nhãn nhận diện trên web; tự động gửi bản tin cảnh báo an ninh và trạng thái thiết bị tới điện thoại.

Quy trình xử lý phần mềm của hệ thống vận hành qua hai pipeline độc lập nhưng phối hợp đồng bộ:

  1. Pipeline nhận diện hành vi: Luồng video từ camera được đưa vào mô-đun MediaPipe Pose để trích xuất 33 điểm nút khung xương (bao gồm các khớp cổ tay, cánh tay, cột sống, chân). Các chuỗi tọa độ này được đưa vào bộ nhớ đệm tạo thành chuỗi thời gian, sau đó nạp vào mạng Deep Learning LSTM để phân loại thành các trạng thái hành vi cụ thể.
  2. Pipeline nhận diện khuôn mặt: Khung hình được chuyển đổi sang mức xám và định vị vùng mặt bằng bộ phân loại khuôn mặt. Vùng ảnh mặt được cắt, chuẩn hóa kích thước và đưa vào mô hình LBPH để trích xuất vector 2891 đặc trưng kết cấu, đối chiếu với cơ sở dữ liệu để phân loại người quen hoặc người lạ.
  3. Cơ chế điều khiển và cảnh báo: Khi mô hình phân loại được hành động xác định (như vẫy tay, vỗ tay), máy tính gửi chuỗi ký tự điều khiển qua cổng nối tiếp tới Arduino UNO R3 để kích hoạt đèn LED. Nếu mô hình LBPH xác định đối tượng là người lạ (chưa đăng ký trong cơ sở dữ liệu), hệ thống đồng thời kích hoạt còi buzzer trên mạch Arduino và gửi tin nhắn cảnh báo chứa thông tin hành vi, trạng thái đèn và thông báo xâm nhập thông qua Telegram API.

Nội dung chính theo từng chương

Báo cáo khóa luận được tổ chức thành 5 chương với cấu trúc nội dung chi tiết:

Chương 1. Tổng quan

Chương 1 thiết lập cơ sở khoa học cho đề tài thông qua việc phân tích bối cảnh phát triển của AI và nhu cầu chuyển đổi camera an ninh thành công cụ tương tác thông minh. Tác giả phân tích các nghiên cứu tiền nhiệm sử dụng CNN trong nhận diện video và chỉ ra hạn chế về khối lượng dữ liệu huấn luyện lớn cũng như độ nhạy cảm của các hệ thống cũ đối với ánh sáng môi trường. Từ đó, chương xác định rõ 4 mục tiêu nghiên cứu, 5 giới hạn kỹ thuật (về điều kiện ánh sáng, góc nhìn, hiện tượng overfitting của LSTM, hạn chế góc mặt của LBPH, giới hạn xử lý dưới 4 người và độ trễ truyền thông), đồng thời làm rõ phương pháp luận cùng bố cục 5 chương của quyển báo cáo.

Chương 2. Cơ sở lý thuyết

Chương 2 trình bày toàn diện các nguyên lý toán học và mô hình thuật toán nền tảng:

  • Trình bày kiến trúc pipeline trong học máy gồm khối huấn luyện (kiểm định dữ liệu, làm sạch, phân chia tập train/validation/test, đánh giá mô hình) và khối phục vụ suy luận thực tế (Serving).
  • Giới thiệu bộ công cụ MediaPipe của Google và giải pháp ước lượng tư thế người (Human Pose Estimation - HPE), phân tích cấu trúc mô hình landmark 33 điểm mốc trên cơ thể người cùng các phương pháp tiếp cận HPE dựa trên mô hình 3D và học sâu.
  • Khảo sát giải pháp phát hiện khuôn mặt (Face Detection) và cấu trúc toán tử LBP với các tham số $(P, R)$, sơ đồ phân loại thô - tinh chỉnh tạo vector 203 bin, cùng quy trình nhận diện khuôn mặt dựa trên lưới $7 \times 7$ khối tạo vector 2891 đặc trưng kết cấu.
  • Phân tích toán học về mạng nơ-ron hồi quy RNN, các dạng bài toán chuỗi (One to one, One to many, Many to one, Many to many), các hàm mục tiêu MSE cho hồi quy và Cross-Entropy (Binary, Categorical) cho phân loại, cùng giải thuật cập nhật trọng số lan truyền ngược qua thời gian (BPTT).
  • Trình bày chi tiết kiến trúc mạng LSTM: cơ chế hoạt động của cell state, cổng quên (Forget Gate), cổng vào (Input Gate), cổng ra (Output Gate), các công thức cập nhật trạng thái ô nhớ và trạng thái ẩn; đồng thời giới thiệu các biến thể như liên kết peephole, kết hợp cổng quên - cổng vào, và Gated Recurrent Unit (GRU).

Chương 3. Thiết kế hệ thống camera ứng dụng trong nhà thông minh

Chương 3 chi tiết hóa việc hiện thực hóa mô hình từ lý thuyết sang thiết kế kỹ thuật:

  • Xác định các yêu cầu kỹ thuật của hệ thống và xây dựng sơ đồ khối tổng thể hệ thống camera ứng dụng trong nhà thông minh.
  • Thiết kế phần cứng: xây dựng sơ đồ kết nối và sơ đồ nguyên lý giao tiếp giữa bo mạch Arduino UNO R3 với các tải ngoại vi gồm hệ thống đèn LED và còi báo buzzer.
  • Thiết kế phần mềm: xây dựng sơ đồ khối quá trình huấn luyện (Training Pipeline) và quá trình suy luận (Inference Pipeline); thiết lập lưu đồ thuật toán ước tính tư thế người, lưu đồ nhận diện các điểm skeleton 33 mốc tọa độ; thiết lập lưu đồ thuật toán thu thập và tiền xử lý ảnh khuôn mặt theo các mức độ xám; xây dựng lưu đồ chương trình điều khiển trung tâm Smart Camera; và công bố bảng thông số cấu trúc chi tiết của mạng Deep Learning LSTM được hội đồng yêu cầu bổ sung.

Chương 4. Kết quả

Chương 4 công bố các kết quả thực nghiệm thu được trên môi trường mô phỏng phần mềm và mô hình phần cứng thực tế:

  • Trích xuất thành công bộ dữ liệu tọa độ $x, y, z$ cùng hệ số visibility của 33 điểm mốc cơ thể người; xây dựng tệp cơ sở dữ liệu khung xương phục vụ huấn luyện.
  • Huấn luyện thành công mạng Deep Learning LSTM, nhận diện và phân loại chính xác các trạng thái hành vi con người trong thực tế gồm: donothing (trạng thái nghỉ/không làm gì), wave (vẫy tay), clap (vỗ tay), sit (ngồi), và lie (nằm).
  • Ứng dụng mô hình LBPH nhận diện thành công các khuôn mặt đã đăng ký danh tính và phát hiện chính xác các khuôn mặt lạ xuất hiện trước camera.
  • Triển khai hoàn chỉnh mô hình đóng gói phần cứng kết nối Arduino điều khiển bật/tắt và đổi màu đèn LED theo hành vi, kích hoạt còi buzzer khi có người lạ; tích hợp giao diện điều khiển trên nền tảng ứng dụng web; và kết nối thành công Telegram Bot API để tự động gửi thông báo trạng thái thiết bị và cảnh báo an ninh về điện thoại di động. Kết quả thử nghiệm được tổng hợp qua Bảng 4.1 (độ chính xác nhận diện hành động) và Bảng 4.2 (độ chính xác nhận diện khuôn mặt).

Chương 5. Kết luận và hướng phát triển

Chương 5 tổng kết toàn bộ các mục tiêu nghiên cứu đã đạt được của đồ án; đánh giá các ưu điểm nổi bật về tính tự động hóa và khả năng tương tác thiết bị thông minh; phân tích thẳng thắn các mặt hạn chế còn tồn tại của hệ thống trong điều kiện thực tế; đồng thời đề xuất các giải pháp kỹ thuật cụ thể nhằm mở rộng đề tài trong tương lai.

Kết quả và đóng góp

Đồ án ghi nhận các kết quả thực nghiệm cụ thể gắn liền với số liệu và cấu trúc kỹ thuật đã trình bày trong báo cáo:

  • Kết quả nhận diện hành vi: Hệ thống thu thập và trích xuất thành công 33 điểm mốc tọa độ khung xương từ MediaPipe Pose, đưa vào mạng LSTM phân loại chuẩn xác 5 nhóm hành vi thực tế: donothing, wave, clap, sit, lie. Quá trình kiểm thử độ chính xác qua các lần thử hành động được lượng hóa và ghi nhận chi tiết tại Bảng 4.1 của báo cáo.
  • Kết quả nhận diện khuôn mặt: Mô hình LBPH với cấu trúc chia khối $7 \times 7$ và vector 2891 đặc trưng kết cấu đã phân loại chính xác giữa khuôn mặt đã biết và khuôn mặt lạ trong điều kiện nhìn trực diện không đeo khẩu trang. Kết quả kiểm thử nhận dạng được tổng hợp đầy đủ tại Bảng 4.2 của báo cáo.
  • Kết quả tích hợp hệ thống nhúng và mạng truyền thông:
    • Đóng gói và kết nối thành công bo mạch Arduino UNO R3 với đèn LED và còi buzzer, cho phép điều khiển trạng thái thiết bị dựa trên tín hiệu hành vi nhận diện từ camera.
    • Tích hợp thành công Telegram Bot API, gửi tin nhắn cập nhật trạng thái theo thời gian thực bao gồm: hành động phát hiện được, tình trạng bật/tắt của đèn LED, màu sắc đèn hiện tại, và phát cảnh báo kèm kích hoạt còi báo động khi có người lạ.
    • Xây dựng giao diện web giám sát hiển thị luồng dữ liệu hình ảnh và kết quả phân tích theo thời gian thực.
  • Giải pháp và đóng góp của đề tài:
    • Đề xuất giải pháp kết hợp phân tầng: thay vì nạp toàn bộ ảnh video nặng nề vào các mạng tích chập phức tạp, đề tài sử dụng MediaPipe Pose để lọc trước 33 điểm tọa độ khung xương, sau đó chỉ dùng mạng LSTM gọn nhẹ để phân loại chuỗi tọa độ. Giải pháp này giúp giảm đáng kể chi phí tính toán và yêu cầu phần cứng.
    • Tích hợp đồng thời mô hình nhận dạng danh tính LBPH với mô hình nhận dạng hành động LSTM trên cùng một hệ thống camera giám sát, tạo ra khả năng tương tác hai chiều thông qua phần cứng Arduino và cảnh báo từ xa qua Telegram.

Hạn chế và hướng nghiên cứu tiếp

Dựa trên các giới hạn kỹ thuật được tác giả chỉ rõ trong báo cáo, công trình còn tồn tại một số hạn chế cụ thể:

  • Độ phụ thuộc môi trường: Mức độ chính xác của quá trình nhận diện cử chỉ và khuôn mặt chịu ảnh hưởng lớn từ điều kiện ánh sáng môi trường, góc đặt camera và độ phân giải hình ảnh; hệ thống có nguy cơ phân loại sai hoặc bỏ sót khi ánh sáng yếu hoặc đối tượng nằm ngoài góc quét tối ưu.
  • Hạn chế của mô hình AI: Mô hình LSTM có xu hướng xảy ra hiện tượng quá khớp (overfitting) do tập dữ liệu huấn luyện chủ yếu tập trung vào các cử động sinh hoạt cơ bản. Mô hình LBPH chỉ đạt độ chính xác cao khi khuôn mặt nhìn trực diện và không mang khẩu trang; độ chính xác giảm rõ rệt khi gặp các góc nghiêng hoặc tình huống khuôn mặt không có trong tập huấn luyện.
  • Giới hạn số lượng đối tượng và tốc độ cử động: Khi số lượng người trong phạm vi giám sát vượt quá 4 người, hệ thống dễ phát sinh lỗi nhận dạng khuôn mặt và gia tăng độ trễ tính toán do phải xử lý đồng thời nhiều luồng dữ liệu. Các hành động diễn ra quá nhanh hoặc quá phức tạp có thể bị bỏ qua hoặc gây nhầm lẫn giữa các nhãn hành vi.
  • Độ trễ truyền thông và ngoại vi: Tồn tại độ trễ nhất định trong quá trình gửi lệnh điều khiển nối tiếp từ máy tính sang bo mạch Arduino để kích hoạt đèn LED và còi báo. Việc gửi thông báo qua API Telegram phụ thuộc vào chất lượng đường truyền mạng Internet, dễ bị trễ khi xảy ra hiện tượng tắc nghẽn mạng.
  • Vấn đề an toàn thông tin: Việc triển khai camera giám sát nhận diện danh tính và hành vi đòi hỏi phải tiếp tục hoàn thiện các giải pháp bảo mật lưu trữ và tuân thủ chặt chẽ các quy định pháp luật về bảo vệ quyền riêng tư cá nhân.

Các hướng phát triển tiếp theo được đề xuất bao gồm: tối ưu hóa cấu trúc mạng để nhận diện các hành vi phức tạp hơn; cải thiện thuật toán nhận diện khuôn mặt khi đối tượng đeo khẩu trang hoặc thay đổi góc nhìn; nâng cao năng lực xử lý đồng thời trên 4 người; và tối ưu hóa thời gian truyền nhận tín hiệu điều khiển ngoại vi.

Giá trị tham khảo

Đồ án tốt nghiệp "Thiết kế mô hình camera ứng dụng trong nhà thông minh" cung cấp tài liệu tham khảo có giá trị học thuật và kỹ thuật thực tiễn cho sinh viên và người làm nghiên cứu thuộc các nhóm ngành:

  • Sinh viên ngành Công nghệ Kỹ thuật Máy tính, Hệ thống Nhúng và IoT: Tham khảo thiết kế hệ thống tương tác phần cứng - phần mềm hoàn chỉnh, đặc biệt là phương thức kết nối máy tính xử lý thị giác máy tính với bo mạch Arduino UNO R3 và cách tích hợp Telegram Bot API để giám sát từ xa.
  • Sinh viên và nhà nghiên cứu ngành Trí tuệ Nhân tạo, Thị giác Máy tính: Đáng tham khảo quy trình xây dựng pipeline xử lý dữ liệu từ MediaPipe Pose, phương pháp trích xuất 33 điểm mốc khung xương kết hợp với mạng LSTM để nhận diện hành vi thay cho các mạng CNN video nặng, cùng kỹ thuật chia khối $7 \times 7$ trích xuất vector 2891 đặc trưng của thuật toán LBPH.
  • Người thực hiện các đề tài Smart Home và hệ thống giám sát an ninh: Có thể kế thừa sơ đồ khối nguyên lý, lưu đồ thuật toán điều khiển trung tâm và phương pháp giải quyết bài toán cảnh báo đối tượng lạ kết hợp điều khiển thiết bị không chạm trong không gian sống.

Câu hỏi thường gặp

1. Hệ thống sử dụng giải pháp nào để trích xuất đặc trưng tư thế người và số lượng điểm mốc được ghi nhận là bao nhiêu?
Hệ thống sử dụng giải pháp mã nguồn mở MediaPipe Pose (do Google Research phát triển). Mô hình landmark của MediaPipe Pose dự đoán vị trí của 33 điểm mốc (landmarks) trên cơ thể người trong không gian 2D/3D (bao gồm các khớp xương, cổ tay, cánh tay, đốt sống và chân) cùng các tham số tọa độ $x, y, z$ và hệ số hiển thị (visibility).

2. Mạng Deep Learning LSTM trong đồ án nhận diện và phân loại được những hành vi cụ thể nào?
Mạng LSTM được huấn luyện trên chuỗi dữ liệu tọa độ 33 điểm khung xương theo thời gian và phân loại thành 5 trạng thái hành vi cơ bản của con người: donothing (trạng thái nghỉ/không làm gì), wave (vẫy tay), clap (vỗ tay), sit (ngồi), và lie (nằm).

3. Thuật toán LBPH trích xuất bao nhiêu đặc trưng để nhận diện khuôn mặt và quy trình chia khối được thực hiện như thế nào?
Trong quy trình nhận diện khuôn mặt, ảnh khuôn mặt sau khi tiền xử lý mức xám được chia thành lưới $7 \times 7$ khối. Mỗi khối trích xuất một biểu đồ histogram gồm 59 bin. Các biểu đồ này được ghép nối thành một vector đặc trưng duy nhất gồm 2891 chiều ($7 \times 7 \times 59 = 2891$) để so khớp khoảng cách không tương đồng với các mẫu định danh có sẵn.

4. Khi phát hiện khuôn mặt chưa xác định danh tính (người lạ), hệ thống phản ứng bằng các cơ chế cảnh báo nào?
Khi phát hiện khuôn mặt lạ, hệ thống thực hiện hai cơ chế cảnh báo đồng thời: máy tính gửi tín hiệu nối tiếp sang Arduino UNO R3 để kích hoạt còi báo buzzer phát âm thanh cảnh báo tại chỗ; đồng thời hệ thống kích hoạt Telegram API để gửi bản tin thông báo cảnh báo tức thời (ghi nhận sự xuất hiện của người lạ kèm tình trạng bật/tắt và màu sắc của đèn LED) về thiết bị di động của người dùng.

5. Khả năng vận hành của hệ thống bị giới hạn trong những điều kiện kỹ thuật cụ thể nào?
Hệ thống bị giới hạn khi số lượng người trong khung hình vượt quá 4 người (dẫn đến nguy cơ lỗi nhận dạng khuôn mặt và gia tăng độ trễ tính toán); khi các cử động diễn ra quá nhanh hoặc quá phức tạp; khi khuôn mặt bị che khuất bởi khẩu trang hoặc không nhìn trực diện; khi môi trường thiếu sáng hoặc góc đặt camera không phù hợp; và khi đường truyền mạng Internet bị suy giảm làm trễ tin nhắn Telegram.

Kết luận

Đồ án tốt nghiệp "Thiết kế mô hình camera ứng dụng trong nhà thông minh" của sinh viên Nguyễn Phú Thiện đã thiết kế và triển khai thành công một hệ thống giám sát an ninh và tương tác thiết bị tự động dựa trên thị giác máy tính. Công trình kết hợp hiệu quả giữa mô hình học sâu LSTM phân loại 5 hành vi sinh hoạt từ 33 điểm mốc MediaPipe Pose, thuật toán LBPH nhận diện khuôn mặt dựa trên vector 2891 đặc trưng kết cấu, cùng mạch điều khiển phần cứng Arduino UNO R3 và dịch vụ cảnh báo qua Telegram Bot API. Mặc dù vẫn còn những giới hạn về điều kiện ánh sáng, số lượng đối tượng nhận diện đồng thời và độ trễ đường truyền mạng, đồ án đã chứng minh tính khả thi kỹ thuật và mở ra tiềm năng ứng dụng thực tế rõ ràng cho các giải pháp nhà thông minh và an ninh công cộng.