Facial Landmark Detection on Multiple Platforms Using Quantized MobileNetV2 for Edge AI Applications

Luận văn nhận diện facial landmark đa nền tảng với quantized MobileNetV2 tại HCMUTE 2025

• Tác giả: Đỗ Mạnh Dũng
• Người hướng dẫn: TS. Phạm Văn Khoa
• Trường học: Trường Đại học Sư phạm Kỹ thuật Thành phố Hồ Chí Minh
• Chuyên ngành: Kỹ thuật máy tính
• Đề tài: Facial Landmark Detection on Multiple Platforms Using Quantized MobileNetV2 for Edge AI Applications
• Loại tài liệu: Khóa luận tốt nghiệp
• Năm xuất bản: 2025
• Địa điểm: Hồ Chí Minh

Tóm tắt

I. Tổng quan nhận diện facial landmark bằng MobileNetV2 lượng tử hóa

Nhận diện facial landmark đóng vai trò then chốt trong thị giác máy tính hiện đại. Nhiệm vụ này xác định tọa độ các điểm mốc trên khuôn mặt như mắt, mũi và miệng. Công nghệ này hỗ trợ nhiều ứng dụng thực tế. Nhận diện cảm xúc, theo dõi ánh mắt và phân tích hành vi lái xe đều cần các điểm mốc chuẩn xác. Tuy nhiên, các mô hình học sâu truyền thống thường tiêu tốn nhiều tài nguyên tính toán. Thiết bị biên như điện thoại thông minh hoặc vi điều khiển nhúng thường có bộ nhớ hạn chế. Nguồn năng lượng pin cũng không cho phép chạy các mạng nơ-ron quá nặng. Do đó, việc ứng dụng kiến trúc mạng MobileNetV2 kết hợp kỹ thuật lượng tử hóa trở thành giải pháp đột phá. Đề tài tốt nghiệp năm 2025 tại Trường Đại học Sư phạm Kỹ thuật Thành phố Hồ Chí Minh đã tập trung giải quyết bài toán này. Nghiên cứu do sinh viên ngành Kỹ thuật Máy tính thực hiện dưới sự hướng dẫn của tiến sĩ Phạm Văn Khoa. Mô hình tối ưu hóa khả năng trích xuất đặc trưng không gian. Quá trình xử lý dữ liệu diễn ra nhanh chóng và chuẩn xác trên phần cứng biên.

1.1. Khái niệm và vai trò của facial landmark trong thị giác máy tính

Facial landmark là tập hợp các điểm mốc chuẩn trên khuôn mặt người. Các điểm này định vị viền mắt, lông mày, sống mũi, vành môi và đường viền hàm. Thị giác máy tính dựa vào các tọa độ này để tái tạo hình học khuôn mặt hai chiều và ba chiều. Độ chính xác của các điểm mốc quyết định chất lượng của các hệ thống an ninh sinh trắc học. Ứng dụng theo dõi trạng thái tài xế đòi hỏi nhận biết chính xác cử động mắt và miệng để phát hiện ngủ gật. Các ứng dụng tương tác thực tế ảo cũng dựa vào hệ thống mốc hình học để đồng bộ hóa cử chỉ biểu cảm. Hệ thống thị giác cần thuật toán nhận diện mốc khuôn mặt hoạt động ổn định trong mọi điều kiện ánh sáng phức tạp.

1.2. Xu hướng triển khai Edge AI và vai trò của đề tài tại HCMUTE

Xu hướng Edge AI đưa các thuật toán trí tuệ nhân tạo trực tiếp lên thiết bị đầu cuối. Cách tiếp cận này loại bỏ hoàn toàn sự phụ thuộc vào máy chủ đám mây. Thiết bị biên xử lý dữ liệu nội bộ giúp giảm độ trễ phản hồi và bảo vệ quyền riêng tư cá nhân. Tại trường Đại học Sư phạm Kỹ thuật Thành phố Hồ Chí Minh năm 2025, nhóm tác giả đã xây dựng mô hình trí tuệ nhân tạo chuyên biệt cho thiết bị nhúng. Công trình khai thác triệt để sức mạnh của MobileNetV2 lượng tử hóa. Nghiên cứu giải quyết thành công bài toán cân bằng giữa kích thước mô hình và tốc độ tính toán. Kết quả đề tài mở ra triển vọng ứng dụng rộng rãi trên các hệ thống giám sát an toàn thông minh.

II. Phân tích vấn đề lượng tử hóa MobileNetV2 cho facial landmark

Quá trình triển khai mô hình học sâu lên phần cứng biên gặp nhiều rào cản kỹ thuật. Mạng nơ-ron tiêu chuẩn lưu trữ tham số dưới dạng số thực dấu phẩy động 32-bit (FP32). Định dạng này đòi hỏi dung lượng bộ nhớ lớn và băng thông truyền dữ liệu cao. Phép tính số học dấu phẩy động cũng tiêu thụ nhiều năng lượng của chip xử lý. Kỹ thuật lượng tử hóa chuyển đổi trọng số và hàm kích hoạt từ FP32 sang số nguyên 8-bit (INT8). Thay đổi này giúp giảm kích thước mô hình xuống khoảng bốn lần. Tốc độ suy luận tăng lên đáng kể nhờ các phép tính số nguyên đơn giản. Tuy nhiên, việc giảm số bit biểu diễn dẫn đến hiện tượng mất mát độ chính xác số học. Sai số lượng tử hóa tích lũy qua từng tầng mạng nơ-ron. Đối với bài toán định vị mốc khuôn mặt, sai lệch nhỏ về tọa độ pixel sẽ làm biến dạng cấu trúc hình học tổng thể. Góc quay đầu và biểu cảm phức tạp càng khiến độ lệch tọa độ trở nên nghiêm trọng. Do đó, việc tìm kiếm chiến lược nén mô hình phù hợp là thách thức lớn trong nghiên cứu.

2.1. So sánh phương pháp lượng tử hóa PTQ và QAT

Lượng tử hóa sau huấn luyện (PTQ) áp dụng trực tiếp lên mô hình FP32 đã qua huấn luyện sẵn. Phương pháp này không đòi hỏi huấn luyện lại và chỉ cần một tập dữ liệu nhỏ để hiệu chuẩn phân phối kích hoạt. PTQ tiết kiệm chi phí tính toán nhưng dễ gây suy giảm độ chính xác khi nén sâu. Ngược lại, lượng tử hóa có nhận thức (QAT) mô phỏng sai số lượng tử hóa ngay trong quá trình huấn luyện mạng. Trọng số mô hình liên tục điều chỉnh để bù đắp sai lệch do làm tròn số nguyên. Nhờ vậy, QAT duy trì độ chuẩn xác gần như tương đương với mô hình gốc. Tuy nhiên, QAT đòi hỏi toàn bộ tập dữ liệu huấn luyện và thời gian xử lý kéo dài hơn.

2.2. Giới hạn hình học khi sử dụng hàm mất mát truyền thống

Các hàm mất mát truyền thống như khoảng cách L1 hoặc L2 tính sai số tọa độ độc lập giữa các điểm mốc. Cách tiếp cận này giả định mọi điểm mốc đều có vai trò tương đương trong không gian phẳng. Giả định trên hoàn toàn không phù hợp với cấu trúc hình học ba chiều của khuôn mặt người. Khuôn mặt thường xuyên thay đổi tư thế theo ba góc quay Euler gồm Yaw, Pitch và Roll. Khi đầu nghiêng hoặc quay ngang, một số điểm mốc bị che khuất một phần. Hàm mất mát L2 gán cùng trọng số cho các điểm bị biến dạng hình học sẽ làm giảm chất lượng dự đoán. Mô hình dễ rơi vào trạng thái bẫy cực trị địa phương và định vị sai lệch toàn bộ cấu trúc khuôn mặt.

III. Giải pháp MobileNetV2 lượng tử hóa nhận diện facial landmark

Đề tài nghiên cứu tại HCMUTE đề xuất giải pháp kiến trúc mạng cải tiến dựa trên MobileNetV2. Nhóm tác giả tận dụng các lớp tích chập tách biệt theo chiều sâu (depthwise separable convolution) nhằm giảm lượng phép tính FLOPs. Mạng nơ-ron kết hợp các khối inverted residual với liên kết tắt tuyến tính giúp bảo toàn thông tin biểu diễn. Nhằm nâng cao khả năng định vị mốc, kiến trúc tích hợp cơ chế hợp nhất đặc trưng đa tầng. Đặc biệt, nghiên cứu thiết kế thêm một nhánh phụ trợ (auxiliary branch) trích xuất đặc trưng từ khối thứ tư của mạng xương sống. Nhánh phụ trợ này dự đoán ba góc quay Euler của đầu trong không gian ba chiều. Các góc quay này được dùng để gán trọng số thích nghi cho hàm mất mát định vị điểm mốc. Khi bước vào giai đoạn suy luận kiểm thử, nhánh phụ trợ được cắt tỉa hoàn toàn. Nhờ cơ chế cắt tỉa này, mô hình giữ nguyên độ chính xác cao nhưng không phát sinh bất kỳ độ trễ nào trong thời gian thực.

3.1. Thiết kế nhánh phụ trợ ước lượng góc quay đầu Euler

Nhánh phụ trợ đóng vai trò then chốt trong việc điều phối học hình học không gian. Nhánh lấy đầu vào trực tiếp từ khối thứ tư của mạng xương sống MobileNetV2. Cấu trúc nhánh bao gồm các tầng trích xuất đặc trưng trung gian và một tầng kết nối đầy đủ. Tầng này trực tiếp hồi quy ba góc quay Euler gồm Yaw, Pitch và Roll. Thông tin tư thế khuôn mặt được liên kết chặt chẽ với hàm mất mát định vị điểm mốc. Nhờ sự ràng buộc hình học này, mô hình học tốt mối tương quan giữa các góc nghiêng và vị trí tọa độ. Đáng chú ý, toàn bộ nhánh phụ trợ bị loại bỏ ở giai đoạn kiểm thử. Hệ thống không tốn thêm bộ nhớ lưu trữ hay chu kỳ tính toán khi thực thi trên thiết bị biên.

3.2. Quy trình lượng tử hóa mô hình sang định dạng INT8

Quy trình lượng tử hóa mô hình được triển khai theo các bước chuẩn xác nhằm hạn chế sai số. Ban đầu, mô hình FP32 được huấn luyện đầy đủ trên tập dữ liệu khuôn mặt đa dạng. Sau đó, quá trình hiệu chuẩn phân phối kích hoạt sử dụng một tập con gồm các mẫu hình ảnh đại diện. Nhóm nghiên cứu phân tích thống kê dải giá trị trọng số và xử lý triệt để các điểm ngoại lai. Tiếp theo, các tham số dấu phẩy động được ánh xạ sang thang đo số nguyên 8-bit. Quá trình kiểm thử đánh giá độ nhạy của từng lớp mạng đối với việc nén số học. Kỹ thuật lượng tử hóa giúp giảm kích thước mô hình hơn 70%, đồng thời giữ vững độ chính xác trên phần cứng biên.

IV. Ứng dụng thực tiễn của facial landmark MobileNetV2 tại HCMUTE

Nghiên cứu tốt nghiệp năm 2025 tại HCMUTE đã chứng minh tính khả thi vượt trội của giải pháp nén mô hình học sâu. Mô hình MobileNetV2 lượng tử hóa đáp ứng trọn vẹn yêu cầu khắt khe về tài nguyên trên thiết bị biên. Thời gian xử lý khung hình đạt tốc độ thời gian thực với mức tiêu thụ năng lượng tối thiểu. Kết quả này tạo tiền đề vững chắc cho việc ứng dụng công nghệ vào thực tiễn đời sống. Trong ngành giao thông thông minh, mô hình hỗ trợ xây dựng hệ thống cảnh báo lái xe mất tập trung. Thiết bị camera gắn trên xe có thể nhận diện chớp mắt và ngáp ngủ liên tục để phát tín hiệu báo động. Trong lĩnh vực y tế, giải pháp hỗ trợ theo dõi cử động khuôn mặt bệnh nhân để phát hiện sớm các dấu hiệu đột quỵ. Lĩnh vực giáo dục trực tuyến cũng có thể khai thác thuật toán để đánh giá mức độ tập trung của học viên. Hơn nữa, việc triển khai trực tiếp trên phần cứng cục bộ bảo vệ triệt để dữ liệu hình ảnh cá nhân. Người sử dụng không còn lo ngại về nguy cơ rò rỉ thông tin riêng tư lên mạng internet.

4.1. Khả năng triển khai đa nền tảng phần cứng nhúng

Mô hình MobileNetV2 sau khi lượng tử hóa sở hữu khả năng tương thích cao trên nhiều kiến trúc phần cứng khác nhau. Trọng số INT8 cho phép thực thi trơn tru trên các bo mạch nhúng phổ biến như Raspberry Pi, NVIDIA Jetson Nano hay các vi điều khiển ARM Cortex-M. Định dạng nén giảm thiểu tối đa kích thước tệp thực thi, giúp mô hình dễ dàng vừa vặn vào bộ nhớ Flash giới hạn của vi điều khiển. Việc giảm áp lực băng thông bộ nhớ cũng ngăn chặn hiện tượng quá nhiệt khi hệ thống hoạt động liên tục trong thời gian dài. Đề tài tại HCMUTE đã chứng minh rằng một mạng nơ-ron phức tạp hoàn toàn có thể chạy ổn định trên các nền tảng phần cứng giá rẻ.

4.2. Hướng phát triển và hoàn thiện mô hình trong tương lai

Nghiên cứu mở ra nhiều hướng tiếp cận giàu tiềm năng để tiếp tục hoàn thiện trong tương lai. Nhóm tác giả hướng đến việc kết hợp kỹ thuật cắt tỉa mạng nơ-ron (pruning) cùng với lượng tử hóa cực thấp như INT4 hoặc nhị phân hóa. Sự kết hợp này hứa hẹn sẽ giảm thiểu dung lượng mô hình sâu hơn nữa mà không làm mất đi các đặc trưng cốt lõi. Ngoài ra, việc nghiên cứu mở rộng tập dữ liệu sang các điều kiện môi trường khắc nghiệt như ánh sáng yếu hoặc khuôn mặt bị che khuất là rất cần thiết. Thuật toán có thể tích hợp thêm cơ chế tự thích nghi với chuyển động nhanh của đầu. Đề tài tại HCMUTE đặt nền móng kỹ thuật quan trọng cho các thế hệ ứng dụng thị giác biên thông minh kế tiếp.

Trích đoạn nội dung tài liệu

MINISTRY OF EDUCATION AND TRAINING HCMC UNIVERSITY OF TECHNOLOGY AND EDUCATION ---------- GRADUATION THESIS MAJOR: COMPUTER ENGINEERING TECHNOLOGY FACIAL LANDMARK DETECTION ON MULTIPLE PLATFORMS USING QUANTIZED MOBILENETV2 FOR EDGE AI APPLICATIONS INSTRUCTOR PHAM VAN KHOA STUDENT DO MANH DUNG DANG TRUNG NGHIA HO CHI MINH CITY – 07/2025 HCMC UNIVERSITY OF TECHNOLOGY AND EDUCATION FACULTY OF INTERNATIONAL EDUCATION ---------- GRADUATION PROJECT FACIAL LANDMARK DETECTION ON MULTIPLE PLATFORMS USING QUANTIZED MOBILENETV2 FOR EDGE AI APPLICATIONS ĐỖ MẠNH DŨNG Student ID: 21119301 ĐẶNG TRUNG NGHĨA Student ID: 21119313 Major: COMPUTER ENGINEERING TECHNOLOGY Advisor: PHẠM VĂN KHOA, PhD. HO CHI MINH CITY – 07/2025 HO CHI MINH CITY UNIVERSITY OF TECHNOLOGY AND EDUCATION FACULTY OF INTERNATIONAL EDUCATION GRADUATION PROJECT FACIAL LANDMARK DETECTION ON MULTIPLE PLATFORMS USING QUANTIZED MOBILENETV2 FOR EDGE AI APPLICATIONS ĐỖ MẠNH DŨNG Student ID: 21119301 ĐẶNG TRUNG NGHĨA Student ID: 21119313 Major: COMPUTER ENGINEERING TECHNOLOGY Advisor: PHẠM VĂN KHOA, PhD. HO CHI MINH CITY – 07/2025 DISCLAIMER The implementation group hereby formally declares that the research and application presented in this thesis represent the outcome of our independent and original work. The methodologies, analytical techniques, and proposed solutions have been developed based on our professional expertise and scientific research capabilities.

All aspects of the research process, including data collection, preprocessing, model design, training, and system deployment, have been conducted with scientific rigor and methodological precision. We categorically affirm that no portion of this work has been plagiarized from any published materials without appropriate citation and acknowledgment. All reference materials have been properly documented and credited according to established academic standards. We have maintained strict adherence to ethical principles and academic integrity throughout the entire research and implementation process.

We acknowledge full responsibility for the accuracy and authenticity of all content presented in this thesis. Any errors or omissions that may have occurred during the implementation process are entirely our responsibility, and we commit to upholding the highest standards of academic and research integrity. The research findings and results presented in this thesis demonstrate our systematic approach and innovative methodology in the field of license plate recognition. We anticipate that this research will make a meaningful contribution to the advancement of the field and provide a foundation for subsequent research endeavors.

The knowledge and experience gained through this project have been invaluable to our professional development. We are confident that the technical solutions and research outcomes presented herein reflect our dedicated commitment to scientific excellence and innovation in computer vision and pattern recognition applications. Students Do Manh Dung Dang Trung Nghia i ACKNOWLEDGEMENT We would like to express our deepest gratitude to Ph. Phạm Văn Khoa, our esteemed supervisor and mentor, for his invaluable guidance and unwavering support throughout this research project.

His profound expertise in hardware-software co-design and FPGA-based AI acceleration has been instrumental in steering our research toward meaningful contributions and empowering us to navigate complex technical challenges with confidence. This work focused on developing an energy-efficient Edge AI pipeline for real-time facial landmark detection with a comprehensive evaluation across multiple hardware platforms, including GPU, CPU, FPGA, and embedded systems. Khoa's expert supervision, we successfully implemented systematic model compression through Post-Training Quantization (PTQ) and Quantization-Aware Training (QAT), achieving INT8 precision with minimal accuracy degradation. The successful deployment on the Kria KV260 platform, achieving high FPS with superior energy efficiency, directly reflects his exceptional mentorship.

Khoa's expertise in quantization strategies and hardware-aware optimization proved invaluable in transforming our theoretical framework into a practical, high- performance prototype. His constructive feedback on performance evaluation and comparative analysis significantly enhanced the rigor of our research contributions. We are deeply grateful for his continuous encouragement and technical guidance, which played a pivotal role in achieving our thesis objectives. His constructive feedback on multi-platform performance evaluation and comparative analysis significantly enhanced the rigor of our research contributions.

Thank you, Ph. Phạm Văn Khoa, for believing in our research vision and guiding us through this journey of scientific innovation and discovery. Sincerely! STUDENTS ii ABSTRACT Real-time applications such as driver monitoring, face detection, and expression analysis have become increasingly critical in modern life. Deploying Facial Landmark Detection systems to make assessments of state and emotions of user require real-time processing capabilities with stringent power constraints for edge deployment.

This work presents a comprehensive evaluation and optimization of facial landmark detection networks across multiple hardware platforms, with particular focus on FPGA implementation for energy-efficient edge computing applications. We demonstrate an end- to-end development workflow that transforms the PyTorch PFLD network into a hardware- accelerated CNN optimized for the Xilinx Kria KV260 platform. Our methodology begins with systematic model compression using Post-Training Quantization (PTQ) and Quantization-Aware Training (QAT) pipelines in Vitis AI, converting all weights and activations to 8-bit fixed-point representation. This quantization strategy reduces the model footprint to 1.65 MB achieving 4× compression with minimal accuracy degradation (less than 1%).

Performance evaluation was conducted across five hardware platforms: RTX 4060 GPU, i9 CPU, Xilinx Kria KV260 FPGA, Jetson Nano 2GB, and Raspberry Pi 4B. The FPGA implementation demonstrates superior energy efficiency with 10 FPS/W approximately 2.5× more efficient than the RTX 4060 (3.91 FPS/W), 7× more efficient than the Intel i9 (1.35 FPS/W), and over 11× more efficient than embedded alternatives (Jetson Nano: 0.90 FPS/W, Raspberry Pi: 0. The FPGA implementation achieves real-time inference at 30 FPS while maintaining competitive accuracy (91.42% for other platforms) with a total power consumption of just 3W. This represents a ten-fold energy efficiency improvement compared to CPU implementation, making it ideal for battery-powered edge applications.

Keywords: Facial Landmark Detection, Mobilenetv2, FPGA, Quantization-Aware Training, Post Training Quantization, Vitis AI, Edge Computing. iii TABLE OF CONTENT DISCLAIMER. iii LIST OF FIGURES. vi LIST OF TABLES.

viii LIST OF ABBREVIATIONS. ix CHAPTER 1: INTRODUCTION. The Role of Research for Science and Practice. Research Value and Scope.

5 CHAPTER 2: FUNDAMENTAL CONCEPT. Convolutional Neural Network (CNN). Convolutional Neural Network in Facial Landmark Detection. Facial Landmark Dataset.

Lightweight CNN Architecture: MobileNetV2. Core Architectural Features. Computational Complexity and Parameter Efficiency. Flexibility and Hardware Scaling.

Structured Pruning and Sparse Optimization. Post-Training Quantization (PTQ). Quantization-Aware Training (QAT). Overview Vitis AI.

Vitis AI includes the following features:. Quantization In Vitis AI. Overview of Hardware Platforms for Comparison. NVIDIA RTX 4060 GPU.

Intel Core i9-13900K CPU. NVIDIA Jetson Nano 2GB. Raspberry Pi 4 Model B .1 Data Preparation and Augmentation. Algorithms Explaining the Complete Pipeline.

Face and Facial Landmark Detection. Post-Training Quantization (PTQ). Quantization-Aware Training (QAT). 48 CHAPTER 4: RESULT & DISCUSSION.

Target Platforms Deployment. 65 CHAPTER 5: CONCLUSION AND FUTURE WORK. 69 v LIST OF FIGURES Figure 2. Face region with 98 landmarks [6].

The architecture of MobileNetV2 DNN [7]. Quantization strategies with Post-Training Quantization (PTQ) in the left and Quantization-Aware Training (QAT) in the right. Vitis AI Integrated Development Environment [20]. Prunning process flow.

Evolution of accuracy and parameter reduction over iterations in the pruning process. A typical internal structure of an FPGA [40]. Intel Core i9-13900K CPU. NVIDIA Jetson Nano 2GB.

Raspberry Pi 4 Model B. 98 Facial Landmarks Images. Photometric transformation examples. Pre-processing and Training on Dataset Workflow.

Inference facial landmark detection Pipeline. Pruning and Quantization Flow. PTQ Model Flow. QAT Model Flow .1: Accuracy of MobileNetV2 over epochs .2: Visualization images after quantization by QAT and PTQ with green landmarks is groud truth and blue landmarks is predicted.

Raspberry Setup Environment. Jetson Nano Setup Environment. KV260 Setup Environment. Jetson Nano Inference.

62 vii LIST OF TABLES Table 1: Dataset comparison. 8 Table 2: Vitis AI supports quantization. 16 Table 3: Related Works Comparison. 28 Table 4: The backbone network configuration.

34 Table 5: The Auxiliary Branch Configuration. 36 Table 6: Quantized method results. 55 Table 7: Comparison and evaluation of PTQ vs. 56 Table 8: Voltage of platforms.

57 viii LIST OF ABBREVIATIONS ASIC Application Specific Integrated Circuit AFLW Annotated Factual Landmarks in the Wild AI Artificial Intelligence ALU Arithmetic Logic Unit ANNs Artificial Neural Networks API Application Programming Interface AR Augmented Reality AXI Advanced eXtensible Interface BN Batch Normalization BRAM Block Random Access Memory CNN Convolutional Neural Network CPU Central Processing Unit DL Deep Learning DNNs Deep Neural Networks DPU Deep Learning Processor Unit FC Fully Connected FP Floating Point FP32 32-bit Floating Point FPGA Field Programmable Gate Array FPS Frames Per Second FPU Floating point unit GPU Graphics Processing Unit HDMI High-Definition Multimedia Interface HLS High-Level Synthesis HW Hardware IC Integrated Circuit INT8 8-bit Integer IoT Internet of Things IP Intellectual Property LUT Lookup Table ML Machine Learning MTCNN Multi-Task Cascaded Convolutional Networks NLP Natural Language Processing NME Normalized Mean Error ONNX Open Neural Network Exchange OS Operation System PE Processing Element PFLD Practical Facial Landmark Detector PTQ Post Training Quantization QAT Quantization-aware Training ix QM Quantized Model QNNs Quantized Neural Network RAM Random Access Memory ReLU Rectified Linear Unit RGB Red – Green – Blue RNNs Recurrent Neural Networks RTL Register Transfer Level SIMD Single-Instruction Multiple-Data SoC System on Chip STE Straight Through Estimator TF TensorFlow USB Universal Serial Bus VR Virtual Reality WFLW Wider Facial Landmarks in the Wild YOLO You Only Look Once x CHAPTER 1: INTRODUCTION 1. Problem Statement The Internet of Things has evolved significantly, with an increasing number of devices being connected to networks and equipped with small computing capabilities [1]. Traditionally, these devices use cloud computing services to process data received from their sensors. However, many emerging applications require computation to be performed at the edge - the connection point between the network and the real world.

This necessity has given rise to edge computing as a critical paradigm shift. Edge computing focuses on processing data efficiently at the network's edge rather than relying solely on cloud computing [2]. This approach addresses several critical needs: faster data processing speeds compared to using broadband to transmit data to the cloud and waiting for computation results, and the transformation from data consumers to data producers as more people generate new data rather than simply consuming it on their devices. A prime example of this need is autonomous vehicles, which generate massive amounts of data every second that must be processed in real-time, making cloud service dependency impractical [3].

Within this edge computing context, one of the most important use cases is for traffic accidents caused by driver drowsiness and fatigue represent a critical challenge for road safety. These incidents account for 3–30% of global accidents and approximately 10 - 20% of severe crashes in Vietnam, resulting in thousands of collisions and hundreds of fatalities annually [4]. The urgency of this problem aligns perfectly with edge computing requirements, as driver monitoring systems demand real-time processing with minimal latency to provide immediate safety interventions. Existing solutions, such as steering wheel sensors, basic surveillance cameras, or algorithms running on CPU/GPU platforms, are often limited by high processing latency, significant power consumption, and costly hardware.

These limitations make deployment on resource-constrained embedded systems typical of edge computing environments particularly challenging. In response to these challenges, there is an urgent need for a non-intrusive, real-time monitoring approach capable of operating on low-power edge platforms. Facial landmark detection offers a promising solution by accurately identifying key facial features such as eyelids, mouth corners, and head pose. This method enables real-time analysis of blink frequency, mouth opening degree, and head tilt to detect early signs of drowsiness.

However, traditional convolutional neural networks (CNNs) typically demand substantial computational resources and memory, posing difficulties for implementation on FPGAs with limited logic capacity and bandwidth [5]- common constraints in edge computing scenarios. This research proposes a lightweight CNN model specifically tailored for facial landmark detection and optimized for edge deployment. The model incorporates quantization and pruning techniques to significantly reduce model size and computational 1 load, making it suitable for resource-constrained edge devices.