Phương Pháp Nghiên Cứu Đánh Giá Sự Hài Lòng Khách Hàng Trong Ngành Công Nghệ Thông Tin

Tài liệu nghiên cứu Ứng dụng phương pháp học sâu vào nhận dạng cảm xúc để đánh giá độ hài lòng khách hàng, tổng hợp lý thuyết và thực hành, cung cấp kiến thức chuyên sâu về .

• Tác giả: Nguyễn Phúc Đới
• Người hướng dẫn: TS. Huỳnh Trọng Thừa
• Trường học: Học viện Công nghệ Bưu chính Viễn thông
• Chuyên ngành: Hệ thống thông tin
• Đề tài: Phương Pháp Nghiên Cứu Đánh Giá Sự Hài Lòng Khách Hàng Trong Ngành Công Nghệ Thông Tin
• Loại tài liệu: Đề án tốt nghiệp
• Năm xuất bản: 2023
• Địa điểm: Thành phố Hồ Chí Minh

Mục lục chi tiết

• LỜI CAM ĐOAN
• LỜI CÁM ƠN
• MỤC LỤC
• 1. CHƯƠNG 1: TỔNG QUAN
• 1.1. Lý do chọn đề tài
• 1.2. Đối tượng và phạm vi nghiên cứu
• 1.3. Phương pháp nghiên cứu
• 1.4. Tính thực tiễn
• 1.5. Bố cục trình bày đồ án
• 2. CHƯƠNG 2: CƠ SỞ LÝ THUYẾT VÀ CÁC NGHIÊN CỨU LIÊN QUAN
• 2.1. Giới thiệu TensorFlow
• 2.2. Giới thiệu OpenCV
• 2.3. Giới thiệu Python
• 2.4. Các nghiên cứu liên quan
• 2.4.1. Mô hình VGG
• 2.4.2. Mô hình ResNet
• 2.4.3. Mô hình MobileNet
• 2.4.4. Kiến trúc Finetune-MobileNet
• 3. CHƯƠNG 3: MÔ HÌNH ĐÀ XUẤT
• 3.1. Xử lý dữ liệu
• 3.2. Huấn luyện mô hình
• 3.3. Xử lý dữ liệu đầu vào
• 3.4. Xây dựng mô hình
• 3.5. Huấn luyện mô hình
• 3.6. Kết quả huấn luyện mô hình. Mô hình được chọn
• 3.7. Cải tiến mô hình
• 3.8. Kiến trúc Finetune-MobileNetV2
• 3.9. Phân nhóm đá hài lòng
• 3.10. Kết quả huấn luyện sau cải tiến
• 4. CHƯƠNG 4: THỰC NGHIỆM
• 4.1. Thu thập thêm dữ liệu cảm xúc thực tế
• 4.2. Huấn luyện mô hình
• 4.3. Triển khai mô hình. Cài đặt thực nghiệm
• KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN
• DANH MỤC TÀI LIỆU THAM KHẢO

Tóm tắt

I. Tổng Quan Về Phương Pháp Nghiên Cứu Đánh Giá Sự Hài Lòng Khách Hàng

Trong ngành công nghệ thông tin, việc đánh giá sự hài lòng của khách hàng là một yếu tố quan trọng để cải thiện dịch vụ và sản phẩm. Phương pháp nghiên cứu này không chỉ giúp doanh nghiệp hiểu rõ hơn về nhu cầu của khách hàng mà còn tạo ra cơ sở dữ liệu để phát triển các chiến lược kinh doanh hiệu quả. Nghiên cứu này sẽ tập trung vào các phương pháp hiện đại, bao gồm cả việc sử dụng công nghệ để thu thập và phân tích dữ liệu.

1.1. Định Nghĩa Sự Hài Lòng Khách Hàng Trong Ngành Công Nghệ Thông Tin

Sự hài lòng khách hàng được định nghĩa là mức độ thỏa mãn của khách hàng đối với sản phẩm hoặc dịch vụ mà họ nhận được. Trong ngành công nghệ thông tin, điều này có thể được đo lường thông qua các chỉ số như chỉ số hài lòng khách hàng (CSAT) và Net Promoter Score (NPS).

1.2. Tầm Quan Trọng Của Đánh Giá Sự Hài Lòng Khách Hàng

Đánh giá sự hài lòng khách hàng giúp doanh nghiệp nhận diện được điểm mạnh và điểm yếu trong dịch vụ của mình. Điều này không chỉ giúp cải thiện trải nghiệm khách hàng mà còn tăng cường lòng trung thành và doanh thu.

II. Các Vấn Đề Thách Thức Trong Đánh Giá Sự Hài Lòng Khách Hàng

Mặc dù việc đánh giá sự hài lòng khách hàng mang lại nhiều lợi ích, nhưng cũng tồn tại nhiều thách thức. Các vấn đề như độ chính xác của dữ liệu, sự thiên lệch trong phản hồi và việc thu thập dữ liệu từ nhiều nguồn khác nhau có thể ảnh hưởng đến kết quả nghiên cứu.

2.1. Độ Chính Xác Của Dữ Liệu Đánh Giá

Độ chính xác của dữ liệu là một yếu tố quan trọng trong việc đánh giá sự hài lòng khách hàng. Nếu dữ liệu không chính xác, kết quả nghiên cứu sẽ không phản ánh đúng thực tế và có thể dẫn đến quyết định sai lầm.

2.2. Sự Thiên Lệ Trong Phản Hồi Khách Hàng

Sự thiên lệch trong phản hồi có thể xảy ra khi chỉ một nhóm khách hàng nhất định tham gia khảo sát. Điều này có thể dẫn đến việc không đại diện cho toàn bộ khách hàng và ảnh hưởng đến kết quả nghiên cứu.

III. Phương Pháp Nghiên Cứu Đánh Giá Sự Hài Lòng Khách Hàng Hiệu Quả

Để đánh giá sự hài lòng khách hàng một cách hiệu quả, có thể áp dụng nhiều phương pháp khác nhau. Các phương pháp này bao gồm khảo sát trực tuyến, phỏng vấn sâu và phân tích dữ liệu từ các nền tảng mạng xã hội.

3.1. Khảo Sát Trực Tuyến

Khảo sát trực tuyến là một trong những phương pháp phổ biến nhất để thu thập ý kiến khách hàng. Phương pháp này cho phép thu thập dữ liệu nhanh chóng và hiệu quả từ một lượng lớn khách hàng.

3.2. Phỏng Vấn Sâu

Phỏng vấn sâu giúp thu thập thông tin chi tiết và sâu sắc hơn về trải nghiệm của khách hàng. Phương pháp này thường được sử dụng để hiểu rõ hơn về cảm xúc và suy nghĩ của khách hàng.

3.3. Phân Tích Dữ Liệu Từ Mạng Xã Hội

Phân tích dữ liệu từ mạng xã hội giúp doanh nghiệp nắm bắt được phản hồi của khách hàng một cách tự nhiên và không bị ảnh hưởng bởi các yếu tố bên ngoài. Điều này giúp tạo ra cái nhìn tổng quan về sự hài lòng của khách hàng.

IV. Ứng Dụng Thực Tiễn Của Phương Pháp Nghiên Cứu

Các phương pháp nghiên cứu đánh giá sự hài lòng khách hàng đã được áp dụng thành công trong nhiều doanh nghiệp công nghệ thông tin. Những ứng dụng này không chỉ giúp cải thiện sản phẩm mà còn nâng cao trải nghiệm khách hàng.

4.1. Cải Thiện Sản Phẩm Dựa Trên Phản Hồi Khách Hàng

Doanh nghiệp có thể sử dụng phản hồi từ khách hàng để cải thiện sản phẩm của mình. Việc này giúp tạo ra sản phẩm phù hợp hơn với nhu cầu và mong đợi của khách hàng.

4.2. Tăng Cường Trải Nghiệm Khách Hàng

Bằng cách hiểu rõ hơn về sự hài lòng của khách hàng, doanh nghiệp có thể tạo ra các chiến lược nhằm nâng cao trải nghiệm khách hàng, từ đó tăng cường lòng trung thành.

V. Kết Luận Về Phương Pháp Nghiên Cứu Đánh Giá Sự Hài Lòng Khách Hàng

Phương pháp nghiên cứu đánh giá sự hài lòng khách hàng trong ngành công nghệ thông tin là một công cụ quan trọng giúp doanh nghiệp phát triển bền vững. Việc áp dụng các phương pháp hiện đại sẽ giúp doanh nghiệp nắm bắt được nhu cầu và mong đợi của khách hàng một cách hiệu quả.

5.1. Tương Lai Của Nghiên Cứu Đánh Giá Sự Hài Lòng Khách Hàng

Trong tương lai, việc áp dụng công nghệ mới như trí tuệ nhân tạo và học máy sẽ giúp cải thiện đáng kể quy trình đánh giá sự hài lòng khách hàng, từ đó tạo ra những giá trị mới cho doanh nghiệp.

5.2. Khuyến Nghị Đối Với Doanh Nghiệp

Doanh nghiệp nên thường xuyên cập nhật và cải tiến các phương pháp đánh giá sự hài lòng khách hàng để đáp ứng nhanh chóng với sự thay đổi của thị trường và nhu cầu khách hàng.

Nội dung chính

Tổng quan nghiên cứu

Trong kỷ nguyên chuyển đổi số và cạnh tranh thị trường khốc liệt, trải nghiệm khách hàng đóng vai trò sống còn đối với sự phát triển bền vững của doanh nghiệp. Theo các khảo sát thị trường gần đây, hơn 85% doanh nghiệp xem sự hài lòng của khách hàng là thước đo trọng tâm để nâng cao năng lực cạnh tranh. Tuy nhiên, các phương pháp thu thập phản hồi truyền thống như phát phiếu khảo sát giấy, phỏng vấn trực tiếp tại quầy hoặc gửi liên kết trực tuyến qua tin nhắn thường bộc lộ nhiều hạn chế lớn. Tỷ lệ phản hồi trung bình của các kênh khảo sát thủ công này chỉ dao động trong khoảng 5% đến 10%, đồng thời dữ liệu thu được thường có độ trễ lớn và mang nặng tính chủ quan từ người dùng.

Nhằm giải quyết triệt để bài toán trên, đồ án tốt nghiệp thạc sĩ kỹ thuật chuyên ngành Hệ thống thông tin tại Học viện Công nghệ Bưu chính Viễn thông đã tập trung nghiên cứu giải pháp tự động hóa quá trình đánh giá trải nghiệm người dùng thông qua thị giác máy tính. Mục tiêu cụ thể của nghiên cứu là xây dựng và tối ưu hóa mô hình học sâu có khả năng nhận dạng chính xác 8 trạng thái cảm xúc khuôn mặt, từ đó tự động phân nhóm và suy luận mức độ hài lòng của khách hàng theo thời gian thực.

Phạm vi nghiên cứu được thực nghiệm trên tập dữ liệu học máy chuẩn và triển khai kiểm thử trực tiếp trên luồng camera giám sát tại điểm giao dịch của Trung tâm Công nghệ Thông tin – Viễn thông Tây Ninh vào năm 2023. Ý nghĩa thực tiễn của công trình thể hiện rõ nét qua việc phát triển thành công mô hình tinh chỉnh Finetune20-MobileNetV2 với dung lượng bộ nhớ cực kỳ nhỏ gọn chỉ 59 MB, đạt tốc độ xử lý ấn tượng 220,3 khung hình/giây (FPS) và độ chính xác phân loại tổng thể đạt 72,47%. Kết quả này cung cấp một công cụ giám sát dịch vụ khách quan, tức thời và tối ưu hóa chi phí đầu tư hạ tầng phần cứng cho doanh nghiệp.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Nghiên cứu được xây dựng dựa trên nền tảng vững chắc của lý thuyết mạng nơ-ron tích chập sâu (Deep Convolutional Neural Networks - DCNN) và kỹ thuật học chuyển giao (Transfer Learning). Trong lĩnh vực thị giác máy tính, DCNN là công cụ hàng đầu để tự động trích xuất các đặc trưng không gian đa cấp độ từ hình ảnh, từ các đường nét viền cơ bản đến các biểu cảm phức tạp trên khuôn mặt.

Ba kiến trúc mạng nơ-ron tích chập tiêu biểu được đưa vào phân tích và so sánh gồm có: VGG16 với cấu trúc 16 tầng tích chập xếp chồng truyền thống; ResNet50 với cơ chế kết nối tắt (shortcut connections) đột phá giúp triệt tiêu hiện tượng tiêu biến gradient (vanishing gradient) trên các mạng có chiều sâu lớn; và MobileNetV2 với cấu trúc tích chập phân tách theo chiều sâu (Depthwise Separable Convolution) gồm 2 bước độc lập là Depthwise Convolution và Pointwise Convolution 1x1. Cơ chế này giúp MobileNetV2 cắt giảm tới hơn 80% khối lượng tính toán so với các phép tích chập tiêu chuẩn.

Bên cạnh lý thuyết học sâu, nghiên cứu ứng dụng mô hình tâm lý học nhận thức của Paul Ekman về 8 trạng thái cảm xúc căn bản của con người: Vui vẻ (Happy), Bình thường (Neutral), Ngạc nhiên (Surprise), Nóng giận (Anger), Khinh thường (Contempt), Thù ghét (Disgust), Sợ hãi (Fear) và Buồn bã (Sad). Dựa trên các phản ứng tâm lý học hành vi, tác giả thiết lập khung ánh xạ logic để phân định độ hài lòng của khách hàng thành 3 nhóm trạng thái rõ ràng:

• Nhóm Hài lòng: Bao gồm các biểu cảm tích cực và tương tác thuận lợi như Vui vẻ, Bình thường và Ngạc nhiên.
• Nhóm Không hài lòng: Bao gồm các biểu cảm tiêu cực như Nóng giận, Khinh thường, Thù ghét, Sợ hãi và Buồn bã.
• Nhóm Không xác định: Áp dụng cho các trường hợp mô hình đưa ra điểm số xác suất tin cậy dưới ngưỡng 50% (tức giá trị xác suất nhỏ hơn 0,5) nhằm loại bỏ rủi ro suy luận sai lệch khi góc mặt bị che khuất hoặc chất lượng khung hình kém.

Phương pháp nghiên cứu

Nghiên cứu sử dụng nguồn dữ liệu lớn từ bộ dữ liệu mở AffectNet (Facial Expressions Training Data) trên nền tảng Kaggle với tổng cỡ mẫu lên tới 28.175 hình ảnh khuôn mặt biểu cảm đa dạng. Quy mô phân bổ cụ thể của từng nhóm nhãn trong tập mẫu nghiên cứu gồm có:

• Neutral (Bình thường): 5.126 hình ảnh (chiếm tỷ trọng 18,19%)
• Happy (Vui vẻ): 5.044 hình ảnh (chiếm tỷ trọng 17,90%)
• Surprise (Ngạc nhiên): 4.039 hình ảnh (chiếm tỷ trọng 14,34%)
• Anger (Nóng giận): 3.218 hình ảnh (chiếm tỷ trọng 11,42%)
• Fear (Sợ hãi): 3.176 hình ảnh (chiếm tỷ trọng 11,27%)
• Sad (Buồn bã): 3.091 hình ảnh (chiếm tỷ trọng 10,97%)
• Contempt (Khinh thường): 2.871 hình ảnh (chiếm tỷ trọng 10,19%)
• Disgust (Thù ghét): 2.477 hình ảnh (chiếm tỷ trọng 8,79%)

Phương pháp chọn mẫu ngẫu nhiên phân tầng được áp dụng để chia toàn bộ 28.175 mẫu thành 3 tập dữ liệu độc lập phục vụ quy trình huấn luyện (Training set), kiểm định (Validation set) và kiểm thử (Test set). Để đảm bảo mô hình hoạt động ổn định trong điều kiện thực tế, tất cả hình ảnh đầu vào đều được tiền xử lý chuẩn hóa về kích thước 128x128 pixels. Kỹ thuật tăng cường dữ liệu (Data Augmentation) thông qua các phép biến đổi xoay góc, lật ngang và thu phóng ảnh ngẫu nhiên được thực hiện nhằm gia tăng tính tổng quát hóa cho mô hình.

Lý do lựa chọn phương pháp tối ưu hóa dựa trên thuật toán Adam với tốc độ học (learning rate) được thiết lập ở mức 0,0001 kết hợp hàm mất mát Categorical Cross-Entropy xuất phát từ khả năng thích ứng cao và tính hội tụ ổn định đối với bài toán phân loại đa lớp. Để kiểm soát quá trình huấn luyện diễn ra trong 32 phút, hệ thống tích hợp các kỹ thuật điều khiển tự động: EarlyStopping nhằm ngắt huấn luyện sớm khi hàm mất mát trên tập validation không còn cải thiện; ModelCheckpoint để lưu lại bộ trọng số tối ưu nhất; và ReduceLROnPlateau giúp tự động giảm tốc độ học khi mô hình chạm ngưỡng bão hòa.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

Quá trình thực nghiệm đối sánh giữa các kiến trúc mạng nơ-ron tích chập sâu đã mang lại những phát hiện quan trọng về mối tương quan giữa độ chính xác phân loại, dung lượng mô hình và tốc độ xử lý:

Thứ nhất, mô hình đề xuất Finetune20-MobileNetV2 (đóng băng 20 lớp đầu tiên của mạng gốc MobileNetV2 và bổ sung các lớp Flatten, Dense 128 nơ-ron với hàm kích hoạt ReLU, BatchNormalization, Dropout và Dense 8 lớp phân loại với hàm Softmax) đạt độ chính xác trung bình là 72,47%. Kết quả này cải thiện 0,68% so với mô hình MobileNetV2 nguyên bản (71,78%) và vượt trội hơn hẳn mô hình VGG16 với mức chênh lệch lên tới 7,04% (VGG16 chỉ đạt độ chính xác 65,43%).

Thứ hai, về mặt tối ưu hóa tài nguyên phần cứng, mô hình Finetune20-MobileNetV2 chỉ chiếm dụng dung lượng lưu trữ 59 MB. Kích thước này nhẹ hơn xấp xỉ 5,66 lần so với kiến trúc ResNet50 (334 MB) và nhỏ hơn 3,20 lần so với VGG16 (189 MB).

Thứ ba, tốc độ xử lý khung hình của Finetune20-MobileNetV2 đạt mức 220,3 FPS với tổng thời gian kiểm thử trên tập test chỉ mất 13,16 giây. Con số này vượt trội hơn tốc độ 188,2 FPS của ResNet50 (mất 15,39 giây) và 192,1 FPS của VGG16 (mất 15,05 giây), chứng minh khả năng đáp ứng hoàn hảo cho các tác vụ phân tích thời gian thực.

Thứ tư, độ chính xác nhận dạng có sự phân hóa rõ rệt giữa các nhóm biểu cảm cụ thể trên tập kiểm thử:

• Nhãn Happy đạt độ chính xác cao nhất với 91,40% (nhận diện chính xác 457 trên tổng số 500 ảnh).
• Nhãn Neutral đạt độ chính xác ấn tượng 86,13% (chính xác 416 trên tổng số 483 ảnh).
• Nhãn Contempt đạt độ chính xác 66,42% (chính xác 182 trên tổng số 274 ảnh).
• Nhãn Anger đạt độ chính xác 56,01% (chính xác 191 trên tổng số 341 ảnh).
• Nhãn Surprise đạt độ chính xác 55,68% (chính xác 206 trên tổng số 370 ảnh).
• Nhãn Fear đạt độ chính xác 55,26% (chính xác 189 trên tổng số 342 ảnh).
• Nhãn Sad đạt độ chính xác 52,85% (chính xác 176 trên tổng số 333 ảnh).
• Nhãn Disgust đạt độ chính xác 43,51% (chính xác 114 trên tổng số 262 ảnh).

Thảo luận kết quả

Khi phân tích sâu về kết quả phân loại từng nhãn cảm xúc, có thể nhận thấy các biểu cảm mang tính đặc trưng hình thái cao như nụ cười ở nhãn Happy (91,40%) hoặc trạng thái thả lỏng tự nhiên ở nhãn Neutral (86,13%) có tỷ lệ nhận diện đúng vượt trội. Ngược lại, nhãn Disgust (43,51%) và Sad (52,85%) có độ chính xác thấp hơn do đặc trưng cơ mặt của các trạng thái này thường có sự giao thoa phức tạp, dễ bị nhầm lẫn với trạng thái giận dữ hoặc mệt mỏi trong điều kiện góc nghiêng thực tế.

Trong báo cáo nghiên cứu, các kết quả thực nghiệm được trình bày trực quan thông qua bảng đối sánh 4 mô hình và biểu đồ cột thể hiện độ chính xác phân loại theo từng lớp cảm xúc. Việc biểu diễn dữ liệu qua các biểu đồ phân phối hiệu năng giúp làm nổi bật ưu thế vượt bậc của phương pháp đóng băng 20 lớp, cho thấy hàm mất mát kiểm định (validation loss) đạt mức thấp nhất là 0,6809.

So sánh với các nghiên cứu trong cùng lĩnh vực, mặc dù độ chính xác tổng thể của Finetune20-MobileNetV2 (72,47%) thấp hơn khoảng 3,02% so với mô hình cồng kềnh ResNet50 (75,49%), nhưng việc cắt giảm tới 82,3% dung lượng tệp tin mô hình và gia tăng tốc độ xử lý thêm 17,05% đã mang lại giá trị ứng dụng thực tiễn to lớn. Đây chính là điểm cân bằng hoàn hảo giữa hiệu năng tính toán và độ chính xác phân loại trong bài toán triển khai camera thông minh tại các phòng giao dịch.

Đề xuất và khuyến nghị

Dựa trên những phát hiện thực nghiệm và các điểm hạn chế đã được chỉ ra, nghiên cứu đưa ra 4 nhóm giải pháp chiến lược nhằm hoàn thiện và nhân rộng hệ thống:

Thứ nhất, nâng cao chất lượng và quy mô tập dữ liệu huấn luyện thực tế. Bộ phận kỹ thuật trí tuệ nhân tạo cần tiến hành thu thập bổ sung khoảng 10.000 mẫu ảnh chân dung khách hàng trực tiếp tại các quầy giao dịch trong lộ trình 3 tháng tới. Quá trình này cần tập trung làm sạch dữ liệu nhiễu, loại bỏ các góc chụp quá tối hoặc rung mờ, nhằm mục tiêu nâng cao độ chính xác của các nhãn cảm xúc phức tạp như Disgust và Fear lên mức trên 60%.

Thứ hai, tối ưu hóa module phát hiện khuôn mặt trong luồng video. Nhóm phát triển phần mềm cần thay thế giải thuật Haar Cascade truyền thống bằng các kiến trúc phát hiện khuôn mặt hiện đại hơn như MTCNN hoặc RetinaFace trong vòng 6 tháng. Giải pháp này giúp cải thiện tỷ lệ bắt trúng khuôn mặt ở các góc nghiêng từ mức 80% hiện tại lên trên 95%, giảm thiểu tình trạng bỏ sót khách hàng khi di chuyển qua quầy.

Thứ ba, tích hợp hệ thống cảnh báo tự động theo thời gian thực trên nền tảng đám mây. Đội ngũ vận hành hệ thống thông tin cần thiết lập cơ chế kết nối luồng RTSP camera với giao diện web Streamlit và hệ thống cơ sở dữ liệu tập trung trong vòng 4 tháng. Hệ thống cần tự động kích hoạt thông báo cảnh báo đến cấp quản lý chi nhánh khi tỷ lệ khách hàng có biểu cảm "Không hài lòng" vượt ngưỡng 15% trong một khung giờ cao điểm.

Thứ tư, chuẩn hóa quy trình chăm sóc và can thiệp dịch vụ tức thời. Khối Quản lý chất lượng dịch vụ và Chăm sóc khách hàng cần ban hành quy chuẩn phản ứng nhanh trong vòng 12 tháng: khi hệ thống ghi nhận khách hàng có biểu cảm tiêu cực kéo dài liên tục trên 30 giây tại quầy, nhân viên kiểm soát dịch vụ sẽ chủ động tiếp cận hỗ trợ để giải tỏa khiếu nại, hướng tới mục tiêu giảm tỷ lệ khách hàng rời bỏ dịch vụ xuống dưới 5% mỗi năm.

Đối tượng nên tham khảo luận văn

Luận văn là nguồn tài liệu học thuật và thực tiễn có giá trị cao cho 4 nhóm đối tượng trọng tâm sau:

1. Kỹ sư Trí tuệ Nhân tạo và Thị giác Máy tính (Computer Vision Engineers): Nắm bắt trọn vẹn quy trình xây dựng mạng nơ-ron tích chập nhẹ, kỹ thuật tinh chỉnh đóng băng tầng tham số trên MobileNetV2 và phương pháp tối ưu hóa mô hình AI để đạt tốc độ xử lý trên 220 FPS trên các thiết bị biên hoặc máy chủ cấu hình tầm trung.
2. Giám đốc Trải nghiệm Khách hàng (CXO) và Trưởng bộ phận Dịch vụ: Tiếp cận phương pháp luận khoa học trong việc tự động hóa đo lường độ hài lòng của khách hàng tại điểm bán lẻ, chi nhánh ngân hàng và trung tâm viễn thông, thay thế các công cụ khảo sát truyền thống có chi phí cao nhưng hiệu quả phản hồi dưới 10%.
3. Lập trình viên Hệ thống thông tin và Ứng dụng Web: Tham khảo kiến trúc giải pháp toàn diện kết nối trực tiếp luồng camera RTSP qua thư viện OpenCV bằng ngôn ngữ Python, kết hợp lưu trữ dữ liệu thời gian thực và xây dựng dashboard trực quan hóa chỉ số trải nghiệm bằng công cụ Streamlit.
4. Học viên Cao học và Nghiên cứu sinh ngành Công nghệ Thông tin: Sử dụng luận văn làm tài liệu tham khảo chuẩn mực về phương pháp nghiên cứu thực nghiệm đối sánh đa mô hình (ResNet50, VGG16, MobileNetV2), cách phân chia dữ liệu, xử lý hiện tượng mất cân bằng mẫu và giải quyết bài toán tối ưu hóa tài nguyên phần cứng.

Câu hỏi thường gặp

1. Tại sao nghiên cứu lại lựa chọn mô hình MobileNetV2 thay vì ResNet50 có độ chính xác cao hơn? Mặc dù ResNet50 đạt độ chính xác 75,49% (cao hơn MobileNetV2 khoảng 3,02%), nhưng dung lượng của nó lên tới 334 MB và tốc độ xử lý chỉ đạt 188,2 FPS. Trong khi đó, Finetune20-MobileNetV2 chỉ nặng 59 MB và đạt tốc độ 220,3 FPS, giúp tiết kiệm hơn 82% bộ nhớ và giảm thiểu chi phí phần cứng khi triển khai đồng loạt trên hàng trăm camera giao dịch.

2. Kỹ thuật đóng băng 20 lớp đầu tiên (Finetune 20 layers) mang lại lợi ích gì cho mô hình? Việc đóng băng 20 lớp đầu giúp giữ nguyên các trọng số trích xuất đặc trưng hình ảnh tổng quát đã được học từ tập dữ liệu ImageNet khổng lồ. Cách làm này vừa giúp mô hình hội tụ nhanh chóng chỉ trong 32 phút, vừa ngăn ngừa hiện tượng quá khớp (overfitting) và tăng độ chính xác phân loại thêm 0,68% so với mô hình không tinh chỉnh.

3. Hệ thống xử lý như thế nào khi nhận diện các khung hình có biểu cảm không rõ ràng? Hệ thống được lập trình với cơ chế lọc xác suất thông minh: bất kỳ dự đoán nào có ngưỡng tin cậy dưới 50% (xác suất nhỏ hơn 0,5) đều được tự động xếp vào nhóm "Không xác định". Điều này giúp loại bỏ các kết quả nhiễu do góc quay khuất, ánh sáng yếu hoặc rung lắc khung hình, bảo đảm tính tin cậy tuyệt đối cho dữ liệu báo cáo.

4. Phần cứng cần thiết để vận hành hệ thống thử nghiệm gồm những thành phần nào? Hệ thống thử nghiệm được cấu hình tối ưu trên máy chủ sử dụng hệ điều hành Ubuntu 20.04, trang bị 1 CPU Intel Core i5 4 nhân, bộ nhớ trong 8 GB RAM, ổ cứng 512 GB HDD và 1 card đồ họa NVIDIA RTX 2070 8GB GPU. Cấu hình tiêu chuẩn này hoàn toàn đủ sức xử lý luồng video RTSP thời gian thực với độ trễ cực thấp.

5. Việc gom 8 biểu cảm thành 2 nhóm Hài lòng và Không hài lòng có làm mất tính khách quan không? Quy tắc phân nhóm dựa trên cơ sở tâm lý học hành vi vững chắc: các trạng thái Vui vẻ, Bình thường, Ngạc nhiên phản ánh tương tác thuận lợi, trong khi Nóng giận, Khinh thường, Thù ghét, Sợ hãi, Buồn bã phản ánh xung đột hoặc bất tiện. Cách tiếp cận này giúp các nhà quản trị nắm bắt tức thì bức tranh trải nghiệm tổng thể mà không bị quá tải bởi các nhãn dữ liệu chi tiết.

Kết luận

• Tinh chỉnh thành công mô hình Finetune20-MobileNetV2 với dung lượng siêu gọn nhẹ chỉ 59 MB và tốc độ xử lý khung hình thời gian thực vượt bậc đạt 220,3 FPS.
• Đạt độ chính xác nhận dạng cảm xúc trung bình 72,47%, trong đó các biểu cảm phổ biến tại quầy giao dịch như Vui vẻ đạt 91,40% và Bình thường đạt 86,13%.
• Đề xuất và hiện thực hóa cơ chế phân nhóm độ hài lòng thông minh (Hài lòng, Không hài lòng, Không xác định) phục vụ phân tích tự động trải nghiệm khách hàng.
• Xây dựng hoàn chỉnh pipeline công nghệ từ thu nhận luồng video RTSP của camera, tách khuôn mặt bằng OpenCV đến hiển thị kết quả trực quan trên dashboard web bằng Streamlit.
• Thử nghiệm thành công giải pháp trên môi trường thực tế tại đơn vị viễn thông với cấu hình phần cứng phổ thông sử dụng GPU RTX 2070 8GB và hệ điều hành Ubuntu 20.04.

Đóng góp cốt lõi của luận văn là đã làm cầu nối vững chắc giữa công nghệ học sâu tiên tiến và bài toán quản trị kinh doanh thực tiễn, mang đến một giải pháp đo lường trải nghiệm khách hàng tự động, khách quan và có tính khả thi thương mại hóa rất cao.

Trong giai đoạn 6 đến 12 tháng tới, định hướng phát triển tiếp theo của đề tài là nâng cấp thuật toán tách khuôn mặt sang các kiến trúc học sâu chuyên dụng, đồng thời mở rộng tập dữ liệu thực nghiệm lên trên 50.000 mẫu đa dạng góc nhìn. Các doanh nghiệp và nhà nghiên cứu quan tâm có thể ứng dụng ngay khung kiến trúc này để hiện đại hóa hệ thống quản trị chất lượng dịch vụ trong kỷ nguyên số.

Trích đoạn nội dung tài liệu

HâC VIÆN CÔNG NGHÆ B¯U CHÍNH VIÄN THÔNG --------------------------------------- NguyÅn Ph°ãc Đ¿i ĄNG DĀNG PH¯¡NG PHÁP HâC SÂU VÀO NHÂN D¾NG CÀM XÚC Đ ĐÁNH GIÁ Đà HÀI LÒNG KHÁCH HÀNG ĐÀ ÁN TÞT NGHIÆP TH¾C SĨ KĀ THUÂT (Theo định hướng āng dụng) THÀNH PHÞ Hà CHÍ MINH - 2023 HâC VIÆN CÔNG NGHÆ B¯U CHÍNH VIÄN THÔNG --------------------------------------- NguyÅn Ph°ãc Đ¿i ĄNG DĀNG PH¯¡NG PHÁP HâC SÂU VÀO NHÂN D¾NG CÀM XÚC Đ ĐÁNH GIÁ Đà HÀI LÒNG KHÁCH HÀNG Chuyên ngành: Há thống thông tin Mã số: 8.04 ĐÀ ÁN TÞT NGHIÆP TH¾C SĨ KĀ THUÂT (Theo định hướng āng dụng) NG¯äI H¯âNG DÀN KHOA HâC TS. HUþNH TRâNG TH¯A THÀNH PHÞ Hà CHÍ MINH - 2023 i LäI CAM ĐOAN Tôi xin cam đoan đà án th¿c s* há thống thông tin <Ąng dāng ph°¢ng pháp hãc sâu vào nhÃn d¿ng cÁm xúc đà đánh giá đá hài lòng khách hàng= là do tôi nghiên cąu, táng hÿp và thāc hián. TÃt cÁ các nái dung, các số liáu, kÁt quÁ nêu trong đà án tốt nghiáp này là trung thāc và ch°a từng đ°ÿc ai công bố trong bÃt kỳ công trình nào khác. Tôi hoàn toàn chịu trách nhiám cho mọi hành vi sao chép trái phép hoặc vi ph¿m quy chÁ đào t¿o.

TPHCM, ngày 12 tháng 10 năm 2023 Hãc viên thąc hiÇn đÁ án NguyÅn Ph°ãc Đ¿i ii LäI CÁM ¡N Tôi xin gửi lßi cÁm ¢n chân thành và sâu sắc đÁn TS. Huỳnh Trọng Th°a, ng°ßi thÅy đã tÁn tâm và nhiát tình trong viác h°ãng d¿n và đáng viên tôi suốt quá trình thāc hián đà án. Nhß sā hß trÿ căa ng°ßi thÅy, tôi đã đ°ÿc định h°ãng và hoàn thành các māc tiêu mà tôi đã đà ra. Tôi xin gửi lßi tri ân chân thành đÁn các ThÅy, Cô đã đßng hành và tÁn tình giÁng d¿y cho tôi suốt thßi gian học tÁp trong ch°¢ng trình Th¿c s* Há thống thông tin t¿i khoa Đào t¿o Sau đ¿i học, Học vián Công nghá B°u chính Vißn thông c¢ sá t¿i thành phố Hß Chí Minh.

Tôi muốn bày tỏ lòng biÁt ¢n đÁn ban Giám Đốc Trung tâm Công nghá Thông tin – Vißn thông Tây Ninh đã t¿o điÃu kián thuÁn lÿi cho quá trình học tÁp căa tôi. Tôi biÁt ¢n đÁn tÃt cÁ b¿n bè đã đáng viên, hß trÿ và đóng góp nhÿng ý kiÁn quý báu cho đà án này. Đóng góp căa các b¿n đã giúp tôi hoàn thián nghiên cąu này. Đà án đã hoàn thành và đ¿t đ°ÿc mát số kÁt quÁ nhÃt định, tuy vÁy tôi thừa nhÁn rằng còn tßn t¿i nhÿng h¿n chÁ và thiÁu sót.

Vì vÁy, tôi chân thành mong nhÁn đ°ÿc sā thông cÁm, sā đóng góp quý báu từ quý thÅy cô và các b¿n đÅ tôi có thÅ cÁi thián, nâng cao chÃt l°ÿng căa nghiên cąu này. Mát lÅn nÿa tôi xin chân thành cÁm ¢n ! TPHCM, ngày 12 tháng 10 năm 2023 Hãc viên thąc hiÇn đÁ án NguyÅn Ph°ãc Đ¿i iii MĀC LĀC LäI CAM ĐOAN. iii DANH MĀC CÁC THUÂT NGĂ, CHĂ VI¾T TÄT .v DANH SÁCH HÌNH VẼ. vi DANH SÁCH BÀNG .1 CH¯¡NG 1 – TâNG QUAN.

Lý do chãn đÁ tài. Đßi t°ÿng và ph¿m vi nghiên cąu. Ph°¢ng pháp nghiên cąu. Tính thąc tiÅn.

Bß cāc trình bày đÁ án .3 CH¯¡NG 2 – C¡ Sæ LÝ THUY¾T VÀ CÁC NGHIÊN CĄU LIÊN QUAN. Giãi thiáu TensorFlow. Giãi thiáu và OpenCV. Giãi thiáu và Python.

Các nghiên cąu liên quan. Mô hình VGG. Mô hình ResNet. Mô hình MobileNet.

KiÁn trúc Finetune-MobileNet .15 CH¯¡NG 3 – MÔ HÌNH ĐÀ XUÂT. Xử lý dÿ liáu. HuÃn luyÇn mô hình. Xử lý dÿ liáu đÅu vào.

Xây dāng mô hình. HuÃn luyán mô hình. KÁt quÁ huÃn luyán mô hình. Mô hình đ°ÿc chọn.

CÁi ti¿n mô hình. KiÁn trúc Finetune-MobileNetV2. Phân nhóm đá hài lòng. KÁt quÁ huÃn luyán sau cÁi tiÁn .312 Ch°¢ng 4 – THĄC NGHIÆM.

Thu thÃp thêm dă liÇu cÁm xúc thąc t¿. HuÃn luyÇn mô hình. TriÃn khai mô hình. Cài đặt thąc nghiÇm .38 K¾T LUÂN VÀ H¯âNG PHÁT TRIÂN .41 DANH MĀC CÁC TÀI LIÆU THAM KHÀO .42 v DANH MĀC CÁC THUÂT NGĂ, CHĂ VI¾T TÄT Vi¿t tÅt Ti¿ng Anh Ti¿ng ViÇt Deep Convolutional Neural DCNN M¿ng n¢ron tích chÁp sâu Networks Finetune Tinh chỉnh MobileNet M¿ng di đáng VGG Visual Geometry Group ResNet Residual Network Open Source Computer Vision Th° vián thị giác máy tính OpenCV Library mã ngußn má vi DANH SÁCH HÌNH VẼ Hình 1.2: KiÁn trúc cho ImageNet .3: Tỷ lá lßi khi xác thāc ImageNet.

Mô hình VGG-16, ResNet- 50/101/152 chỉ sử dāng phép chiÁu đÅ tăng kích th°ãc.4: KiÁn trúc thân MobileNet .5: Lãp tích chÁp tiêu chuẩn: (a) vãi định mąc hàng lo¿t và ReLU, (b) Lãp tích chÁp theo chiÃu sâu vãi Depthwise và Pointwise .6: KiÁn trúc há thống MobileNet tinh chỉnh .7: Mô hình MobileNet CNN .8: KiÁn trúc Finetuned MobileNet .1: Xử lý dÿ liáu input .2: Mô hình ResNet50 .3: Mô hình VGG16 .4: Mô hình MobileNetV2 .5: KÁt quÁ training vãi ResNet50.6: KÁt quÁ training vãi VGG16 .7: KÁt quÁ training vãi MobileNetV2 .8: KÁt quÁ đá chính xác nhãn cÁm xúc vãi VGG16 .9: KÁt quÁ đá chính xác nhãn cÁm xúc vãi ResNet50 .10: KÁt quÁ đá chính xác nhãn cÁm xúc vãi MobileNetV2 .11: BiÅu đß so sánh giÿa 3 mô hình .1: KiÁn trúc MobileNetV2 .2: KÁt quÁ training vãi MobileNetV2 sau cÁi tiÁn .3: BiÅu đß đá chính xác căa các nhãn cÁm xúc vãi MobileNetV2 .4: BiÅu đß so sánh giÿa 4 mô hình theo nhãn cÁm xúc .1: KiÁn trúc há thống thāc nghiám .2: Giao dián há thống demo .3: Các b°ãc đ°a dÿ liáu vào há thống đÅ nhÁn d¿ng .4: KÁt quÁ dā đoán cÁm xúc qua nhÁn d¿ng khuôn mặt .5: KÁt quÁ dÿ liáu nhÁn d¿ng ch°a chuẩn xác hoàn toàn .40 viii DANH SÁCH BÀNG BÁng 1.1: KÁt quÁ kiÅm thử mô hình VGG16 đã training .2: KÁt quÁ kiÅm thử mô hình ResNet50 đã training .3: KÁt quÁ kiÅm thử mô hình MobileNetV2 đã training .4: KÁt quÁ so sánh giÿa 3 mô hình .1: KÁt quÁ 8 lãp cÁm xúc ch¿y thử MobileNetV2 sau cÁi tiÁn .2: KÁt quÁ so sánh giÿa kỹ thuÁt đóng băng 5 lãp, 20 lãp và 40 lãp .3: KÁt quÁ kiÅm thử mô hình Finetune20-MobileNetV2 đã training .4: KÁt quÁ kiÅm thử 4 mô hình .34 1 Mæ ĐÄU Trong thßi đ¿i số hóa và phát triÅn công nghá nh° hián nay, ąng dāng căa trí tuá nhân t¿o và học máy đã mang l¿i nhÿng tiÁn bá đáng kÅ trong nhiÃu l*nh vāc, đặc biát là trong viác nhÁn d¿ng và xử lý dÿ liáu hình Ánh. Mát trong nhÿng ąng dāng quan trọng căa học máy trong l*nh vāc này là khÁ năng nhÁn d¿ng cÁm xúc mặt ng°ßi, góp phÅn nâng cao khÁ năng t°¢ng tác giÿa con ng°ßi và máy tính. CÁm xúc mặt ng°ßi chąa đāng nhÿng thông điáp quan trọng và tâm tr¿ng, tình cÁm và thái đá căa mát cá nhân t¿i thßi điÅm cā thÅ. ĐÅ hiÅu đ°ÿc nhÿng thông điáp này, máy tính cÅn có khÁ năng xử lý và nhÁn biÁt các đặc điÅm trong hình Ánh khuôn mặt, từ đó phân lo¿i cÁm xúc nh° vui vẻ, bußn bã, tąc giÁn, sÿ hãi, kinh ng¿c, và ghét bỏ.

Trong bối cÁnh này, viác sử dāng mô hình Deep Convolutional Neural Networks (DCNN) và kỹ thuÁt Fine-tune đã chąng minh sā hiáu quÁ trong viác xây dāng các há thống nhÁn d¿ng cÁm xúc mặt ng°ßi. Mô hình MobileNet, mát lo¿i mô hình DCNN, đã đ°ÿc phát triÅn đÅ đáp ąng nhu cÅu trong viác xử lý hình Ánh trên các thiÁt bị có tài nguyên h¿n chÁ nh° đián tho¿i di đáng và thiÁt bị nhúng. KÁt hÿp vãi kỹ thuÁt Fine-tune, mô hình MobileNet có thÅ đ°ÿc tinh chỉnh và đào t¿o l¿i trên dÿ liáu cā thÅ, giúp nâng cao khÁ năng nhÁn d¿ng cÁm xúc mặt ng°ßi trên các tÁp dÿ liáu cā thÅ. Đà án tốt nghiáp này nhằm khám phá tiÃm năng căa mô hình MobileNet và kỹ thuÁt Fine-tune trong viác xây dāng há thống nhÁn d¿ng cÁm xúc mặt ng°ßi.

Qua viác nghiên cąu và thāc nghiám, mong muốn rằng luÁn văn s¿ đóng góp vào sā phát triÅn căa l*nh vāc này và má ra nhÿng h°ãng nghiên cąu tiÃm năng trong t°¢ng lai. 2 CH¯¡NG 1 – TâNG QUAN 2. Lý do chãn đÁ tài Hián nay, mát phÅn rÃt quan trọng trong chiÁn l°ÿc sÁn xuÃt kinh doanh căa nhiÃu doanh nghiáp là công tác đánh giá đá hài lòng căa khách hàng. Ngoài các ph°¢ng pháp truyÃn thống là khÁo sát trāc tiÁp ý kiÁn khách hàng ngay t¿i điÅm giao dịch, gửi liên kÁt đánh giá trāc truyÁn&, thì mát ph°¢ng pháp đ°ÿc đà cÁp đÁn là nhÁn d¿ng cÁm xúc khuôn mặt đÅ đánh giá đá hài lòng căa khách hàng khi trÁi nghiám dịch vā.

Xây dāng mát ąng dāng thử nghiám khÁ năng nhÁn d¿ng cÁm xúc trên mặt ng°ßi từ các tÁp dÿ liáu má trên internet, đánh giá tính khÁ thi tr°ãc khi phát triÅn ý t°áng thành ąng dāng hoàn chỉnh áp dāng vào thāc tÁ. Nên viác đà xuÃt giÁi pháp <Ąng dāng ph°¢ng pháp hãc sâu vào nhÃn d¿ng cÁm xúc đà đánh giá đá hài lòng khách hàng= là có tính thiÁt thāc và mang tính ąng dāng cao. Māc đích nghiên cąu Đà án <Ąng dāng ph°¢ng pháp học sâu vào nhÁn d¿ng cÁm xúc đÅ đánh giá đá hài lòng khách hàng= h°ãng tãi mát ąng dāng có chąc năng phát hián ra khuôn mặt ng°ßi và nhÁn d¿ng cÁm xúc trên khuôn mặt đó nh° giÁn giÿ, khinh th°ßng, sÿ hãi, vui vẻ/h¿nh phúc, bình th°ßng, bußn, ng¿c nhiên. Thông qua nghiên cąu các ph°¢ng pháp học máy cho bài toán nhÁn d¿ng cÁm xúc mặt ng°ßi và ngôn ngÿ lÁp trình Python, đà án muốn xây dāng mát ąng dāng có thÅ nhÁn d¿ng đ°ÿc cÁm xúc căa khuôn mặt ng°ßi từ đó đánh giá đá hài lòng căa khách hàng.

Đßi t°ÿng và ph¿m vi nghiên cąu Vãi māc tiêu đặt ra á trên, đà án thāc hián nhÿng vÃn đà sau: - Đối t°ÿng nghiên cąu là các ph°¢ng pháp phát hián khuôn mặt ng°ßi và nhÁn d¿ng cÁm xúc căa khuôn mặt qua đó lāa chọn mát ph°¢ng pháp phù hÿp. Tìm hiÅu và đà xuÃt mát ph°¢ng pháp cā thÅ. - Nghiên cąu và sử dāng ph°¢ng pháp học máy, cā thÅ là là mô hình MobileNet đÅ phân lo¿i cÁm xúc căa khách hàng. 3 - Ph¿m vi thāc hián: sử dāng tÁp dÿ liáu trên Kaggle đÅ huÃn luyán và đ°a ra kỹ thuÁt tối °u mô hình áp dāng.

Ph°¢ng pháp nghiên cąu - Ph°¢ng pháp nghiên cąu lý thuy¿t: Mô tÁ kiÁn thąc và m¿ng n¢ron và học sâu cÅn thiÁt đÅ hiÅu và mô hình MobileNet. Phân tích chi tiÁt cách MobileNet ho¿t đáng, cách áp dāng vào bài toán phân lo¿i cÁm xúc. - Ph°¢ng pháp nghiên cąu thąc nghiÇm: Trình bày quy trình xây dāng tÁp dÿ liáu, tiÃn xử lý, huÃn luyán và đánh giá mô hình. Thử nghiám nhiÃu mô hình khác nhau nh° VGG,Resnet, thử nghiám kỹ thuÁt Finetune vãi mô hình MobileNet đÅ tăng đá chính xác.