Khóa luận tốt nghiệp hệ thống thông tin quản lý ứng dụng nhận diện khuôn mặt trong bài toán chăm sóc khách hàng tại vietinbank sử dụng opencv

Khóa luận tốt nghiệp nghiên cứu tốt nghiệp hệ thống thông tin quản lý ứng dụng nhận diện khuôn mặt trong bài toán chăm sóc khách, vận dụng lý thuyết vào thực tế, đề xuất giải pháp

• Tác giả: Đặng Thị Ngọc Mai
• Người hướng dẫn: Ths. Bùi Thị Hồng Nhung
• Trường học: Học viện Ngân hàng
• Chuyên ngành: Hệ thống thông tin quản lý
• Đề tài: Ứng Dụng Nhận Diện Khuôn Mặt Trong Chăm Sóc Khách Hàng Tại Vietinbank Sử Dụng OpenCV
• Loại tài liệu: khóa luận tốt nghiệp
• Năm xuất bản: 2019
• Địa điểm: Hà Nội

Mục lục chi tiết

• LỜI CẢM ƠN
• LỜI CAM KẾT
• MỤC LỤC
• DANH MỤC VIẾT TẮT
• DANH MỤC HÌNH ẢNH
• MỞ ĐẦU
• 0.1. Lý do chọn đề tài
• 0.2. Mục tiêu và nội dung nghiên cứu
• 0.3. Phương pháp nghiên cứu
• 0.4. Phạm vi nghiên cứu
• 0.5. Đối tượng nghiên cứu
• 0.6. Kết cấu của đề tài
• 1. CHƯƠNG 1: CƠ SỞ LÝ LUẬN VỀ HỆ THỐNG NHẬN DIỆN KHUÔN MẶT VÀ TỔNG QUAN TÌNH HÌNH NGHIÊN CỨU
• 1.1. Tổng quan về hệ thống nhận diện khuôn mặt
• 1.2. Khái niệm hệ thống nhận diện khuôn mặt
• 1.3. Các giai đoạn trong quá trình nhận diện khuôn mặt
• 1.4. Các yếu tố ảnh hưởng tới quá trình nhận diện khuôn mặt
• 1.5. Xu thế ứng dụng hệ thống nhận diện khuôn mặt người
• 1.5.1. Ứng dụng trong nước
• 1.5.2. Ứng dụng quốc tế
• 1.6. Kết luận chương 1
• 2. CHƯƠNG 2: THỰC TRẠNG PHÁT TRIỂN VÀ QUẢN LÝ TRONG CÔNG TÁC PHỤC VỤ KHÁCH HÀNG TẠI NGÂN HÀNG VIETINBANK VÀ CÔNG NGHỆ NHẬN DẠNG KHUÔN MẶT
• 2.1. Giới thiệu về ngân hàng Vietinbank
• 2.2. Quy trình chăm sóc khách hàng
• 2.2.1. Đánh giá ưu, nhược điểm quy trình chăm sóc khách hàng
• 2.2.2. Thực trạng quy trình chăm sóc khách hàng tại các phòng giao dịch
• 2.3. Mục tiêu hướng đến trong công tác phục vụ khách hàng ứng dụng hệ thống nhận diện khuôn mặt
• 2.3.1. Mục tiêu ngắn hạn
• 2.3.2. Mục tiêu trong tương lai
• 2.4. Các tiêu chí trong việc cải thiển quy trình chăm sóc khách hàng ứng dụng Công nghệ nhận diện khuôn mặt tại các điểm giao dịch
• 2.5. Công nghệ và ngôn ngữ sử dụng trong Công nghệ nhận dạng khuôn mặt
• 2.6. Giới thiệu về OpenCV
• 2.7. Thuật toán nhận diện khuôn mặt rút trích đặc trưng LPBH
• 2.8. Kết luận chương 2
• 3. CHƯƠNG 3: ỨNG DỤNG OPENCV NHẬN DIỆN KHÁCH HÀNG TẠI NGÂN HÀNG VIETINBANK VÀ CÁCH THỨC CÀI ĐẶT HỆ THỐNG
• 3.1. Quy trình nhận diện khuôn mặt sử dụng OpenCV
• 3.2. Thu thập và tách mặt người trong ảnh
• 3.3. Trích chọn đặc trưng
• 3.4. Phân loại, nhận dạng
• 3.5. Bài toán nhận diện khuôn mặt khách hàng trong ngân hàng
• 3.6. Ứng dụng nhận diện khuôn mặt khách hàng sử dụng OpenCV
• 3.7. Cách thức cài đặt hệ thống và kiểm thử
• 3.7.1. Pycharm Community Edition
• 3.7.2. Địa chỉ tải về OpenCV
• 3.7.3. Cài đặt một số thư viện hỗ trợ Python và OpenCV
• 3.7.4. Giao diện tổng quan của chương trình nhận diện
• 3.7.5. Kết quả kiểm thử
• 3.8. Kết luận chương 3
• TÀI LIỆU THAM KHẢO

Tóm tắt

I. Tổng quan về ứng dụng nhận diện khuôn mặt trong chăm sóc khách hàng

Công nghệ nhận diện khuôn mặt đang ngày càng trở nên phổ biến trong nhiều lĩnh vực, đặc biệt là trong ngành ngân hàng. Tại Vietinbank, việc ứng dụng công nghệ này không chỉ giúp nâng cao hiệu quả trong chăm sóc khách hàng mà còn cải thiện trải nghiệm của khách hàng. Hệ thống nhận diện khuôn mặt sử dụng OpenCV cho phép nhận diện nhanh chóng và chính xác, từ đó rút ngắn thời gian giao dịch và tăng cường an ninh cho ngân hàng.

1.1. Khái niệm về nhận diện khuôn mặt và OpenCV

Nhận diện khuôn mặt là quá trình xác định danh tính của một người thông qua hình ảnh khuôn mặt. OpenCV là thư viện mã nguồn mở hỗ trợ phát triển các ứng dụng nhận diện khuôn mặt, giúp xử lý hình ảnh và video một cách hiệu quả.

1.2. Lợi ích của việc ứng dụng nhận diện khuôn mặt tại Vietinbank

Việc ứng dụng nhận diện khuôn mặt tại Vietinbank mang lại nhiều lợi ích như tăng cường an ninh, giảm thời gian chờ đợi của khách hàng và nâng cao chất lượng dịch vụ. Khách hàng có thể được phục vụ nhanh chóng mà không cần phải xuất trình giấy tờ.

II. Thách thức trong việc triển khai nhận diện khuôn mặt tại ngân hàng

Mặc dù có nhiều lợi ích, việc triển khai nhận diện khuôn mặt cũng gặp phải một số thách thức. Các vấn đề như độ chính xác của hệ thống, sự chấp nhận của khách hàng và các vấn đề về bảo mật thông tin cần được xem xét kỹ lưỡng.

2.1. Độ chính xác và độ tin cậy của hệ thống

Độ chính xác của hệ thống nhận diện khuôn mặt phụ thuộc vào nhiều yếu tố như ánh sáng, góc chụp và chất lượng hình ảnh. Việc cải thiện độ chính xác là một trong những thách thức lớn nhất trong việc ứng dụng công nghệ này.

2.2. Sự chấp nhận của khách hàng đối với công nghệ mới

Khách hàng có thể có những lo ngại về quyền riêng tư khi sử dụng công nghệ nhận diện khuôn mặt. Việc giáo dục và tạo sự tin tưởng cho khách hàng là rất quan trọng để công nghệ này được chấp nhận rộng rãi.

III. Phương pháp triển khai nhận diện khuôn mặt tại Vietinbank

Để triển khai hệ thống nhận diện khuôn mặt, Vietinbank đã áp dụng một số phương pháp và công nghệ tiên tiến. Việc sử dụng OpenCV giúp tối ưu hóa quy trình nhận diện và đảm bảo tính chính xác cao.

3.1. Quy trình nhận diện khuôn mặt sử dụng OpenCV

Quy trình nhận diện bao gồm các bước như phát hiện khuôn mặt, phân đoạn và rút trích đặc trưng. Mỗi bước đều được tối ưu hóa để đảm bảo hiệu suất cao nhất.

3.2. Các thuật toán chính trong nhận diện khuôn mặt

Các thuật toán như Haar Cascade và Local Binary Patterns (LBP) được sử dụng để phát hiện và nhận diện khuôn mặt. Những thuật toán này giúp cải thiện độ chính xác và tốc độ xử lý của hệ thống.

IV. Ứng dụng thực tiễn của nhận diện khuôn mặt tại Vietinbank

Hệ thống nhận diện khuôn mặt đã được triển khai tại nhiều chi nhánh của Vietinbank, mang lại những kết quả tích cực trong việc phục vụ khách hàng. Khách hàng có thể trải nghiệm dịch vụ nhanh chóng và tiện lợi hơn.

4.1. Kết quả đạt được từ việc ứng dụng công nghệ

Việc ứng dụng công nghệ nhận diện khuôn mặt đã giúp Vietinbank giảm thiểu thời gian giao dịch và nâng cao sự hài lòng của khách hàng. Nhiều khách hàng đã phản hồi tích cực về trải nghiệm dịch vụ.

4.2. Các trường hợp thành công trong ứng dụng

Nhiều chi nhánh của Vietinbank đã ghi nhận sự gia tăng đáng kể trong số lượng giao dịch nhờ vào việc áp dụng nhận diện khuôn mặt. Điều này cho thấy tiềm năng lớn của công nghệ trong ngành ngân hàng.

V. Kết luận và tương lai của nhận diện khuôn mặt tại Vietinbank

Nhìn chung, việc ứng dụng nhận diện khuôn mặt tại Vietinbank đã mang lại nhiều lợi ích và cơ hội phát triển. Trong tương lai, ngân hàng sẽ tiếp tục cải tiến và mở rộng ứng dụng công nghệ này để phục vụ khách hàng tốt hơn.

5.1. Tương lai của công nghệ nhận diện khuôn mặt

Công nghệ nhận diện khuôn mặt dự kiến sẽ tiếp tục phát triển và trở thành một phần không thể thiếu trong ngành ngân hàng. Vietinbank sẽ là một trong những ngân hàng tiên phong trong việc áp dụng công nghệ này.

5.2. Định hướng phát triển của Vietinbank

Vietinbank sẽ tiếp tục đầu tư vào công nghệ và nghiên cứu để cải thiện hệ thống nhận diện khuôn mặt, từ đó nâng cao chất lượng dịch vụ và đáp ứng nhu cầu ngày càng cao của khách hàng.

Nội dung chính

Bối cảnh và vấn đề nghiên cứu

Trong công tác quản trị và an ninh hiện đại, việc xác thực và định danh con người đóng vai trò then chốt trong nhiều lĩnh vực từ kiểm soát an ninh, điều tra tư pháp, y tế cho đến cung ứng dịch vụ. Các phương pháp nhận dạng sinh trắc học truyền thống như vân tay, mống mắt hay hình học bàn tay dù đạt độ chính xác cao nhưng vẫn tồn tại những hạn chế nhất định: đòi hỏi đối tượng phải tiếp xúc vật lý trực tiếp với thiết bị, tạo tâm lý bị giám sát cưỡng bức và phụ thuộc vào phần cứng chuyên dụng của bên thứ ba. Nhận dạng khuôn mặt xuất hiện như một hướng tiếp cận khắc phục các điểm yếu trên nhờ khả năng thu thập dữ liệu từ xa một cách tự nhiên qua hệ thống camera giám sát, không làm gián đoạn hành vi của đối tượng và có tốc độ xử lý nhanh nhờ năng lực tính toán của các hệ thống máy tính hiện đại.

Tại Việt Nam, Ngân hàng Thương mại Cổ phần Công thương Việt Nam (VietinBank) là một trong những định chế tài chính thương mại hàng đầu, giữ vai trò chủ lực trong nền kinh tế. Tính đến thời điểm nghiên cứu, VietinBank sở hữu mạng lưới hoạt động rộng khắp với 148 chi nhánh, 07 công ty thành viên, 03 đơn vị sự nghiệp và hơn 1.000 phòng giao dịch trên toàn quốc, cùng các chi nhánh quốc tế tại Đức (Frankfurt, Berlin) và Lào (Vientiane). Trước áp lực cạnh tranh gay gắt từ hơn 100 ngân hàng trên thị trường, VietinBank đặt trọng tâm vào việc tối ưu hóa quy trình giao dịch, nâng cao chất lượng phục vụ và phân loại khách hàng tại quầy. Tuy nhiên, quy trình phục vụ tại các điểm giao dịch vẫn còn nhiều điểm nghẽn thủ công trong việc xác thực danh tính, tra cứu lịch sử giao dịch và nhận diện khách hàng thân thiết. Đề tài "Ứng dụng nhận diện khuôn mặt trong bài toán chăm sóc khách hàng tại ngân hàng VietinBank sử dụng OpenCV" được thực hiện nhằm xây dựng giải pháp kỹ thuật giải quyết bài toán thực tiễn này.

Mục tiêu và nhiệm vụ nghiên cứu: Mục tiêu tổng quát của khóa luận là nghiên cứu, thiết kế và thử nghiệm ứng dụng nhận diện khuôn mặt phục vụ công tác chăm sóc khách hàng tại ngân hàng VietinBank dựa trên thư viện thị giác máy tính OpenCV. Để hoàn thành mục tiêu này, tác giả xác định ba nhiệm vụ nghiên cứu cụ thể:

1. Nghiên cứu tổng quan về cơ sở lý thuyết và các công nghệ nhận diện khuôn mặt.
2. Khảo sát thực trạng quy trình phục vụ và xác định các tiêu chí quản lý, chăm sóc khách hàng tại các điểm giao dịch của VietinBank.
3. Xây dựng và cài đặt thử nghiệm hệ thống nhận diện khuôn mặt khách hàng sử dụng ngôn ngữ Python và thư viện OpenCV.

Đối tượng và phạm vi nghiên cứu:

• Đối tượng nghiên cứu: Các tiêu chí xác định, nhận diện khách hàng thân thiết của ngân hàng VietinBank; hệ thống thông tin cung cấp dữ liệu khách hàng nhằm tối ưu hóa thời gian phục vụ tại quầy giao dịch.
• Phạm vi không gian: Tập trung khảo sát và nghiên cứu thực nghiệm chủ yếu trên địa bàn thành phố Hà Nội.
• Phạm vi thời gian: Thu thập và xử lý tập dữ liệu hình ảnh trong điều kiện thời gian thực (real-time).
• Phạm vi nội dung: Đánh giá các yếu tố kỹ thuật ảnh hưởng đến độ chính xác của quá trình nhận diện khuôn mặt và đề xuất quy trình tự động hóa nhận diện khách hàng đến giao dịch.

---

Cơ sở lý thuyết và phương pháp

Khóa luận kết hợp phương pháp nghiên cứu định tính và định lượng để đánh giá thực trạng hoạt động chăm sóc khách hàng tại các phòng giao dịch VietinBank, đồng thời tiến hành thực nghiệm kỹ thuật xây dựng thuật toán xử lý ảnh.

Khung lý thuyết về hệ thống nhận diện khuôn mặt

Hệ thống nhận dạng mặt người là hệ thống tiếp nhận đầu vào là ảnh tĩnh hoặc chuỗi khung hình từ video, thực hiện tính toán để xác định danh tính của đối tượng trong ảnh (thuộc tập cơ sở dữ liệu đã biết hoặc người lạ). Về mặt kỹ thuật, hệ thống bao gồm 4 giai đoạn chính kết hợp cùng khâu tiền xử lý:

Giai đoạn	Kỹ thuật / Mô hình tác giả trình bày	Mục đích kỹ thuật
Tiền xử lý	Cân bằng sáng, tách ngưỡng, bó cụm, chuyển thang độ xám	Chuẩn hóa mức sáng, giảm độ chênh lệch điểm ảnh để tăng độ chính xác rút trích đặc trưng
Phát hiện khuôn mặt (Face Detection)	Mô hình màu da, đặc trưng Haar-like	Định vị và tách vùng khuôn mặt ra khỏi khung cảnh nền của ảnh
Phân đoạn / Chuẩn hóa (Face Alignment)	Mô hình dáng điệu tích cực (Active Shape Model)	Căn chỉnh tư thế khuôn mặt, giảm sai số do góc nghiêng hoặc che khuất
Rút trích đặc trưng (Feature Extraction)	Phân tích thành phần chính (PCA), LDA, LBP/LBPH	Giảm số chiều không gian dữ liệu, giữ lại các đặc trưng đại diện của khuôn mặt
So khớp, phân lớp (Face Classification)	Khoảng cách Euclides (Euclidean Distance), Mạng nơ-ron	So sánh vector đặc tính đầu vào với dữ liệu mẫu trong cơ sở dữ liệu để đưa ra kết luận danh tính

Tác giả phân tích các yếu tố ảnh hưởng trực tiếp đến kết quả nhận dạng gồm: điều kiện chiếu sáng, cự ly từ đối tượng đến camera, biểu cảm khuôn mặt (gây nhiễu đặc trưng), tư thế đứng (xoay, nghiêng) và phụ kiện/trang phục (kính mắt, mũ, khẩu trang).

Tổng quan tình hình ứng dụng thực tế

Khóa luận đã tổng hợp các trường hợp ứng dụng công nghệ nhận diện khuôn mặt tiêu biểu trong nước và quốc tế để làm căn cứ thực tiễn:

Đơn vị / Quốc gia	Lĩnh vực ứng dụng	Thông số / Kết quả ghi nhận
FPT Telecom (R&D)	Dự án Workforce Attendance (thuộc Workforce Management)	Triển khai cho 13 trung tâm/phòng ban với hơn 2.000 nhân viên; xử lý gần 3.000 yêu cầu nghỉ phép, đi muộn trong năm 2015
Đại học Thăng Long	Điểm danh và giám sát sinh viên	Áp dụng thử nghiệm cho các lớp Toán Tin K31 với độ chính xác đạt 99,78% ở chế độ thời gian thực
Vinpearl Nha Trang	Dịch vụ du lịch, khách sạn (triển khai từ 15/4/2019)	Tự động hóa thủ tục check-in trong 3 giây, tích hợp mở cửa phòng và thanh toán
Hoa Kỳ / Đức / Singapore	Kiểm soát an ninh sân bay	So khớp khuôn mặt với ảnh visa; cảnh sát Berlin lắp camera nhận diện đối tượng khủng bố (8/2017); sân bay Changi ứng dụng tại nhà ga mới (10/2017)
Macao (Trung Quốc)	Rút tiền mặt tại máy ATM	Yêu cầu nhìn thẳng camera trong 6 giây để đối chiếu danh tính, ngăn chặn rửa tiền

---

Thiết kế và triển khai

Hệ thống nhận diện khuôn mặt khách hàng được thiết kế dưới dạng ứng dụng máy tính trực tiếp (desktop application), tích hợp các thành phần mã nguồn mở để xử lý luồng dữ liệu hình ảnh từ camera.

Công nghệ và công cụ sử dụng

• Môi trường phát triển & Ngôn ngữ: Ngôn ngữ lập trình Python phiên bản 3; môi trường phát triển tích hợp PyCharm Community Edition (JetBrains).
• Thư viện thị giác máy tính OpenCV: Bản quyền mã nguồn mở BSD, hỗ trợ xử lý đa lõi cho các tác vụ thời gian thực. Hệ thống khai thác các module chuyên biệt: Core (cấu trúc dữ liệu nền tảng), Imgproc (xử lý và biến đổi không gian màu), Highgui (giao diện hiển thị hình ảnh/video), Features2d (trích xuất đặc trưng), Objdetect (phát hiện khuôn mặt), cùng các module Calib3d, Video và tăng tốc phần cứng GPU.
• Các thư viện bổ trợ: NumPy (thao tác mảng nhiều chiều ndarray và đại số tuyến tính), Pandas (quản lý, ánh xạ dữ liệu khách hàng), PIL (xử lý hình ảnh), Tkinter và PyQt5 (thiết kế giao diện đồ họa người dùng GUI).

Quy trình xử lý ảnh và trích xuất đặc trưng

Quy trình kỹ thuật được thiết lập theo chuỗi xử lý nghiêm ngặt:

1. Thu thập dữ liệu: Tiếp nhận hình ảnh từ webcam/camera an ninh với độ phân giải chuẩn $600 \times 600$ pixel.
2. Tiền xử lý hình ảnh: Thực hiện tách khuôn mặt ra khỏi nền; lọc nhiễu; chuẩn hóa ánh sáng và mức xám; căn chỉnh tư thế khuôn mặt theo trục thẳng đứng (mũi thẳng, xoay ngang theo đường nối hai mắt); chuẩn hóa kích thước khuôn mặt về mức cố định $230 \times 230$ pixel.
3. Trích chọn đặc trưng bằng PCA:
   • Tập hợp $M$ ảnh huấn luyện, mỗi ảnh kích thước $R \times C$ được chuyển thành vector $N = R \times C$ chiều.
   • Tính toán ảnh trung bình và ma trận sai lệch của các ảnh so với ảnh trung bình.
   • Xác định tập hợp $M$ vector trực giao (được gọi là Eigenfaces) biểu diễn chiều phân bố mạnh nhất của tập dữ liệu.
   • Chiếu ảnh cần nhận dạng vào không gian Eigenfaces để thu được vector đặc tính có số chiều nhỏ hơn đáng kể so với không gian ảnh gốc.
4. Mô hình nhị phân cục bộ (LBPH): Sử dụng toán tử LBP (Local Binary Patterns) dựa trên vùng lân cận $3 \times 3$ (hoặc mở rộng $P$ điểm mẫu trên bán kính đường tròn $R$ với phép nội suy song tuyến) để mã hóa cấu trúc vi mô bề mặt thành chuỗi nhị phân $2^8 = 256$ trạng thái, giúp thuật toán bất biến với các phép biến đổi thang độ xám đơn điệu.
5. Phân loại bằng khoảng cách Euclides: Vector đặc tính của khuôn mặt đầu vào được đối chiếu tuần tự với các vector đặc trưng đã lưu trong cơ sở dữ liệu. Kết quả nhận dạng tương ứng với mẫu có khoảng cách ngắn nhất.

Quy trình nghiệp vụ 4 bước tại phòng giao dịch

• Bước 1 (Nhập liệu): Giao dịch viên nhập thông tin định danh của khách hàng khi phát sinh giao dịch đầu tiên.
• Bước 2 (Tạo CSDL ảnh): Camera an ninh tự động chụp, tách khuôn mặt, xử lý đưa về định dạng ảnh đen trắng và lưu vào hệ thống ứng với mã khách hàng.
• Bước 3 (Huấn luyện): Hệ thống trích xuất vector đặc trưng từ tập ảnh và thực hiện huấn luyện mô hình để lưu trữ tập trọng số.
• Bước 4 (Nhận diện thời gian thực): Khi khách hàng bước vào phòng giao dịch, camera ghi nhận khung hình, trích xuất đặc trưng và so khớp với CSDL. Nếu khớp, hệ thống hiển thị thông tin khách hàng cũ để giao dịch viên chủ động chào đón; nếu không khớp, hệ thống thông báo chưa có dữ liệu để giao dịch viên hướng dẫn thủ tục cho khách hàng mới.

---

Nội dung chính theo từng chương

Chương 1: Cơ sở lý luận về hệ thống nhận diện khuôn mặt và tổng quan tình hình nghiên cứu

Chương 1 khái quát hóa lý thuyết nền tảng của thị giác máy tính trong bài toán định danh sinh trắc học. Tác giả phân tích chi tiết quy trình 4 giai đoạn của hệ thống nhận diện mặt người cùng khâu tiền xử lý, làm rõ cơ chế phát hiện khuôn mặt qua màu da và đặc trưng Haar-like, kỹ thuật chuẩn hóa bằng Active Shape Model, các phương pháp trích chọn đặc trưng (PCA, LDA) và kỹ thuật phân lớp. Chương này cũng phân loại 5 nhóm yếu tố gây nhiễu trong môi trường thực tế (ánh sáng, cự ly, cảm xúc, tư thế, trang phục) và tổng hợp thực tiễn ứng dụng tại FPT Telecom, Đại học Thăng Long, Vinpearl cũng như các hệ thống an ninh hàng không, ngân hàng quốc tế.

Chương 2: Thực trạng phát triển và quản lý trong công tác phục vụ khách hàng tại ngân hàng VietinBank và công nghệ nhận dạng khuôn mặt

Chương 2 phân tích cấu trúc tổ chức và quy trình phục vụ khách hàng hiện tại của VietinBank. Tác giả chỉ ra quy trình gồm 4 bước (hỏi nhu cầu, hướng dẫn hồ sơ, kiểm tra hệ thống, thực hiện giao dịch) đang bộc lộ nhiều điểm nghẽn: xác thực thủ công qua chứng minh thư nhân dân và chữ ký dễ bị làm giả, khách hàng thân thiết chỉ được nhận biết khi đã ngồi vào quầy, tình trạng quá tải xảy ra thường xuyên khi lượng khách dồn cục bộ. Từ đó, chương đề xuất 5 tiêu chí cải tiến quy trình (tính thuận tiện, khả năng truy xuất dữ liệu, độ an toàn dữ liệu, môi trường đặt camera, năng lực cạnh tranh) và giới thiệu các công nghệ dự kiến sử dụng (Python, OpenCV, NumPy, Pandas, Tkinter, giải thuật LBP/LBPH).

Chương 3: Ứng dụng OpenCV nhận diện khách hàng tại ngân hàng VietinBank và cách thức cài đặt hệ thống

Chương 3 trình bày toàn bộ quy trình thiết kế, cài đặt và thử nghiệm phần mềm nhận diện khuôn mặt. Nội dung tập trung mô tả chi tiết các bước tiền xử lý ảnh (đưa về chuẩn $230 \times 230$ pixel), giải thuật toán học PCA để trích xuất Eigenfaces và phương pháp so khớp khoảng cách Euclides. Tác giả hướng dẫn thiết lập môi trường lập trình (cài đặt PyCharm, Python, OpenCV, PyQt5, Tkinter), xây dựng giao diện ứng dụng và công bố kết quả kiểm thử trên bộ dữ liệu ảnh mẫu thực tế, đồng thời phân tích các trường hợp nhận diện đúng và sai.

---

Kết quả và đóng góp

Kết quả kiểm thử thực nghiệm

• Bộ dữ liệu kiểm thử: Được chụp trực tiếp qua camera với tập mẫu gồm 50 ảnh/người, bao gồm nhiều góc mặt khác nhau để phục vụ trích xuất đặc trưng đa chiều.
• Đầu ra hệ thống: Trả về "Thông tin đối tượng được nhận dạng" hoặc "Không nhận dạng được".
• Phân loại kết quả nhận dạng thành công:
  • Nhận diện dễ: Tốc độ phản hồi tức thì, độ chính xác cao khi khách hàng nhìn thẳng, điều kiện ánh sáng ổn định và không có phụ kiện che khuất.
  • Khó nhận dạng: Xuất hiện khi có sự biến thiên nhẹ về góc nghiêng hoặc ánh sáng, đòi hỏi phải kết hợp thêm các đặc trưng phụ (khoảng cách mắt, lông mày) để khẳng định kết quả.
• Phân loại và nguyên nhân lỗi nhận diện:
  • Sai hoàn toàn và sai do vượt ngưỡng: Xảy ra khi camera không bắt được tư thế chuẩn (khách đứng nghiêng góc lớn, tóc che khuất một phần mặt) hoặc trạng thái khuôn mặt thay đổi đáng kể so với tập dữ liệu huấn luyện (nheo mắt, đeo kính, cau mày).
  • Không nhận diện được: Do thuật toán không phát hiện được vùng mắt khi đối tượng nhắm mắt hoặc quay nghiêng, dẫn đến việc mất tính cân đối của hai mắt trên trục khuôn mặt.

Đóng góp của đề tài

1. Về mặt kỹ thuật: Hiện thực hóa quy trình nhận diện khuôn mặt hoàn chỉnh dựa trên nền tảng mã nguồn mở Python và OpenCV; kết hợp kỹ thuật tiền xử lý chuẩn hóa kích thước ($230 \times 230$ pixel), mức xám và căn chỉnh trục mắt với thuật toán trích xuất vector đặc trưng PCA/LBP phục vụ nhận dạng thời gian thực.
2. Về mặt nghiệp vụ ngân hàng: Xây dựng mô hình ứng dụng công nghệ sinh trắc học vào quy trình đón tiếp khách hàng tại quầy giao dịch VietinBank. Giải pháp cho phép nhận diện tự động khách hàng cũ ngay khi bước vào cửa, giúp giao dịch viên cá nhân hóa giao tiếp, rút ngắn thời gian xác thực hồ sơ và hỗ trợ phát hiện khách hàng mới để phân luồng hướng dẫn kịp thời.

---

Hạn chế và hướng nghiên cứu tiếp

• Hạn chế: Nghiên cứu được thực hiện trong thời gian giới hạn nên mô hình chưa đạt độ chính xác tuyệt đối trong các tình huống phức tạp (khách hàng cử động nhanh, thay đổi biểu cảm lớn, đeo kính râm hoặc góc quay lệch nhiều so với trục camera). Dữ liệu kiểm thử mới dừng lại ở quy mô mẫu thực nghiệm, chưa đánh giá tải trên cơ sở dữ liệu khách hàng quy mô lớn của toàn hệ thống ngân hàng.
• Hướng nghiên cứu tiếp:
  • Tích hợp thêm các phương pháp đối sánh chi tiết các vùng đặc trưng thứ cấp (đo đạc khoảng cách giữa hai mắt, tỉ lệ chân mày, sống mũi) để tăng độ tin cậy trong các trường hợp khó nhận dạng.
  • Mở rộng ứng dụng công nghệ nhận diện khuôn mặt kết hợp mã PIN vào hệ thống máy giao dịch tự động (ATM) trên toàn quốc nhằm tăng cường an ninh giao dịch và phòng chống giả mạo giấy tờ tùy thân.

---

Giá trị tham khảo

Khóa luận là tài liệu tham khảo phù hợp cho sinh viên, học viên thuộc các ngành Hệ thống thông tin quản lý, Công nghệ thông tin, Khoa học dữ liệu hoặc Công nghệ tài chính (Fintech).

Nội dung có giá trị tham khảo ứng dụng cao bao gồm:

• Toàn bộ chuỗi xử lý ảnh từ bước thu nhận webcam, chuẩn hóa ma trận điểm ảnh, căn chỉnh hình học cho đến cài đặt giải thuật toán học PCA trích xuất Eigenfaces bằng Python và OpenCV.
• Bộ 5 tiêu chí đánh giá và phương pháp tái cấu trúc quy trình chăm sóc khách hàng tại điểm giao dịch của ngân hàng thương mại khi tích hợp công nghệ thị giác máy tính.

---

Câu hỏi thường gặp

1. Khóa luận sử dụng giải thuật nào để thực hiện trích chọn đặc trưng khuôn mặt? Khóa luận sử dụng giải thuật Phân tích thành phần chính (PCA - Principal Component Analysis) để giảm số chiều dữ liệu và tạo ra không gian vector đặc tính (Eigenfaces), kết hợp cùng lý thuyết toán tử mô hình nhị phân cục bộ (LBP/LBPH) để phân tích cấu trúc vi mô điểm ảnh.

2. Kích thước và thông số kỹ thuật chuẩn hóa ảnh trong hệ thống là bao nhiêu? Ảnh gốc thu nhận trực tiếp từ camera/webcam có độ phân giải $600 \times 600$ pixel. Qua công đoạn tiền xử lý, khuôn mặt được tách nền, cân bằng sáng, chuyển thang độ xám, căn chỉnh trục hai mắt theo phương ngang và chuẩn hóa về kích thước cố định $230 \times 230$ pixel trước khi đưa vào khối trích xuất đặc trưng.

3. Quy trình phục vụ khách hàng truyền thống tại VietinBank có những nhược điểm cụ thể nào được tác giả chỉ ra? Tác giả chỉ ra 4 nhược điểm chính: việc xác thực danh tính thủ công qua chứng minh thư và chữ ký tiềm ẩn rủi ro giả mạo; khách hàng thân thiết chỉ được nhận diện khi đã ngồi vào quầy; quy trình lấy số thứ tự thời gian thực chưa áp dụng đồng bộ trên toàn mạng lưới; và tình trạng quá tải cục bộ khiến khách hàng phải chờ đợi lâu khi lượng người đến giao dịch tăng đột biến.

4. Dữ liệu thử nghiệm của khóa luận được tổ chức như thế nào? Tập dữ liệu kiểm thử được thu thập trực tiếp thông qua camera với số lượng 50 ảnh chụp cho mỗi đối tượng ở nhiều góc độ khuôn mặt khác nhau, nhằm cung cấp dữ liệu huấn luyện cho việc trích xuất vector đặc trưng từ các phía của gương mặt.

5. Những nguyên nhân chính nào khiến hệ thống nhận diện sai hoặc không nhận diện được? Lỗi nhận diện phát sinh do: camera không ghi nhận được tư thế khuôn mặt thuận lợi (góc đứng quá nghiêng, tóc che mặt); trạng thái khuôn mặt thay đổi lớn so với mẫu huấn luyện (nheo mắt, đeo kính, cau mày); hoặc không định vị được vùng mắt khi đối tượng nhắm mắt/nghiêng đầu làm mất tính đối xứng của hai mắt.

---

Kết luận

Khóa luận của tác giả Đặng Thị Ngọc Mai đã giải quyết bài toán ứng dụng công nghệ thị giác máy tính mã nguồn mở OpenCV và ngôn ngữ Python vào công tác chăm sóc khách hàng tại Ngân hàng TMCP Công thương Việt Nam (VietinBank). Đề tài đã hệ thống hóa cơ sở lý thuyết xử lý ảnh, xây dựng hoàn chỉnh quy trình tiền xử lý, trích xuất đặc trưng PCA và thử nghiệm mô hình nhận diện khuôn mặt phục vụ phân luồng khách hàng tại quầy giao dịch. Mặc dù còn hạn chế trong việc nhận dạng ở các góc chụp phức tạp, công trình đã đề xuất được giải pháp kỹ thuật có tính ứng dụng thực tiễn cao nhằm nâng cao chất lượng dịch vụ và bảo mật giao dịch ngân hàng.

Trích đoạn nội dung tài liệu

CHƯƠNG I. : CƠ SỞ LÝ LUẬN VỀ HỆ THỐNG NHẬN DIỆN KHUÔN MẶT VÀ TỔNG QUAN TÌNH HÌNH NGHIÊN CỨU 1. Tổng quan về hệ thống nhận diện khuôn mặt Trong những năm trở lại đây, công nghệ nhận diện khuôn mặt đã trở thành một ngành công nghệ rất được nhiều người quan tâm trong nhiều lĩnh vực nghiên cứu và ứng dụng trên toàn thế giới. Nhận diện khuôn mặt đã trở thành một yếu tố vô cùng quan trọng trong quá trình phát hiện và hỗ trợ việc tìm kiếm cũng như truy xuất dữ liệu giúp con người cải thiện được tốc độ cũng như rút ngắn thời gian trong quy trình công việc.

Chúng ta đã biết, thông tin luôn là nền tảng của các quyết định hiệu quả. Thông tin luôn cần đòi hỏi độ chính xác cao, nhanh chóng, kịp thời. Nhận diện khuôn mặt là một phát hiện mới. Một trong những thế mạnh nổi bật nhất của công nghệ này là ở việc xử lý dữ liệu không gian và thời gian.

Giữ liệu khôn gian khá phức tạp, nhưng nhờ có hệ thống camera trải dài khắp các khu vực, chúng ta có thể thu nhập được dữ liệu ở bất kỳ nơi đâu có thể ghi hình và lưu trữ. Vấn đề về mặt thời gian nhờ đó cũng có thể được giải quyết và khắc phục.1 Khái niệm hệ thống nhận diện khuôn mặt Hệ thống nhận dạng mặt người là một hệ thống nhận đầu vào là một ảnh hay một video (chuỗi các ảnh), qua quá trình xử lý, hệ thống xác định được người nào trong ảnh (nếu có) là người mà hệ thống đã biết được hoặc người lạ. Nhận dạng mặt người ngày càng được sử dụng rộng rãi. Nếu cách đây khoảng một thập kỷ chỉ thấy các kỹ thuật dò tìm khuôn mặt sử dụng trong các thiết bị giải trí thì ngày nay nhiều hệ thống nhận dạng mặt người đã ra đời và giữ vai trò quan trọng như: hệ thống chấm công bằng khuôn mặt (FaceID), hệ thống an ninh cảnh báo người lạ xâm nhập vào khu vực cấm (hệ thống SmartHD của panasonic), hệ thống nhận dạng tội phạm sử dụng ở London, Chicago,.

và gần đây là nhận dạng khuôn mặt trong các hệ thống nhà thông minh hứa hẹn nhiều tiềm năng cho con người trong tương lai. Đặng Thị Ngọc Mai – K18HTTTB 4 Khoá luận tốt nghiệp Ứng dụng nhận diện khuôn mặt trong bài toán chăm sóc khách hàng tại ngân hàng Vietinbank sử dụng OpenCv 1.2 Các giai đoạn trong quá trình nhận diện khuôn mặt. Nhìn chung một hệ thống nhận diện mặt người đều trải qua các bước: - Phát hiện khuôn mặt: Face detection - Phân đoạn khuôn mặt: Face Alignment. - Rút trích đặc trưng : Feature extraction.

- So khớp, phân lớp: Face classification. Để một hệ thống nhận diện mặt người hiệu quả, ngoài các giai đoạn nêu trên còn có các giai đoạn tiền xử lý ảnh đầu vào. Như vậy, sơ đồ một hệ thống nhận dạng mặt người như sau: Hình 1. 1 Hệ thống nhận diện mặt người a) Giai đoạn tiền xử lý: Vì ảnh chụp có thể ở các điều kiện khác nhau, dẫn tới độ sáng, độ tương phản và màu hiển thị cũng khác nhau.

Quá trình tiền xử lý làm nâng cao chất lượng ảnh, chuẩn hóa dữ liệu, kích cỡ ảnh, chuyển ảnh về cùng 1 mức độ sáng, độ tương phản, cùng hệ màu. Việc chuẩn hóa cũng giúp độ chênh lệch giữa 2 điểm ảnh được giảm xuống để quá trình rút trích đặc trưng thêm chính xác hơn. Tiền xử lý chủ yếu sử dụng các kỹ thuật xử lý ảnh: cân bằng sáng, tách ngưỡng, bó cụm,. Đặng Thị Ngọc Mai – K18HTTTB 5 Khoá luận tốt nghiệp Ứng dụng nhận diện khuôn mặt trong bài toán chăm sóc khách hàng tại ngân hàng Vietinbank sử dụng OpenCv b) Giai đoạn phát hiện khuôn mặt: Hình 1.

2 Phát hiện khuôn mặt Thông thường hình ảnh mà camera thu được không chỉ có khuôn mặt của đối tượng mà còn bao gồm cả các chi tiết xung quanh đối tượng đó. Xác định khuôn mặt là xác định xem có hình ảnh khuôn mặt trong bức ảnh đó không, nếu có thì nằm vị trí nào trong bức ảnh, nghĩa là phải tách được khuôn mặt ra khỏi hình nền. Có khá nhiều phương pháp cho bài toán phát hiện khuôn mặt người: - Phương pháp nhận diện mặt người dựa trên màu da: mặc dù những người khác nhau thì màu da khác nhau, nhưng rất nhiều nghiên cứu chỉ ra rằng, khi khác biệt này dựa trên cường độ ánh sáng giữa chúng hơn là thành phần màu da, từ đó ta có thể xác định màu da của con người nằm ở một dãy màu cố định. Kết hợp với việc tra trong bảng màu của từng điểm ảnh với kỹ thuật phân vùng và các kết quả nghiên cứu về độ tương quan giữa chiều rộng và chiều cao khuôn mặt sẽ xác định được có khuôn mặt người trong đó hay không.

- Phát hiện mặt người dựa trên đặc trưng Haar-like: tạo tập huấn luyện bằng các đặc trưng haar-like sau đó dựa vào tập huấn luyện này để phát hiện khuôn mặt. Để làm được như vậy, ảnh đầu vào trước hết phải được xóa xám, sau đó cho một hoặc nhiều hình chữ nhật chứa đặc trưng haar-like chạy khắp bức ảnh. Những chỗ Đặng Thị Ngọc Mai – K18HTTTB 6 Khoá luận tốt nghiệp Ứng dụng nhận diện khuôn mặt trong bài toán chăm sóc khách hàng tại ngân hàng Vietinbank sử dụng OpenCv khác biệt sẽ được lưu lại. Tập hợp hàng nghìn điểm khác biệt của hàng trăm khuôn mặt khác nhau sẽ cho ra một tập dữ liệu dùng để phát hiện mặt người.

c) Phân đoạn khuôn mặt (chuẩn hóa khuôn mặt): Hình 1. 3 Chuẩn hóa khuôn mặt Khuôn mặt xuất hiện trong hình ảnh với nhiều hình dáng, điệu bộ khác nhau, có thể nghiêng, che khuất một phần nên việc chuẩn hóa khuôn mặt là yếu tố ảnh hưởng trực tiếp đến kết quả nhận dạng. Nếu việc chuẩn hóa không đạt kết quả tốt thì việc rút trích đặc trưng sẽ không được như mong muốn, điều này làm độ chính xác trong giai đoạn so khớp giảm xuống, kéo theo độ nhận dạng của hệ thống bị giảm xuống. Ngược lại nếu việc chuẩn hóa đạt kết quả cao thì hệ thống nhận dạng với độ chính xác cao hơn.

Ở đây phương pháp để chuẩn hóa mặt người là “Mô hình dáng điệu tích cực”. “Mô hình dáng điệu tích cực”: Dáng điệu là một tập hợp các phần được đánh dấu trên hình ảnh bởi các chuyên gia biểu diễn dáng điệu của một đối tượng. Chuẩn hóa mỗi hình ảnh là thực hiện biến đổi sao cho tổng khoảng cách của các ảnh đến ảnh trung bình là nhỏ nhất. d) Rút trích đặc trưng: Hệ thống nhận dạng mặt người thường được xử lý trên một cơ sở dữ liệu ảnh lớn về số lượng và kích thước.

Quá trình rút trích đặc trưng nhằm giảm số chiều của không gian dữ liệu bằng cách loại bỏ bớt những thành phần (chiều) dư thừa trong dữ liệu sao cho lượng thông tin sau trích rút vẫn đảm bảo các đặc trưng của dữ liệu ban đầu. Rút trích đặc trưng tốt làm giảm chi phí và tăng độ chính xác cho quá trình so khớp phía sau. Các phương pháp thường sử dụng để rút trích đặc trưng: Đặng Thị Ngọc Mai – K18HTTTB 7 Khoá luận tốt nghiệp Ứng dụng nhận diện khuôn mặt trong bài toán chăm sóc khách hàng tại ngân hàng Vietinbank sử dụng OpenCv - Phương pháp PCA (Principal Components Analyst): Phương pháp PCA giúp cho việc phân lớp hay xác định đối tượng bằng cách làm rõ những điểm tương đồng hay khác biệt trong dữ liệu của các đối tượng, phương pháp PCA cố gắng thể hiện đối tượng từ một không gian dữ liệu lớn sang một không gian dữ liệu nhỏ hơn có thể kiểm soát được sao cho sự mất mát thông tin dữ liệu của đối tượng là nhỏ nhất. Từ các kết quả thu được, các tác vụ tiếp theo như phân lớp, nhận diện sẽ được thực hiện với chi phí thấp hơn và không gian để lưu trữ dữ liệu cũng được giảm bớt.

- Phương pháp LDA (Linear Discriminant Analysis): Mục tiêu của phương pháp này là cố gắng thu nhỏ các khoảng cách của các phần tử trong so khớp so với tâm của lớp đó đồng thời tăng khoảng cách giữa các lớp với nhau. e) So khớp, phân lớp: Là giai đoạn cuối cùng trong hệ thống nhận dạng mặt người. Từ ảnh đầu vào, hệ thống thực hiện quá trình trình bày bên trên, đưa ra dữ liệu đặc trưng của ảnh, so sánh đặc trưng này với toàn bộ đặc trưng của ảnh trong cơ sở dữ liệu nhận dạng. Dựa vào đó, hệ thống so sánh và xác định người trong ảnh (nếu đã có trong cơ sở dữ liệu) hoặc đưa ra kết luận người đó không có trong cơ sở dữ liệu (người lạ) [1].3 Các yếu tố ảnh hưởng tới quá trình nhận diện khuôn mặt.

Các yếu tố làm ảnh hưởng tới kết quả nhận dạng: ▪ Ánh sáng: Ảnh kỹ thuật số biểu diễn cường độ sáng của đối tượng, do đó khi ánh sáng thay đổi, thông tin về đối tượng sẽ bị ảnh hưởng. ▪ Cự ly của đối tượng so với camera: khoảng cách đối tượng so với camera sẽ xác định số pixel ảnh quy định nên khuôn mặt. ▪ Cảm xúc biểu cảm trên khuôn mặt: các nét biểu cảm cảm xúc trên khuôn mặt gây ra nhiễu, việc loại nhiễu này vẫn chưa có phương pháp hiệu quả. ▪ Tư thế đứng của đối tượng (nghiêng, xoay,…): tư thế của đối tượng sẽ xác định thông tin của đối tượng đó.

Việc tư thế thay đổi quá lớn sẽ làm thay phần lớn thông tin về đối tượng, dẫn đến kết quả nhận dạng sai. ▪ Trang phục của đối tượng: Kết quả nhận dạng có thể bị ảnh hưởng lớn nếu như đối tượng có các trang phục khác biệt so với mẫu như đeo kính, đội mũ,… [6]. Đặng Thị Ngọc Mai – K18HTTTB 8 Khoá luận tốt nghiệp Ứng dụng nhận diện khuôn mặt trong bài toán chăm sóc khách hàng tại ngân hàng Vietinbank sử dụng OpenCv Qua đó có thể đưa ra các đánh giá cũng như các thuật toán tốt hơn cho việc truy xuất và nhận diện khuôn mặt khách hàng. Để có thể xử lý được bài toán trên, khóa luận đề xuất hướng tiếp cận là sử dụng các kỹ thuật xử lý ảnh số.

Các ảnh số được thu thập bằng camera và xử lý thông qua máy tính PC. Đây là một hệ thống nhận dạng trực tiếp, nên sẽ yêu cầu độ chính xác cao và thời gian xử lý nhanh. Bài toán nhận dạng mặt người là sự kết hợp của hai bài toán: - Bài toán xác định mặt người trong camera được trích xuất (Face Detection). - Bài toán nhận dạng mặt người (Face Recognition).

Xu thế ứng dụng hệ thống nhận diện khuôn mặt người 1.