Nghiên Cứu Về Phương Pháp Phân Tích Dữ Liệu Trong Hệ Thống Thông Tin

Luận văn trình bày phương pháp trích chọn đặc trưng hiệu quả cho bài toán nhận dạng chữ nôm, góp phần nâng cao độ chính xác trong nhận diện.

• Người hướng dẫn: PGS.TS Nguyễn Văn A
• Trường học: Đại học Quốc gia Hà Nội
• Chuyên ngành: Hệ thống thông tin
• Đề tài: Nghiên Cứu Về Phương Pháp Phân Tích Dữ Liệu Trong Hệ Thống Thông Tin
• Loại tài liệu: bài tập
• Năm xuất bản: 2013
• Địa điểm: Hà Nội

Mục lục chi tiết

• 1. MỤC LỤC
• 1.1. GIỚI THIỆU VỀ CHỮ PÔM
• 1.2. LỊCH SỬ HÌNH THÀNH VÀ PHÁT TRIỂN
• 1.3. TẦM QUAN TRỌNG CỦA BÀI TOÁN NHẬN DẠNG CHỮ PÔM
• 1.4. MÔ HÌNH NHẬN DẠNG CHỮ PÔM TỔNG THỂ
• 1.5. MỘT SỐ KHÁI NIỆM CƠ BẢN TRONG NHẬN DẠNG CHỮ PÔM
• 2. MỘT SỐ KỸ THUẬT NHẬN DẠNG CHỮ TƯỢNG HÌNH
• 2.1. NHẬN DẠNG SỬ DỤNG THƯ VIỆN TESSERACT
• 3. GIỚI THIỆU MỘT SỐ PHƯƠNG PHÁP TRÍ TUỆ NHÂN TẠO
• 3.1. LẤY ĐẶC TRƯNG THEO LƯỚI ĐIỂM ẢNH CHỮ PÔM
• 3.2. LẤY ĐẶC TRƯNG THEO BIỂU ĐỒ HISTOGRAM CỦA KHUNG XƯƠNG, GIẢ KHUNG
• 4. NHẬN DẠNG CHỮ PÔM THEO KHÔNG GIAN SOẠN THẢO DỰA TRÊN KHUNG XƯƠNG VÀ GIẢ KHUNG
• 4.1. Ý TƯỞNG VÀ QUY TRÌNH NGHIÊN CỨU, THỰC NGHIỆM
• 4.2. KỸ THUẬT LẤY KHUNG XƯƠNG ẢNH BẰNG MẠNG NƠ-RON XUNG KẾP
• 4.3. KỸ THUẬT LẤY GIẢ KHUNG ẢNH BẰNG PHÉP TOÁN LOGIC
• 4.4. QUY TRÌNH ÁP DỤNG LẤY GIẢ KHUNG
• 4.5. KỸ THUẬT MÃ HÓA HISTOGRAM TỪ KHUNG XƯƠNG, GIẢ KHUNG
• 4.6. BỘ DỮ LIỆU THỰC NGHIỆM
• 5. DANH MỤC KÝ HIỆU, CHỮ VIẾT TẮT
• 6. DANH MỤC BẢNG
• 7. DANH MỤC HÌNH VẼ
• 8. PHƯƠNG PHÁP
• 9. PHƯƠNG PHÁP KÝ PHÁP
• TÀI LIỆU THAM KHẢO

Tóm tắt

I. Tổng Quan Về Nghiên Cứu Phân Tích Dữ Liệu Hệ Thống TT

Bài viết này trình bày tổng quan về phân tích dữ liệu trong hệ thống thông tin. Phân tích dữ liệu đóng vai trò quan trọng trong việc trích xuất thông tin giá trị từ dữ liệu thô, hỗ trợ quá trình ra quyết định. Nghiên cứu này tập trung vào các phương pháp nghiên cứu và kỹ thuật phân tích dữ liệu khác nhau được áp dụng trong hệ thống thông tin. Mục tiêu là cung cấp cái nhìn tổng quan về lĩnh vực này, từ đó định hướng cho các nghiên cứu sâu hơn. Dữ liệu được thu thập, xử lý và phân tích để tạo ra thông tin hữu ích. Thông tin này sau đó được sử dụng để cải thiện hiệu quả hoạt động của hệ thống thông tin và hỗ trợ ra quyết định.

1.1. Lịch Sử Hình Thành và Phát Triển Phân Tích Dữ Liệu

Phân tích dữ liệu đã trải qua một quá trình phát triển lâu dài, từ các phương pháp thống kê truyền thống đến các kỹ thuật hiện đại như khai phá dữ liệu (data mining) và học máy (machine learning). Sự phát triển của big data đã tạo ra những thách thức và cơ hội mới cho phân tích dữ liệu. Các công cụ và phần mềm phân tích dữ liệu như Python, R, SPSS, Excel, Tableau, và Power BI ngày càng trở nên phổ biến. Business intelligence cũng đóng vai trò quan trọng trong việc ứng dụng phân tích dữ liệu vào hoạt động kinh doanh.

1.2. Tầm Quan Trọng của Phân Tích Dữ Liệu trong HTTT

Phân tích dữ liệu đóng vai trò then chốt trong việc chuyển đổi dữ liệu thô thành thông tin hữu ích, hỗ trợ quá trình ra quyết định trong hệ thống thông tin. Nó giúp các tổ chức hiểu rõ hơn về khách hàng, thị trường và đối thủ cạnh tranh. Ứng dụng phân tích dữ liệu trong các lĩnh vực như kinh doanh, y tế, giáo dục, tài chính và marketing ngày càng trở nên phổ biến. Phân tích dữ liệu giúp cải thiện hiệu quả hoạt động, giảm chi phí và tăng doanh thu.

II. Thách Thức Vấn Đề Trong Phân Tích Dữ Liệu HTTT

Mặc dù phân tích dữ liệu mang lại nhiều lợi ích, nhưng cũng đặt ra không ít thách thức. Quản lý dữ liệu (data management) và đảm bảo chất lượng dữ liệu là những vấn đề quan trọng cần được giải quyết. Bảo mật dữ liệu và đạo đức trong nghiên cứu dữ liệu cũng là những mối quan tâm hàng đầu. Sai số trong phân tích dữ liệu có thể dẫn đến những quyết định sai lầm. Việc lựa chọn phương pháp luận nghiên cứu phù hợp và công cụ phân tích dữ liệu thích hợp cũng là một thách thức.

2.1. Vấn Đề Về Chất Lượng Dữ Liệu và Làm Sạch Dữ Liệu

Chất lượng dữ liệu là yếu tố then chốt ảnh hưởng đến độ tin cậy của kết quả phân tích dữ liệu. Làm sạch dữ liệu (data cleaning) là quá trình loại bỏ các lỗi, giá trị thiếu và dữ liệu không nhất quán. Tiền xử lý dữ liệu là bước quan trọng để chuẩn bị dữ liệu cho quá trình phân tích. Các kỹ thuật làm sạch dữ liệu bao gồm điền giá trị thiếu, loại bỏ dữ liệu trùng lặp và chuẩn hóa dữ liệu.

2.2. Thách Thức Về Bảo Mật Dữ Liệu và Đạo Đức Nghiên Cứu

Bảo mật dữ liệu là một vấn đề quan trọng, đặc biệt là khi làm việc với dữ liệu nhạy cảm. Kiểm soát dữ liệu và tuân thủ các quy định về bảo vệ dữ liệu là cần thiết. Đạo đức trong nghiên cứu dữ liệu đòi hỏi sự minh bạch, công bằng và tôn trọng quyền riêng tư của cá nhân. Việc sử dụng dữ liệu một cách có trách nhiệm và tránh gây tổn hại cho người khác là điều cần thiết.

III. Phương Pháp Phân Tích Thống Kê Trong Hệ Thống Thông Tin

Phân tích thống kê là một trong những phương pháp phân tích dữ liệu cơ bản và quan trọng nhất. Nó bao gồm các kỹ thuật như phân tích hồi quy, phân tích phương sai, và phân tích chuỗi thời gian. Phân tích thống kê giúp các nhà nghiên cứu và nhà quản lý hiểu rõ hơn về mối quan hệ giữa các biến số và đưa ra dự đoán. Các công cụ như SPSS và R thường được sử dụng để thực hiện phân tích thống kê.

3.1. Phân Tích Hồi Quy và Ứng Dụng Trong Dự Báo

Phân tích hồi quy là một kỹ thuật thống kê được sử dụng để mô hình hóa mối quan hệ giữa một biến phụ thuộc và một hoặc nhiều biến độc lập. Nó có thể được sử dụng để phân tích dự báo và ước tính giá trị của biến phụ thuộc dựa trên giá trị của các biến độc lập. Phân tích hồi quy có nhiều ứng dụng trong kinh doanh, tài chính và khoa học xã hội.

3.2. Phân Tích Phương Sai và Kiểm Định Giả Thuyết

Phân tích phương sai (ANOVA) là một kỹ thuật thống kê được sử dụng để so sánh trung bình của hai hoặc nhiều nhóm. Nó được sử dụng để kiểm định giả thuyết về sự khác biệt giữa các nhóm. ANOVA có nhiều ứng dụng trong các lĩnh vực như y học, nông nghiệp và tâm lý học.

IV. Khai Phá Dữ Liệu Học Máy Trong Hệ Thống Thông Tin

Khai phá dữ liệu (data mining) và học máy (machine learning) là những lĩnh vực phát triển nhanh chóng trong phân tích dữ liệu. Chúng sử dụng các thuật toán để tự động tìm kiếm các mẫu và mối quan hệ trong dữ liệu. Phân tích cụm, phân tích phân loại, và phân tích dự báo là những kỹ thuật phổ biến trong khai phá dữ liệu và học máy. Các công cụ như Python và R cung cấp nhiều thư viện và framework để hỗ trợ khai phá dữ liệu và học máy.

4.1. Phân Tích Cụm và Ứng Dụng Trong Phân Khúc Khách Hàng

Phân tích cụm là một kỹ thuật khai phá dữ liệu được sử dụng để nhóm các đối tượng tương tự vào cùng một cụm. Nó có thể được sử dụng để phân khúc khách hàng, xác định các nhóm khách hàng có đặc điểm chung. Phân tích cụm có nhiều ứng dụng trong marketing, bán lẻ và dịch vụ khách hàng.

4.2. Phân Tích Phân Loại và Ứng Dụng Trong Dự Đoán

Phân tích phân loại là một kỹ thuật học máy được sử dụng để xây dựng các mô hình dự đoán lớp của một đối tượng dựa trên các thuộc tính của nó. Nó có thể được sử dụng để phân tích dự báo và dự đoán các sự kiện trong tương lai. Phân tích phân loại có nhiều ứng dụng trong tài chính, y tế và an ninh mạng.

V. Trực Quan Hóa Dữ Liệu Cách Biến Dữ Liệu Thành Câu Chuyện

Trực quan hóa dữ liệu (data visualization) là quá trình biến dữ liệu thành các biểu đồ, đồ thị và hình ảnh để dễ dàng hiểu và truyền đạt thông tin. Trực quan hóa dữ liệu giúp các nhà quản lý và nhà nghiên cứu nhanh chóng nhận ra các xu hướng, mẫu và điểm bất thường trong dữ liệu. Các công cụ như Tableau và Power BI cung cấp nhiều tính năng để tạo ra các báo cáo phân tích dữ liệu trực quan và tương tác.

5.1. Các Loại Biểu Đồ Phổ Biến và Ứng Dụng Thực Tế

Có nhiều loại biểu đồ khác nhau có thể được sử dụng để trực quan hóa dữ liệu, bao gồm biểu đồ cột, biểu đồ đường, biểu đồ tròn, biểu đồ phân tán và bản đồ nhiệt. Mỗi loại biểu đồ phù hợp với một loại dữ liệu và mục đích khác nhau. Việc lựa chọn loại biểu đồ phù hợp là rất quan trọng để truyền đạt thông tin một cách hiệu quả.

5.2. Công Cụ Trực Quan Hóa Dữ Liệu Tableau và Power BI

Tableau và Power BI là hai trong số những công cụ phân tích dữ liệu và trực quan hóa dữ liệu phổ biến nhất hiện nay. Chúng cung cấp nhiều tính năng để kết nối với các nguồn dữ liệu khác nhau, tạo ra các biểu đồ và báo cáo tương tác, và chia sẻ kết quả với người khác. Tableau và Power BI được sử dụng rộng rãi trong các tổ chức thuộc mọi quy mô.

VI. Ứng Dụng Phân Tích Dữ Liệu Trong Các Lĩnh Vực Thực Tế

Ứng dụng phân tích dữ liệu ngày càng trở nên phổ biến trong nhiều lĩnh vực khác nhau. Trong kinh doanh, phân tích dữ liệu được sử dụng để cải thiện hiệu quả hoạt động, tăng doanh thu và giảm chi phí. Trong y tế, phân tích dữ liệu được sử dụng để cải thiện chất lượng chăm sóc bệnh nhân và phát triển các phương pháp điều trị mới. Trong giáo dục, phân tích dữ liệu được sử dụng để cải thiện hiệu quả giảng dạy và học tập. Trong tài chính, phân tích dữ liệu được sử dụng để quản lý rủi ro và phát hiện gian lận.

6.1. Ứng Dụng Trong Kinh Doanh và Marketing

Phân tích dữ liệu được sử dụng rộng rãi trong kinh doanh và marketing để hiểu rõ hơn về khách hàng, thị trường và đối thủ cạnh tranh. Nó có thể được sử dụng để phân khúc khách hàng, xác định các cơ hội thị trường mới và cải thiện hiệu quả các chiến dịch marketing. Phân tích dữ liệu cũng có thể được sử dụng để dự đoán nhu cầu của khách hàng và tối ưu hóa giá cả.

6.2. Ứng Dụng Trong Y Tế và Chăm Sóc Sức Khỏe

Phân tích dữ liệu có tiềm năng to lớn trong việc cải thiện y tế và chăm sóc sức khỏe. Nó có thể được sử dụng để dự đoán nguy cơ mắc bệnh, phát triển các phương pháp điều trị mới và cải thiện chất lượng chăm sóc bệnh nhân. Phân tích dữ liệu cũng có thể được sử dụng để quản lý dịch bệnh và tối ưu hóa việc sử dụng các nguồn lực y tế.

Nội dung chính

Tổng quan nghiên cứu

Hệ thống chữ Nôm lưu giữ kho tàng di sản văn hóa và lịch sử của dân tộc Việt Nam kéo dài hơn 13 thế kỷ, từ thế kỷ VI đến thế kỷ XIX. Trong chuẩn mã hóa quốc tế Unicode, kho ngữ liệu chữ Nôm đã được tích hợp với 5.067 chữ trùng hình với chữ Trung Quốc, 4.232 chữ thuần Nôm và hơn 2.200 chữ đang tiếp tục được đề xuất bổ sung. Tuy nhiên, kể từ thế kỷ XIX khi chữ Quốc ngữ dần thay thế hoàn toàn trong đời sống xã hội, số lượng chuyên gia có thể đọc và dịch trực tiếp các văn bản cổ ước tính chỉ còn dưới 1% dân số. Phần lớn các tài liệu quý giá khắc trên bia đá, mộc bản, gốm sứ và giấy dó tại hàng nghìn di tích đình, đền, chùa, miếu mạo đang đối mặt với nguy cơ mai một nghiêm trọng.

Trước thực trạng đó, bài toán nhận dạng ký tự quang học (OCR) cho chữ Nôm trở thành nhiệm vụ cấp thiết nhằm tự động hóa quy trình số hóa và dịch thuật sang chữ Quốc ngữ. Luận văn thạc sĩ chuyên ngành Công nghệ phần mềm tại Trường Đại học Công nghệ – Đại học Quốc gia Hà Nội đã tập trung nghiên cứu, giải quyết thách thức này thông qua đề tài "Phương pháp trích chọn đặc trưng cho bài toán nhận dạng chữ Nôm". Mục tiêu cụ thể của nghiên cứu là xây dựng quy trình tiền xử lý, trích xuất khung xương ảnh bằng mạng nơ-ron xung kép, kết hợp kỹ thuật giả khung và mã hóa biểu đồ tần suất Histogram để tối ưu hóa thuật toán khoảng cách soạn thảo chuỗi. Giải pháp đề xuất đã tạo ra bước đột phá khi nâng cao độ chính xác nhận dạng thêm 12% so với các phương pháp truyền thống trên cùng một bộ dữ liệu thử nghiệm, đồng thời giảm thiểu đáng kể chi phí tính toán phần cứng.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Nghiên cứu được xây dựng dựa trên sự giao thoa giữa lý thuyết ngôn ngữ học văn tự Hán Nôm và các mô hình thị giác máy tính hiện đại:

• Lý thuyết cấu trúc chữ Nôm: Dựa trên các công trình nghiên cứu cấu trúc văn tự của học giả Dương Quảng Hàm năm 1943, Đào Duy Anh và phân loại của Đặng Đức cùng Trần Xuân Ngọc Lan. Theo đó, chữ Nôm được khái quát hóa thành 9 kiểu đồ án kiến trúc chính, bao gồm cấu trúc đơn hình tố, cấu trúc ghép trên - dưới, ghép trái - phải và 6 dạng thức bao bọc không gian khác nhau giữa hình tố âm và hình tố nghĩa.
• Mô hình mạng nơ-ron xung kép (Pulse-Coupled Neural Network – PCNN): Ứng dụng cơ chế truyền xung sinh học để trích xuất khung xương ảnh nhị phân với ma trận điểm ảnh đầu vào $F$, ma trận ngưỡng $T_h$, ma trận liên kết $L$ và ma trận kích hoạt $U$. Các tham số hằng số cập nhật ngưỡng được thiết lập chuẩn xác với hằng số $T_Ah = 1,5$, $T_Bh = 15$ và hệ số kích hoạt $Beta = 1,5$.
• Thuật toán hình học và phân đoạn nét: Ứng dụng thuật toán xấp xỉ đường gấp khúc Douglas-Peucker để chuẩn hóa các nét cong thành các đoạn thẳng theo ngưỡng sai số $\theta$. Các nét chữ sau đó được phân loại thành 6 nhóm nét cơ bản: nét ngang (góc lệch từ -15° đến 15°), nét đứng (từ 75° đến 90° hoặc -75° đến -90°), nét xiên trái 45°, xiên phải 45°, xiên trái 25° và xiên phải 25°.
• Mô hình phân loại thống kê và so khớp chuỗi: Kết hợp mô hình cực đại hóa Entropy (Maximum Entropy Model – MEM), thuật toán phân lớp k láng giềng gần nhất (k-NN) và kỹ thuật tính khoảng cách soạn thảo chuỗi (String Edit Distance) dựa trên tập nhãn ký tự $L, M, S, U$ đại diện cho các mức phân đoạn năng lượng Histogram.

Phương pháp nghiên cứu

• Nguồn dữ liệu và cỡ mẫu: Nghiên cứu xây dựng tập dữ liệu thực nghiệm gồm hơn 9.000 ký tự chữ Nôm chuẩn hóa từ các tác phẩm văn học kinh điển như Truyện Kiều của Nguyễn Du, Lục Vân Tiên của Nguyễn Đình Chiểu và các tập thơ Nôm truyền thống. Bộ mẫu thử nghiệm chuyên sâu được trích xuất với 72 mẫu ký tự đại diện cho đầy đủ 9 kiểu đồ án cấu trúc chữ.
• Phương pháp chọn mẫu: Phương pháp chọn mẫu phân tầng có chủ đích được áp dụng nhằm bao phủ toàn bộ các dạng biến thể nét, độ phức tạp từ các chữ có cấu trúc đơn giản dưới 4 nét đến các chữ dị thể phức tạp trên 20 nét khắc.
• Phương pháp phân tích và lý do lựa chọn: Quy trình phân tích bao gồm 5 pha tuần tự: Tiền xử lý (khử nhiễu, nhị phân hóa ảnh về định dạng BMP ma trận $24 \times 24$ pixel) $\rightarrow$ Trích xuất khung xương bằng PCNN và trích xuất giả khung bằng các phép toán logic $\rightarrow$ Tạo biểu đồ Histogram dọc ($V\text{-Histogram}$) và ngang ($H\text{-Histogram}$) $\rightarrow$ Mã hóa chuỗi đặc trưng $\rightarrow$ Phân loại bằng String Edit Distance. Lý do phương pháp String Edit Distance trên nền Histogram cải tiến được lựa chọn là vì phương pháp này dung hòa tối ưu giữa độ chính xác nhận dạng và độ phức tạp thuật toán, không yêu cầu năng lực tính toán quá lớn như các mạng nơ-ron học sâu nhiều tầng ẩn. Toàn bộ chu kỳ nghiên cứu và thử nghiệm được hoàn thành trong thời gian 12 tháng.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

• Độ chính xác của phương pháp Histogram truyền thống: Khi áp dụng phương pháp trích chọn đặc trưng từ giả khung nguyên bản kết hợp String Edit Distance (vốn được thiết kế cho chữ Trung Quốc), kết quả nhận dạng chữ Nôm chỉ đạt mức 60% do mật độ nét của chữ Nôm dày đặc và phân bố bất đối xứng hơn nhiều.
• Hiệu quả vượt trội của phương pháp cải tiến ô lưới: Bằng việc chia ô lưới trực tiếp trên biểu đồ Histogram của khung xương và giả khung để phản ánh độc lập các nét ngang cùng nét dọc, độ chính xác nhận dạng đã tăng thêm 12%, đạt mức từ 72% đến 82% trên cùng một tập dữ liệu thử nghiệm.
• So sánh định lượng giữa các thuật toán nhận dạng:
  • Phương pháp trích đặc trưng điểm ảnh với Mạng nơ-ron truyền ngược (Backpropagation) đạt độ chính xác 81%.
  • Phương pháp trích đặc trưng theo lưới điểm ảnh kết hợp Máy vector hỗ trợ (SVM) đạt độ chính xác cao nhất ở mức 92%.
  • Phương pháp cực đại hóa Entropy (MEM) kết hợp Histogram giả khung đạt mức 60% đến 63%.
  • Thư viện Tesseract OCR mã nguồn mở cho kết quả dưới 50%, chứng minh tính không tương thích khi xử lý ký tự tượng hình phức tạp nếu không có bước tiền xử lý chuyên biệt.
• Tối ưu hóa kích thước mô hình: Chuỗi mã hóa đặc trưng của mỗi ký tự Nôm sau khi xử lý chỉ bao gồm 5 thành phần chính (điểm ảnh tương đối, chuỗi nhãn $H\text{-Histogram}$, chuỗi nhãn $V\text{-Histogram}$, trọng số nhãn dọc và trọng số nhãn ngang), giúp giảm hơn 70% dung lượng bộ nhớ lưu trữ cơ sở tri thức so với lưu trữ ma trận điểm ảnh thô.

Thảo luận kết quả

Nguyên nhân chính dẫn đến sự chênh lệch hiệu năng giữa các phương pháp xuất phát từ đặc tính tạo chữ của chữ Nôm. Khác với chữ Latinh vốn có số lượng ký tự hữu hạn và đường nét đơn giản, chữ Nôm là chữ khối tượng hình với sự lồng ghép phức tạp giữa hai hay nhiều chữ Hán để tạo thành một thể thống nhất. Thư viện Tesseract OCR tiêu chuẩn dựa trên phân đoạn xấp xỉ đa giác biên ngoài nên thường bỏ sót các chi tiết cấu trúc nội tại của các hình tố nằm sâu bên trong chữ.

Trong khi đó, việc ứng dụng mạng PCNN để trích xuất khung xương đã loại bỏ hoàn toàn hiện tượng dày nét do biến dạng ngòi bút, giữ lại đúng trục xương cốt lõi của ký tự. Dữ liệu thực nghiệm khi được biểu diễn trực quan trên biểu đồ phân bố tần suất và bảng ma trận chi phí biến đổi ký tự cho thấy: kỹ thuật bổ sung ô lưới vào $V\text{-Histogram}$ và $H\text{-Histogram}$ đã khóa chặt tọa độ không gian của từng nét cắt, ngăn chặn triệt để lỗi nhận diện nhầm giữa các ký tự có cùng số lượng nét nhưng khác biệt về vị trí tương quan. Nhờ đó, tỷ lệ nhận dạng nhầm lẫn giảm xuống dưới 18% trên toàn bộ các nhóm mẫu thử nghiệm.

Đề xuất và khuyến nghị

• Tối ưu hóa tham số ngưỡng thích nghi trong mạng PCNN: Tiến hành nghiên cứu thuật toán tự động điều chỉnh các hệ số $T_Ah$ và $T_Bh$ theo độ tương phản thực tế của từng trang tài liệu, đặt mục tiêu nâng tỷ lệ nhận dạng của phương pháp khung xương lên trên 90% trong giai đoạn 2026 - 2027 do các nhóm nghiên cứu thị giác máy tính đảm trách.
• Mở rộng và chuẩn hóa tập dữ liệu mẫu số hóa: Xây dựng kho ngữ liệu số hóa mở chứa hơn 20.000 mẫu ảnh chữ Nôm thu thập từ các văn bia, mộc bản triều Nguyễn và tài liệu lưu trữ cổ trong thời hạn 18 tháng, dưới sự phối hợp giữa Viện Nghiên cứu Hán Nôm và các trường đại học khối công nghệ.
• Tích hợp tầng phân tích ngữ nghĩa và mô hình ngôn ngữ: Bổ sung mô-đun hậu xử lý tra cứu ngữ cảnh và từ điển Hán Nôm tự động sau bước OCR, dự kiến nâng độ chuẩn xác toàn văn thêm khoảng 8% đến 10% trong vòng 6 tháng bởi đội ngũ phát triển phần mềm xử lý ngôn ngữ tự nhiên.
• Phát triển ứng dụng nhận dạng di động đa nền tảng: Thiết kế ứng dụng nhận dạng ký tự Nôm thời gian thực chạy trên hệ điều hành Android và iOS với thời gian phản hồi dưới 0,5 giây mỗi ký tự, hoàn thành vào quý 4 năm 2026 nhằm phục vụ cộng đồng và khách tham quan tại các di tích lịch sử.

Đối tượng nên tham khảo luận văn

• Kỹ sư phần mềm và chuyên gia thị giác máy tính: Khai thác chi tiết các thuật toán tiền xử lý ảnh nhị phân BMP, quy trình xấp xỉ đa giác Douglas-Peucker và cách lập trình giải thuật String Edit Distance tối ưu trên chuỗi đặc trưng.
• Học viên cao học và nghiên cứu sinh ngành Công nghệ thông tin: Sử dụng như một tài liệu tham khảo mẫu mực về phương pháp luận nghiên cứu OCR cho ngôn ngữ tượng hình, từ khâu thiết lập tập thực nghiệm đến đánh giá so sánh đa mô hình (SVM, Neural Network, MEM, Tesseract).
• Cán bộ lưu trữ và chuyên viên số hóa di sản văn hóa: Nắm bắt quy trình chuyển đổi tài liệu chữ Nôm cổ sang văn bản số định dạng chuẩn Unicode, phục vụ công tác bảo tồn hiện vật lịch sử tại các bảo tàng, viện nghiên cứu và thư viện.
• Giảng viên và nhà nghiên cứu ngôn ngữ học liên ngành: Ứng dụng các phân loại về 9 kiểu đồ án kiến trúc chữ Nôm và các bảng thống kê tần suất nét để phục vụ công tác giảng dạy, đối chiếu văn tự học cổ truyền với khoa học máy tính.

Câu hỏi thường gặp

Tại sao Tesseract OCR lại đạt hiệu quả thấp đối với nhận dạng chữ Nôm?

Tesseract OCR được thiết kế tối ưu cho hệ chữ Latinh vốn phân đoạn rõ ràng theo dòng và từ. Đối với chữ Nôm có cấu trúc tượng hình phức tạp với 9 kiểu đồ án lồng ghép, thuật toán phân đoạn đa giác đơn giản của Tesseract không thể trích xuất đủ số lượng đặc trưng cần thiết, dẫn đến độ chính xác thực nghiệm chỉ đạt dưới 50%.

Mạng nơ-ron xung kép (PCNN) đóng vai trò gì trong quy trình trích chọn đặc trưng?

PCNN đóng vai trò cốt lõi trong việc trích xuất khung xương ảnh nhị phân bằng cách mô phỏng cơ chế lan truyền xung vỏ não. Kỹ thuật này triệt tiêu độ dày không đồng đều của nét mực trên tài liệu cổ, cô lập trục chính của chữ với các tham số ngưỡng $T_Ah = 1,5$ và $Beta = 1,5$, tạo tiền đề chuẩn xác cho bước tạo Histogram.

Thuật toán String Edit Distance thực hiện việc so khớp ký tự như thế nào?

Sau khi $V\text{-Histogram}$ và $H\text{-Histogram}$ được chia đoạn và gán các nhãn $L, M, S, U$, mỗi chữ Nôm được biểu diễn dưới dạng một chuỗi mã đặc trưng. Thuật toán String Edit Distance sẽ tính toán tổng chi phí biến đổi tối thiểu (thêm, xóa, thay thế) giữa chuỗi ký tự đầu vào và tập mẫu huấn luyện để xác định ký tự phù hợp nhất.

Việc bổ sung ô lưới vào biểu đồ Histogram mang lại lợi thế gì?

Kỹ thuật đưa ô lưới vào Histogram giúp phân tách độc lập mật độ phân bố của các nét ngang và nét dọc trong không gian hai chiều. Điều này ngăn ngừa sự đồng nhất sai lệch giữa các chữ có cùng số lượng điểm ảnh nhưng khác biệt về kiến trúc nét, giúp nâng tỷ lệ nhận dạng chính xác thêm 12% trên bộ dữ liệu kiểm thử.

Hệ thống nhận dạng trong luận văn có thể triển khai thực tế trên điện thoại không?

Hoàn toàn khả thi. Do chuỗi đặc trưng mã hóa Histogram có kích thước rất nhỏ gọn và thuật toán khoảng cách soạn thảo không đòi hỏi GPU xử lý phức tạp như các mạng nơ-ron học sâu nhiều lớp, toàn bộ mô-đun có thể đóng gói nhẹ nhàng để chạy trực tiếp trên các thiết bị di động có cấu hình phổ thông.

Kết luận

• Luận văn đã hệ thống hóa toàn diện cơ sở lý thuyết về văn tự chữ Nôm và kiểm chứng 4 mô hình nhận dạng ký tự quang học phổ biến trên cùng tập dữ liệu thực nghiệm chuẩn hóa.
• Làm chủ và làm rõ quy trình trích xuất khung xương bằng mạng nơ-ron xung kép PCNN kết hợp phương pháp trích xuất giả khung dựa trên phép toán logic nhị phân.
• Đề xuất thành công kỹ thuật cải tiến mã hóa biểu đồ tần suất Histogram bằng cách phân chia ô lưới không gian, giúp nâng cao độ chính xác nhận dạng của thuật toán String Edit Distance thêm 12%.
• Cung cấp tập dữ liệu mẫu và mã nguồn thử nghiệm chi tiết, mở ra giải pháp công nghệ khả thi với chi phí tính toán thấp cho bài toán số hóa di sản Hán Nôm tại Việt Nam.
• Hướng phát triển tiếp theo tập trung vào việc tự động hóa thích nghi tham số tiền xử lý và tích hợp mô hình ngôn ngữ phân tích ngữ nghĩa trong giai đoạn 2026 - 2027. Các viện nghiên cứu và đơn vị phát triển phần mềm có thể ứng dụng ngay các phát kiến này để xây dựng những công cụ số hóa di sản văn hóa thiết thực cho xã hội.