Luận Văn Về Phân Tích Ngữ Nghĩa Tiềm Ẩn Trong Đối Sánh Văn Bản

Luận văn hpu khám phá kỹ thuật phân tích ngữ nghĩa tiềm ẩn trong đối sánh văn bản, mang đến cái nhìn sâu sắc về ngôn ngữ và văn hóa.

• Tác giả: Nguyễn Minh Thành
• Người hướng dẫn: ThS. Nguyễn Trịnh Đông
• Trường học: Trường Đại Học Dân Lập Hải Phòng
• Chuyên ngành: Công Nghệ Thông Tin
• Đề tài: Áp Dụng Kỹ Thuật Phân Tích Ngữ Nghĩa Tiềm Ẩn Trong Đối Sánh Văn Bản
• Loại tài liệu: Đồ Án Tốt Nghiệp
• Năm xuất bản: 2016
• Địa điểm: Hải Phòng

Mục lục chi tiết

• LỜI NÓI ĐẦU
• 1. CHƯƠNG 1: GIỚI THIỆU ĐỐI SÁNH VĂN BẢN
• 1.1. Giới thiệu
• 1.2. Phân tách tài liệu thành các từ khóa (Filter)
• 1.2.1. Các nghiên cứu về cấu trúc của các nhà nghiên cứu Việt Nam
• 1.2.2. Tách tài liệu thành các từ khóa
• 1.3. Giải pháp tách từ Tiếng Anh
• 1.4. Giải pháp cho Tiếng Việt
• 1.4.1. Các giải pháp đã có
• 1.4.2. Giải pháp sử dụng và nhận xét
• 2. CHƯƠNG 2: PHƯƠNG PHÁP PHÂN TÍCH NGỮ NGHĨA TIỀM ẨN
• 2.1. Phân nhóm văn bản
• 2.2. Phương pháp phân nhóm phân cấp
• 2.3. Phương pháp phân nhóm không phân cấp
• 2.3.1. Tiếng trong tiếng Việt
• 2.3.2. Từ trong tiếng Việt
• 2.3.3. Từ dừng và từ gốc
• 2.4. Các phương pháp tách từ phổ biến
• 2.4.1. Phương pháp Maximum Matching
• 2.4.2. TF-IDF Term Frequency – Inverse Document Frequency
• 2.4.3. Phương pháp Transformation – based Learning (TBL)
• 2.4.4. Mô hình tách từ bằng WFST và mạng Neural
• 2.4.5. Phương pháp tách từ tiếng Việt dựa trên thống kê từ Internet và thuật giải di truyền
• 2.5. Phương pháp phân tích ngữ nghĩa tiềm ẩn
• 2.5.1. Cách thức hoạt động
• 2.5.2. Đối sánh văn bản
• 2.5.3. Độ tương đồng văn bản trong Tiếng Việt
• 2.5.4. Tính độ tương đồng cho toàn bộ văn bản
• 3. CHƯƠNG 3: BÀI TOÁN ÁP DỤNG
• 3.1. Giới thiệu ngôn ngữ R
• 3.2. Các lệnh trong gói phân tích ngữ nghĩa tiềm ẩn trong R
• 3.3. Cài đặt và chạy chương trình
• 3.4. Chạy chương trình
• TÀI LIỆU THAM KHẢO
• LỜI CẢM ƠN

Tóm tắt

I. Tổng Quan Về Phân Tích Ngữ Nghĩa Tiềm Ẩn Trong Đối Sánh Văn Bản

Phân tích ngữ nghĩa tiềm ẩn (Latent Semantic Analysis - LSA) là một kỹ thuật quan trọng trong lĩnh vực xử lý ngôn ngữ tự nhiên. Kỹ thuật này giúp phát hiện mối quan hệ giữa các từ và ý nghĩa của chúng trong văn bản. Đối sánh văn bản là một ứng dụng của LSA, cho phép so sánh và tìm kiếm thông tin trong các tài liệu khác nhau. Việc áp dụng LSA trong đối sánh văn bản không chỉ giúp cải thiện độ chính xác mà còn tăng cường khả năng tìm kiếm thông tin.

1.1. Khái Niệm Về Đối Sánh Văn Bản

Đối sánh văn bản là quá trình so sánh nội dung của các tài liệu để tìm ra sự tương đồng. Kỹ thuật này thường được sử dụng trong các hệ thống tìm kiếm và phân tích dữ liệu. Việc áp dụng LSA giúp nâng cao khả năng nhận diện các tài liệu có nội dung tương tự, ngay cả khi chúng sử dụng từ ngữ khác nhau.

1.2. Tầm Quan Trọng Của Phân Tích Ngữ Nghĩa

Phân tích ngữ nghĩa tiềm ẩn giúp phát hiện các mối quan hệ ẩn giữa các từ trong văn bản. Điều này rất quan trọng trong việc cải thiện độ chính xác của các hệ thống tìm kiếm thông tin. Bằng cách hiểu rõ hơn về ngữ nghĩa, các hệ thống có thể cung cấp kết quả tìm kiếm phù hợp hơn với nhu cầu của người dùng.

II. Vấn Đề Trong Đối Sánh Văn Bản Hiện Nay

Mặc dù có nhiều tiến bộ trong công nghệ đối sánh văn bản, nhưng vẫn tồn tại nhiều thách thức. Một trong những vấn đề lớn nhất là khả năng nhận diện các tài liệu có nội dung tương tự nhưng sử dụng từ ngữ khác nhau. Điều này dẫn đến việc nhiều tài liệu quan trọng có thể bị bỏ sót trong quá trình tìm kiếm.

2.1. Thách Thức Trong Việc Nhận Diện Tài Liệu

Việc nhận diện tài liệu có nội dung tương tự nhưng sử dụng từ ngữ khác nhau là một thách thức lớn. Các phương pháp truyền thống thường dựa vào việc so khớp chuỗi, điều này có thể dẫn đến việc bỏ sót nhiều tài liệu quan trọng.

2.2. Vấn Đề Về Độ Chính Xác

Độ chính xác trong việc tìm kiếm thông tin là một vấn đề quan trọng. Nhiều hệ thống hiện nay vẫn chưa đạt được độ chính xác cao trong việc xác định các tài liệu có nội dung tương tự. Điều này ảnh hưởng đến hiệu quả của các hệ thống tìm kiếm và phân tích dữ liệu.

III. Phương Pháp Phân Tích Ngữ Nghĩa Tiềm Ẩn Hiệu Quả

Để giải quyết các vấn đề trong đối sánh văn bản, nhiều phương pháp phân tích ngữ nghĩa tiềm ẩn đã được phát triển. Các phương pháp này không chỉ giúp cải thiện độ chính xác mà còn tăng cường khả năng nhận diện các tài liệu có nội dung tương tự.

3.1. Phương Pháp LSA Trong Đối Sánh Văn Bản

Phương pháp LSA sử dụng ma trận thuật ngữ-tài liệu để phát hiện các mối quan hệ ẩn giữa các từ. Bằng cách giảm chiều dữ liệu, LSA giúp cải thiện khả năng nhận diện các tài liệu có nội dung tương tự mà không cần phải so khớp chuỗi.

3.2. Các Kỹ Thuật Khác Trong Phân Tích Ngữ Nghĩa

Ngoài LSA, còn có nhiều kỹ thuật khác như mô hình tách từ và phân cụm dữ liệu. Những kỹ thuật này giúp cải thiện khả năng phân tích và nhận diện các mối quan hệ giữa các từ trong văn bản.

IV. Ứng Dụng Thực Tiễn Của Phân Tích Ngữ Nghĩa Tiềm Ẩn

Phân tích ngữ nghĩa tiềm ẩn có nhiều ứng dụng thực tiễn trong các lĩnh vực khác nhau. Từ việc cải thiện hệ thống tìm kiếm thông tin đến việc phân tích dữ liệu lớn, LSA đã chứng minh được giá trị của mình trong việc xử lý ngôn ngữ tự nhiên.

4.1. Ứng Dụng Trong Tìm Kiếm Thông Tin

LSA được sử dụng rộng rãi trong các hệ thống tìm kiếm thông tin để cải thiện độ chính xác. Bằng cách phân tích ngữ nghĩa, các hệ thống có thể cung cấp kết quả tìm kiếm phù hợp hơn với nhu cầu của người dùng.

4.2. Ứng Dụng Trong Phân Tích Dữ Liệu Lớn

Trong bối cảnh dữ liệu lớn, LSA giúp phân tích và nhận diện các mối quan hệ giữa các dữ liệu khác nhau. Điều này rất quan trọng trong việc phát hiện các xu hướng và mẫu trong dữ liệu.

V. Kết Luận Về Phân Tích Ngữ Nghĩa Tiềm Ẩn Trong Đối Sánh Văn Bản

Phân tích ngữ nghĩa tiềm ẩn là một công cụ mạnh mẽ trong việc đối sánh văn bản. Với khả năng phát hiện các mối quan hệ ẩn giữa các từ, LSA giúp cải thiện độ chính xác và hiệu quả của các hệ thống tìm kiếm thông tin. Tương lai của lĩnh vực này hứa hẹn sẽ còn nhiều tiến bộ hơn nữa.

5.1. Tương Lai Của Phân Tích Ngữ Nghĩa

Tương lai của phân tích ngữ nghĩa tiềm ẩn sẽ tiếp tục phát triển với sự tiến bộ của công nghệ. Các phương pháp mới sẽ được phát triển để cải thiện khả năng nhận diện và phân tích ngữ nghĩa trong văn bản.

5.2. Định Hướng Nghiên Cứu Tiếp Theo

Nghiên cứu tiếp theo sẽ tập trung vào việc cải thiện độ chính xác và hiệu quả của các phương pháp phân tích ngữ nghĩa. Các ứng dụng mới trong lĩnh vực này sẽ được khám phá để đáp ứng nhu cầu ngày càng cao của người dùng.

Nội dung chính

Bối cảnh và vấn đề nghiên cứu

Trong bối cảnh bùng nổ công nghệ số và sự phát triển mạnh mẽ của Internet, các nguồn tài nguyên dữ liệu văn bản tăng nhanh về số lượng và phong phú về nội dung. Sự gia tăng của các thư viện điện tử và trang thông tin trực tuyến dẫn đến tình trạng một tài liệu có thể được tái phát hành nhiều lần dưới nhiều định dạng, xuất hiện phân tán tại nhiều nguồn khác nhau. Thực trạng này đặt ra thách thức lớn trong việc trích chọn thông tin hữu ích, kiểm chứng tính xác thực, cũng như phát hiện việc sao chép hoặc cắt ghép văn bản từ các nguồn sẵn có.

Các giải pháp truyền thống chủ yếu dựa trên kỹ thuật tìm kiếm và so khớp chuỗi ký tự bề mặt (string matching). Phương pháp này chỉ phát huy hiệu quả khi đoạn văn bản được sao chép nguyên văn. Khi văn bản bị can thiệp bằng cách thay đổi trật tự từ ngữ, hoán đổi cấu trúc câu hoặc sử dụng từ đồng nghĩa, các thuật toán so khớp chuỗi không thể phát hiện sự trùng lặp về nội dung. Do đó, việc nghiên cứu các giải pháp đối sánh văn bản dựa trên tầng ngữ nghĩa tiềm ẩn (Latent Semantic Analysis - LSA) thay vì so khớp hình thức bề mặt là yêu cầu cấp thiết.

Đồ án tốt nghiệp của tác giả Nguyễn Minh Thành tập trung vào việc áp dụng phương pháp phân tích ngữ nghĩa tiềm ẩn nhằm nâng cao hiệu quả đối sánh văn bản. Theo quyết định giao nhiệm vụ tốt nghiệp, các nhiệm vụ nghiên cứu cụ thể bao gồm:

1. Tìm hiểu các phương pháp phân cụm dữ liệu văn bản.
2. Tìm hiểu một số phương pháp tạo luật cơ bản và các giải thuật liên quan đến xử lý ngôn ngữ.
3. Đề ra phương pháp xây dựng hệ thống đối sánh văn bản theo ngữ nghĩa.
4. Thử nghiệm với các công cụ mã nguồn mở để giải quyết bài toán đặt ra.

Đối tượng nghiên cứu của đề tài là dữ liệu văn bản (chú trọng tiếng Việt và tài liệu kỹ thuật tiếng Anh), các mô hình biểu diễn ngữ nghĩa tiềm ẩn và các độ đo tương đồng văn bản. Về phạm vi, đề tài được thực hiện tại Khoa Công nghệ Thông tin, Trường Đại học Dân lập Hải Phòng; thời gian triển khai từ ngày 03 tháng 10 năm 2016 đến ngày 30 tháng 12 năm 2016. Phạm vi thực nghiệm tập trung vào việc xây dựng quy trình tiền xử lý tách từ tiếng Việt dựa trên từ điển, tính toán ma trận phân tích giá trị kỳ dị (SVD) và mô phỏng trên ngôn ngữ R với thư viện chuyên dụng.

Cơ sở lý thuyết và phương pháp

Về khung lý thuyết, tác giả tổng hợp các lý thuyết ngôn ngữ học, mô hình không gian vector và đại số tuyến tính:

• Lý thuyết cấu trúc ngữ pháp tiếng Việt: Dựa trên các công trình nghiên cứu cấu trúc cụm danh từ của Nguyễn Tài Cẩn (1975), Hồ Lê (1992), Nguyễn Kim Thản (1997) và Diệp Quang Ban (1999) nhằm xác định các thành phần định tố, từ trung tâm và đặc trưng cấu tạo câu phục vụ cho việc tiền xử lý văn bản.
• Lý thuyết phân tích ngữ nghĩa tiềm ẩn (LSA/LSI): Kế thừa nền tảng lý thuyết trích rút ngữ nghĩa từ thống kê của Landauer & Dumais (1997), Thomas K. Landauer, Peter W. Foltz, Darrell Laham (1998) và các phát triển về Chỉ mục ngữ nghĩa tiềm ẩn (LSI) tại Bellcore từ cuối thập niên 1980.
• Kỹ thuật Phân tích giá trị kỳ dị (Singular Value Decomposition - SVD): Công cụ toán học phân rã ma trận chữ nhật thành các ma trận thành phần để giảm số chiều không gian đặc trưng.
• Mô hình trọng số: Kỹ thuật đánh trọng số kết hợp tần suất xuất hiện của từ và nghịch đảo tần suất tài liệu (TF-IDF).
• Các độ đo tương đồng văn bản: Bao gồm độ tương đồng dựa trên tập từ chung (khoảng cách Jaro, mô hình tương phản Tversky, hệ số Jaccard) và độ tương đồng trong không gian vector (độ đo Cosine, khoảng cách Euclide, khoảng cách Manhattan).

Phương pháp nghiên cứu trong đồ án kết hợp giữa lý thuyết và thực nghiệm:

• Phương pháp phân tích - tổng hợp lý thuyết: Khảo sát các công trình xử lý ngôn ngữ tự nhiên tiếng Việt, các thuật toán tách từ và phân cụm văn bản.
• Phương pháp toán học và thống kê: Áp dụng đại số tuyến tính để phân rã ma trận thuật ngữ - tài liệu và ánh xạ vào không gian khái niệm có số chiều rút gọn ($k \ll N$).
• Phương pháp thực nghiệm: Thử nghiệm giải thuật tách từ tiếng Việt trên môi trường lập trình C#; thực thi quy trình phân tích LSA, tính toán ma trận tương đồng và trực quan hóa dữ liệu trên môi trường RStudio.

Nguồn dữ liệu sử dụng trong đồ án bao gồm:

• Bộ từ điển tiếng Việt phục vụ tách từ gồm hơn 99.000 từ và cụm từ.
• Tệp dữ liệu chứa hơn 300 từ dừng (stopword) tiếng Anh.
• Tập ngữ liệu mẫu gồm 9 tài liệu kỹ thuật (5 tài liệu về giao diện người - máy $c_1 - c_5$ và 4 tài liệu về lý thuyết đồ thị $m_1 - m_4$) với 12 thuật ngữ đặc trưng.

Nội dung chính theo từng chương

Chương 1: Giới thiệu đối sánh văn bản

Chương 1 mở đầu bằng việc khái quát hóa bài toán chuyển đổi dữ liệu văn bản tự nhiên thành dữ liệu có cấu trúc. Tác giả phân tích sự khác biệt cơ bản giữa văn bản tiếng Anh và tiếng Việt trong khâu tách từ (tokenization). Tiếng Anh có ranh giới từ phân tách rõ ràng bằng dấu cách, trong khi tiếng Việt là ngôn ngữ đơn lập, ranh giới giữa các tiếng và từ ghép phức tạp, đòi hỏi phải dựa vào từ điển và giải thuật chuyên biệt kết hợp loại bỏ từ dừng.

Tác giả dành dung lượng lớn để khảo cứu các quan điểm cấu trúc ngữ pháp của các nhà nghiên cứu Việt Nam:

• Nguyễn Tài Cẩn (1975): Cụm danh từ gồm 3 phần (phần đầu, phần trung tâm gồm hai vị trí $T_1, T_2$, và phần sau) với các loại định tố chỉ xuất, định tố số lượng và định tố miêu tả.
• Hồ Lê (1992): Mô hình cấu trúc xoay quanh danh từ trung tâm với số lượng từ, nhóm danh từ $D_1$ (chỉ đơn vị, chủng loại, nơi chốn), nhóm danh từ $D_2$, sự kiện từ và đại từ chỉ định.
• Nguyễn Kim Thản (1997): Phân loại từ tổ danh từ theo các mô hình kết hợp cú pháp như danh từ + danh từ ($N+N$), danh từ + thời vị từ ($N+E$), số từ + danh từ ($F+N$), danh từ + tính từ, hoặc danh từ + động từ.
• Diệp Quang Ban (1999): Quy chuẩn mô hình danh ngữ gồm phần phụ trước (vị trí -3, -2, -1), phần phụ trung tâm (vị trí 0) và phần phụ sau (vị trí 1, 2).

Về giải pháp tách từ, tác giả khảo sát các công cụ sẵn có như Code_correct, VNSegment của Phương Thái (viết bằng Java, đóng mã nguồn) và VNTokenizer. Tác giả đề xuất giải thuật tách từ tiếng Việt chạy ngoại tuyến (offline) dựa trên bộ từ điển hơn 99.000 từ và cụm từ. Quy trình hoạt động theo cơ chế duyệt câu, so khớp từ điển, cắt tiếng bên trái và sử dụng ngăn xếp (STACK). Giải thuật giải quyết tốt các cụm từ như "thuộc | địa bàn", nhưng vẫn mắc lỗi trong trường hợp nhập nhằng như câu "Học sinh học sinh học" bị phân tách thành "Học | sinh học | sinh học". Thời gian xử lý của mô-đun này được ghi nhận khoảng 3 phút đối với một cuốn sách điện tử dung lượng 200 trang.

Nhằm tối ưu hóa tốc độ tìm kiếm trong bộ từ điển 99.000 mục từ trên bộ nhớ trong, tác giả đề xuất hai giải pháp tổ chức dữ liệu bằng C#:

Cấu trúc dữ liệu	Cơ chế tổ chức	Đặc điểm vận hành
Mảng chuỗi ký tự (string[])	Sắp xếp toàn bộ từ và cụm từ theo thứ tự tăng dần của mã ASCII	Tìm kiếm nhị phân trên toàn bộ tập mục từ
Danh sách mảng chuỗi (ArrayList)	Mỗi phần tử trong danh sách là một mảng chuỗi gồm các từ có chung âm tiết đầu tiên	Tách âm tiết đầu của từ cần tra, định vị mảng tương ứng rồi mới so khớp chi tiết, giúp tăng đáng kể tốc độ tìm kiếm

Cuối chương 1, tác giả trình bày tổng quan về hệ thống gợi ý (Recommender Systems - RS) với mô hình ánh xạ $u: C \times S \to R$, phân loại các hướng tiếp cận Content-based, Collaborative Filtering và Hybrid. Đồng thời, tác giả điểm lại tiến trình xử lý văn bản tiếng Việt (bộ mã Unicode, OCR VnDOCR, từ điển Lạc Việt, hệ dịch EVTRAN/VETRAN) và tiến trình xử lý ngữ nghĩa (AI-based từ 1960, Knowledge-based từ 1980 với WordNet, Corpus-based từ 1940 và bùng nổ từ 1990).

Chương 2: Phương pháp phân tích ngữ nghĩa tiềm ẩn

Chương 2 trình bày chi tiết cơ sở toán học và kỹ thuật xử lý của phương pháp LSA cùng các thuật toán liên quan:

• Tiền xử lý và phân nhóm: Phân tích hai hướng tiếp cận phân nhóm văn bản gồm phân nhóm phân cấp (hierarchical clustering) với chi phí tính toán lớn và phân nhóm không phân cấp (non-hierarchical clustering).
• Các phương pháp tách từ phổ biến:
  1. Maximum Matching (LRMM): Thuật toán khớp tối đa duyệt từ trái qua phải, gồm dạng đơn giản và dạng phức tạp (phân đoạn 3 từ).
  2. TF-IDF: Đánh trọng số mức độ quan trọng của từ. Tác giả đưa ví dụ minh họa: một văn bản có 100 từ, từ "máy tính" xuất hiện 10 lần thì $tf = 10 / 100 = 0{,}1$. Trong tập 1000 tài liệu có 200 tài liệu chứa từ này thì $idf = \log(1000 / 200) \approx 0{,}699$. Trọng số tổng hợp đạt $TF\text{-}IDF = 0{,}1 \times 0{,}699 = 0{,}0699$.
  3. Transformation-based Learning (TBL): Học quy luật ranh giới từ dựa trên tập ngữ liệu gán nhãn sẵn.
  4. Mạng chuyển dịch trạng thái hữu hạn có trọng số (WFST) kết hợp mạng Neural: Công trình của Đinh Điền (2001) xây dựng từ điển trọng số với chi phí $Cost = -\log(f/N)$, sinh các khả năng phân đoạn tối ưu và dùng mạng Neural khử nhập nhằng, đạt độ chính xác công bố trên 97%.
  5. Phương pháp IGATEC: Công trình của Nguyễn Thanh Hùng (2005) kết hợp thống kê Internet và giải thuật di truyền để phân loại văn bản mà không phụ thuộc vào từ điển hay ngữ liệu học.

Về bản chất của LSA, phương pháp này giải quyết triệt để hai hiện tượng ngôn ngữ là từ đồng nghĩa (synonymy) và từ đa nghĩa (polysemy) bằng cách ánh xạ các từ và tài liệu vào một không gian khái niệm trung gian. Quy trình thực hiện gồm 4 bước:

1. Thiết lập ma trận tần số thuật ngữ - tài liệu ban đầu $X$.
2. Áp dụng kỹ thuật SVD để phân rã ma trận $X$ thành 3 ma trận thành phần với số chiều rút gọn.
3. Nhận dạng vector đại diện cho từng tài liệu trong không gian mới.
4. Xây dựng chỉ mục không gian vector để phục vụ việc truy vấn và đối sánh.

Về mặt toán học, ma trận $X$ kích thước $t \times d$ được phân rã thành:

$$X = T_0 S_0 D_0^T$$

Trong đó $T_0$ ($t \times m$) và $D_0$ ($d \times m$) là các ma trận có các cột trực giao; $S_0$ ($m \times m$) là ma trận đường chéo chứa các giá trị kỳ dị sắp xếp giảm dần, với $m = \min(t, d)$. Tác giả minh họa cụ thể việc tính trị riêng và vector riêng thông qua phương trình đặc trưng $\det(X - cI) = 0$. Khi giảm chiều, chỉ giữ lại $k$ giá trị kỳ dị lớn nhất trong $S_0$, ta thu được ma trận xấp xỉ:

$$\hat{X} = T S D^T$$

Tác giả chứng minh hiệu quả giảm chiều qua ví dụ lý thuyết: Một cơ sở dữ liệu có $t \approx 1.000.000$ thuật ngữ và $d \approx 10.000$ tài liệu, ma trận ban đầu đòi hỏi lưu trữ xấp xỉ 10 tỷ giá trị. Khi áp dụng SVD với $k = 200$, ma trận $T$ ($1.000.000 \times 200$) chiếm 200 triệu phần tử, ma trận đường chéo $S$ lưu 200 phần tử, ma trận $D$ ($200 \times 10.000$) chiếm 2 triệu phần tử. Tổng số phần tử cần lưu trữ giảm xuống còn khoảng 202 triệu, giúp tiết kiệm không gian lưu trữ xấp xỉ 50 lần so với dữ liệu thô.

Dữ liệu thực nghiệm LSA	Danh sách chi tiết trong đồ án
Tập tài liệu mẫu ($c_1 - c_5$: Giao diện người - máy; $m_1 - m_4$: Đồ thị toán học)	$c_1$: Giao diện máy cho các ứng dụng máy tính Lab ABC với con người $c_2$: Nghiên cứu sự đánh giá của người sử dụng về thời gian hệ thống máy tính trả lời $c_3$: Hệ thống quản lý giao diện người dùng EPS $c_4$: Kiểm thử kỹ thuật xây dựng hệ thống và con người EPS $c_5$: Mối quan hệ của người sử dụng - thời gian trả lời thấy được độ sai lệch đo lường $m_1$: Sinh ra các cây ngẫu nhiên, nhị phân, không thứ bậc $m_2$: Đồ thị tác động qua lại của đường dẫn trong các cây $m_3$: Thứ bậc đồ thị IV: Chiều rộng của cây và hầu như được sắp thứ tự tốt $m_4$: Thứ bậc đồ thị: Sự nghiên cứu
12 thuật ngữ khảo sát	con người, giao diện, máy tính, người sử dụng, hệ thống, trả lời, thời gian, eps, nghiên cứu, cây, đồ thị, thứ bậc

Khi kiểm thử truy vấn "Sự tương tác giữa con người với máy tính" (human computer interaction), nếu dùng tìm kiếm so khớp từ khóa thông thường, hệ thống chỉ trả về kết quả là $c_1, c_2, c_4$, bỏ sót hai tài liệu liên quan mật thiết về nội dung là $c_3$ và $c_5$. Thông qua phân rã LSA, các tài liệu $c_3$ và $c_5$ được kéo lại gần trong không gian khái niệm nhờ chia sẻ các khái niệm tiềm ẩn chung.

Phần cuối chương hệ thống hóa các công thức tính độ tương đồng văn bản:

• Khoảng cách Jaro: $d_j = \frac{1}{3} \left( \frac{m}{|s_1|} + \frac{m}{|s_2|} + \frac{m - t}{m} \right)$ với $m$ là số từ trùng lặp, $t$ là số bước chuyển vị.
• Mô hình tương phản Tversky: $S(A, B) = \alpha g(A \cap B) - \beta g(A - B) - \gamma g(B - A)$.
• Hệ số Jaccard: $J(A, B) = \frac{|A \cap B|}{|A \cup B|}$.
• Độ đo Cosine: Cosine của góc giữa hai vector đặc trưng $\vec{D}_i$ và $\vec{D}_j$.
• Khoảng cách khoảng cách Euclide và Manhattan: Quy đổi sang độ tương đồng qua công thức dạng $Sim = 1 - \frac{Dist}{1 + Dist}$.

Chương 3: Bài toán áp dụng

Chương 3 trình bày phần thực nghiệm kiểm chứng mô hình LSA trên môi trường tính toán khoa học. Tác giả lựa chọn ngôn ngữ lập trình R và môi trường RStudio làm nền tảng triển khai.

Nội dung thực nghiệm tập trung vào:

• Giới thiệu các đặc trưng xử lý ma trận và thống kê của ngôn ngữ R.
• Cài đặt và sử dụng gói thư viện chuyên dụng lsa (Latent Semantic Analysis) trong R.
• Xây dựng mã kịch bản trong tập tin lsa_plot.R sử dụng các lệnh của gói lsa để đọc tập dữ liệu, khởi tạo ma trận thuật ngữ - tài liệu và áp dụng phân tích SVD giảm chiều.
• Xuất kết quả kiểm tra thông qua lệnh return, ghi nhận ma trận thuật ngữ - tài liệu gốc, ma trận giảm chiều không gian khái niệm và ma trận tính toán độ tương đồng giữa các tài liệu.
• Vẽ biểu đồ tương quan phân bố giữa các thuật ngữ và các tài liệu trên không gian tọa độ hai chiều rút gọn, minh chứng trực quan sự phân cụm rõ rệt giữa hai nhóm chủ đề (giao diện người - máy và lý thuyết đồ thị).

Kết quả và đóng góp

Về kết quả định lượng và thực nghiệm:

• Đo lường thực tế tốc độ xử lý tách từ: Hệ thống đọc và bóc tách tài liệu sách điện tử 200 trang mất khoảng 3 phút trong quá trình xử lý ngoại tuyến.
• Xây dựng thành công cơ sở dữ liệu từ điển tiếng Việt gồm hơn 99.000 từ và cụm từ, tối ưu hóa thành công cấu trúc truy xuất bằng mảng ASCII và ArrayList nhóm theo âm tiết đầu tiên trong C#.
• Chuẩn bị danh mục hơn 300 từ dừng tiếng Anh phục vụ cho quá trình lọc dữ liệu.
• Chứng minh bằng toán học khả năng tối ưu hóa tài nguyên của SVD: Giảm kích thước lưu trữ ma trận từ mức xấp xỉ 10 tỷ giá trị xuống còn khoảng 202 triệu giá trị (giảm khoảng 50 lần) trên mô hình cơ sở dữ liệu giả định 1 triệu từ và 10.000 tài liệu với $k = 200$.
• Phân tích thực nghiệm thành công tập dữ liệu 12 thuật ngữ và 9 tài liệu kỹ thuật trên RStudio bằng thư viện lsa, khắc phục tình trạng bỏ sót tài liệu liên quan ngữ nghĩa ($c_3, c_5$) mà phương pháp đối sánh từ khóa bề mặt mắc phải.

Về giải pháp đề xuất:

• Đề xuất giải thuật tách từ tiếng Việt dựa trên cơ chế so khớp từ điển, cắt tiếng bên trái kết hợp cấu trúc dữ liệu STACK.
• Đề xuất phương án tổ chức từ điển theo nhóm âm tiết đầu tiên nhằm giảm thiểu không gian duyệt và tăng tốc độ tra cứu từ trên bộ nhớ trong.
• Đề xuất quy trình ứng dụng LSA vào bài toán đối sánh văn bản nhằm phát hiện tài liệu tương đồng dựa trên không gian khái niệm, xử lý được các biến đổi ngữ nghĩa như thay thế từ đồng nghĩa hoặc xáo trộn cấu trúc câu.

Về đóng góp học thuật tự nêu:

• Đồ án đã tổng hợp có hệ thống các quan điểm ngôn ngữ học về cấu trúc câu tiếng Việt của các tác giả Nguyễn Tài Cẩn, Hồ Lê, Nguyễn Kim Thản, Diệp Quang Ban, làm sáng tỏ các đặc trưng hình thái học phục vụ xử lý ngôn ngữ tự nhiên.
• Đánh giá toàn diện ưu nhược điểm của các phương pháp tách từ hiện hành tại Việt Nam (Maximum Matching, TF-IDF, TBL, WFST kết hợp mạng Neural của Đinh Điền, IGATEC của Nguyễn Thanh Hùng).
• Làm chủ quy trình toán học của phân tích SVD và ứng dụng thành công gói công cụ mã nguồn mở lsa trên ngôn ngữ R để minh chứng tính khả thi của đối sánh văn bản ngữ nghĩa.

Hạn chế và hướng nghiên cứu tiếp

Về mặt hạn chế:

• Giải thuật tách từ tiếng Việt dựa vào từ điển vẫn gặp sai sót trong các ngữ cảnh đa nghĩa phức tạp (chẳng hạn phân tách sai câu "Học sinh học sinh học").
• Chi phí thời gian cho khâu kiểm tra từ trong từ điển còn lớn khi số lượng từ vựng vượt quá 99.000 mục từ.
• Phần thực nghiệm LSA tại Chương 3 mới dừng lại ở việc kiểm chứng trên tập dữ liệu mẫu quy mô nhỏ (9 tài liệu, 12 thuật ngữ) thông qua thư viện có sẵn trên ngôn ngữ R, chưa tiến hành đánh giá thực nghiệm diện rộng trên kho ngữ liệu văn bản tiếng Việt quy mô lớn.

Về hướng nghiên cứu tiếp:

• Hoàn thiện giải thuật tách từ tiếng Việt nhằm khử triệt để sự nhập nhằng trong các trường hợp đồng âm, đồng tự hoặc ghép từ phức tạp.
• Tích hợp mô hình LSA vào một phần mềm hoàn chỉnh, cho phép tự động tiếp nhận đầu vào là văn bản tiếng Việt và thực hiện đối sánh tự động trên các kho dữ liệu đóng hoặc mở trên Internet.

Giá trị tham khảo

Đồ án có giá trị tham khảo hữu ích cho sinh viên, học viên ngành Công nghệ thông tin, Khoa học dữ liệu và Ngôn ngữ học tính toán khi nghiên cứu về các bài toán:

• Xử lý ngôn ngữ tự nhiên tiếng Việt: Các phần tổng quan lý thuyết ngữ pháp tiếng Việt (mục 1.2.1) và so sánh các giải thuật tách từ (mục 2.3) cung cấp bức tranh tổng thể về các thách thức hình thái học tiếng Việt.
• Thiết kế cấu trúc dữ liệu cho từ điển: Giải pháp tổ chức bảng từ điển hơn 99.000 từ bằng ArrayList nhóm theo âm tiết đầu (Bảng 1 trong Chương 1) là kỹ thuật lưu trữ thực tế đáng tham khảo khi lập trình xử lý chuỗi trên C#.
• Nền tảng toán học của LSA và SVD: Các bước giải chi tiết phương trình đặc trưng tìm trị riêng, vector riêng và ma trận xấp xỉ $\hat{X}$ trong Chương 2 là tài liệu học tập trực quan cho học phần đại số tuyến tính ứng dụng và khai phá dữ liệu.
• Thực hành thống kê văn bản trên R: Quy trình cài đặt thư viện lsa, tạo ma trận thuật ngữ - tài liệu và vẽ biểu đồ tương quan trong Chương 3 là mẫu thực hành cụ thể cho các đề tài phân tích dữ liệu văn bản bằng mã nguồn mở.

Câu hỏi thường gặp

1. Trong trường hợp nào thì giải thuật tách từ tiếng Việt của tác giả bị phân tách sai?
Giải thuật cắt tiếng bên trái dựa trên từ điển của tác giả xử lý tốt cụm từ "thuộc địa bàn" thành "thuộc | địa bàn", nhưng bị tách sai trong câu nhập nhằng "Học sinh học sinh học" thành "Học | sinh học | sinh học" thay vì "Học sinh | học | sinh học".

2. Tác giả tối ưu hóa cấu trúc lưu trữ của bộ từ điển hơn 99.000 từ tiếng Việt như thế nào để giảm thời gian tìm kiếm?
Tác giả tổ chức từ điển trên bộ nhớ trong dưới dạng một ArrayList, trong đó mỗi phần tử là một mảng chuỗi (string[]) chứa các từ có chung âm tiết đầu tiên (ví dụ nhóm âm tiết "ả", "ái", "an", "anh", "ăn"...). Khi đọc từ, hệ thống chỉ cần tách âm tiết đầu để định vị nhóm mảng tương ứng trước khi so khớp chi tiết, giúp tăng tốc độ tìm kiếm so với việc duyệt toàn bộ mảng tuần tự.

3. Phương pháp LSA giải quyết nhược điểm gì của tìm kiếm từ khóa truyền thống trong ví dụ 9 tài liệu kỹ thuật?
Trong ví dụ ở Chương 2, với câu truy vấn "human computer interaction", tìm kiếm từ khóa truyền thống chỉ trả về các tài liệu $c_1, c_2, c_4$, bỏ sót $c_3$ (Hệ thống quản lý giao diện người dùng EPS) và $c_5$ (Quan hệ người dùng - thời gian trả lời...) vì hai tài liệu này không chứa đúng các từ khóa truy vấn. LSA ánh xạ các tài liệu vào không gian khái niệm chung, giúp nhận diện được $c_3$ và $c_5$ có cùng chủ đề tương tác người - máy.

4. Kỹ thuật SVD giúp tối ưu dung lượng lưu trữ ma trận như thế nào theo tính toán lý thuyết trong đồ án?
Với một tập dữ liệu giả định gồm 1.000.000 thuật ngữ và 10.000 tài liệu, ma trận thô đòi hỏi lưu trữ khoảng 10 tỷ phần tử. Khi áp dụng SVD giảm xuống $k = 200$ chiều, tổng số phần tử của ba ma trận thành phần chỉ còn khoảng 202 triệu, giúp giảm không gian lưu trữ xấp xỉ 50 lần.

5. Công cụ và ngôn ngữ nào được tác giả sử dụng trong phần thực nghiệm ở Chương 3?
Tác giả sử dụng ngôn ngữ lập trình thống kê R và môi trường RStudio, kết hợp gói thư viện mã nguồn mở lsa để lập trình kịch bản (lsa_plot.R), tạo ma trận thuật ngữ - tài liệu và vẽ biểu đồ tương quan không gian ngữ nghĩa.

Kết luận

Đồ án tốt nghiệp của tác giả Nguyễn Minh Thành đã giải quyết bài toán đối sánh văn bản thông qua việc tiếp cận tầng ngữ nghĩa tiềm ẩn bằng kỹ thuật LSA, khắc phục nhược điểm phụ thuộc vào câu chữ nguyên văn của các phương pháp so khớp chuỗi truyền thống. Tác giả đã hệ thống hóa các lý thuyết ngữ pháp tiếng Việt, xây dựng giải thuật tách từ dựa trên bộ từ điển hơn 99.000 từ, đồng thời làm rõ cơ sở toán học của kỹ thuật phân tích giá trị kỳ dị (SVD) trong việc giảm chiều dữ liệu và tối ưu hóa không gian biểu diễn khái niệm. Mặc dù khâu thực nghiệm còn mang tính mô phỏng trên tập ngữ liệu mẫu nhỏ với công cụ R, đồ án đã chứng minh rõ tính khả thi của mô hình và cung cấp tài liệu tham khảo có giá trị về mặt thuật toán và phương pháp luận cho lĩnh vực xử lý ngôn ngữ tự nhiên.

Trích đoạn nội dung tài liệu

Chương 1: Giới thiệu đối sánh văn bản.2 Phân tách tài liệu thành các từ khóa (Filter).1 Các nghiên cứu về cấu trúc của các nhà nghiên cứu Việt Nam 17 1.2 Tách tài liệu thành các từ khóa.3 Giải pháp tách từ Tiếng Anh.4 Giải pháp cho Tiếng Việt.3 Các hệ thống gợi ý (recommender systems - RS).1 Các khái niệm về Recommender System.2 Xử lý tài liệu tiếng Việt.3 Xử lý tài liệu theo ngữ nghĩa. 27 Chương 2: Phương pháp phân tích ngữ nghĩa tiềm ẩn. 30 Phân nhóm văn bản. 30 Phƣơng pháp phân nhóm phân cấp.

30 Phƣơng pháp phân nhóm không phân cấp.1 Tiếng trong tiếng Việt.2 Từ trong tiếng Việt.3 Từ dừng và từ gốc.3 Các phƣơng pháp tách từ phổ biến.1 Phƣơng pháp Maximum Matching.2 TF-IDF Term Frequency – Inverse Document Frequency .3 Phƣơng pháp Transformation – based Learning (TBL).4 Mô hình tách từ bằng WFST và mạng Neural.5 Phƣơng pháp tách từ tiếng Việt dựa trên thống kê từ Internet và thuật giải di truyền.4 Phƣơng pháp phân tích ngữ nghĩa tiềm ẩn.3 Cách thức hoạt động .5 Đối sánh văn bản .2 Độ tƣơng đồng văn bản trong Tiếng Việt .6 Tính độ tƣơng đồng cho toàn bộ văn bản. 52 Chương 3: Bài toán áp dụng .1 Giới thiệu ngôn ngữ R .2 Các lện trong gói phân tích ngữ nghĩa tiềm ẩn trong R .2 Cài đặt và chạy chƣơng trình .2 Chạy chƣơng trình. Error! Bookmark not defined. 65 TÀI LIỆU THAM KHẢO.

66 10 LỜI CẢM ƠN Em xin chân thành cảm ơn thầy giáo Ths. Nguyễn Trịnh Đông đã tận tình chỉ bảo, định hướng, góp ý cho em trong suốt thời gian qua. Để em có thể hoàn thành đồ án tốt nghiệp. Cũng như em xin chân thành cảm ơn các thầy, cô trong Khoa công nghệ thông tin trường ĐHDL Hải Phòng giúp đỡ em.

Em cũng xin gửi lời cảm ơn tới gia đình, bạn bè, những người luôn động viên, quan tâm và giúp đỡ em trong suốt thời gian em làm đồ án. Trong đồ án này không thể tránh được sẽ có nhiều thiếu sót. Em rất mong nhận được những lời nhận xét, góp ý từ các thầy, cô và các bạn. Hải phòng, ngày 24 tháng 12 năm 2016 Sinh viên Nguyễn Minh Thành 11 DANH MỤC HÌNH Hình 1: Sơ đồ cấu trúc từ của Nguyễn Tài Cẩn.

18 Hình 2: Hình minh họa tập tách văn bản. 23 Hình 3: Giải thuật tách từ từ câu. 24 Hình 4: Cấu trúc giải thuật LSA. 29 Hình 5: Sử dụng các khái niệm làm đại diện cho tài liệu.37 Hình 6: Sơ đồ SVD của ma trận thuật ngữ tài liệu.

42 Hình 7: Sơ đồ SVD được giảm lược của ma trận thuật ngữ - tài liệu.44 Hình 8: Cửa sổ làm việc của Rstudio. 58 Hình 9: Cài đặt thư viện lsa. 60 Hình 10: Các thư viện lsa. 61 Hình 11: File lsa_plot.

62 Hình 12: Lệnh return. 62 Hình 13: Các thuật ngữ-tài liệu.63 Hình 14: Ma trận thuật ngữ tài liệu.63 Hình 15: Ma trận giảm chiều. 64 Hình 16: Ma trận tài liệu-tài liệu. 64 Hình 17: Biểu đồ tương quan thuật ngữ-tài liệu.

65 12 DANH MỤC BẢNG Bảng 1: Bảng một số ví dụ về cấu trúc lưu trữ từ điển. 25 Bảng 2: Số lần xuất hiện của thuật ngữ trong mỗi tài liệu.41 13 DANH MỤC TỪ VIẾT TẮT LSA Latent Semantic Analysis Phần tích ngữ nghĩa tiềm ẩn SVD Singular Value Decompotision Tách giá trị số ít hoặc tách giá trị riêng TF-IDF Term Frequency – Inverse Giải pháp đánh trọng số kết hợp Document Frequency tính chất quan trọng của một từ trong tài liệu chứa nó (TF-tần suất xuất hiện của từ trong tài liệu) với tính phân biệt của từ trong tập tài liệu nguồn (IDF-nghịch đảo tần suất tài liệu). 14 LỜI NÓI ĐẦU Trong thời đại công nghệ số hiện nay, các nguồn tài liệu là vô cùng phong phú. Việc tìm kiếm một tài liệu trở nên đơn giản hơn bao giờ hết, rất nhiều tài liệu, thông tin tri thức mới mẻ đang phát triển từng giờ, giúp chúng ta thu nhận tri thức mọi lúc và ở bất cứ đâu.

Lợi ích là không thể bàn cãi. Nhưng như hai mặt của một vấn đề, ở quy mô rộng lớn bao la như vậy, các thư viện điện tử ngày càng nhiều, một tài liệu có thể được phát hành trên internet nhiều lần từ nhiều nguồn, theo nhiều định dạng khác nhau, trong nhiều thư viện điện tử khác nhau, trên những trang web khác nhau. Tìm kiếm là dễ dàng nhưng trích trọn ra được thông tin chính xác và hữu ích lại là vấn đề không hề dễ dàng. Làm thế nào để có thể nhận biết được đâu sẽ là tài liệu đúng, đâu sẽ là tài liệu đi sao chép, góp nhặt từ các tài liệu khác mà tính chính xác không hề được kiểm chứng.

Chủ đề này đã được nghiên cứu từ gần 15 năm qua. Hiện tại, đã có một số giải pháp khá hữu hiệu cho vấn đề này và một vài công cụ phần mềm cho phép phát hiện, tìm kiếm một tài liệu hoặc một tập hợp các tài liệu nguồn phù hợp với yêu cầu. Tập hợp các tài liệu nguồn có thể là đóng- tức là các tài liệu tập hợp trước trong một thư viện điện tử hoặc là mở, chẳng hạn như các tập tài liệu văn bản trên internet. Đã có một số nghiên cứu đề xuất các phương pháp khác nhau để xác định xem một đoạn văn bản của một tài liệu có nằm trong có nằm trong một tài liệu khác hay không.

Các phương pháp này chủ yếu dựa trên tìm kiếm và so khớp chuỗi. Tuy nhiên, các phương pháp so khớp chuỗi chỉ hiệu quả nếu từ hoặc tập từ, đoạn văn là “nguyên văn”. Do vậy, một yêu cầu được đặt ra là làm thế nào để phát hiện việc được các tài liệu có liên quan khi các tài liệu đó có sửa đổi như thay thế một số từ bằng từ đồng nghĩa hoặc đổi thứ tự từ, câu trong văn bản. Từ đó, một ý tưởng được đưa ra, liệu rằng tìm kiếm so sánh văn bản dựa trên nội dung, ý nghĩa sẽ cho hiệu quả cao hơn so với các phương pháp tìm kiếm và so khớp chuỗi.

Xuất phát từ những lý do trên, em chọn đề tài: “Áp dụng phƣơng pháp phân tích ngữ nghĩa tiềm ẩn trong đối sánh văn bản”. 15 Mục tiêu của đề tài là đối sánh văn bản áp dụng phương pháp phân tích ngữ nghĩa tiềm ẩn. Đề tài được trình bày như sau: Giới thiệu: Phát biểu bài toán Chƣơng 1: Trình bày các khái niệm và kiến thức cơ bản trong lĩnh vực đối sánh văn bản. Chƣơng 2: Chương này tập trung trình bày các phương pháp phân tích xử lý và đối sánh văn bản.

Chƣơng 3: Chương này trình bày phần thực nghiệm chương trình dựa trên phân tích ngữ nghĩa tiềm ẩn đã trình bày tại chương 2 Kết luận Tài liệu tham khảo 16 CHƢƠNG 1: GIỚI THIỆU ĐỐI SÁNH VĂN BẢN 1.1 Giới thiệu Trong các loại dữ liệu thì dữ liệu văn bản là dạng phổ biến nhất. Ngày nay, với sự phát triển mạnh mẽ của Internet, dữ liệu văn bản đã trở nên phong phú về nội dung và tăng nhanh về số lượng. Chỉ bằng một vài thao tác đơn giản, tại bất kì đâu, tại bất kì thời điểm nào, ta cũng có thể nhận về một khối lượng khổng lồ các trang web và các tài liệu điện tử liên quan đến nội dung tìm kiếm. Chính sự dễ dàng này cũng mang đến cho chúng ta rất nhiều khó khăn trong việc chắt lọc ra các thông tin được coi là mới, là riêng, là hữu ích giữa các tài liệu ấy.

Và việc đầu tiên ta phải làm đó là biến đổi các dạng văn bản ngôn ngữ tự nhiên thành dạng dữ liệu có cấu trúc, hay nói cách khác là xử lý dữ liệu đầu vào.2 Phân tách tài liệu thành các từ khóa (Filter) Các tài nguyên là các tài liệu được thể hiện dưới dạng văn bản như một cuốn sách, tạp chí, hay một bài báo, bài diễn văn điện tử nào đó. Với những tài liệu tiếng Anh, một từ thường có một âm tiết, ta có thể dễ dàng xác định một từ dựa vào dấu cách (space) hoặc dấu câu. Việc phân tách văn bản tiếng Anh thành các từ khóa không khó khăn. Với những văn bản tiếng Việt, mỗi từ có thể có một, hai hoặc nhiều hơn số lượng âm tiết.

Việc phân tách thành từ khóa đối với văn bản tiếng Việt phải dựa trên từ điển và các thuật toán đọc từ khóa sao cho đúng nghĩa nhất của câu. Thí dụ: “Học sinh học sinh học” thì hệ thống sẽ tách thành Học sinh/học/sinh học. Sau đó, loại bỏ các từ dừng (Stopword – Những từ mang ý nghĩa cảm thán, đại từ…như anh, bạn, do đó…), những từ không mang nhiều ý nghĩa về nội dung.1 Các nghiên cứu về cấu trúc của các nhà nghiên cứu Việt Nam Các quan điểm trong nghiên cứu về ngữ pháp tiếng Việt, chúng ta có thể thấy rằng chưa có một định nghĩa chuẩn thống nhất về cách gọi của từ loại cũng như cấu trúc các ngữ của tiếng Việt. Trong đồ án này, người viết luận văn sẽ chủ trương bám sát theo quan điểm được nhiều tác giả đã thống nhất, quan điểm này được đánh giá là khá phù 17 hợp với ngữ pháp tiếng Việt hiện tại.

Đồng thời, trong quá trình xây dựng đồ án, tác giả cũng tiến hành so sánh và bổ sung thêm những phần lý thuyết thuộc hai quan điểm của Nguyễn Tài Cẩn và Diệp Quan Ban. Nguyễn Tài Cẩn (1975) [Đặng Thị Hưởng] cho rằng cụm danh từ (danh ngữ) gồm có ba phần: phần đầu, phần trung tâm và phần cuối như sơ đồ sau: Phần đầu Phần trung tâm Phần sau Ví dụ: Ba người này Cả hai tỉnh nhỏ ấy Tất cả những cái chủ trương chính xác Hình 1: Sơ đồ cấu trúc từ của Nguyễn Tài Cẩn Trong thực tế danh ngữ còn có thể xuất hiện cả dưới dạng những dạng chỉ có hai phần: phần đầu+phần trung tâm, phần trung tâm + phần sau hoặc phần đầu + phần sau.