Nghiên Cứu Một Số Kỹ Thuật NLP và Ứng Dụng Phân Loại Văn Bản Tiếng Việt

Để hiểu rõ về NLP, cần nắm vững các khái niệm cơ bản như: văn bản (tập hợp các câu liên quan), bộ văn bản (tập hợp nhiều văn bản), ký tự (chữ cái và dấu câu), từ vựng (tập hợp các từ có ý nghĩa cụ thể) và từ điển (tập hợp các từ vựng xuất hiện trong văn bản). Ví dụ, trong tiếng Việt, một từ có thể gồm một hoặc nhiều âm tiết, điều này đòi hỏi quá trình tokenization (chia từ thành các phần nhỏ hơn). Các thư viện như pyvi và VNCoreNLP có thể thực hiện tokenization, nhưng kết quả có thể khác nhau tùy thuộc vào cách định nghĩa từ ghép. Trong các lĩnh vực chuyên biệt, việc tùy chỉnh từ điển là cần thiết hơn là chỉ sử dụng từ điển có sẵn. Nắm vững các khái niệm này là bước đầu tiên để tiếp cận bài toán NLP một cách hiệu quả.

Biểu diễn từ về dạng vector mang lại nhiều lợi ích quan trọng trong NLP: giảm chiều dữ liệu, cho phép đo lường mức độ tương đồng ngữ nghĩa giữa các từ, tích hợp dễ dàng vào các mô hình học máy và mạng nơ-ron, giúp mô hình hiểu ngữ cảnh xung quanh từ, cho phép thực hiện các phép toán số học trên các từ và giúp mô hình học được từ ngữ và tương tác giữa chúng. Một số phương pháp biểu diễn từ phổ biến bao gồm: one-hot vector, Word2Vec và GloVe. Các phương pháp này cho phép chuyển đổi các từ thành các vector số, giúp máy tính có thể xử lý và hiểu được ý nghĩa của văn bản. "Biểu diễn từ về dạng vector trong xử lý ngôn ngữ tự nhiên có nhiều lợi ích quan trọng..." (Nguyễn Thị Thu Hòa, 2023).

Skip-Gram là một phương pháp trong Word2Vec tập trung vào việc dự đoán các từ xung quanh một từ đã cho. Ý tưởng cơ bản là khi biết một từ cụ thể, có thể dự đoán được các từ thường xuất hiện cùng với từ đó trong ngữ cảnh. Để thực hiện Skip-Gram, cần tạo dữ liệu huấn luyện bằng cách chọn một từ làm từ trung tâm (target word) và cố gắng dự đoán các từ xung quanh nó trong khoảng cách cố định. Sau đó, tạo vector đầu vào và đầu ra one-hot và huấn luyện mạng nơ-ron để tối ưu hóa các trọng số. Cuối cùng, các vector trọng số tại tầng ẩn của mạng có thể được sử dụng như biểu diễn vector của các từ trong không gian vector. Skip-Gram thường hoạt động tốt với các từ hiếm và cách chúng tương tác với các từ xung quanh.

CBOW (Continuous Bag of Words) là một phương pháp trong Word2Vec tập trung vào việc dự đoán từ trung tâm (target word) dựa trên các từ xung quanh nó trong ngữ cảnh. CBOW hoạt động ngược lại với Skip-Gram. CBOW sử dụng các từ xung quanh để dự đoán từ trung tâm. Kiến trúc mạng nơ-ron của CBOW gồm 3 layers: Input layers, Projection layer và Output layer. Projection Layer sẽ lấy trung bình vector biểu diễn của toàn bộ các từ input để tạo ra một vector đặc trưng. CBOW nhanh hơn so với Skip-Gram nhưng Skip-Gram hoạt động tốt hơn với các từ không thường xuyên.

Việc xây dựng một mô hình phân loại văn bản hiệu quả đòi hỏi một quy trình bài bản. Đầu tiên, cần chuẩn bị dữ liệu bằng cách thu thập và gán nhãn cho các văn bản. Tiếp theo, dữ liệu cần được tiền xử lý để loại bỏ các ký tự đặc biệt, chuyển đổi về dạng chuẩn và loại bỏ từ dừng. Sau đó, văn bản cần được biểu diễn thành các đặc trưng số học bằng các phương pháp như TF-IDF, Word2Vec hoặc BERT. Tiếp theo, chọn một thuật toán phù hợp (ví dụ: Naive Bayes, Logistic Regression, SVM, Random Forest, RNNs, CNNs) để huấn luyện mô hình. Cuối cùng, huấn luyện và đánh giá mô hình trên tập huấn luyện và tập kiểm tra và tinh chỉnh mô hình.

Phân loại văn bản trong tiếng Việt có những đặc thù riêng so với các ngôn ngữ khác. Đặc điểm ngôn ngữ như cấu trúc ngữ pháp, từ vựng và cách ngữ âm tạo ra những thách thức riêng. Việc sử dụng nhiều từ viết tắt, biểu ngữ và ngôn ngữ thông tin cũng làm phức tạp quá trình phân loại. Sự phong phú về biểu cảm và ngữ cảnh văn hóa cũng đòi hỏi mô hình phải hiểu rõ các yếu tố này để đảm bảo tính chính xác cao. Ngoài ra, dữ liệu văn bản tiếng Việt có thể không đồng nhất và hạn chế về số lượng so với các ngôn ngữ phổ biến như tiếng Anh. Cuối cùng, cần xem xét đến sự đa dạng về chủ đề và ngữ cảnh địa phương trong tiếng Việt.

Chuẩn hóa văn bản là một bước quan trọng trong tiền xử lý dữ liệu, đặc biệt là đối với tiếng Việt do tính đa dạng trong cách diễn đạt và chính tả. Việc chuẩn hóa giúp giảm thiểu sự khác biệt trong cách viết, ví dụ: viết tắt, sai chính tả, sử dụng teencode,... Điều này giúp mô hình học máy tập trung vào nội dung chính của văn bản thay vì bị phân tâm bởi các biến thể không quan trọng. Các kỹ thuật chuẩn hóa phổ biến bao gồm: sửa lỗi chính tả, chuyển đổi teencode về dạng chuẩn, loại bỏ ký tự đặc biệt, chuyển đổi chữ hoa thành chữ thường,... Việc áp dụng các kỹ thuật chuẩn hóa phù hợp có thể cải thiện đáng kể độ chính xác của mô hình phân loại văn bản.

Cơ chế self-attention là thành phần cốt lõi của kiến trúc Transformer. Self-attention cho phép mô hình tập trung vào các phần khác nhau của câu khi xử lý, giúp mô hình hiểu rõ hơn ngữ cảnh và mối quan hệ giữa các từ. Thay vì xử lý tuần tự như các mạng RNN, self-attention xử lý toàn bộ câu cùng một lúc, cho phép song song hóa và cải thiện hiệu suất. Cơ chế này tính toán một trọng số cho mỗi từ trong câu, cho biết mức độ quan trọng của từ đó đối với các từ khác. Các trọng số này được sử dụng để tạo ra một biểu diễn vector cho mỗi từ, thể hiện mối quan hệ của từ đó với các từ khác trong câu.

Kiến trúc Transformer bao gồm hai thành phần chính: bộ mã hóa (encoder) và bộ giải mã (decoder). Bộ mã hóa xử lý dữ liệu đầu vào và tạo ra một biểu diễn vector, chứa thông tin về ngữ nghĩa và cú pháp của câu. Bộ giải mã sử dụng biểu diễn vector này để tạo ra dữ liệu đầu ra, ví dụ như dịch một câu từ tiếng Anh sang tiếng Việt. Cả bộ mã hóa và bộ giải mã đều bao gồm nhiều lớp self-attention và các lớp feedforward. Việc sử dụng nhiều lớp giúp mô hình học được các mối quan hệ phức tạp giữa các từ và cải thiện hiệu suất.

Fine-tuning là quá trình điều chỉnh các tham số của một mô hình đã được huấn luyện trước (như BERT) để phù hợp với một tác vụ cụ thể. Trong tác vụ phân loại văn bản, quá trình fine-tuning BERT bao gồm việc thêm một lớp phân loại vào phía trên mô hình BERT và huấn luyện lại toàn bộ mô hình trên dữ liệu phân loại văn bản. Quá trình này giúp BERT tận dụng các kiến thức đã học được trong quá trình huấn luyện trước và điều chỉnh để phù hợp với đặc thù của tác vụ phân loại văn bản. Fine-tuning BERT thường mang lại kết quả tốt hơn so với việc huấn luyện một mô hình phân loại văn bản từ đầu.

Ngoài mô hình BERT gốc, có nhiều biến thể của BERT được phát triển để cải thiện hiệu suất và khả năng ứng dụng trong các ngôn ngữ khác nhau. Một số biến thể phổ biến bao gồm RoBERTa, ALBERT, và DistilBERT. Đối với tiếng Việt, có các mô hình như PhoBERT, được huấn luyện trên dữ liệu tiếng Việt và có hiệu suất tốt hơn so với các mô hình BERT đa ngôn ngữ. Việc lựa chọn mô hình BERT phù hợp phụ thuộc vào đặc điểm của dữ liệu và yêu cầu của tác vụ phân loại văn bản. "BERT trong Tiếng Việt" (Nguyễn Thị Thu Hòa, 2023).

Mặc dù đã đạt được nhiều tiến bộ, NLP vẫn đối mặt với nhiều thách thức. Một trong những thách thức lớn nhất là khả năng hiểu ngữ cảnh và ý nghĩa thực sự của văn bản, đặc biệt là trong các ngôn ngữ có cấu trúc phức tạp như tiếng Việt. Ngoài ra, việc xử lý các dạng văn bản không chuẩn, như tin nhắn trên mạng xã hội, cũng là một thách thức đáng kể. Hướng giải quyết bao gồm việc phát triển các mô hình mạnh mẽ hơn, sử dụng dữ liệu huấn luyện lớn hơn và đa dạng hơn, và áp dụng các kỹ thuật tiên tiến như transfer learning.

Tương lai của NLP hứa hẹn nhiều điều thú vị. Với sự phát triển của học sâu và các mô hình Transformer, chúng ta có thể kỳ vọng vào các hệ thống NLP có khả năng hiểu ngôn ngữ tự nhiên một cách chính xác và tự nhiên hơn. Điều này sẽ mở ra nhiều cơ hội ứng dụng mới, từ tự động hóa các tác vụ văn phòng đến tạo ra các chatbot thông minh và hỗ trợ bác sĩ trong việc chẩn đoán bệnh. NLP sẽ đóng vai trò ngày càng quan trọng trong cuộc sống của chúng ta.