Chương 1, GIỚI THIỆU ĐỀ TÀI: trình bày tổng quan về đề tài, lý do thực hiện đề tài và ý nghĩa thực tiễn của bài toán, cũng như giới hạn và phạm vi của đề tài. Cuối cùng là nhiệm vụ và cấu trúc của luận văn. - Chương 2, CƠ SỞ LÝ THUYẾT: tổng hợp những vấn đề học thuật liên quan nhất sẽ áp dụng để giải quyết bài toán, tập trung chủ yếu vào nội dung trích 6 Giới thiệu về đề tài xuất đặc trưng như nhận dạng thực thể, nhúng từ, cơ chế attention, transformer, BERT và cơ chế của Conditional Random field. - Chương 3, CÁC CÔNG TRÌNH NGHIÊN CỨU LIÊN QUAN: trình bày một cách tổng quát về những nghiên cứu liên quan đã và đang được thực hiện, cũng như xu hướng chung hiện nay trong việc giải quyết bài toán.
- Chương 4, MÔ HÌNH NHẬN DẠNG Ý ĐỊNH VÀ THỰC THỂ ĐƯỢC ĐẶT TÊN: giới thiệu mô hình cơ sở cho Bài toán nhận dạng ý định và thực thể được đặt tên DIET [2]. - Chương 5, KẾT QUẢ THỰC NGHIỆM VÀ THẢO LUẬN: Thu thập dữ liệu, xử lý dữ liệu và đánh giá kết quả thực nghiệm trên tập dữ liệu thu được và xây dựng ứng dụng để minh hoạ tính ứng dụng trong thực tiễn. - Chương 6: KẾT LUẬN: Kết quả đạt được, các vấn đề còn tồn đọng, và hướng phát triển của đề tài 7 Cơ sở lý thuyết CHƯƠNG 2: Cơ sở lý thuyết 2. Nhận dạng thực thể (Named-entity recognition) Nhận dạng thực thể được đặt tên (Named Entity Recognition - NER) là một phần quan trọng của xử lý ngôn ngữ tự nhiên (NLP).
Mục tiêu chính của NER là xử lý dữ liệu có cấu trúc và phi cấu trúc để phân loại các thực thể được đặt tên vào các danh mục xác định trước. Các danh mục phổ biến bao gồm tên, địa điểm, công ty, thời gian, giá trị tiền tệ, sự kiện, và nhiều loại khác. NER có vai trò nhận dạng các cụm từ trong văn bản và phân loại chúng vào các nhóm đã được định nghĩa trước. Một số nhóm phổ biến trong NER bao gồm: - Tên người: Ví dụ: "Nguyễn Văn A", "John Smith" - Tổ chức: Ví dụ: "Google", "Đại học Quốc gia Hà Nội" - Địa điểm: Ví dụ: "Hà Nội", "New York" - Thời gian: Ví dụ: "ngày 1 tháng 1 năm 2024", "tháng 7 năm 2023" - Loại sản phẩm: Ví dụ: "iPhone", "Toyota Camry" - Nhãn hiệu: Ví dụ: "Coca-Cola", "Nike" Kết quả của tác vụ nhận dạng thực thể được đặt tên có thể được sử dụng cho nhiều bài toán phức tạp hơn như: - Chatbot: NER giúp chatbot hiểu và phản hồi chính xác các câu hỏi liên quan đến các thực thể cụ thể.
- Question Answering: Hệ thống có thể tìm kiếm và trả lời các câu hỏi dựa trên thông tin đã được phân loại. - Search: Cải thiện hiệu quả tìm kiếm bằng cách nhận diện và xử lý các thực thể quan trọng trong truy vấn tìm kiếm. - Phân tích dữ liệu: Giúp tổ chức và phân loại thông tin trong các tài liệu lớn để trích xuất các thông tin quan trọng một cách hiệu quả hơn. NER là một kỹ thuật nền tảng trong NLP, đóng vai trò quan trọng trong việc hiểu và xử lý ngôn ngữ tự nhiên, từ đó nâng cao hiệu quả và độ chính xác của các ứng dụng liên quan.
8 Cơ sở lý thuyết Nhận diện thực thể được đặt tên 2. Nhúng từ (word embedding) Máy tính không hiểu những mặt chữ tự nhiên như con người. Thay vào đó, nó chỉ hiểu những dãy số. Để máy tính có thể xử lý và hiểu các từ trong ngôn ngữ tự nhiên, cần phải chuyển đổi các từ này thành các dãy số đặc trưng, gọi là vector.
Mỗi từ, dù thuộc bất kỳ ngôn ngữ nào trên thế giới, đều được biểu diễn bằng một dãy số đặc trưng riêng. Quá trình tạo ra vector cho từ gọi là word embedding (nhúng từ). Có hai loại nhúng từ chính: nhúng từ truyền thống và nhúng từ có ngữ cảnh. Nhúng từ truyền thống (traditional word embedding) Nhúng từ truyền thống, sử dụng các phương pháp như Word2Vec và GloVe, học cách biểu diễn các từ bằng vector một cách toàn cục.
Quá trình này xây dựng một bộ từ điển cho tất cả các từ trong tập dữ liệu mà không quan tâm đến ngữ cảnh của từ đó so với các từ khác trong câu. Phương pháp này triển khai biểu diễn vector tương tự của từ (similar representations) để mô hình học được các từ xuất hiện gần nhau trong bộ từ điển. 9 Cơ sở lý thuyết Cụ thể, các phương pháp nhúng từ truyền thống như Word2Vec sử dụng các mạng nơ-ron để học mối quan hệ giữa các từ trong tập dữ liệu bằng cách dự đoán từ ngữ dựa trên ngữ cảnh xung quanh (CBOW - Continuous Bag of Words) hoặc dự đoán ngữ cảnh xung quanh dựa trên từ ngữ (Skip-gram). GloVe, mặt khác, sử dụng ma trận đồng xuất hiện (co-occurrence matrix) để học biểu diễn vector của từ.
Điểm yếu chính của các phương pháp nhúng từ truyền thống là chúng chỉ tạo ra một vector duy nhất cho mỗi từ trong từ điển, bất kể từ đó xuất hiện trong ngữ cảnh nào. Điều này có nghĩa là các từ giống nhau ở tất cả các câu sẽ được nhúng thành cùng một vector duy nhất, không phản ánh được sự khác biệt về ngữ nghĩa dựa trên ngữ cảnh. Ví dụ, xét hai câu sau: - "Hôm nay tôi chơi đá cầu." - "Viên đá lạnh quá." Trong cả hai câu, từ "đá" có các ý nghĩa khác nhau, nhưng nhúng từ truyền thống sẽ biểu diễn từ "đá" bằng cùng một vector duy nhất, không để ý đến bối cảnh của các câu. Điều này làm giảm khả năng của mô hình trong việc hiểu đúng ngữ nghĩa của từ trong các tình huống khác nhau.
Nhúng từ truyền thống đã đóng góp rất nhiều cho sự phát triển của NLP, nhưng sự hạn chế của nó về việc không thể nắm bắt ngữ cảnh đã dẫn đến sự ra đời của các phương pháp nhúng từ có ngữ cảnh (contextual embedding) như BERT và ELMo, giúp cải thiện độ chính xác và hiệu suất của các mô hình xử lý ngôn ngữ tự nhiên. Nhúng từ có ngữ cảnh (contextual embedding) Nhúng từ có ngữ cảnh (Contextual Embedding) là một kỹ thuật trong xử lý ngôn ngữ tự nhiên (NLP) sử dụng các mô hình như BERT (Bidirectional Encoder Representations from Transformers) và ELMo (Embeddings from Language Models). Khác với các phương pháp nhúng từ truyền thống như Word2Vec hay GloVe, nhúng từ có ngữ cảnh tạo ra các vector nhúng phụ thuộc vào ngữ cảnh của từ trong câu. Cụ thể, BERT và ELMo không chỉ xem xét từ một cách độc lập mà còn tính đến ngữ cảnh xung quanh của từ trong câu.
Điều này có nghĩa là chúng học một cách tuần tự và hai chiều (trái qua phải và phải qua trái) để hiểu rõ hơn về ý nghĩa của từ dựa trên bối cảnh của nó. Ví dụ, từ "đá" trong câu " Hôm nay tôi chơi đá cầu" và " Viên đá lạnh 10 Cơ sở lý thuyết quá" sẽ được gán cho hai vector khác nhau, phản ánh sự khác biệt về ý nghĩa dựa trên bối cảnh. Tóm lại, nhúng từ có ngữ cảnh là một bước tiến quan trọng trong việc xử lý ngôn ngữ tự nhiên, giúp các mô hình hiểu rõ hơn về ý nghĩa của từ dựa trên ngữ cảnh, từ đó cải thiện độ chính xác và hiệu suất của các ứng dụng NLP. Trường ngẫu nhiên có điều kiện (Conditional Random Fields – CRF) Các mô hình phân loại truyền thống giả định rằng các mục dữ liệu là độc lập.
Tuy nhiên, dữ liệu trong thế giới thực thường xen kẽ và có cấu trúc phức tạp. Giả sử chúng ta muốn phân loại các trang web thành các danh mục khác nhau, ví dụ: trang chủ của sinh viên và giảng viên. Danh mục của một trang web thường liên quan đến các danh mục của các trang được liên kết với nó. Thay vì phân loại các trang một cách độc lập, chúng ta nên mô hình hóa chúng cùng nhau để kết hợp các dấu hiệu ngữ cảnh như vậy.
Trường ngẫu nhiên có điều kiện (Conditional Random Field - CRF) [4] là một cách tiếp cận có điều kiện để phân loại dữ liệu có cấu trúc. Trong khi các mô hình phân loại truyền thống dự đoán nhãn cho một mẫu đơn lẻ mà không xem xét các mẫu "lân cận", CRF có thể tính đến ngữ cảnh. Để làm như vậy, các dự đoán được mô hình hóa dưới dạng mô hình đồ họa, mô hình này thể hiện sự hiện diện của các phụ thuộc giữa các dự đoán. Loại đồ thị nào được sử dụng tùy thuộc vào ứng dụng.
Ví dụ: trong xử lý ngôn ngữ tự nhiên, CRF "chuỗi tuyến tính" (linear chain) là phổ biến, mà mỗi dự đoán chỉ phụ thuộc vào các hàng xóm trực tiếp của nó. Trong xử lý hình ảnh, biểu đồ thường kết nối các vị trí với các vị trí lân cận hoặc tương tự để củng cố rằng các vùng ấy nhận được các dự đoán tương tự. CRF là một mô hình xác suất cho các bài toán dự đoán có cấu trúc và đã được áp dụng rất thành công trong rất nhiều lĩnh vực như thị giác máy tính, xử lý ngôn ngữ tự nhiên, sinh-tin học. Cơ chế Attention Cơ chế Attention xuất hiện trong bối cảnh để giải quyết điểm yếu của những mạng hồi quy như RNN, LSTM, ….
Các mạng hồi quy này khi gặp chuỗi đầu vào quá dài sẽ bị mất dần xác suất và ngữ cảnh của 1 từ ở xa so với so với từ hiện tại sẽ bị suy giảm 11 Cơ sở lý thuyết theo cấp số nhân phụ thuộc vào khoảng cách. Điều đó có nghĩa là khi mô hình trở nên quá dài, mô hình thường quên các vị trí các từ ở xa nhau trong chuỗi. Cơ chế Attention, nghĩa là chỉ chú ý vào 1 nhóm từ cụ thể trong từng ngữ cảnh nhất định. Ví dụ khi dịch một câu, tôi đặc biệt chú ý đến từ mà tôi hiện đang dịch.
Khi đang chép lại một bản ghi âm, tôi sẽ lắng nghe cẩn thận phân đoạn mà tôi đang chủ động viết ra. Và nếu bạn yêu cầu tôi mô tả căn phòng tôi đang ngồi, tôi sẽ liếc nhìn xung quanh những đồ vật mà tôi đang mô tả khi tôi làm như vậy. Cơ chế Attention được đề xuất lần đầu tiên bởi với mục đích cải tiến hiệu quả của bài toán machine translation (dịch máy). Sau đó, vào năm 2017, Vaswani và cộng sự đã công bố bài báo "Attention Is All You Need" [1].
Cả hai bài báo này đã thực sự gây được tiếng vang rất lớn trong cộng đồng các nhà nghiên cứu về các mô hình học máy.