Chương 1: TÔNG QUAN Trong chương này sinh viên giới thiệu về NER, các vấn đề trong NER từ đó khảo sát các công trình liên quan trong và ngoài nước. Nêu rõ mục tiêu của đê tài nghiên cứu và đối tượng nghiên cứu và cau trúc khóa luận. Chương 2: KIÊN THỨC NEN TANG Giới thiệu sơ lược qua về NLP, từ đó cho thấy tầm quan trọng của nhiệm vụ NER trong NLP. Tiếp theo nêu rõ khái nệm NER, tổng hợp các kỹ thuật được áp dụng trong NER và ứng dụng của NER.
Chương 3: PHƯƠNG PHÁP, KÉT QUẢ VÀ ĐÁNH GIÁ Sơ lược về các mô hình BERT, cách thiết lập các biến thê của BERT và kết quả trên bộ dit liệu PhoNER_COVIDI9 với Độ đo FI. Tiếp theo là sơ lược về Split-NER, cách thiết lập mô hình và kết quả trên bộ dit liệu PhoNER_COVIDI9 với độ đo FI. Cuối cùng là sơ lược qua về các mô hình ngôn ngữ lớn, các thiết lập và kết quả trên bộ dữ liệu PhoNER_COVIDI9 với độ đo F1. Chương 4: PHAN TÍCH LOI Chương nay phân tích các kết qua thu được ở Chương 3 từ dé so sánh, đánh giá hiệu qua của các mô hình dé đề xuất mô hình tốt nhất.
Chương 5: XÂY DỰNG ỨNG DỤNG Sử dụng các mô hình đã có được từ Chương 3 xây dựng một ứng dụng dé minh họa các kết quả của khóa luận tốt nghiệp. Chương 6: KET LUẬN VÀ HƯỚNG PHÁT TRIÊN Chương này nói về kết quả thu được của khóa luận tốt nghiệp, các hạn chế từ đó đề ra hướng phát triển trong tương lai. KIÊN THỨC NEN TANG 2. Xử lý ngôn ngữ tự nhiên 2.
Khái niệm Xử lý ngôn ngữ tự nhiên (NLP) là một lĩnh vực của trí tuệ nhân tạo (AI). Lĩnh vực này tập trung vào việc dé cho máy tính có thể hiểu được con người thông nghiên cứu và phát triển các thuật toán, mô hình và từ đó ứng dụng vào thực tế dé diễn giải ngôn ngữ và tạo ra ngôn ngữ tự nhiên như con người. Nói đơn giản hơn, NLP giúp cho máy tính có khả năng giao tiếp với con người một cách tự nhiên nhất thông qua văn bản hoặc giọng nói. O giai đoạn sơ khai của lĩnh vực này, các nhà nghiên cứu đã cô găng tập trung nghiên cứu vào dịch máy nhăm tạo ra cầu nối giữa hai ngôn ngữ khác nhau.
Nhưng các nỗ lực này gặp nhiêu khó khăn vì sự phức tạp của các ngôn ngữ tự nhiên. Tuy nhiên, sự ra đời của là một chương trình đáng chú ý khi mà mô phỏng một nhà trị liệu tâm lý. Hình 2 Một ví dụ về cuộc trò chuyện với ELIZA.! Giai đoạn tiếp theo, các nhà nghiên cứu chuyền sang sử dụng quy tắc ngôn ngữ học dé phát triển hệ thống NLP. Các hệ thống này dựa trên quy tắc ngữ pháp và từ vựng dé phân tích và hiểu ngôn ngữ.
Hệ thống này van rất khó dé thực hiện vì các quy tắc không thể bao quát được các trường hợp có thê xảy ra. ! A conversation with the ELIZA chatbot. Nguồn: https://en.org/wiki/ELIZA 13 Với sự phát triển của toán học, thuật toán và khả năng xử lý dữ liệu lớn. Các nhà nghiên cứu đã sử dụng các mô hình thống kê, học máy đề học và tìm ra các quy luật của ngôn ngữ.
Tuy nhiên, vẫn chưa thê giải quyết được các từ có ý nghĩa phức tạp như đa nghĩa hoặc nghĩa bóng. Tới nay, các mô hình học sâu đã và đang ngày càng đạt nhiều thành tựu lớn trong lĩnh vực NLP. Các mô hình này có khả năng biểu diễn sự phức tạp của ngôn ngữ từ dữ liệu thô mà không cần các đặc trưng thiết kế thủ công. Có thé kê tên một số cột mốc như sự ra đời của cấu trúc BERT do Google AI, hay mới đây nhất là GPT do OpenAI phát triển.
Cac bài toán Có rất nhiều bài toán trong lĩnh vực NLP, tuy nhiên trong khóa luận này sẽ đề cập một vài bài toán tiêu biéu và phô biến nhất. s* Các bài toán cơ bản: e Phân tích từ loại (POS): là quá trình gan thẻ một từ trong văn ban. Cac thẻ này cho biết vai trò của từ trong câu, chăng hạn như danh từ, động từ, tính từ, trạng từ,. Gan thẻ POS là một bước cơ bản trong NLP vi nó giúp máy hiểu cấu trúc cú pháp và ý nghĩa của văn bản, giải quyết được sự mơ hỗ trong văn bản.
Ví dụ như, từ “book” trong câu “I have a book” (Tôi có một cuốn sách) là một danh từ nhưng trong câu “I want to book a flight” (Tôi muốn đặt một chuyến bay) thì từ “book” lại là động từ. Và tuy vào vị trí POS mà nó thể hiện một ý nghĩa khác nhau, là sách hay là động từ đặt chỗ. e Phân (ích tình cảm (Sentiment Analysis): Phân tích tinh cam là nhiệm vu phân loại tính phân cực của một văn bản nhất định?. Ví dụ: một ý kiến dựa trên văn bản có thể được phân loại thành "tích cực", "tiêu cực" hoặc "trung tính".
Với văn bản và các nhãn đi kèm, một mô hình có thé được đào tạo dé du đoán cảm xúc chính xác. Các kỹ thuật phân tích tình cảm có thé được phân loại 2 Sentiment Analysis. Nguồn: https://paperswithcode.com/task/sentiment-analysis 14 thành các phương pháp học máy, các phương pháp dựa trên từ vựng và thậm chí cả các phương pháp kết hợp. Một số tiểu thể loại nghiên cứu trong phân tích tình cảm bao gồm: phân tích tình cảm đa phương thức, phân tích tình cảm dựa trên khía cạnh, phân tích ý kiến chỉ tiết, phân tích tình cảm cụ thể theo ngôn ngữ.
Vi dụ: Tôi thích coi phim này. (Tích cực) > o> ° Cac bài toán nâng cao: e Tóm tắt văn bản (Text Summarization): là một tác vụ cô đọng một tài liệu văn bản dài thành một phiên bản ngắn hơn, gọn hơn trong khi vẫn giữ được thông tin và ý nghĩa quan trọng nhất.3 Mục đích là tạo ra một bản tóm tắt thể hiện chính xác nội dung của văn bản gốc dưới dạng ngăn gọn. Có nhiều cách tiếp cận khác nhau dé tóm tắt văn bản, bao gồm các phương pháp trích xuất dé xác định và trích xuất các câu hoặc cụm từ quan trọng từ văn bản và các phương pháp trừu tượng tạo ra văn bản mới dựa trên nội dung của văn bản gốc. e Dich máy (Machine Translation): Dịch tự động văn ban từ ngôn ngữ nay sang ngôn ngữ khác mà không làm thay đôi ngữ nghĩa muốn truyền đạt.
Ví dụ: I want to sleep. (Tôi muốn ngủ.) e Hỏi đáp (Question Answering): là một nhiệm vụ yêu cầu trả lời các câu hỏi dựa trên thông tin từ văn bản hoặc cơ sở dữ liệu kiến thức. Vị dụ: Tôi nên làm gì dé có một cơ thé khỏe mạnh? (Bạn nên ăn uống lành mạnh, ngủ đủ giấc không nên thức khuya.) e Sinh văn bản (Text Generation): là một nhiệm vu nhằm sinh ra văn bản tự nhiên như con người. Ứng dụng NLP đã và đang có những ứng dụng rộng rãi và sâu sắc trong nhiêu lĩnh vực đời sông, mang lại những tiện ích va cải tiến đáng kể trong nhiều ngành nghé, lĩnh vực khác 3 Text Summarization.
Nguồn: https://paperswithcode.com/task/text-summarization 15 nhau như trong truyền thông, giải trí, kinh doanh, tiếp thị, giáo dục, y tế, luật,. Có thể ké tên một số ứng dụng tiêu biểu thường gặp nhất là dịch tự động các văn bản, tong hợp tin tức thông qua các mô hình tạo văn bản như Chat-GPT, Gemini,. Bên cạnh đó, còn tích hợp NLP vào trong trợ lý, chatbot hỗ trợ khách hàng trong các mảng tiếp thị, kinh tế hoặc các sản phẩm thương mại, điển hình như điện thoại di động với trợ lý ảo (Siri, Google Assistant), mang lại những tiện lợi trong đời sống như phân loại tin rác,. Đây chỉ là một số ví dụ điển hình về ứng dụng của NLP trong đời sống.
Với sự phát triển không ngừng của công nghệ, NLP hứa hẹn sẽ mang lại nhiều giá tri hơn nữa trong tương lai, nhất là trong lĩnh vực tạo văn bản tự nhiên như con người. Nhận dạng thực thể có tên 2. Khái niệm Nhận dạng thực thể có tên là một nhiệm vụ phụ trong lĩnh vực NLP. Nhận dạng thực thê có tên có nhiệm vụ trích xuất thông tin, trong đó tìm kiếm và phân loại các thành phần nguyên tử trong văn bản vào những loại xác định trước như là tên người, tổ chức, địa điểm, thời gian, sé luong, gia tri tién té, phan tram va nhiéu loai gia tri khác!.
e Tên người: Nguyễn Việt Anh e Tên tổ chức: Trường đại học CNTT - Đại học Quốc gia TP. Hồ Chí Minh e_ Dia điểm: TP. Hồ Chí Minh e Thời gian: 16 tháng 06 năm 2024, Chủ Nhat Đầu vào: Thường là văn bản thô, có thể là một câu, một đoạn văn hay một bài báo hay một tài liệu văn bản bat kỳ nào đó. Bên cạnh đó có thé thêm một số thông tin như loại từ (POS Tag), hình thái từ và thông tin từ điển (các diễn giải trí thực liên quan tới thực thê).
Đầu ra: Thường là các thực thé tương ứng với từ ở đầu vào hoặc là từ với loại thực thé hoặc là vị trí thực thé và loại thực thé. * Named Entity Recognition (NER). Nguồn: https://paperswithcode.com/task/named-entity-recognition-ner 16 Các tập dữ liệu thường được định dạng theo: MUC (Message Understanding Conference): là một định dạng đánh dấu (markup) được sử dụng dé chú thích các thực thé có tên (Named Entities) trong văn ban. Dinh dạng MUC sử dụng các thẻ XML dé xác định các thực thể và loại của chúng.
Vi dụ: “<ENAMEX TYPE="PERSON">Barack Obama</ENAMEX> đã đến thăm <ENAMEX TYPE="LOCATION">Hà Nội</ENAMEX>. Mỗi dòng trong tệp CoNLL đại diện cho một từ hoặc token, và các cột đại diện cho các tính năng khác nhau (ví dụ: từ, POS Tag, NER Tag). Ví dụ: Bảng 2-1 Ví dụ về định dang CoNLL Barack B-PER Obama I-PER đã O dén O tham O Ha B-LOC Nội I-LOC O Một số tập dữ liệu phố biến trong tiếng Anh: Bộ dữ liệu CoNLL-2003 được sử dụng rộng rãi trong nghiên cứu NER, bao gồm các loại thực thể: Tên người (Person), Địa điểm (Location), Tổ chức (Organization), và Khác (Miscellaneous). Dữ liệu được lấy từ các bài báo của Reuters và được chia thành các tap huấn luyện, kiểm tra và đánh giá.
17 e Bộ dữ liệu OntoNotes 5.0 bao gồm nhiều loại thực thể hơn như: Sản phẩm (Product), Sự kiện (Event), và Ngày thang (Date). Nó được tổng hợp từ các nguồn dữ liệu khác nhau như tin tức, hội thoại và dữ liệu trực tuyến. e WNUT-17 là bộ dữ liệu cho nhiệm vụ WNUT 2017 được lay từ các văn bản sinh ra từ người dùng trên mạng xã hội, được chú thích cho các thực thé mới nồi và hiếm.