Chương 1 – Giới thiệu chung Trình bày lý do chọn đề tài, mục tiêu, đối tượng - phạm vi và phương pháp nghiên cứu, ý nghĩa của đề tài. Chương 2 – Cơ sở lý thuyết Giới thiệu tổng quan về xử lí ngôn ngữ tự nhiên, các phương pháp, công cụ để tách từ, gán nhãn từ loại, gán nhãn cụm từ, phân tích cú pháp; Giới thiệu về các cách biểu diễn từ thành vector, mạng nơ ron nhân tạo, kỹ thuật lan truyền ngược; Phương pháp học sâu để sử dụng cho bài toán, Trình bày tổng quan hệ thống trích chọn tên điện thoại di động, hướng tiếp cận và các nghiên cứu liên quan; Đề xuất hướng nghiên cứu. Chương 3 – Mô hình đề xuất Trình bày tổng quan mô hình đề xuất, các đặc trưng trong mô hình; Chi tiết hệ thống trích chọn thực thể tên điện thoại di động. Chương 4 – Thực nghiệm Giới thiệu bộ dữ liệu, quá trình xử lí dữ liệu, phương pháp đánh giá, phần thực nghiệm và đánh giá thực nghiệm theo các khía cạnh khác nhau để chọn mô hình tối ưu cho hệ thống trích chọn thực thể tên điện thoại di động.
Chương 5 – Kết luận và hướng phát triển 4 CHƯƠNG II CƠ SỞ LÝ THUYẾT Trong chương này, chúng tôi sẽ giới thiệu tổng quan về cách xử lý ngôn ngữ tự nhiên như tách từ (Tokenizer), cách xác định loại từ, cụm từ và phân tích cú pháp trong câu. Đồng thời giới thiệu các phương pháp biểu diễn và xác định được phương pháp học sâu được sử dụng trong luận văn để xác định thực thể tên điện thoại di động và đề xuất hướng nghiên cứu sau này. Xử lý ngôn ngữ tự nhiên Trong thời đại hiện nay, cuộc cách mạng công nghiệp 4.0, việc xử lý các ngôn ngữ tự nhiên đang được nghiên cứu và phát triển mạnh mẽ. Xử lý ngôn ngữ tự nhiên có tên tiếng Anh là: Natural Language Processing.
Đây là các kĩ thuật, phương pháp nhằm hỗ trợ cho các hệ thống máy tính hiểu, xử lý, nhận dạng ngôn ngữ tự nhiên như: tiếng Việt, tiếng Anh. Có rất nhiều nghiên cứu về NLP nhưng có thể phân thành các nhánh nghiên cứu như: Phân tích cảm xúc (Sentiment), phân loại tài liệu (Classification), dịch máy (Translation), tóm tắt văn bản (Topic Modelling), trích xuất thông tin (Information Extraction), … Các trợ lý thông minh như Siri của Apple, alexa của Amazon và ok google của Google bắt đầu xác định các mẫu trong giọng nói, nhận dạng giọng nói, suy ra ý nghĩa và đưa ra phản hồi. Mô hình xử lý ngôn ngữ tự nhiên1 1 https://ichi.pro/vi/xu-ly-ngon-ngu-tu-nhien-bang-python-nltk-101258229749293 5 Trích xuất thông tin bài toán lấy ra những thành phần thông tin cụ thể của một văn bản, những thành phần này chính là hạt nhân tạo nên nội dung ngữ nghĩa của văn bản đó. Có nhiều mức độ trích chọn thông tin từ văn bản như xác định các thực thể (Element Extraction), xác định quan hệ giữa các thực thể (Relation Extraction), xác định và theo dõi các sự kiện và các kịch bản (Event and Scenario Extraction and Tracking), xác định đồng tham chiếu (Co-reference Resolution).
Các kĩ thuật được sử dụng trong trích chọn thông tin gồm có: phân đoạn, phân lớp, kết hợp và phân cụm.16 Từ đây sẽ có nhiều ứng dụng cho nhiều domain như Text and Web mining (rút trích tên người nổi tiếng, sản phẩm đang hot, so sánh giá sản phẩm, nghiên cứu đối thủ cạnh tranh, phân tích tâm lý khách hàng), Biomedical, Business intelligent, Financial professional (đánh giá thị trường từ các nguồn khác nhau: giá xăng dầu tăng giảm, thông tin chiến tranh - chính trị giữa các nước, điều luật mới trong thị trường kinh doanh), Terrism event (sử dụng vũ khí gì, đối tượng tấn công là ai). Sau các bước tiền xử lý thiên về từ vựng và cú pháp như tách câu, tách từ, phân tích cú pháp, gán nhãn từ loại. Từ IE ta sẽ đơn giản hóa thành các bài toán con gồm: Rút trích tên thực thể (Named entity recognition – NER: people, organization, location), phân giải đồng tham chiếu (Coreference resolution) và rút trích quan hệ giữa hai thực thể (Relation extraction). Bài toán nhận dạng ra các thực thể có tên trong văn bản là một nhiệm vụ cốt lõi trong trích xuất thông tin.
Trích xuất (trích chọn) các thực thể trong văn bản2 2. Tách từ (ViTokenizer) Để có thể trích chọn được các thực thể tên điện thoại di động trong các văn bản dữ liệu ban đầu cần phải qua bước tiền xử lý để tách câu, phân đoạn từ (tách từ), chuẩn bị dữ liệu đầu vào cho bước tiếp theo. Từ là một đơn vị nhỏ nhất có nghĩa độc lập, có thể giữ một chức năng ngữ pháp nhất định và có thể quy về một từ loại nhất định, có khả năng tách biệt khỏi những từ bên cạnh để có thể phân biệt được với những bộ phận tạo thành từ. Tính hoàn chỉnh trong nội bộ của từ là cần thiết cho nó, với tư cách một từ riêng biệt, phân biệt với cụm từ.
Tính hoàn chỉnh và tính tách biệt về ý nghĩa là bắt buộc với mỗi từ. Từ được cấu tạo nhờ các từ tố (hình vị), một từ có thể có một, hai hoặc nhiều âm tiết tạo nên, nên có rất nhiều cách phân chia các âm tiết thành các từ, gây ra nhập nhằng. Việc phân giải nhập nhằng này gọi là bài toán tách từ. Nói cách khác, từ được tạo ra nhờ một hoặc một số hình vị kết hợp với nhau theo những nguyên tắc nhất định.
Từ tố (hình vị) là đơn vị nhỏ nhất có ý nghĩa của ngôn ngữ. Tách từ là gom nhóm các từ đơn liền kề thành một cụm từ có ý nghĩa, các từ đơn được gom nhóm với nhau bằng cách nối với nhau bằng ký tự gạch dưới ("_"). Sau khi thực hiện tách từ thì mỗi từ (token) trong câu được cách nhau bởi một khoảng trắng. Đây là quy ước chung cho tất cả các ngôn ngữ của bài toán tách từ trong xử lý ngôn ngữ tự nhiên.
Mục tiêu của việc tách từ văn bản đầu vào là để khử tính nhập nhằng về ngữ nghĩa của văn bản. Với ngôn ngữ tiếng Anh, việc tách từ khá đơn giản vì ranh giới từ được trích chọn bằng khoảng trắng và dấu câu. Với ngôn ngữ tiếng việt, ranh giới từ không được xác định mặc nhiên bằng khoảng trắng. Tiếng việt có đặc điểm là ý nghĩa ngữ pháp nằm ở ngoài từ, phương thức ngữ pháp chủ yếu là trật tự từ và từ hư.
Cho nên có trường hợp một câu có thể có nhiều ngữ nghĩa khác nhau tuỳ vào cách tách từ như thế nào, gây nhập nhằng về ngữ nghĩa của câu. Ví dụ về tách từ trong tiếng anh và tiếng việt: 2 https://ongxuanhong.com/2016/02/05/cac-thuat-ngu-trong-xu-ly-ngon-ngu-tu-nhien/named- entity-recognition/ 7 Dữ liệu tiếng Anh Dữ liệu tiếng Việt Văn bản đầu vào Oppo Find X3 Neo Điện thoại Oppo Find X3 phone is a new breeze in the Neo là một làn gió mới trong high-end phone segment, phân khúc điện thoại cận cao when copying almost every cấp, khi sao chép gần như high-end technology from the mọi công nghệ cao cấp từ elder Oppo Find X3 Pro but đàn anh Oppo Find X3 Pro at a more affordable price for nhưng với mức giá phải users. chăng hơn cho người dùng.3 Văn bản sau khi Oppo Find X3 Neo phone is Điện thoại Find_X3_Neo, tách từ a new breeze in the high-end là một làn gió mới trong phone segment, when copying phân khúc điện thoại cận almost every high-end cao cấp, khi sao chép gần technology from the elder như mọi công nghệ cao cấp Oppo Find X3 Pro but at a từ đàn anh more affordable price for Oppo_Find_X3_Pro nhưng users. với mức giá phải chăng hơn cho người dùng.
Minh họa ví dụ tách từ 2. Xác định loại từ trong câu (Part-of-Speech tagging - POS tagging) Công việc gán nhãn từ cũng được gọi là gắn thẻ ngữ pháp, cho một văn bản là xác định từ loại của mỗi từ trong phạm vi văn bản đó. Tức là phân loại các từ thành các lớp từ loại dựa trên thực tiễn hoạt động ngôn ngữ trong đó. Mỗi từ trong một ngôn ngữ nói chung có thể gắn với nhiều từ loại.
Mỗi từ loại tương ứng với một hình thái và một vai trò ngữ pháp nhất định. Gán nhãn từ loại là một trong những bước quan trọng và cơ bản trong xử lý và khai phá dữ liệu trước khi phân tích văn phạm, ngữ nghĩa sâu hơn hay các vấn đề xử lý ngôn ngữ phức tạp khác. Nó xác định các chức năng ngữ pháp của từ trong câu. Khi văn bản đã được gán nhãn thì nó sẽ được ứng dụng trong các hệ thống tìm kiếm thông tin, gán nhãn tên thực thể, trong các hệ thống nhận dạng tiếng nói cũng như trong các hệ thống dịch máy.
Gán nhãn từ loại là bài toán nhận được quan tâm sớm nhất trong chuyên ngành xử lý ngôn ngữ tự nhiên và được nghiên cứu nhiều cũng như có nhiều phương pháp giải quyết.vn/oppo-find-x3-neo.html 8 Có thể kể đến một số bộ công cụ POS tagging cho hai loại ngôn ngữ: Tiếng Anh: POS tagger của NLTK, Stanford Log-linear Part-OfSpeech Tagger… Ví dụ 1 (tiếng Anh). Văn bản đầu vào là: “And now for Samsung Galaxy Note 21.” Sau khi tách từ và POS tagging sẽ thu được kết quả: [('And', 'CC'), ('now', 'RB'), ('for', 'IN'), ('something', 'NN'), (‘Samsung’, ‘Np’), (‘Galaxy’, ‘Np’), ( ‘Note’, ‘Np’), (’21’, ‘M’)] Tiếng Việt: JVnTagger, JH-POS-TAG, vnTagger, ViTokenizer… Ví dụ 2 (tiếng Việt). Văn bản đầu vào là: “Samsung Galaxy M52 sử dụng màn hình kích thước 6.5 inches, cùng với tấmc nền AMOLED cho khả năng hiển thị rực rỡ hơn nhiều so với màn FullHD. Bên cạnh đó, màn hình đã vận dụng màn dạng đục lỗ, giúp mở rộng được kích thước không gian trải nghiệm và độ phân giải đạt chuẩn FullHD cho khả năng hiển thị sắc nét, góc nhìn tốt.
Cấu hình mạnh mẽ bởi Snapdragon 730, 6GB RAM, bộ nhớ trong 128GB.” Sau khi tách từ và POS tagging sẽ thu được kết quả: Samsung/N Galaxy/Np M52/M sử/N dụng/N màn/N hình/N kích/N thước/N 6.5/M inches,/N cùng/A với/E tấm/Nc nền/N AMOLED/Np cho/V khả/N năng/N hiển/N thị/N rực/N rỡ/A hơn/A nhiều/A so/V với/E màn/N FullHD./N Bên/N cạnh/N đó,/N màn/N hình/N đã/R vận/V dụng/N màn/N dạng/N đục/N lỗ,/V giúp/V mở/V rộng/A được/V kích/V thước/N không/R gian/N trải/V nghiệm/N và/Np độ/N phân/N giải/N đạt/N chuẩn/N FullHD/N cho/V khả/N năng/N hiển/N thị/N sắc/N nét,/N góc/N nhìn/V tốt./N Cấu/N hình/N mạnh/A mẽ/N bởi/E Snapdragon/Np 730,/V 6GB/N RAM,/N bộ/N nhớ/V trong/N 128GB/M. Xác định cụm từ (Chunking) Trong nội dung xác định cụm từ thì phân cụm từ được nghiên cứu và được sử dụng trong nhiều ứng dụng thực tế như các hệ thống chích trọn thông tin, dịch 9 máy, và tóm tắt văn bản. Bài toán phân cụm có thể hiểu là việc gộp một dãy liên tiếp các từ trong câu để gán nhãn cú pháp.