CHƯƠNG 1. Lý do chọn đề tài Ké từ web 2.0, những nội dung trên các trang web hau hết là do người dùng internet viết, do đó việc xử lí, đánh giá những nội dung này dần trở nên thiết yếu hơn. Vì thế việc xử lí ngôn ngữ tự nhiên (NLP) đã và đang dan trở nên rất quan trọng. Trong đó, việc phân tích quan điểm của người viết trong các chủ đề hoặc các phản hồi — đánh giá là một van dé thu hút sự chú ý của nhiều nhóm nghiên cứu.
Phân tích quan điểm của người viết trong các chủ đề hoặc các phản hồi — đánh giá có thể giúp: giảm chỉ phí, tiết kiệm thời gian, cải thiện chiến lược kinh doanh. Hiện nay, tuy đã có khá nhiều công trình nghiên cứu về bài toán này [1] [2], nhưng hầu hết là về các ngôn ngữ không phải tiếng Việt. Vì thế, để hỗ trợ các đọc giả, các cá nhân, công ty hay là doanh nghiệp hiểu rõ hon quan điểm của tác giả hoặc khách hàng,.của mình, đề tài “phân tích quan điểm trong các đánh giá — phản hồi tiếng Việt” được hình thành. Các công trình nghiên cứu liên quan Ở Việt Nam, có một mô hình đã làm rất tốt cho bài toán này.
Đó chính là phoBERT của VinAI — được tinh chỉnh lai từ mô hình ROBERTa — một biến thé khác của mô hình BERT của Google. Mô hình này có độ chính xác và tốc độ rất cao bởi vì nó được tinh chỉnh lại với lượng dữ liệu tiếng Việt rat lớn [3]. Ở ngoài nước, tồn tại BERT là mô hình được tạo ra bởi Google và nó được xem là bước đột pha của xử ly ngôn ngữ tự nhiên trong thoi ki đó [4]. Tuy nhiên điểm hạn chế của nó là không hỗ trợ tiếng Việt, và đó cũng là lí do mà mô hình phoBERT nêu trên xuất hiện.
Nguyễn Đức Công Song SVTH: Trần Quốc Việt 1. Mục tiêu của đề tài > _ Hiểu và sử dụng được mô hình CNN kết hợp Bi-LSTM cho việc xử lí ngôn ngữ tự nhiên. > Cung cấp dich vụ (service) hỗ trợ phân tích quan điểm trong văn bản tiếng Việt. » Xây dựng ứng dụng demo sử dụng dịch vụ (service) phân tích quan điểm trong văn bản tiêng Việt.
Nội dung và phạm vi nghiên cứu > Đối tượng nghiên cứu: Đề tài tập trung nghiên cứu xung quanh các đối tượng sau: —_ Nghiên cứu tong quan mô hình CNN, Bi-LSTM. — Nghiên cứu phương pháp xây dựng một dịch vu (service). — Nghiên cứu các phương pháp, thuật toán phục vụ cho việc xử lý tiếng - Win cứu các framework dé xây dung ứng dung di động. > Phạm vinghién cứu: - Những phản hồi — đánh giá của khách hàng trên các trang mạng buôn bán thời trang, đô ăn,.
- Ứng dụng di động nhận vào văn bản phản hồi — đánh giá, sau đó đưa ra kết quả là quan điềm của người viết. - __ Việc xử văn bản phải thoả mãn các điều kiện sau: + Văn bản được chuyên hết về chữ thường. + Văn bản phải được loại bỏ hết các kí tự đặc biệt, số. + Các icon cảm xúc trong văn bản sẽ được loại bỏ hoặc chuyên về nội dung chứa quan điêm tương ứng.
+ Văn bản phải được chuẩn hóa (thay thế một số từ viết tắt hoặc sai chính tả về đúng từ). Nguyễn Đức Công Song SVTH: Trần Quốc Việt e Môi: + Quan điểm phản hồi: là thái độ của người viết thể hiện trong câu/ đoạn văn bình luận. + Kết quả phân tích quan điểm phản hồi đánh giá của khách hàng: sẽ phân lam ba loại: “Tích cực” (Positive), “Tiéu cực” (Negative) va “Bình thường” (Neutral). > Nội dung nghiên cứu: — __ Nghiên cứu mô hình CNN, Bi-LSTM và phương pháp kết hợp hai mô hình.
— Nghiên cứu phương pháp xây dựng một dịch vụ (service). — Thu thập bộ dữ liệu tiếng 'Việt chứa các câu phản hồi — đánh giá của người dùng đã được gán nhãn sẵn, tiền xử lý chúng để phục vụ cho việc phân tích. - Nghiên cứu các framework dé xây dựng ứng dụng di động. Sản phẩm của đề tài — Bộ tài liệu nghiên cứu về mô hình CNN kết hợp Bi-LSTM, các thư viện, cách thực hiện cho việc xử lý dữ liệu văn bản tiêng Việt.
Một dịch vụ (service) và ứng dụng trên nền tảng di động hỗ trợ phân tích quan điểm của các phản hồi — đánh giá trong văn bản tiếng Việt. — Một mô hình phân tích quan điểm trong các phản hồi — đánh giá tiếng Việt. Nguyễn Đức Công Song SVTH: Trần Quốc Việt CHƯƠNG 2. Tổng quan về xử lý ngôn ngữ tự nhiên Trích trong bài báo Xứ Lý Ngôn Ngữ Tự Nhiên: Công Nghệ Giúp Máy Tính Hiểu và Giao Tiép Với Con Người - FPT Digital [5].
Giới thiệu về xử lý ngôn ngữ tự nhiên Xử lý ngôn ngữ tự nhiên (NLP) là một nhánh của Trí tuệ nhân tạo, tập trung vào việc nghiên cứu sự tương tác giữa máy tính và ngôn ngữ tự nhiên của con người, dưới dạng tiếng nói (speech) hoặc văn bản (text). Mục tiêu của lĩnh vực này là giúp máy tính hiểu và thực hiện hiệu quả những nhiệm vụ liên quan đến ngôn ngữ của con người như: tương tác giữa người và máy, cải thiện hiệu quả giao tiếp giữa con người với con người, hoặc đơn giản là nâng cao hiệu quả xử lý văn bản và lời nói. Xử lý ngôn ngữ tự nhiên ra đời từ những năm 40 của thế kỷ 20, trải qua các giai đoạn phát triển với nhiều phương pháp và mô hình xử lý khác nhau. Có thé kể tới các phương pháp sử dụngô-tô-mát và mô hình xác suất (những năm 50), các phương pháp dựa trên ký hiệu, các phương pháp ngẫu nhiên (những năm 70), các phương pháp sử dụng học máy truyền thống (những năm dau thế ky 21), và đặc biệt là sự bùng nổ của học sâu trong thập kỷ vừa qua.
Xử lý ngôn ngữ tự nhiên có thể được chia ra thành hai nhánh lớn, không hoàn toàn độc lập, bao gồm xử lý tiếng nói (speech processing) và xử lý văn bản (text processing). Xử lý tiếng nói tập trung nghiên cứu, phát triển các thuật toán, chương trình máy tính xử lý ngôn ngữ của con người ở dạng tiếng nói (đữ liệuâm thanh). Các ứng dụng quan trọng của xử lý tiếng nói bao gom nhận dang tiếng nói và tong hợp tiéng nói. Nếu như nhận dang tiếng nói là chuyền ngôn ngữ từ dạng tiếng nói sang dang văn bản thì ngược lại, tông hợp tiếng nói chuyên ngôn ngữ từ dạng văn bản thành tiếng nói.
Xử lý văn bản tập trung vào phân tích dữ liệu văn bản. Các ứng dụng quan trọng của xử lý văn bản bao gồm tìm kiếm và truy xuất thông tin, dịch máy, tóm tắt văn bản tự động, hay kiểm lỗi chính tả tự động. Xử lý văn bản đôi khi được chia tiếp thành hai nhánh nhỏ hơn bao gồm hiểu văn bản và sinh văn bản. Nếu như hiểu liên quan tới các bài toán phân tích văn ban thì sinh liên quan tới nhiệm vụ tạo ra văn bản mới như trong các ứng dụng về dịch máy hoặc tóm tắt văn bản tự động.
Xử lý văn bản bao gồm 4 bước chính sau: + Phân tích hình vi: là sự nhận biệt, phân tích, và miêu ta câu trúc của hình vị trong một ngôn ngữ cho trước và các đơn vị ngôn ngữ khác, như từ gôc, biên 4 GVHD: ThS. Nguyễn Đức Công Song SVTH: Trần Quốc Việt từ, phụ tố, từ loại, v. Trong xử lý tiếng Việt, hai bài toán điển hình trong phần nay là tách từ (word segmentation) va gan nhãn từ loại (part-of-speech tagging). + Phân tích cú pháp: là quy trình phân tích một chuỗi các biểu tượng, ở dạng ngôn ngữ tự nhiên hoặc ngôn ngữ máy tính, tuân theo văn phạm hình thức.
Văn phạm hình thức thường dùng trong phân tích cú pháp của ngôn ngữ tự nhiên bao gồm Văn phạm phi ngữ cảnh (Context-free grammar — CFG), Văn phạm danh mục kết nối (Combinatory categorial grammar — CCG), và Văn phạm phụ thuộc (Dependency grammar — DG). Đầu vào của quá trình phân tích là một câu gồm một chuỗi từ và nhãn từ loại của chúng, và dau ra là một cây phân tích thể hiện cấu trúc cú pháp của câu đó. + Phân tích ngữ nghĩa: là quá trình liên hệ cau trúc ngữ nghĩa, từ cấp độ cụm từ, mệnh đề, câu và đoạn đến cấp độ toàn bài viết, với _ý nghĩa độc lập của chúng. Nói cách khác, việc này nhằm tìm ra ngữ nghĩa của đầu vào ngôn từ.
Phân tích ngữ nghĩa bao gồm hai mức độ: Ngữ nghĩa từ vựng biểu hiện các ý nghĩa của những từ thành phần, và phân biệt nghĩa của từ; Ngữ nghĩa thành phần liên quan đến cách thức các từ liên kết để hình thành những nghĩa rộng hơn. + Phân tích diễn ngôn: là phân tích văn bản có xét tới mối quan hệ giữa ngôn ngữ và ngữ cảnh sử dụng (context-of-use). Phân tích diễn ngôn, do đó, được thực hiện ở mức độ đoạn văn hoặc toàn bộ văn bản thay vì chỉ phân tích riêng ở mức câu. Dưới đây là mô hình mô hình thiết kế cơ bản áp dụng NLP trong các bài toán học sâu.
NLP Workftow ⁄ ` 1 \ I Architecture | MLP CNN RNN Attention I K sls ai “ll eu Ua in SS sl Vas cs x5 a 1 ai aie ig sl ls "vo :ánŠ240i es ic / /Z=====—=========—===—=—== \ Xu I Subword Pretraining word2vec GloVe embedding BERT a | ee , Hình 1: Mô hình thiết kế áp dung NLP trong các bài toán học sâu Mô hình này bao gôm các tâng sau: GVHD: ThS. Nguyễn Đức Công Song SVTH: Trần Quốc Việt 2. Tầng tiền huấn luyện (Pretraining) Trong quá trình làm việc với xử lý ngôn ngữ tự nhiên (NLP), tầng Pretraining (pretraining layer) là một giai đoạn quan trọng trong quy trình làm việc. Pretraining thường được thực hiện dé học các biêu diễn ngôn ngữ tự nhiên tổng quát trước khi tiễn hành tác vụ cụ thể.
Tang kiến trúc Trong NLP workflow, thuật ngữ "tầng kiến trúc" (Architecture layer) thường được sử dụng dé chỉ một mô hình ngôn ngữ cụ thể hoặc một kiến trúc mạng nơ-ron cụ thê được sử dụng trong mô hình NLP. Dưới đây là một số tầng kiến trúc phố biến trong NLP: Recurrent Neural Network (RNN): Recurrent Neural Network (RNN) là một loại mạng nơ-ron nhân tạo chủ yếu được sử dụng trong nhận dạng giọng nói và xử lý ngôn ngữ tự nhiên (NLP). RNN được sử dụng trong học tập sâu và trong việc phát triển các mô hình bắt chước hoạt động của các tế bào thần kinh trong não người [6]. Long short term memory (LSTM) là một loại RNN đặc biệt có chứa các công để duy trì bộ nhớ trong thời gian dài [6].