CHƯƠNG 1: HƯỚNG NGHIÊN CỨU VÀ NHỮNG ĐÁNH GIÁ LIÊN QUAN ĐÉN KHÓA LUẬN 1. Các hướng nghiên cứu, đánh giá liên quan đến luận văn 1. Word2vec Word2vec được tạo ra năm 2013 bởi một kỹ sư ở Google có tên là Tomas oo] Mikolov. Nó là một “model unsupervised learning”°, được training từ large corpus (kho đữ liệu lớn).
Chiều của Word2vec nhỏ hơn nhiều so với one-hot-encoding, với số chiều là NxD với N là Number of document và D là số chiều word embedding [1]. Word2vec có 2 model là skip-gram và Cbow: - Skip-gram model là model dự đoán dựa vào từ trung tâm dé dự đoán các từ xung quanh khi cho một từ cho trước [2] , ví dụ như: "Bạn Mai hôm nay di học rất chăm chỉ". Khi dùng 1 window search có size 3 ta thu được: {(Bạn,hôm), Mai}, {(Mai,nay), hôm}, {(hôm, di), nay}, {(nay,học), di}. Nhiệm vu của mô đồ là khi cho 1 từ trung tâm ví dụ: từ “đi” thì phải dự đoán các từ phía trước và phía sau là “nay” và “học”.
- Cbow là viết tắt của “continous bag of word”. Mô hình này ngược với model skip-gram tức là cho những từ xung quanh đề dự đoán từ trung tâm [3]. Trong thực tế người ta chỉ chọn một trong hai model đề training, Cbow thì training nhanh hơn nhưng độ chính xác không cao bằng skip-gram và ngược lại. Glove cũng được tạo ra năm 2013 bởi một nhóm nghiên cứu ở stanford.
Nó dựa trên word-count base model’, dùng kỹ thuật “matrix factorization” (thuật toán thừa số hóa ma trận hoạt động bằng cách phân rã ma trận tương tác giữa người dùng và 1 Học không giám sát (UL) là một loại thuật toán học các mẫu từ dữ liệu không được gắn thẻ. Hy vọng rằng, thông qua việc bắt chước, cỗ máy buộc phải xây dựng một bản trình bày bên trong nhỏ gọn về thé giới của nó va sau đó tạo ra nội dung giau trí tưởng tượng [11]. 2 Phương pháp dựa trên số lượng xem một từ đích theo bản chất của các từ cùng xuất hiện với từ đó trong nhiều ngữ cảnh. Điều này được xác định bằng cách sử dụng một số hình thức ước tính đồng xuất hiện.
Trong trường hợp này, nghĩa của một. từ được hình thành bởi các từ cùng xuất hiện với từ đó trong nhiều tình huống khác nhau [14]. mục thành tích của hai ma trận hình chữ nhật có kích thước nhỏ hơn) dé đưa matrix ban dau về các matrix nhỏ hon tương tự như model ở recommend system’. Word2vec man Em woman Ei Hình 1.
1: Minh họa về quá trình mã hóa cua Word2vec Theo nghiên cứu và đánh giá từ Word2vec chúng ta có thé thấy mô hình trên dựa vào việc biến đôi các từ thành những vector và dự đoán ra những từ xung quanh hoặc ngược lại. Điều này sẽ không thích hợp cho những từ giống nhau về hình thức nhưng khác nhau về ngữ nghĩa. Ví dụ: Chúng tôi có 2 câu: “ Cậu có muốn cá cược không ? ” “ Cậu có muốn con cá này không ? ” Ở 2 câu trên chúng ta có thé thay cùng là một từ cá nhưng nghĩa của chúng hoàn toàn khác nhau dan đến việc khó có thé áp dụng mô hình này vào trong luận văn. - Mô hình không dựa trên ngữ cảnh đề dự đoán.
Điều này sẽ gây khó khăn trong quá trình dự đoán liệu chữ hiện tại có phải là tên riêng hay không. RNN và LSTM Y tưởng chính cua RNN (Recurrent Neural Network) là sử dung chuỗi các thông tin. Trong các mạng nơ-ron truyền thống tất cả các đầu vào và đầu ra là độc lập với nhau. RNN được gọi là hồi quy (Recurrent) bởi vì chúng thực hiện cùng một tác vụ cho tat cả các phân tử của một chuỗi với dau ra phụ thuộc vào cả các phép tính trước 3 Hệ thống đề xuất là một tính năng thiết yếu trong thế giới kỹ thuật số của chúng ta, vì người dùng thường bị choáng ngợp bởi sự lựa chọn và cần trợ giúp đề tìm kiếm những gì họ đang tìm kiếm.
Nói cách khác, RNN có khả năng nhớ các thông tin được tính toán trước đó. Trên lý thuyết, RNN có thê sử dụng được thông tin của một văn bản rất dài, tuy nhiên thực tế thì nó chỉ có thé nhớ được một vài bước trước đó (ta cùng bàn cụ thé van đề này sau) mà thôi. Về cơ bản một mạng RNN có dạng như sau: 0 O © t-l 0, Địy v| V vị § vị § - 0 > 4 W =p - 04 y0 5 KY >) Unfold W W U U lo lu x a x, x 1 t+l Hình 1. 2: Mô tả về quá trình hoạt động của RNN Mô hình trên mô tả phép triên khai nội dung của một RNN.
Triển khai ở đây có thé hiểu đơn giản là ta vẽ ra một mạng no-ron chuỗi tuần tự. Ví dụ: ta có một câu gồm 9 chữ “ Thúy Kiều và Thúy Vân là hai chị em ”, thì mạng nơ-ron được triển khai sẽ gồm 9 tầng nơ-ron tương ứng với mỗi chữ một tầng. Lúc đó việc tính toán bên trong RNN được thực hiện như sau: - xtla đầu vào tại bước t. Ví dụ, x1 là một vec-tơ one-hot tương ứng với tt thứ 2 của câu (Kiều).
- st là trạng thái ấn tại bước t. Nó chính là bộ nhớ của mạng. st được tính toán dựa trên cả các trạng thái ân phía trước và đầu vào tại bước đó: st = f(U(xt) + W(st-1)). Hàm f thường là một hàm phi tuyến tính như tang hyperbolic (tanh) hay ReLu.
Đề làm phép toán cho phan tử 4n đầu tiên ta cần khởi tạo thêm s—1, thường giá trị khởi tạo được gắn bang 0. - ot là đầu ra tại bước t. Ví dụ: ta muốn dự đoán từ tiếp theo có thể xuất hiện trong câu thì ot chính là một vec-tơ xác xuất các từ trong danh sách từ vựng của ta: ot=softmax(Vst). Trong lĩnh vực xử lý ngôn ngữ tự nhiên (NLP - Natural Language Processing) đã ghi nhận được nhiều thành công của RNN cho nhiều vấn đề khác nhau.
Tại thời điểm này, tôi muốn đề cập tới một mô hình phô biến nhất được sử dụng của RNN là LSTM. LSTM (Long Short-Term Memory) thê hiện được sự ưu việt ở điểm có thể nhớ được nhiều bước hơn mô hình RNN truyền thống. Nhưng bạn không cần phải quá lo lắng vì LSTM về cơ bản giống với cấu trúc của RNN truyền thống, chúng chỉ khác nhau ở cách tính toán của các nút ân. Theo nghiên cứu và đánh giá của RNN và LSTM có thể thấy răng RNN và LSTM hoạt động dự đoán dựa trên ngữ cảnh của những dữ liệu từ, những từ trước đó so với từ hiện tại, nhưng lại không xét những từ sau đó.
Điều này gây ra một số van dé làm ảnh hưởng đến kết quả dự đoán. Chúng ta sẽ xét qua ví dụ sau dé thay rõ hơn: Ví du: Có 2 cau: A: “Hôm nay tôi mang 20 triệu. B: “Hôm nay tôi mang 20 triệu. Dựa vào 2 câu trên ta có thê thay ở câu A việc biệt được từ phía sau là từ nào thì việc xác định của từ trong dâu “.” được dê dàng hơn rât nhiêu so với câu B.
BiLSTM BiLSTM (Bidirectional Long Short-Term Memory) là một mô hình mang nâng cấp dựa trên mang LSTM. Thay vì chi quan tâm đến ngữ cảnh nằm ở trước từ được xét như LSTM thì BiLSTM còn có thé quan tâm đến ngữ cảnh của những từ sau từ được xét. Mô hình làm được như vậy bởi vì nó sử dụng 2 mô hình LSTM cho 2 chiều phải và trái [5]. Ngoài ra vì cốt lõi vẫn là LSTM nên BiLSTM được thừa hưởng hết những đặc tính của LSTM.
Với sự nâng cấp trên, mô hình BiLSTM rất thích hợp đề áp dụng để giải bài toán của chúng tôi. Hướng nghiên cứu chính của khóa luận Luận văn của chúng tôi được phát trién dựa trên mô hình mạng BiLSTM. Dựa vào BiLSTM chúng tôi tạo ra một bộ dữ liệu mà trong đó mỗi dòng dữ liệu của chúng tôi sẽ chứa các thông tin của từ phía trước và từ phía sau của từ được xét. Nhưng thay vì quan tâm hết tất cả thì chúng tôi sẽ xét cứng có bao nhiêu dữ liệu được quan tâm so với một từ được xét.
Điều này giúp tăng tốc độ xử lí và trong quá trình huấn luyện máy có thê học được nhiều hơn. Dưới đây là 2 ví dụ so sánh giữa BILSTM và hướng nghiên cứu của chúng tôi: Ví dụ 1: Cách làm việc của model BiLSTM: DỮ KIÊN PHÍA TRƯỚC VÀ PHÍA SAU Hình 1. 4: Mô tả cách thức hoạt động cua BiLSTM, mô hình sé dùng hai LSTM để thu thập thông tin về những từ đứng trước và đứng sau từ “năng” nhằm xác định ngữ cảnh của từ trong câu. Ví dụ 2: Cách xây dựng bộ dữ liệu của luận văn bằng cách lấy thông tin về ba từ đứng trước và ba từ đứng sau của từ “năng” nhăm xác định ngữ cảnh của từ trong câu.
J Điểm nổi bật của Trend Micro Titanium Bo là khi|nâng hoạt động mượt] mà trên cả những hệ thống có cấu hình không quá mạnh. DỮ KIÊN PHÍA TRƯỚC VÀ PHÍA SAU Hình 1. 5: Mô tả cách thức xây dựng bộ dữ liệu. CHƯƠNG 2: CƠ SỞ VÀ PHƯƠNG PHÁP NGHIÊN CỨU 2.
Sơ lược về bộ dữ liệu sử dụng trong luận văn 2. Sơ lược về bộ dữ liệu Như đã nói ở trên, cách để tạo ra bộ dữ liệu là phương pháp nghiên cứu chính của đự án. Dựa trên nguyên lí hoạt động của mô hình mạng BILSTM, chúng tôi áp dụng và điều chỉnh đề tạo ra bộ dữ liệu và đưa bài toán của chúng tôi về bài toán phân lớp (Classification). Dựa trên những mẫu báo, mẫu truyện được trích xuất và đưa qua VnCoreNLP dé có thé lay được những thông tin cần thiết cho việc tái lập ngữ cảnh của từ được xét.
Dưới đây là quy trình thiết lập ra bộ dữ liệu: Trích xuất những thông tin cân thiệt và dán nhãn cười Văn học Việt Nam Hình 2. 1: Sơ đô mô tả về quá trình tạo ra bộ dữ liệu cho luận văn 2. Tìm hiểu về VnCoreNLP VnCoreNLP là một đường dẫn chú thích Java NLP cho tiếng Việt. Nó hỗ trợ các tác vụ xử lý ngôn ngữ tự nhiên (NLP) chính bao gồm phân đoạn từ, gắn thẻ một phần giọng nói (POS), nhận dạng thực thể được đặt tên (NER) và phân tích cú pháp phụ thuộc, đồng thời thu được các kết quả hiện tại (SOTA) cho những nhiệm vụ [6].
Việc phát hành VnCoreNLP dé cung cap các chú thích ngôn ngữ 10 phong phú nhằm tạo điều kiện thuận lợi cho công việc nghiên cứu về NLP Việt Nam. im hd es +r O-Q-- #6 ®@ 2+ ff Package Explorer $3 =. ØìVnCoreNLPExamplejava #3 E=ẲẰ© = # import vn.