Chương 1 GIỚI THIỆU ĐỀ TÀI: giới thiệu về nhu cầu của việc đánh giá tiếng Anh tự động nói chung và kĩ năng viết nói riêng, mô tả bài toán chấm điểm bài luận tiếng Anh tự động, các tập dữ liệu và phương pháp đánh giá thường được sử dụng cho bài toán. − Chương 2 CƠ SỞ KIẾN THỨC: trình bày về các kiến thức cơ sở trong học sâu, các mô hình học sâu được xử dụng trong xử lý ngôn ngữ tự nhiên như Recurrent Neural Network, Long Short-Term Memory, cơ chế Attention, các mô hình ngôn ngữ hiện đại và các kĩ thuật tinh chỉnh (fine-tuning) mới. − Chương 3 CÁC CÔNG TRÌNH NGHIÊN CỨU LIÊN QUAN: tóm tắt về các công trình nghiên cứu liên quan, từ các công trình nghiên cứu sơ khai, đến các hướng tiếp cận hiện đại sử dụng các mô hình học sâu cho bài toán chấm điểm tự động bài luận tiếng Anh. Đây cũng 7 chính là nền tảng và cơ sở cho việc triển khai nghiên cứu và thực hiện luận văn của học viên.
− Chương 4 CÁC MÔ HÌNH ĐỀ XUẤT: mô tả cụ thể về mô hình tham khảo và các mô hình cải tiến được đề xuất dựa trên mô hình tham khảo cho bài toán chấm điểm tự động bài luận tiếng Anh. Bên cạnh đó, các kết quả thực nghiệm cho từng đề xuất cũng được trình bày. − Chương 5 KẾT LUẬN: tổng kết lại nội dung của luận văn, các đóng góp của luận văn, những vấn đề còn tồn đọng và các hướng nghiên cứu trong tương lai của bài toán chấm điểm tự động bài luận tiếng Anh. 8 Chương 2 CƠ SỞ KIẾN THỨC 2.
Bộ nhúng từ (Word Embedding) Máy tính chỉ có thể xử lý dữ liệu số, vì vậy cần thực hiện chuyển đổi ngôn ngữ tự nhiên thành dạng số. Việc biểu diễn từ dưới dạng giá trị số có ảnh hưởng vô cùng lớn đến độ chính xác của các mô hình học sâu AES nói riêng và NLP nói chung. Các kĩ thuật word embedding thực hiện ánh xạ các từ, hay tổng quát hơn là các token (có thể là kí tự, từ hoặc cụm từ), thành các vec-tơ mang giá trị thực trong một không gian vec-tơ nhiều chiều mà qua đó máy tính có thể thực hiện tính toán và dự đoán. Kĩ thuật biểu diễn đơn giản nhất chính là biểu diễn từ theo dạng one-hot vec-tơ như hình 2.1 hay dạng count-vectorizing như hình 2.
Tuy nhiên, vấn đề với các cách biểu diễn này chính là vec-tơ sẽ trở nên thưa khi số lượng từ là đáng kể trong các corpus lớn, từ đó không tối ưu về măt hiệu năng tính toán. Bên cạnh đó, các thông tin về ngữ cảnh, ngữ nghĩa, sự tương đồng giữa các từ không được thể hiện, từ đó không thích hợp cho các tác vụ downstream khác như phân loại văn bản, POS-tagging. Kĩ thuật Bag- of-Words (BoW) cũng là một dạng biến thể của one-hot encoding, dùng để biểu diễn thông tin của các thành phần lớn hơn như câu, văn bản thông qua việc tổng hợp các one-hot vec-tơ của các từ tồn tại trong câu, văn bản như hình 2. Một kĩ thuật khác cũng được sử dụng nhiều trong NLP hiện nay là Term Frequency-Inverse Document Frequency (TF-IDF).
Thành phần đầu tiên của kĩ thuật này là Term Frequency (TF), dùng để tính toán tần suất xuất hiện của một từ trong một văn bản hay tài liệu, Một từ có thể xuất hiện 9 Rome Paris Từ thứ n Rome = [1, 0, 0, 0, 0, 0, .1: One-hot encoding [ 'The', 'quick', 'brown', 'fox', 'jumps', 'over', 'the', 'lazy', 'dog' ] The quick brown fox jumps over lazy dog 2 1 1 1 1 1 1 1 Hình 2.2: Countvectorizing Mỗi cột là một từ trong từ điển Mỗi hàng là một tài liệu (document) [0, 1, 0, 0, 1, 1] [1, 0, 1, 0, 1, 0] Số lượng tài liệu [0, 0, 1, 1, 1, 0] Kích thước từ điển the red dog cat eats food the red dog 1 1 1 0 0 0 Hình 2.3: Bag-of-Words 10 nhiều lần trong nhiều tài liệu lớn hơn so với cái tài liệu nhỏ. Vì vậy, TF được tính bằng tỉ số giữa số lần xuất hiện của nó và tổng số từ trong tài liệu. Tuy nhiên, nếu chỉ xét mỗi TF thì các từ xuất hiện nhiều nhưng ít ý nghĩa như các từ ’the’, ’an’, ’and’ sẽ có ảnh hưởng lớn hơn. Để giảm mức độ ảnh hưởng của các từ này, TF-IDF được sử dụng.
Thành phần IDF có vai trò giảm ảnh hưởng của các từ xuất hiện nhiều bằng cách lấy nghịch đảo tần số xuất hiện của tài liệu chứa một từ cụ thể. TF-IDF được xác định bằng công thức: D T F − IDF(t, d, D) = T F(t, d) × log( ) (2.1) d ft trong đó t biểu diễn các từ, d biểu diễn tài liệu, D biểu diễn tập hợp các tài liệu, và tổng số lượng tài liệu có chứa từ t được biểu diễn thông qua d ft. Tuy nhiên, cũng giống các kĩ thuật trước, TF-IDF không bắt được các thông tin về thứ tự của từ, ngữ nghĩa hay cú pháp. Vì vậy, TF-IDF phù hợp để sử dụng như một đặc trưng về từ vựng.
Các mô hình word embedding được xem là kĩ thuật biểu diễn nâng cao, sử dụng mạng neuron nhân tạo để học một cách không giám sát biểu diễn của các từ mà có xem xét thông tin về ngữ nghĩa, cú pháp của các từ tương ứng, nghĩa là các từ có nghĩa giống nhau sẽ có biểu diễn giống nhau. Một từ khi đi qua word embedding sẽ được ánh xạ thành một vec-tơ N chiều với các giá trị liên tục. Hai giải thuật phổ biến được sử dụng trong word embedding là GloVe và Word2Vec. Mô hình Word2Vec được phát triển bởi Tomas Mikolov [15].
Mô hình này có kiến trúc đơn giản, chỉ sử dụng hai lớp mạng neuron ẩn (Fully Con- nected Layer) và không có hàm phi tuyến nào để tạo ra một vec-tơ biểu một từ. Mô hình này có hai kiến trúc mô hình con là Continuous Bag of Words (CBOW) và Skip-gram, được mô tả như hình 2. Để có được biểu diễn tốt nhất của từ, cần huấn luyện mô hình trên một corpus thật lớn. Mô 11 hình CBOW sẽ nhận đầu vào là nhiều từ trong một khung cửa sổ nhất định và dự đoán từ trung tâm có quan hệ gần nhất với về mặt ngữ cảnh với các từ xung quanh.
Ngược lại, mô hình Skip-gram sẽ dự đoán những từ xung quanh trong một khung cửa sổ nhất định với đầu vào là từ trung tâm. So sánh giữa hai mô hình, CBOW nhanh hơn và biểu diễn tốt hơn những từ xuất hiện nhiều, trong khi Skip-gram biểu diễn hiệu quả hơn những từ xuất hiện ít. Đầu vào Tầng ánh xạ Đầu ra Đầu vào Tầng ánh xạ Đầu ra CBOW Skip-gram Hình 2.4: Kiến trúc của mô hình CBOW và mô hình Skip-gram Mô hình GloVe, được phát triển bởi Jeffery Pennington [1], là một phiên bản mở rộng và hiệu quả hơn của Word2Vec. Mô hình GloVe sử dụng co- occurrence matrix toàn cục, trong đó mỗi thành phần Xi j biểu diễn tần số đồng xuất hiện của cặp từ wi và w j trong một cửa sổ ngũ cảnh cục bộ (local context window) thích hợp.
Mô hình hoạt động trên ý tưởng đó là việc đồng xuất hiện của những từ trong một cửa sổ ngữ cảnh nhất định cũng đem lại nhiều thông tin ngữ nghĩa, ví dụ như từ solid thường xuất hiện cùng với từ ice hone là từ steam nhưng từ gas lại thường xuất hiện với từ steam hơn là 12 ice. Cũng giống với Word2Vec, GloVe hỗ trợ các bộ pretrained embedding với nhiều số chiều khác nhau (100, 200, 300). Hàm mục tiêu của Glove được mô tả qua công thức sau: V ′ ∑ f (Xk j )(wTk w j + bk + b j − logXk j ) (2.2) k, j=1 trong đó V là kích thước cửa từ điển, X là co-occurrence matrix, Xk j là tần số đồng xuất hiện cửa từ k và từ j, Xk là tổng số lần xuất hiện của từ k trong corpus, Pk j là xác suất từ j đồng xuất hiện với từ k, w là word ′ embedding có số chiều là d, w là context word embedding có số chiều d.6 mô tả mối quan hệ giữa những từ có ngữ nghĩa tương tự nhau.5: Mối quan hệ giữa nam và nữ của Glove [1] 13 Hình 2.6: Mối quan hệ giữa so sánh hơn và so sánh nhất của Glove[1] Cả 2 cách biểu diễn từ của Word2Vec và GloVe đều đơn giản, chính xác và biểu diễn được thông tin ngữ nghĩa của các từ. Tuy nhiên, chúng không thể học được cách biểu diễn những từ không có trong tập từ điển.
Cơ chế Attention và mô hình Transformer 2. Cơ chế Attention Cơ chế Attention, đề xuất bởi Bahdanau (2015) [2], được xem là một trong những cơ chế nền tảng cho nhiều mô hình học sâu hiện nay, đặc biệt là các mô hình ngôn ngữ (Language Model) và được áp dụng trong nhiều 14 bài toán khác nhau trong lĩnh vực NLP, nổi bật là bài toán dịch máy. Vì vậy, cơ chế Attention sẽ được giải thích trong ngữ cảnh của bài toán dịch máy sử dụng mô hình Seq2Seq để tổng quát hóa cho các bài toán NLP. Mô hình Seq2Seq [16] là một kiến trúc mạng neuron được xây dựng từ các mạng neuron cơ bản dựa trên mô hình RNN (Recurrent Neural Network).
Mô hình gồm hai thành phần là Encoder và Decoder. Phần Encoder đóng vai trò mã hóa dữ liệu đầu vào thành một vec-tơ biểu diễn trung gian (context vector), và phần Decoder sẽ sử dụng vec-tơ biễu diễn đó và hidden state trước đó để dự đoán đầu ra tại mỗi bước. Trong bài toán dịch máy, đầu vào là một câu ở ngôn ngữ nguồn, và đầu ra là câu dịch qua ngôn ngữ đích, được mô tả như hình 2. <START> Encoder Decoder Hình 2.7: Mô hình Seq2Seq trong bài toán dịch máy Mô hình này hoạt động tốt với các câu ngắn, nhưng trong trường hợp ngược lại, nếu câu đầu vào quá dài, mô hình phải mã hóa toàn bộ thông tin đó vào một vec-tơ nhất định, và sẽ không hoạt động tốt do thông tin sẽ bị mất mát với hiện tượng Vanishing Gradient ở các mạng RNN truyền thống, ngay cả đối với mô hình LSTM.
Chính vì vậy, Bahdanau đã đề xuất cơ chế Attention cho phép mô hình có thể tập trung vào những thành phần khác nhau từ đầu vào thay vì chỉ sử dụng context vec-tơ từ lớp cuối cùng của Encoder, giúp cho mô hình có khả năng nhớ được thông tin trong các câu 15 dài.8 mô tả cơ chế Additive Attention được đề xuất trong bài báo gốc. Theo đó, các đầu ra của từng cell qua từng bước trong phần Encoder kết hợp với hidden state của từng cell để tổng hợp ra một context vec-tơ và dùng nó làm đầu vào cho từng cell trong phần Decoder.