Chương 1: Tông quan. Trinh bày lý do chọn dé tài, khảo sát hiện trạng, mục tiêu, đối tượng và phạm vi nghiên cứu, công cụ xây dựng hệ thống, phương pháp thực hiện và bố cục báo cáo. Chương 2: Lý thuyết chung. Trình bày các lý thuyết cơ sở, phân tích và đánh giá các thuật toán chung, cơ bản.
Chương 3: Phương pháp nghiên cứu. Mô tả cách xử lý dữ liệu và chỉ tiết nguyên lý hoạt động của mô hình được chọn dé sử dụng xây dựng hệ thống hỏi đáp. Chương 4: Triển khai thực nghiệm. Mô tả ngắn gon công việc nghiên cứu khoa học đã tiến hành, các kết quả nghiên cứu khoa học và thực nghiệm, lựa chọn và áp dụng mô hình thích hợp vào việc xây dựng hệ thống.
Chương 5: Kết luận. Trình bày những kết quả đã đạt được, những đóng góp mới và những đê xuât mới, kiên nghị vê những hướng nghiên cứu tiép theo. CHƯƠNG 2: LÝ THUYET CHUNG Nội dung dung chương 2 chủ yếu đề cập đến các cơ sở lý thuyết sẽ được sử dụng trong quá trình nghiên cứu và xây dựng đề tài. Các hàm tính toán cơ bản và các phương pháp dé chuyền đổi văn ban sang dạng vector hay còn được gọi là các kỹ thuật nhúng từ cũng được nêu rõ.
Sau đó, các kỹ thuật này sẽ được đánh giá và chọn ra một cái tốt nhất đề tiến hành nghiên cứu chỉ tiết ở chương 3. Hàm Softmax Hàm softmax là một dạng tổng quát hóa của hàm Logistic, có đặc điểm là biến đổi một vector C chiều số thực về dạng một vector C chiều với các giá tri nằm trong khoảng [0, 1] và các giá trị này có tong bằng 1. Phương pháp này được sử dụng rộng rãi như một phương pháp phân lớp (classification). Hàm softmax có dạng: Trong đó: e Clà số chiều đầu vào.
° ai là phần tử thứ i sau khi biến đồi softmax, đại diện cho xác suất điểm dữ liệu rơi vào lớp i. e zi là phan tử thir i trong vector đầu vào, có thé mang giá trị âm hoặc dương, zi càng lớn thì aj càng lớn tức là xác suât dữ liệu rơi vào lớp i càng cao.064] và tổng các phần tử trong a = 0. Hàm mắt mát Cross Entropy Ham mat mát ding dé tính toán độ mat mát hay còn gọi là độ lỗi, tối thiểu sự khác nhau giữa đâu ra dự đoán và đâu ra thực sự. Cross Entropy giữa hai phân phối rời rạc p và q được định nghĩa như sau: Cc H(œ,q) =— > pilog(ai) Vi dụ so sánh ham cross entropy với ham bình phương khoảng cách, với C=2 va p có giá tri lần lượt là 0.1: So sánh giữa ham cross entropy và bình phương khoảng cách Nhận xét hình 2.1: Cả hai ham sé đều dat được giá trị nhỏ nhất khi q = p, GTNN là điểm màu xanh lục tại cùng hoành độ của hai hàm số.
Mặt khác, giá trị của hàm cross entropy rat cao tức độ mat mát rất cao khi q và p ở xa nhau so với hàm bình phương khoảng cách (q - p)’. Nhờ vậy, cross entropy được sử dụng rộng rãi khi tính khoảng cách giữa hai phân phối xác suất. Một số kỹ thuật nhúng từ Nhúng từ (word embedding) là một thuật ngữ trong Xử lý ngôn ngữ tự nhiên (NLP) chỉ các mô hình ngôn ngữ và các phương pháp mà ánh xạ các từ hoặc cụm từ sang dạng vector số (thường là số thực) trong một không gian vector. Không gian này bao gồm nhiều chiều và các từ trong không gian đó sẽ có vị trí gần nhau nếu chúng có cùng ngữ nghĩa (semantic) hoặc ngữ cảnh (context).
Một số phương pháp dé tạo nên ánh xạ này bao gôm dùng mạng no-ron, mô hình xác suât,. Word2Vec Word2Vec là một trong những kỹ thuật nhúng từ phô biến nhất sử dụng mang nơ-ron nông, được phát triển bởi Tomas Mikolov và cộng sự vào năm 2013 tại Google [1]. Nó là một mô hình học không giám sát, được huấn luyện từ kho ngữ liệu lớn. Word2Vec dựa trên giả thuyết phân phối (distributional hypothesis).
Giả thuyết phân phối cho răng các từ thường có các từ lân cận có xu hướng giống nhau về mặt ngữ nghĩa. Điều này giúp ánh xạ các từ tương tự về mặt ngữ nghĩa với các vector nhúng gần giống về mặt hình học. Hai mô hình xây dựng vector từ của Word2Vec là: ° Mô hình Continuous Bag-of-words (CBOW). e _ Mô hình Skip-gram.
Bài báo [2] đã đề xuất hai mô hình này nhằm làm cho việc huấn luyện nhúng dựa trên mạng nơ-ron hiệu quả hơn, áp dụng nhiều kỹ thuật để giảm chỉ phí tính toán và kế từ đó đã trở thành tiêu chuẩn thực tế dé phát triển tinh năng nhúng từ được huấn luyện trước. Bài báo đã sử dụng kho ngữ liệu Google News (corpus) dé huấn luyện nhúng từ. Kho ngữ liệu này chứa khoảng 6 tỷ tokens (từ hoặc cụm từ), nhưng đã được giới hạn lại còn khoảng một triệu các từ thường gặp nhất. Mô hình CBOW Phương pháp này dự đoán từ mục tiêu dựa vào các từ ngữ cảnh xung quanh nó trong một phạm vi nhất định.
\Input layer WwW VXN A % \ Hi dden layer- a layer \ — = X - a ms Jj V-dim Hinh 2.2: M6 hinh Continuous Bag-of-Words Hình 2.2 là mô hình CBOW ở dạng tong quát. CBOW hoạt động dựa trên việc dự đoán xác suất của một từ theo ngữ cảnh (một ngữ cảnh có thể gom một hoặc nhiều từ), với đầu vào là một hoặc nhiều vector one-hot có chiều dài là V (V là số lượng từ vựng trong từ điển), đầu ra sẽ là một vector xác suất cũng có chiều dài V, C là số từ ngữ cảnh, N là số nút (node) của lớp an (hidden layer) cũng chính là độ lớn của vector từ biểu thị, Wvxn là ma trận trọng số giữa lớp đầu vào (input layer) và lớp an hay còn gọi là trọng số input—hidden, trọng số giữa lớp ân và và lớp đầu ra (output layer) hay hidden—output là W?vxn. Vector đầu vào là vector one-hot, nghĩa là chỉ có một trong V node có giá tri 1, còn lại đều bằng 0. Cách thức hoạt động: ban đầu hai ma trận trọng số input—hidden va hidden—>output được khởi tao ngẫu nhiên, đầu vào sẽ được nhân với ma trận trọng số input—>hidden (tính trung bình các vector đầu vào đối với mô hình nhiều từ ngữ cảnh), kết quả gọi là kích hoạt ân (hidden activation), nhân tiếp kết quả này với ma trận trọng số hidden—>output và cuối cùng đưa vào một hàm softmax để ra được đầu ra là một vector xác suất.
Đầu ra này sẽ được so sánh với đầu ra mong muốn và tính toán độ lỗi (loss), dựa vào độ lỗi này mà mạng nơ-ron sé lan truyền ngược trở lại dé cập nhật các giá tri của các ma trận trọng số. Các trọng số của hidden—>output sau khi học xong sẽ được lay làm biêu diễn của các vector từ. Mô hình Skip-gram Skip-gram có cau trúc tương tự như CBOW, nhưng ngược lại, nó không dự đoán từ hiện tại dựa trên ngữ cảnh, thay vào đó nó lấy một từ làm đầu vào và dự đoán những từ ngữ cảnh của từ đó, Hình 2.3: M6 hinh Skip-gram Đầu vào cũng là vector one-hot, ma trận trọng 86 input—hidden (Wyxn) có ham kich hoat (active function) 1a tuyén tinh, con trong sỐ hidden—output (W’vxn) có hàm kích hoạt là softmax. Ở lớp dau ra, thay vì tính một phân phối đa thức, ta tính C phân phối da thức, mỗi dau ra chia sẻ chung ma trận trọng số hidden—output.
GloVe Vector toàn cầu cho biêu diễn từ (The Global Vectors for Word Representation), hay gọi tắt là GloVe, là một phần mở rộng của phương pháp Word2Vec, được phát triển bởi Pennington và cộng sự tại Stanford vào năm 2014. Các biểu diễn mô hình không gian vectơ cô dién của các từ được phát triển bằng cách sử dụng các kỹ thuật phân tích nhân tử ma trận như Phân tích ngữ nghĩa tiềm an (Latent Semantic Analysis) thực hiện tốt việc sử dụng thống kê văn bản toàn cục nhưng không tốt bằng các phương pháp đã học như Word2Vec trong việc năm bắt ý nghĩa. GloVe là một cách tiếp cận dé kết hợp cả thống kê toàn cầu của các kỹ thuật phân tích nhân tử ma trận với việc học dựa trên ngữ cảnh cục bộ trong Word2Vec. Thay vì sử dụng một cửa số dé xác định ngữ cảnh cục bộ, GloVe xây dựng một ma trận từ - ngữ cảnh toàn cục hoặc từ đồng xuất hiện bằng cách sử dụng mô hình bình phương nhỏ nhất có trọng số cụ thé nhằm sử dụng hiệu quả số liệu thống kê.
Kết quả là một mô hình học tập có thể dẫn đến việc nhúng từ tốt hơn. Ma trận đồng xuất hiện (Co-occurrence Matrix) Ma trận đồng xuất hiện có ưu điểm là bảo tồn mối quan hệ ngữ nghĩa giữa các từ, được xây dựng dựa trên số lần xuất hiện của các cặp từ trong cửa số ngữ cảnh (context window). Một cửa số ngữ cảnh được xác định bởi kích thước (s1ze) và hướng (direction) của nó. Vi dụ: Ta có “John is not fat.
John is slim.” với kích thước = 1 và hướng = xung quanh (hai bên). John 1S not fat slim John 0 2 0 1 0 is 2 0 1 0 1 not 0 1 0 1 0 fat 1 0 1 0 0 12 slim 0 1 0 0 0 Bảng 2.1: Vi dụ vé ma tran đồng xuất hiện (Co-occurrence MatrIx) 2. Global Vector (GloVe) GloVe là một trong những phương pháp mới dé xây dựng vector từ, nó cơ bản được xây dựng dựa trên ma trận đồng xuất hiện. GloVe có bản chất là xác suất, có tỷ SỐ sau: PŒ|D q) PŒ|j) Trong đó: e _ P(kli) là xác suất xuất hiện của từ & trong ngữ cảnh của từ i.
e P(k[/) là xác suất xuất hiện của từ k trong ngữ cảnh của từ j. Công thức của P(kli) là: pein - Xk. Xie Ki Ð gmxim Trong đó: ° Xik là sô lân xuât hiện của từ k trong ngữ cảnh của từ i (hoặc ngược lại). e =: Xi là sô lân xuât hiện cua từ i trong ngữ cảnh của toàn bộ các từ còn lại ngoại trừ ¿.
(Các giá tri này chính là các giá tri của ma trận đông xuât hiện) Ý tưởng chính của GloVe: độ tương tự ngữ nghĩa giữa hai từ i, j có thé được xác định thông qua độ tương tự ngữ nghĩa giữa từ k với mỗi từ i, j, những từ & có tính xác định ngữ nghĩa tốt chính là những từ làm cho phương trình (1)>>1 hoặc xấp xi bằng 0.