Chương 1 (chương hiện tại), tôi giới thiệu khái quát về đề tài luận văn, nêu rõ mục tiêu và phạm vi đề tài. Chương này giúp cho người đọc có cái nhìn toàn cảnh về luận văn. Ở những chương sau, tôi trình bày các kiến thức nền tảng, các công trình liên quan đến bài toán và chi tiết về mô hình xề xuất cũng như các thí nghiệm và kết quả đánh giá của mô hình. Cụ thể nội dung chính của mỗi chương như sau: Chương 2: Các công trình nghiên cứu liên quan Trong Chương 2, tôi trình bày khái quát về một số phương pháp tiếp cận giải quyết bài toán "Nhận dạng thực thể trong ngôn ngữ Tiếng Việt" Chương 3: Kiến thức nền tảng Chương 3 trình bày ngắn gọn các kiến thức, công nghệ nền tảng, cùng một số thư viện và công cụ được sử dụng trong quá trình nghiên cứu và hiện thực mô hình.
Chương 4: Phương pháp đề xuất Trong Chương 4, tôi trình bày các yêu cầu của bài toán "Nhận dạng thực thể", và đề xuất phương pháp giải quyết bài toán này. Chương 5: Hiện thực mô hình và kết quả thực nghiệm Chương này trình bày chi tiết về hiện thực của mô hình, các công cụ và thư viện sử dụng, các bước thực hiện, các phương pháp đánh giá và kết quả 3 thực nghiệm. Chương 6: Kết luận Trong chương cuối cùng, tôi tóm tắt kết quả đạt được trong quá trình làm luận văn, trình bày những đóng góp và hạn chế của luận văn, và đề xuất hướng phát triển tiếp theo. 4 Chương 2 CÁC CÔNG TRÌNH NGHIÊN CỨU LIÊN QUAN Hệ thống NER đã được nghiên cứu và phát triển rộng rãi trong nhiều thập kỷ, nhưng các hệ thống chính xác sử dụng mạng nơ-ron học sâu (DNN - deep neural network) như trong nghiên cứu (Lample, Ballesteros, Subra- manian, Kawakami, Dyer, 2016) [2] mới chỉ được giới thiệu trong khoảng mười lăm năm gần đây.
Trong những năm gần đây, các mô hình NER dựa trên mạng nơ-ron học sâu trở nên chiếm ưu thế và đạt được những kết quả tiên tiến nhất. So với các phương pháp tiếp cận dựa trên đặc trưng (feature- based), mô hình học sâu có lợi trong việc tự động khám phá các đặc trưng ẩn. Theo quá trình tìm hiểu chủ quan của bản thân, bài toán matching giữa người tìm việc và việc tìm người có chung mô hình với bài toán matching resume [3]. Vì vậy để dễ dàng cho việc tìm hiểu chúng ta có thể lọc ra một số nghiên cứu tiêu biểu về resume, để xem qua những phương pháp trích thông tin và có cái nhìn tổng quan về quá trình nghiên cứu của đề tài này.
Trong phạm vi nghiên cứu, tôi đã tìm hiểu được hai phương pháp: − Phương pháp tiếp cận dựa trên quy tắc (rule-based approach): Cụ thể là xài regex để nhận dạng các thực thể dựa trên các bộ quy tắc đã được định nghĩa trước, gán phần lớn nhãn như email, số điện thoại, mức lương, v. cho tập dữ liệu huấn luyện và kiểm thử. Sau đó, các nhãn đã được gán sẽ được kiểm tra lại thủ công và sửa lại cho đúng. Nhờ ứng dụng phương pháp này mà thời gian gán nhãn cho tập dữ liệu được rút ngắn đáng kể và công đoạn gán nhãn trở nên đơn giản hơn.
5 − Phương pháp tiếp cận dựa trên mạng nơ-ron học sâu: sau khi đã có bộ dữ liệu huấn luyện và kiểm thử hoàn hảo, ba mạng nơ-ron học sâu được áp dụng để huấn luyện và đánh giá hệ thống nhận dạng thực thể có tên. Đó chính mô hình BERT. Phương pháp tiếp cận dựa trên quy tắc (rule- based approach) Phương pháp tiếp cận dựa trên quy tắc không cần dữ liệu đã được chú thích hay gán nhãn vì chúng dựa trên các quy tắc được tạo thủ công để bắt các đặc trưng dựa trên các quy luật đã được định nghĩa trước. Phương pháp tiếp cận dựa trên quy tắc trong nhận dạng thực thể có tên hoạt động như sau: một tập các quy tắc / quy luật được định nghĩa sẵn hay tự động phát sinh.
Mỗi token trong văn bản sẽ được biểu diễn dưới dạng tập các đặc trưng. Văn bản đầu vào sẽ đem so sánh với tập quy tắc này, nếu quy tắc khớp thì sẽ thực hiện rút trích. Một quy tắc như vậy gồm khuôn mẫu (pattern) + hành động (action). Khuôn mẫu thường là regular expression định nghĩa trên tập đặc trưng của token.
Khi Khuôn mẫu này khớp thì hành động sẽ được kích hoạt. Chúng ta có thể tự lập trình các quy tắc của mình hoặc sử dụng 1 số thư viện hỗ trợ sẵn. Một trong những framework/thư viện khá nổi tiếng là Duckling của Facebook. Với hướng nghiên cứu về rule-based đề cập tới những kĩ thuật trích xuất thông tin cơ bản như phân tích văn bản (Text Analytics) kết hợp với rule- based và NER.
Bên cạnh đó những thông tin khi được trích xuất sẽ dùng kĩ thuật big data để thông tin đưa qua một lớp map-reduce để phân tách các cặp key-value liên quan tới các trường dữ liệu muốn trích xuất trong resume. Từ 6 đó đối chiếu với bộ dữ liệu công việc khổng lồ để tìm được công việc phù hợp cho ứng viên. Đối với cách tiếp cận Rule-based ta có kể đến một số phương pháp chính: − Dùng biểu thức chính quy. − Các từ gợi ý như: sau các từ ‘tại’ có thể là vị trí nơi làm việc.
− Tên phổ biến. − Cách viết tên người Bên cạnh đó có một số nghiên cứu dựa trên phương pháp ngữ nghĩa (Semantic-based) để trích xuất thông tin từ resume. Để có được kết quả tốt và cho ra một pipeline hoàn thiện. Cụ thể phương pháp mà nghiên cứu này đề xuất tới là dùng các kĩ thuật như phân tích từ vựng (lexical analysis) sau đó sử dụng phân tích ngữ pháp (syntactic analysis) tận dụng cây phân tích (parse tree) để xác định cú pháp tiếp theo là dùng kĩ thuật phân tích ngữ nghĩa để xác định nghĩa của từ và cuối cùng là kết hợp chúng lại (compile) để xác định từng thực thể trong resume.
Từ đó có thể rút trích được những thông tin mong muốn. Phương pháp mạng nơ-ron học sâu (Collobert, Weston, 2008) đã đề xuất một trong những kiến trúc mạng nơ-ron đầu tiên cho NER, với các vectơ đặc trưng được xây dựng từ các đặc trưng trực quan (ví dụ: viết hoa của ký tự đầu tiên), từ điển và từ vựng. Không lâu sau đó, (Collobert, et al., 2011) [4] đã thay thế các vectơ đặc trưng được xây dựng theo cách thủ công này bằng các phép nhúng từ, là các biểu diễn của các từ trong không gian n chiều, thường được học qua các bộ sưu tập dữ liệu lớn không được gắn nhãn thông qua một quy trình không 7 giám sát như mô hình skip-gram. Các nghiên cứu đã chỉ ra tầm quan trọng to lớn của việc nhúng từ được huấn luyện trước đối với các hệ thống NER dựa trên mạng nơ-ron và tương tự đối với nhúng ký tự được huấn luyện trước trong các ngôn ngữ dựa trên ký tự như tiếng Trung Quốc.
Kiến trúc mạng nơ-ron học sâu hiện đại cho NER có thể được phân loại tùy thuộc vào biểu diễn của các từ trong một câu. Ví dụ: các biểu diễn có thể dựa trên các từ, ký tự, các đơn vị từ phụ khác hoặc bất kỳ sự kết hợp nào của những từ này. Kiến trúc mạng nơ-ron học sâu cấp độ từ cho bài toán NER Trong kiến trúc này, các từ của một câu được đưa ra làm đầu vào cho mạng nơ-ron hồi quy (RNN - Recurrent Neural Network) và mỗi từ được biểu diễn bằng cách nhúng từ của nó.1: Kiến trúc mạng nơ-ron học sâu cấp độ từ Mô hình mạng nơ-ron cấp độ từ đầu tiên được đề xuất bởi (Collobert, et al. Kiến trúc tương tự như kiến trúc được thể hiện trong hình ảnh trên, nhưng một lớp tích chập được sử dụng thay cho lớp Bi-LSTM và đầu ra của lớp tích chập đã được cấp cho lớp CRF để đưa ra dự đoán cuối cùng.
Các tác giả đạt được 89,59 % điểm F1 trên tập dữ liệu CoNLL 2003 bằng tiếng Anh, là một trong những hệ thống NER tốt nhất thời bấy giờ. Kiến trúc mạng nơ-ron học sâu cấp độ ký tự cho bài toán NER Trong mô hình này, một câu được coi là một chuỗi các ký tự. Trình tự này được chuyển qua một mạng nơ-ron hồi quy, dự đoán nhãn cho từng ký tự như ảnh bên dưới. Các nhãn ký tự được chuyển thành nhãn từ thông qua bước hậu xử lý.
Tiềm năng của mô hình mạng nơron học sâu cấp độ ký tự lần đầu tiên được nêu bật trong nghiên cứu (Kim, Jernite, Sontag, & Rush, 2016). Các tác giả đã sử dụng mạng nơ-ron tích chập (CNN) trên chuỗi ký tự của các từ và sau đó sử dụng một lớp khác của LSTM + softmax cho các dự đoán cuối cùng. Mô hình này được (Pham & Le, 2017) thực hiện cho NER Việt Nam và đạt 80,23 % điểm F1 trên tập dữ liệu tiếng Việt của (Nguyen, Nguyen, & Tran, 2016).2: Kiến trúc mạng nơ-ron học sâu cấp độ ký tự 9 Chương 3 CƠ SỞ KIẾN THỨC 3. Giới thiệu Word Representation Khác với các mô hình xử lý ảnh khi các giá trị đầu vào là cường độ màu sắc đã được mã hoá thành giá trị số trong khoảng [0, 255].
Mô hình xử lý ngôn ngữ tự nhiên có đầu vào chỉ là các chữ cái kết hợp với dấu câu. Làm sao chúng ta có thể mã hoá được những từ ngữ để làm đầu vào cho mạng nơron? Một trong các kĩ thuật để biểu diễn từ là kĩ thuật one-hot vectơ. Trước khi đi vào phương pháp biểu diễn, chúng ta cần làm rõ một số khái niệm: − Documents (Văn bản): Là tập hợp các câu trong cùng một đoạn văn có mối liên hệ với nhau. − Corpus (Bộ văn bản): Là một tập hợp gồm nhiều văn bản thuộc các đề tài khác nhau, tạo thành một nguồn tài nguyên dạng văn bản.
Một văn bản cũng có thể được coi là corpus của các câu trong văn bản. Các bộ văn bản lớn thường có từ vài nghìn đến vài trăm nghìn văn bản trong nó. − Character (kí tự): Là tập hợp gồm các chữ cái (nguyên âm và phụ âm) và dấu câu. Mỗi một ngôn ngữ sẽ có một bộ các kí tự khác nhau.
− Word (từ vựng): Là các kết hợp của các kí tự tạo thành những từ biểu thị một nội dung, định nghĩa xác định, chẳng hạn con người có thể coi là một từ vựng. − Dictionary (từ điển): Là tập hợp các từ vựng xuất hiện trong văn bản. 10 − Vocabulary (từ vựng): Tập hợp các từ được trích xuất trong văn bản. Tương tự như từ điển.
Trước khi biểu diễn từ chúng ta cần xác định từ điển của văn bản.