MỞ ĐẦU Kho ngữ liệu với các chú giải cú pháp (treebank) là một thành phần đóng vai trò quan trong lĩnh vực xử lý ngôn ngữ tự nhiên. Trong lĩnh vực xử lý ngôn ngữ tự nhiên có rất nhiều bài toán cần đến kho ngữ liệu nhƣ: dịch tự động, phân tích dữ liệu văn bản, nhận dạng tiếng nói, tìm kiếm thông tin,. Để xây dựng đƣợc kho ngữ liệu, các nhà khoa học thực hiện qua hai pha. Pha 1 xây dựng một bộ dữ liệu tự động.
Tại pha 1 này các nhà khoa học thƣờng sử dụng các ứng dụng, chƣơng trình máy tính để thực hiện tự động các tác vụ nhƣ: tách câu, tách từ, gán nhãn cú pháp. Pha 2: Tinh chỉnh dữ liệu. Tuy nhiên để có đƣợc một kho ngữ liệu hữu dụng thì các nhà khoa học cần phải đầu tƣ rất nhiều thời gian, công sức để tinh chỉnh lại dữ liệu đã đƣợc tạo ở pha 1. Một trong những khó khăn hiện nay trong việc tinh chỉnh kho ngữ liệu là phƣơng pháp tìm kiếm thông tin hiệu quả trên kho ngữ liệu và các công cụ hỗ trợ để tìm kiếm.
Luận văn này là một nỗ lực trong việc đề xuất giải pháp tìm kiếm trên kho ngữ liệu bằng việc chuyển đổi và sử dụng định dạng PML và sử dụng ngôn ngữ truy vấn PML-TQ cùng công cụ hỗ trợ việc tìm kiếm TrEd. Ƣu điểm của giải pháp này là có thể tìm kiếm trên nhiều định dạng Treebank khác nhau theo một cách thống nhất. Đồng thời luận văn cũng đƣa racác đặc điểm ngữ pháp tiếng Việt, các đặc trƣng về mặt ngữ pháp cùng với các câu hỏi truy vấn liên quan đƣợc phát biểu dƣới dạng không hình thức bằng ngôn ngữ tự nhiên. Sau đó câu hỏi này đƣợc chuyển đổi thành các câu lệnh truy vấn hình thức bằng ngôn ngữ PML-TQ để thực hiện tìm kiếm thông tin với công cụ TrEd.
LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com 8 CHƢƠNG 1 TỔNG QUAN 1.1 Các bài toán về xử lý ngôn ngữ tự nhiên Xử lý ngôn ngữ tự nhiên là một lĩnh vựcliên ngành bao gồm khoa học máy tính, trí tuệ nhân tạo, ngôn ngữ học để giải quyết vấn đề tƣơng tác, trao đổi thông tin giữa con ngƣời với các hệ thống máy tính thông qua ngôn ngữ tự nhiên. Do đó xử lý ngôn ngữ tự nhiên cũng liên quan tới lĩnh vực tƣơng tác ngƣời-máy. Xử lý ngôn ngữ tự nhiên hiện nay còn rất nhiều khó khăn,thách thức cần giải quyết đó chính là các vấn đề liên quan tới việc hiểu ngôn ngữ tự nhiên – có nghĩa là cho phép máy tính có thể hiểu đƣợc ý nghĩa mà con ngƣời cần truyền đạt trong các văn bản hoặc các đầu vào khác là ngôn ngữ tự nhiên. Lịch sử của xử lý ngôn ngữ tự nhiên bắt đầu vào thập niên 1950.
Vào năm 1950, Alan Turing đã xuất bản một bài báo với tựa đề “Máy tính và tính thông minh” theo đó ông đã đề xuất một thủ tục gọi là Bộ kiểm tra Turing để phục vụ việc phân loại, đánh giá mức độ thông minh của máy tính. Kể từ đó đến nay đã có rất nhiều phƣơng pháp, giải thuật đã đƣợc nghiên cứu, đề xuất để giải quyết các bài toán liên quan đến vấn đề xử lý ngôn ngữ tự nhiên. Một trong những phƣơng pháp điển hình đó là phƣơng pháp máy học. Dƣới đây là một số bài toán điển hình trong lĩnh vực xử lý ngôn ngữ tự nhiên: Tóm tắt tự động: Sinh ra các bản tóm tắt nội dung có nghĩatừ một chuỗi các văn bản.
Bài toán này thƣờng đƣợc áp dụng để sinh ra các bản tóm tắt từ một văn bản với khuôn dạng định sẵn nhƣ: các bài viết trong mục tài chính của một tờ báo. Dịch tự động: Tự động dịch một văn bản từ một ngôn ngữ này sang một ngôn ngữ khác. Đây là một trong những bài toán khó, và nó thuộc vào phân lớp “trí tuệ nhân tạo toàn diện” (AI-complete) bởi vì để thực hiện đƣợc nó cần rất nhiều các kiến thức có liên quan tới việc nhận thức của một con ngƣời nhƣ: ngữ pháp, ngữ nghĩa, các sự thực hiển nhiên trong thế giới thực… LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com 9 Nhận dạng chữ (OCR): Đây là bài toán giúp biến đổi từ một văn bản dạng hình ảnh thành dạng văn bản chữ thông thƣờng. Nhận dạng giọng nói: Cho một đoạn âm thanh của một ngƣời nói, xác định câu văn của lời nói đó.
Bài toán này ngƣợc với bài toán chuyển đổi văn bản thành lời nói và nó thuộc một trong những bài toán cực khó của lớp bài toán “Trí tuệ nhân tạo toàn diện”. Đối với lời nói tự nhiên thì hầu nhƣ không có điểm dừng trong khi nói, do vậy phân tách lời nói là một bài toán nằm trong bài toán nhận dạng giọng nói. Thêm vào đó khi nói các từ có thể bị trộn vào nhau do có sự luyến âm do việc biến đổi từ các tín hiệu tƣơng tự thành các từ đơn lẻ là một công việc rất khó. Trả lời câu hỏi tự động: Cho một câu hỏi dƣới dạng ngôn ngữ tự nhiên và đƣa ra câu trả cho câu hỏi đó.
Các câu hỏi thông thƣờng thƣờng có câu trả lời xác định nhƣ “Thủ đô của Việt Nam tên là gì?” tuy nhiên cũng cần phải xử lý cả những câu hỏi mở nhƣ “Ý nghĩa của cuộc đời là gì?” Phân tích mối liên hệ: bài toán này liên quan đến một loạt các bài toán nhỏ hơn. Một trong những bài toán đó là việc xác định cấu trúc của các đoạn văn bản đƣợc nối với nhau. Ví dụ nhƣ mối liên hệ giữa các câu nhƣ:câu bổ nghĩa,câu giải thích, câu đối lập. Một bài toán khác nữa đó là nhận diện và phân loại câu trong chuỗi văn bản nhƣ: câu hỏi có-không, câu hỏi về nội dung, câu trần thuật, câu khẳng định… Phân tíchhình thái từ (morphological segmentation): Chia tách các từ thành các đơn vị từ nguyên tử (morpheme) và xác định phân loại cho các đơn vị từ đó.
Mức độ khó của vấn đề này phụ thuộc nhiều vào độ phức tạp hình thái từcủa một ngôn ngữ cụ thể (cấu trúc của từ là một ví dụ).Đối với tiếng Anhthì hình thái từ tƣơng đối đơn giản. Ví dụ từ “open” có thể có các hình thái từ nhƣ “open, opens, opened, openning”. Do đó bài toán xử lý này đối với tiếng Anh tƣơng đối đơn giản vì chúng ta có thể mô hình hóa hình vị từ thành các từ riêng lẻ. Tuy nhiên đối với các ngôn ngữ khác, ví dụ ngôn ngữ Thổ Nhĩ Kỳ, thì cách tiếp cận này là không thể do mỗi một từ có thể có có hàng ngàn hình dạng từ khác nhau.
LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com 10 Nhận dạng tên riêng: Giả sử có một chuỗi văn bản, cần xác định xem những thành phần nào trong văn bản đó tƣơng ứng với các tên riêng, ví dụ nhƣ tên ngƣời hay tên địa điểm, đồng thời xác định phân loại cho thành phần đó, ví dụ nhƣ ngƣời, địa điểm, tổ chức. Trong tiếng Anh việc sử dụng thông tin các tên riêng thƣờng đƣợc bắt đầu bằng chữ cái viết hoa để nhận dạng thành phần tên riêng tuy nhiên thông tin này không thể dùng để xác định phân loại cho tên riêng đó. Trong khi đó đối với một số ngôn ngữ khác nhƣtiếng Trung Quốc, tiếng Ả-rập thì không có chữ cái viết hoa. Thêm nữa có những ngôn ngữ nhƣ tiếng Đức thì cũng không thể dùng thông tin chữ cái viết hoa để làm thông tin nhận dạng thành phần tên riêng vì trong tiếng Đức thì tất cả các danh từ đều bắt đầu bằng chữ hoa, mà không quan tâm danh từ đó có liên quan đến tên riêng hay không.
Gán nhãn từ loại: Cho một câu, xác định từ loại của từng từ trong câu. Tuy nhiên trong thực tế tùy vào ngôn ngữthì một từ có thể là từ loại này hoặc từ loại khác tùy vào ngữ cảnh. Ví dụ trong tiếng Việt thì từ “đá” có thể mang nghĩa của một động từ hoặc là danh từ. Do đó bài toán này có nhiều khó khăn khi phải xử lý vấn đề nhập nhằng trong ngôn ngữ.
Phân tích cú pháp: Xây dựng cây cú pháp của một câu cho trƣớc. Do ngữ pháp của ngôn ngữ tự nhiên thƣờng chứa đựng yếu tố nhập nhằng và một câu văn thƣờng có thể có nhiều hơn một ý nghĩa. Vì vậy trong thực tế, một câu có thể có hàng ngàn cách phân tích cú pháp. Phân tích tính cảm xúc: Trích xuất các thông tin quan trọng từ một tập các văn bản để xác định “tính phân cực” (chiều hƣớng cảm xúc, ý nghĩ) của các đối tƣợng cụ thể.
Điều này đặc biệt hữu ích trong việc xác định xu hƣớng của các ý kiến đƣợc công khai trên các mạng xã hội và nó cũng giúp ích cho các hoạt động tiếp thị. Phân tách và nhận dạng chủ đề: Cho một chuỗi văn bản, tách nó thành các văn bản theo chủ đề và xác định chủ đề của các văn bản đó. Phân tách từ: Phân tách một chuỗi văn bản liên tục thành các từ riêng lẻ. Đối với ngôn ngữ nhƣ tiếng Anh, thì đây là việc đơn giản, do các từ LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com 11 thƣờng đƣợc phân tách bởi khoảng trống.
Tuy nhiên đối với một số ngôn nhƣ: Trung Quốc, Nhật Bản, Thái Lan thì các từ không đƣợc phân tách theo cách trên. Do đó công việc phân tách từ đối với các ngôn ngữ này là một công việc đòi hỏi việc kết hợp các kiến thức liên quan tới từ vựng, hình thái của từ trong ngôn ngữ cụ thể. Giải quyết vấn đề nhập nhằng nghĩa của từ: Đối với từ có nhiều hơn một nghĩa, chúng ta thƣờng chọn nghĩa phù hợp nhất tùy thuộc vào ngữ cảnh. Đối với bài toán này, chúng ta thƣờng cho ra một danh sách các từ và các nghĩa tƣơng ứng.
Hiểu ngôn ngữ tự nhiên: Chuyển đổi một tập các văn bản thành một dạng thông tin hình thức, ví dụ nhƣ cấu trúc logic bậc 1 mà các chƣơng trình máy tính có thể sử dụng đƣợc. Bài toán hiểu ngôn ngữ tự nhiên liên quan đến việc xác định đƣợc ý nghĩa cần truyền tải là gì trong số các ngữ nghĩa có thể có của một văn bản. Giải pháp xây dựng một metamodel (mô hình siêu đặc tả) cho ngôn ngữ và ontology (bộ dữ liệu mô tả nhận thức của con ngƣời về thế giới tự nhiên và xã hội) có thể là hiệu quả tuy nhiên đây chỉ là những giải pháp mang tính kinh nghiệm.