Luận Văn Tốt Nghiệp Về Nhận Dạng Ngôn Ngữ

Nhận dạng ngôn ngữ (pattern recognition) là một ngành thuộc lĩnh vực học máy (machine learning). Mục đích là phân loại dữ liệu (mẫu) dựa trên kiến thức tiên nghiệm hoặc thông tin thống kê từ các mẫu có sẵn. Mẫu được biểu diễn thành nhóm dữ liệu đo đạc, mỗi nhóm là một điểm trong không gian đa chiều. Quá trình nhận dạng dựa vào mẫu học trước gọi là học có thầy (supervised learning); ngược lại là học không có thầy (unsupervised learning).

Trong lý thuyết nhận dạng, có ba cách tiếp cận khác nhau: Nhận dạng dựa vào phân hoạch không gian, nhận dạng cấu trúc và nhận dạng dựa vào kỹ thuật mạng nơ-ron. Hai cách tiếp cận đầu là kỹ thuật kinh điển. Cách tiếp cận thứ ba dựa vào cơ chế đoán nhân, lưu trữ và phân biệt đối tượng mô phỏng theo hoạt động của hệ thần kinh con người. Các ứng dụng phổ biến là nhận dạng tiếng nói tự động, phân loại văn bản, nhận dạng mã bưu điện viết tay, hay hệ thống nhận dạng danh tính dựa vào mặt người.

Không gian biểu diễn đối tượng thường gọi tắt là không gian đối tượng X và được ký hiệu là: X ={X1,X2,.,Xn} trong đó mỗi Xi biểu diễn một đối tượng. Không gian này có thể là vô hạn. Để tiện xem xét chúng ta chỉ xét tập X là hữu hạn. Ví dụ, trong xử lý ngôn ngữ tự nhiên (NLP), một văn bản có thể được biểu diễn bằng vector các từ hoặc các đặc trưng ngữ nghĩa.

Không gian diễn dịch là tập các tên gọi của đối tượng. Kết thúc quá trình nhận dạng, ta xác định được tên gọi cho các đối tượng trong tập không gian đối tượng hay nói là đã nhận dạng được đối tượng. Một cách hình thức gọi là tập tên đối tượng: ={w1,w2,.,wk} với wi, i =1,2,.,k là tên các đối tượng: Quá trình nhận dạng đối tượng là một ánh xạ f: X với f là tập các quy luật để định một phần tử trong X ứng với một phần tử .

Mô hình tham số sử dụng một vectơ để đặc tả đối tượng, mỗi phần tử của vectơ mô tả một đặc tính của đối tượng. Thí dụ như trong các đặc trưng chức năng, người ta sử dụng các hàm cơ sở trực giao để biểu diễn. Và như vậy ảnh sẽ được biểu diễn bởi một chuỗi các hàm trực giao. Giả sử C là đường bao của ảnh và C(i,j) là điểm thứ i trên đường bao, i = 1, 2, ., N (đường bao gồm N điểm).

Cách tiếp cận của mô hình này dựa vào việc mô tả đối tượng nhờ một số khái niệm biểu thị các đối tượng cơ sở trong ngôn ngữ tự nhiên. Để mô tả đối tượng, người ta dùng một số dạng nguyên thủy như đoạn thẳng, cung,. Chẳng hạn, một hình chữ nhật được định nghĩa gồm 4 đoạn thẳng vuông góc với nhau từng đôi một. Trong mô hình này người ta sử dụng một bộ kí hiệu kết thúc Vt, một bộ kí hiệu không kết thúc gọi là Vn.

Quá trình nhận dạng gồm 3 giai đoạn chính: Lựa chọn mô hình biểu diễn đối tượng, lựa chọn luật ra quyết định (phương pháp nhận dạng) và suy diễn quá trình học, học nhận dạng. Khi mô hình biểu diễn đã được xác định, có thể là định lượng (mô hình tham số) hay định tính (mô hình cấu trúc), quá trình nhận dạng chuyển sang giai đoạn học. Học là giai đoạn rất quan trọng. Thao tác học nhằm cải thiện, điều chỉnh việc phân hoạch tập đối tượng thành các lớp.

Kỹ thuật phân loại nhờ kiến thức biết trước gọi là học có thầy. Đặc điểm cơ bản của kỹ thuật này là người ta có một thư viện các mẫu chuẩn. Mẫu cần nhận dạng sẽ được đem đối sánh với mẫu chuẩn để xem nó thuộc loại nào. Thí dụ như trong một ảnh viễn thám, người ta muốn phân biệt một cánh đồng lúa, một cánh rừng hay một vùng đất hoang mà đã có các miêu tả về các đối tượng đó.

Kỹ thuật học này tự định ra các lớp khác nhau và xác định các tham số đặc trưng cho từng lớp. Học không có thày đương nhiên là khó khăn hơn. Một mặt, do số lớp không được biết trước, mặt khác những đặc trưng của các lớp cũng không biết trước. Kỹ thuật này nhằm tiến hành mọi cách gộp nhóm có thể và chọn lựa cách tốt nhất. Bắt đầu từ tập dữ liệu, nhiều thủ tục xử lý khác nhau nhằm phân lớp và nâng cấp dần để được một phương án phân loại.

Giả sử không gian đối tượng X được định nghĩa: X={Xi,i=1,2,.,m}, Xi là một vectơ. Người ta nói P là một phân hoạch của không gian X thành các lớp Ci, Ci X nếu: Ci Cj = với i j và Ci = X Nói chung, đây là trường hợp lý tưởng: tập X tách được hoàn toàn. Trong thực tế, thường gặp không gian biểu diễn tách được từng phần. Như vậy phân loại là dựa vào việc xây dựng một ánh xạ f: X P.

Để phân đối tượng vào các lớp, ta phải xác định số lớp và ranh giới giữa các lớp đó. Hàm phân lớp hay hàm phân biệt là một công cụ rất quan trọng. Gọi {g} là lớp các hàm phân lớp. Lớp hàm này được định nghĩa như sau: Nếu i ≠ k, gk(X)>gi(X) thì ta quyết định X lớp k. Như vậy để phân biệt k lớp, ta cần k-1 hàm phân biệt.

Nhận dạng ngôn ngữ đóng vai trò quan trọng trong dịch máy, giúp xác định ngôn ngữ nguồn để chọn mô hình dịch phù hợp. Trong chatbot, nó giúp hiểu ý định của người dùng bằng cách xác định ngôn ngữ và ngữ cảnh, từ đó đưa ra phản hồi chính xác.

Trong phân tích cảm xúc, nhận dạng ngôn ngữ giúp xác định ngôn ngữ của văn bản để sử dụng các mô hình phân tích phù hợp với ngôn ngữ đó. Trong giám sát truyền thông, nó giúp phân loại tin tức và bài viết theo ngôn ngữ, hỗ trợ việc theo dõi thông tin đa ngôn ngữ.