Nghiên Cứu Sinh Câu Miêu Tả Hình Ảnh Sử Dụng Mô Hình Ngôn Ngữ

Luận văn thạc sĩ nghiên cứu sinh câu miêu tả cho hình ảnh sử dụng mô hình ngôn ngữ, khảo sát thực trạng, phân tích nguyên nhân, đề xuất giải pháp cải thiện thực tiễn.

• Tác giả: Đào Bảo Linh
• Người hướng dẫn: PGS. TS Lê Anh Cường
• Trường học: Đại Học Quốc Gia Hà Nội
• Chuyên ngành: Công Nghệ Thông Tin
• Đề tài: Sinh Câu Miêu Tả Hình Ảnh Sử Dụng Mô Hình Ngôn Ngữ
• Loại tài liệu: luận văn
• Năm xuất bản: 2015
• Địa điểm: Hà Nội

Tóm tắt

I. Tổng Quan Nghiên Cứu Sinh Câu Miêu Tả Ảnh Ngôn Ngữ

Ngày nay, internet phát triển mạnh mẽ, việc chia sẻ dữ liệu đa phương tiện như hình ảnh trở nên phổ biến. Tuy nhiên, nhiều hình ảnh thiếu tiêu đề và mô tả, gây khó khăn cho việc tìm kiếm và khai thác thông tin. Do đó, nghiên cứu về sinh câu miêu tả ảnh tự động trở nên cấp thiết. Bài toán này kết hợp thị giác máy (Computer Vision) và xử lý ngôn ngữ tự nhiên (Natural Language Processing). Luận văn tập trung vào phát triển hệ thống miêu tả mối quan hệ và nội dung của hình ảnh dựa trên các đối tượng đã được nhận diện. Sử dụng mô hình ngôn ngữ và thuật toán tìm kiếm đường đi tối ưu Best-First Search (BFS).

1.1. Bài Toán Sinh Câu Tự Động Ý Nghĩa Thực Tiễn

Bài toán sinh câu miêu tả ảnh có ý nghĩa quan trọng trong nhiều ứng dụng thực tế. Nó có thể được sử dụng để xây dựng các hệ thống tự động miêu tả video, hỗ trợ người mù bằng cách miêu tả lại môi trường xung quanh, hoặc hỗ trợ robot tiếp thu tri thức về môi trường. Nghiên cứu này giúp cải thiện khả năng tìm kiếm và khai thác thông tin trên internet, đặc biệt đối với những hình ảnh thiếu hoặc có mô tả không chính xác.

1.2. Lịch Sử Nghiên Cứu Từ Image Parsing Đến Deep Learning

Nghiên cứu về sinh câu từ ảnh bắt đầu với kỹ thuật Image Parsing để phân đoạn ảnh thành các đối tượng. Các nghiên cứu sau đó tập trung vào sử dụng mô hình ngữ pháp thực nghiệm và mô hình ngôn ngữ. Gần đây, các phương pháp dựa trên deep learning và mạng nơ-ron tích chập (CNN) đã cho thấy hiệu quả vượt trội trong việc mô tả ảnh tự động.

1.3. Phạm Vi Nghiên Cứu Tập Trung Mô Hình Ngôn Ngữ

Luận văn này tập trung vào công đoạn sinh câu miêu tả ảnh từ các đối tượng đã được nhận diện. Sử dụng mô hình phát hiện đối tượng đã được huấn luyện trước. Luận văn trình bày các khái niệm về tập văn bản, mô hình ngôn ngữ N-gram, thuật toán tìm kiếm, và mô hình bài toán. Phần thực nghiệm trình bày kết quả trong điều kiện cụ thể.

II. Thách Thức Khi Xây Dựng Mô Hình Sinh Câu Miêu Tả Ảnh

Một thách thức lớn là làm thế nào để từ các từ rời rạc đã được nhận diện, bổ sung các từ khác để tạo thành một câu có nghĩa. Cần tìm ra câu có xác suất lớn nhất cho các đối tượng đã được nhận diện trong ảnh. Bài toán trở thành tìm đường đi tối ưu qua nhiều đỉnh (từ), với chi phí được tính dựa trên xác suất giữa các đỉnh. Việc tìm ra một câu có ý nghĩa và tối ưu về mặt thời gian và tài nguyên hệ thống là một vấn đề khó khăn.

2.1. Vấn Đề Ngữ Nghĩa Xây Dựng Câu Hợp Lý

Việc xây dựng một câu có nghĩa không chỉ đơn thuần là kết hợp các từ đã được nhận diện. Cần phải đảm bảo tính mạch lạc, đúng ngữ pháp và phù hợp với ngữ cảnh của hình ảnh. Điều này đòi hỏi mô hình phải có khả năng hiểu ngữ nghĩa và hiểu hình ảnh sâu sắc.

2.2. Vấn Đề Tính Toán Tối Ưu Hóa Hiệu Suất

Việc tìm kiếm câu có xác suất cao nhất có thể đòi hỏi duyệt qua một không gian tìm kiếm rất lớn. Cần phải sử dụng các thuật toán tìm kiếm hiệu quả để giảm thiểu thời gian tính toán và tài nguyên hệ thống. Các phương pháp như beam search có thể được sử dụng để giới hạn không gian tìm kiếm.

2.3. Vấn Đề Dữ Liệu Huấn Luyện Mô Hình Hiệu Quả

Chất lượng của mô hình sinh câu miêu tả ảnh phụ thuộc rất nhiều vào chất lượng và số lượng dữ liệu huấn luyện. Cần có một tập dữ liệu lớn và đa dạng các hình ảnh và các câu miêu tả tương ứng. Các kỹ thuật như augment data và transfer learning có thể được sử dụng để cải thiện hiệu suất của mô hình khi có ít dữ liệu.

III. Cách Áp Dụng Mô Hình Ngôn Ngữ N gram Sinh Câu Miêu Tả

Luận văn áp dụng mô hình ngôn ngữ N-gram để ước tính xác suất xuất hiện của một từ dựa trên N-1 từ trước đó. Mô hình này được huấn luyện trên một tập dữ liệu văn bản lớn chứa các câu miêu tả hình ảnh. Thuật toán Best-First Search được sử dụng để tìm kiếm câu có xác suất cao nhất, bắt đầu từ các đối tượng đã được nhận diện trong ảnh. Hàm chi phí được tính dựa trên giá trị xác suất giữa các từ.

3.1. Mô Hình Ngôn Ngữ N gram Nguyên Lý Hoạt Động

Mô hình ngôn ngữ N-gram ước tính xác suất của một chuỗi từ bằng cách phân tích tần suất xuất hiện của các chuỗi N từ trong một tập dữ liệu văn bản. N càng lớn, mô hình càng có khả năng nắm bắt các mối quan hệ ngữ pháp và ngữ nghĩa phức tạp hơn. Tuy nhiên, N lớn cũng đồng nghĩa với việc cần nhiều dữ liệu huấn luyện hơn.

3.2. Thuật Toán Best First Search Tìm Kiếm Tối Ưu

Thuật toán Best-First Search (BFS) là một thuật toán tìm kiếm đường đi sử dụng hàm đánh giá để ước tính chi phí từ một đỉnh hiện tại đến mục tiêu. Trong bài toán sinh câu miêu tả ảnh, hàm đánh giá có thể dựa trên xác suất của các từ tiếp theo theo mô hình ngôn ngữ. BFS tìm kiếm đường đi có chi phí thấp nhất.

3.3. Huấn Luyện Mô Hình Sử Dụng Tập Dữ Liệu Lớn

Việc huấn luyện mô hình ngôn ngữ hiệu quả đòi hỏi một tập dữ liệu lớn và đa dạng. Tập dữ liệu này nên chứa các hình ảnh và các câu miêu tả tương ứng. Các tập dữ liệu phổ biến bao gồm Microsoft COCO và Flickr8k. Quá trình huấn luyện có thể sử dụng các kỹ thuật như smoothing để tránh các vấn đề liên quan đến dữ liệu thưa thớt.

IV. Ứng Dụng Mạng Neural Tích Chập CNN Nhận Dạng Đối Tượng

Để hoàn thiện hệ thống, cần tích hợp mô hình nhận dạng đối tượng. Các mô hình hiện đại dựa trên mạng nơ-ron tích chập (CNN) cho phép nhận diện các đối tượng trong hình ảnh với độ chính xác cao. Mô hình R-CNN, Fast R-CNN, Faster R-CNN và YOLO là các ví dụ điển hình. Mô hình được huấn luyện trước từ các trung tâm nghiên cứu thị giác máy (như Berkeley) có thể được sử dụng.

4.1. Các Mô Hình CNN Phổ Biến R CNN Fast R CNN YOLO

Các mô hình CNN như R-CNN, Fast R-CNN và YOLO có kiến trúc và hiệu suất khác nhau. R-CNN là mô hình đầu tiên sử dụng CNN cho nhận dạng đối tượng, nhưng chậm. Fast R-CNN cải thiện tốc độ bằng cách thực hiện trích xuất đặc trưng trước khi đề xuất vùng. YOLO nhanh hơn nữa bằng cách dự đoán đối tượng và hộp giới hạn trong một lần qua mạng.

4.2. Trích Xuất Đặc Trưng Sử Dụng Mô Hình Pre trained

Quá trình trích xuất đặc trưng là bước quan trọng trong nhận dạng đối tượng. Các mô hình pre-trained (huấn luyện trước) trên các tập dữ liệu lớn như ImageNet có thể được sử dụng để trích xuất các đặc trưng hữu ích. Transfer learning cho phép chuyển kiến thức từ các mô hình đã được huấn luyện cho các nhiệm vụ tương tự, giảm thời gian huấn luyện và cải thiện hiệu suất.

4.3. Đánh Giá Hiệu Suất Nhận Dạng Độ Chính Xác Và Tốc Độ

Hiệu suất của mô hình nhận dạng đối tượng được đánh giá dựa trên độ chính xác (precision), độ phủ (recall) và tốc độ. Độ chính xác đo lường tỷ lệ các dự đoán đúng trong số tất cả các dự đoán. Độ phủ đo lường tỷ lệ các đối tượng thực tế được phát hiện. Tốc độ đo lường thời gian cần thiết để xử lý một hình ảnh.

V. Đánh Giá Kết Quả Thử Nghiệm Hệ Thống Sinh Câu Miêu Tả Ảnh

Hệ thống được đánh giá bằng các chỉ số như BLEU score, ROUGE score, CIDEr score và SPICE score. Các chỉ số này đo lường mức độ tương đồng giữa câu được sinh ra và các câu tham chiếu do con người viết. Kết quả thử nghiệm cho thấy hệ thống có khả năng sinh câu miêu tả ảnh khá tốt, mặc dù vẫn còn một số hạn chế về khả năng hiểu ngữ cảnh phức tạp.

5.1. Các Chỉ Số Đánh Giá Phổ Biến BLEU ROUGE CIDEr

BLEU (Bilingual Evaluation Understudy) đo lường độ chính xác của các N-gram trong câu được sinh ra so với các câu tham chiếu. ROUGE (Recall-Oriented Understudy for Gisting Evaluation) đo lường độ phủ của các N-gram trong câu được sinh ra so với các câu tham chiếu. CIDEr (Consensus-based Image Description Evaluation) đo lường sự tương đồng ngữ nghĩa giữa câu được sinh ra và các câu tham chiếu.

5.2. Phân Tích Kết Quả Điểm Mạnh Và Hạn Chế

Phân tích kết quả cho thấy hệ thống có khả năng sinh ra các câu miêu tả chính xác về các đối tượng trong hình ảnh. Tuy nhiên, hệ thống còn hạn chế trong việc hiểu các mối quan hệ phức tạp giữa các đối tượng và ngữ cảnh của hình ảnh. Ví dụ, hệ thống có thể gặp khó khăn trong việc mô tả các hành động hoặc cảm xúc.

5.3. Cải Thiện Hiệu Suất Các Hướng Nghiên Cứu Tương Lai

Các hướng nghiên cứu tương lai bao gồm việc sử dụng các mô hình ngôn ngữ phức tạp hơn như Transformer, cải thiện khả năng hiểu ngữ cảnh của hệ thống, và sử dụng các kỹ thuật học sâu đa phương thức (multi-modal deep learning) để kết hợp thông tin từ hình ảnh và văn bản một cách hiệu quả hơn. Cần chú trọng hơn vào semantic understanding và visual understanding.

VI. Kết Luận Hướng Phát Triển Cho Nghiên Cứu Sinh Câu Ảnh

Nghiên cứu đã trình bày một phương pháp sinh câu miêu tả ảnh tự động sử dụng mô hình ngôn ngữ N-gram và thuật toán Best-First Search. Hệ thống đã cho thấy tiềm năng trong việc tự động tạo ra các mô tả hữu ích cho hình ảnh. Các hướng phát triển trong tương lai bao gồm cải thiện khả năng hiểu ngữ cảnh và sử dụng các mô hình ngôn ngữ phức tạp hơn.

6.1. Tóm Tắt Đóng Góp Giải Pháp Hiệu Quả

Luận văn đã đóng góp một giải pháp hiệu quả cho bài toán sinh câu miêu tả ảnh. Sử dụng mô hình ngôn ngữ để tạo ra các câu có nghĩa và thuật toán Best-First Search để tối ưu hóa quá trình tìm kiếm. Hệ thống có thể được sử dụng trong nhiều ứng dụng thực tế, chẳng hạn như hỗ trợ người mù và cải thiện khả năng tìm kiếm hình ảnh.

6.2. Hướng Phát Triển Tích Hợp Deep Learning Đa Phương Thức

Hướng phát triển chính là tích hợp các kỹ thuật deep learning đa phương thức, kết hợp thông tin từ hình ảnh và văn bản một cách hiệu quả hơn. Điều này sẽ cho phép hệ thống hiểu ngữ cảnh của hình ảnh sâu sắc hơn và tạo ra các câu miêu tả chính xác và tự nhiên hơn.

6.3. Tầm Quan Trọng Của Nghiên Cứu Ứng Dụng Thực Tế

Nghiên cứu về sinh câu miêu tả ảnh có tầm quan trọng lớn trong nhiều lĩnh vực, từ hỗ trợ người khuyết tật đến cải thiện khả năng tìm kiếm thông tin. Các hệ thống tự động miêu tả hình ảnh có thể giúp mọi người tiếp cận thông tin một cách dễ dàng hơn và hiệu quả hơn.

Trích đoạn nội dung tài liệu

Chương 1. MÔ TẢ BÀI TOÁN 1. Bài toán và Ý nghĩa Nhận dạng đối tượng trong ảnh là bài toán khá quen thuộc với hầu hết những người làm nghiên cứu trong lĩnh vực khoa học máy tính nói chung, hay thị giác máy nói riêng, có rất nhiều phương pháp với các mục đích khác nhau đã được đề xuất nhằm nhận dạng khuân mặt, nhận dạng vị trí, nhận dạng đối tượng, trong đó nổi bật là các công trình nghiên cứu như: Pictorial structures Fishcher and Elschlager 1973 IEEE ( hình 1-1a), Eigenfaces Turk and Pentland 1991b( hình 1-1b), Real-time face detection Viola and Jones 2004, Springer( hình 1-1c), Instance (known object) recognition Lowe 1999 IEEE( hình 1-1d), Feature-based recognition Fergus, Perona, and Zisserman 2007( hình 1-1e), Region-based recognition Mori, Ren, Efros et al 2004 IEEE( hình 1-1f), Simultaneous recognition and segmentation Shotton, Winn, Rother et al 2009 Springer ( hình 1- 1g), Location recognition Philbin, Chum, Isard et al. 2007 IEEE( hình 1-1h), Using context Russell, Torralba, Liu et al.

Các nghiên cứu của thị giác máy liên quan tới vấn đề nhận dạng đối tượng [17].ngu 8 TIEU LUAN MOI download : [e-mail] Những năm gần đây nhiều nghiên cứu trong khoa học máy tính đang có những bước đột phá rõ rệt khi liên tục công bố các kết quả nghiên cứu về trí tuệ nhân tạo, cho phép tạo ra những hệ thống Robot có khả năng thu nhận thông tin từ môi trường tự nhiên và phân tích để đưa ra phản ứng phù hợp, ví dụ như Robot có khả năng gấp khăn, hay có thể giữ trạng thái thăng bằng trong các điều kiện tác động khác nhau, hay Robot có thể giao tiếp với con người bằng giọng nói và hành động. các hệ thống này được kết hợp từ các nghiên cứu trong các lĩnh vực riêng như: Thị giác máy, xử lý ngôn ngữ tự nhiên, trí tuệ nhân tạo., điều này cho thấy kết hợp các công trình nghiên cứu trong các lĩnh vực khác nhau đang phát huy hiệu quả, đặc biệt là mô phỏng khả năng của con người hiện đại, đó là khả năng nghe, nhìn, phân tích, hành động hoặc nói chuyện. Trong lĩnh vực thị giác máy các nghiên cứu cải tiến các hệ thống nhận dạng cũng đang phát triển mạnh mẽ, hiện nay trung tâm nghiên cứu thị giác máy thuộc trường đại học Berkeley đang phát triển hệ thống nhận dạng các đối tượng trong ảnh thông qua huấn luyện mô hình theo phương pháp Deep Learning, cụ thể năm 2013 một mô hình có tên mô hình R-CNN (R-CNN model) được phát triển cho phép nhận dạng các đối tượng trong hình ảnh, nhưng nhược điểm là hệ thống tiêu tốn tài nguyên và chậm chạp, ngay sau đó mô hình Fast R-CNN rút ngắn được thời gian, tới đầu năm 2015 họ công bố hệ thống Neural Talk, hệ thống cải tiến này có khả năng nhận dạng đối tượng trong ảnh và nhận dạng được cả hành động của các đối tượng đó. Từ đó có thể thấy rằng các hệ thống thông minh này đang có những bước cải tiến rõ rệt về hiệu năng cũng như chất lượng.

Việc sinh câu miêu tả cho hình ảnh được quy về bài toán tìm ra câu có xác suất lớn nhất có thể cho các đối tượng đã nhận dạng được trong ảnh. Vậy vấn đề đặt ra là làm thế nào để từ hai hay nhiều từ rời rạc mà ta có thể bổ sung các từ vào sao cho thành lập/sinh câu có ngữ nghĩa tốt? Chúng tôi nghiên cứu một phương pháp giải quyết bài toán sinh câu áp dụng phương pháp tìm đường đi tốt nhất giữa các đỉnh của đồ thị, trong đó mỗi đỉnh là 1 từ, và hàm chi phí được tính dựa trên giá trị xác suất giữa các đỉnh. Có thể thấy rằng, trong điều kiện cụ thể, chúng ta có đầu vào nhiều hơn 2 từ, vì thế cho nên bài toán được nâng lên thành tìm đường đi tối ưu qua nhiều đỉnh cho trước, chính vì thế việc tìm ra một câu có ý nghĩa và tối ưu được về mặt thời gian và tài nguyên hệ thống là vấn đề khó khăn có thể sẽ mất nhiều thời gian để có thể giải quyết được vấn đề này.ngu 9 TIEU LUAN MOI download : [e-mail] Đối với nghiên cứu khoa học, giải quyết bài toán này không chỉ có ý nghĩa trong phạm vi sinh câu miêu tả hình ảnh mà còn có ý nghĩa khi nghiên cứu vấn đề sinh câu miêu tả cho các đoạn phim ngắn bằng việc kết hợp hoặc xây dựng mô hình phát hiện đối tượng trong các đoạn phim đó tại các thời điểm khác nhau với kết quả nghiên cứu mà chúng tôi đã thực hiện. Đối với thực tiễn dựa trên những nghiên cứu về sinh câu miêu tả cho hình ảnh, chúng ta có thể xây dựng các hệ thống phục vụ cho đời sống con người như các hệ thống nhu có khả năng thu nhận hình ảnh và đưa ra câu miêu tả dưới dạng văn bản hoặc dạng giọng nói, như một người trợ lý.

Mặt khác trong thời đại bùng nổ của internet những nghiên cứu về sinh câu miêu tả cho hình ảnh cũng mở ra ý tưởng về hệ thống cho phép tìm kiếm hình ảnh thông qua các miêu tả có hiệu quả cao hơn, ngay cả đối với những hình ảnh có tên và mô tả mặc định hoặc không đúng với nội dung hình ảnh, giúp cho người sử dụng internet dễ dàng tiếp cận với tài nguyên khi cần thiết. Các nghiên cứu liên quan Nghiên cứu về sinh câu từ ảnh lần đầu tiên được nhóm tác giả B. Zhu đề xuất vào năm 2010. Ý tưởng của nghiên cứu này là từ bức ảnh đầu vào, áp dụng kỹ thuật Image Parsing để phân đoạn thành các đối tượng [5], mỗi đối tượng tiếp tục được phân chia thành nhiều thành phần, sau đó từ các biểu diễn ngữ nghĩa (semantic representation) sinh câu trong khi phải bảo đảm chính xác về mặt ngữ pháp.

Một nghiên cứu khác đã được công bố, thông qua một mô hình ngữ pháp thực nghiệm (experimental grammar model) để hình thành câu, với đầu vào là các keyphrases (cụm từ khóa), các keyphrases này được giả định là nhận được sau khi phân tích nội dung của ảnh [6]. Phương pháp này có ưu điểm là không cần phải phân loại thủ công theo các trường nhất định (các trường này có thể là các đối tượng, các hành động và khung cảnh) như các phương pháp đã được nghiên cứu trước đó. Mới đây nhất, năm 2015 một phương pháp tự động sinh câu miêu tả ảnh được đề xuất [7], quy trình sinh câu miêu tả được thực hiện thông qua 3 bước: Với đầu vào là 1 ảnh hệ thống sẽ phát hiện đối tượng và hành động, sinh câu và xếp hạng cho các câu, đầu ra là một câu miêu tả tốt nhất cho bức ảnh đầu vào. Phương pháp này có sử dụng một mô hình ngôn ngữ được huấn luyện từ các miêu tả của hơn 400.000 ảnh thuộc tập dữ liệu Microsoft COCO.ngu 10 TIEU LUAN MOI download : [e-mail] Ngoài ra còn có một vài nghiên cứu khác áp dụng chủ đề này cho miêu tả các đoạn video, qua nhiều năm các phương pháp được đề xuất đã có nhiều thay đổi, cho phép các hệ thống sinh câu gần với ngôn ngữ tự nhiên hơn, cụ thể là việc gần đây các nhà khoa học đã nghiên cứu về chủ đề này sử dụng các mô hình ngôn ngữ đem lại hiệu quả tốt hơn.

Nhận thấy hiệu quả của hướng tiếp cận mới, chúng tôi đã nghiên cứu một phương pháp sinh câu miêu tả cho hình ảnh, sử dụng mô hình ngôn ngữ tự nhiên. Phạm vi nghiên cứu của luận văn Ý tưởng chủ đạo của luận văn chúng tôi nghiên cứu là sinh câu miêu tả cho hình ảnh, vì vậy để có được kết quả chúng ta phải thực hiện cả công đoạn phát hiện đối tượng trong ảnh và sinh câu miêu tả từ các đối tượng đã được phát hiện, tuy nhiên một mặt là do hiện nay trong lĩnh vực thị giác máy các nhà nghiên cứu cũng đang nghiên cứu và đưa ra các mô hình tối ưu để phát hiện đối tượng, mặt khác do điều kiện cụ thể về thời gian cho nên chúng tôi quyết định sử dụng mô hình phát hiện đối tượng đã được huấn luyện từ trước như một giả thiết với đầu vào là một ảnh và đầu ra là các đối tượng/ nhãn để tập trung cho công đoạn 2, nghiên cứu phương pháp sinh câu từ các nhãn vừa thu được. Sau đó ghép 2 công đoạn lại sẽ là hệ thống tổng thể cho phép trả về kết quả là một câu tương ứng với hình ảnh đầu vào. Tuy nhiên do đặc thù của hệ thống khi cài đặt có sử dụng kết quả nghiên cứu mô hình phát hiện đối tượng, cho nên trong luận văn chúng tôi sẽ trình bày ở mức tìm hiểu, mục đích là để chúng ta có cái nhìn toàn diện hơn trên tổng thể hệ thống.

Luận văn sẽ trình bày những nội dung sau: Khái niệm về tập văn bản, mô hình ngôn ngữ và phương pháp đánh giá, sau đó là các thuật toán tìm kiếm đặc trưng như thuật toán tìm kiếm theo chiều rộng, tìm kiếm theo chiều sâu và thuật toán tìm kiếm theo lựa chọn tốt nhất. Ngoài ra, chúng tôi cũng trình bày mô hình bài toán mà chúng tôi nghiên cứu, bao gồm: Giới thiệu tổng quan mô hình bài toán, phương pháp phát hiện đối tượng trong ảnh, và phương pháp sinh câu miêu tả cho hình ảnh. Chương cuối sẽ trình bày về thực nghiệm của chúng tôi trong điều kiện cụ thể.ngu 11 TIEU LUAN MOI download : [e-mail] Chương 2. PHƯƠNG PHÁP 2.

Tập văn bản Để xây dựng được mô hình ngôn ngữ chúng ta cần có tập văn bản mẫu huấn luyện. Cùng với từ điển, tập văn bản là những tài nguyên ngôn ngữ vô cùng căn bản và cần thiết cho xử lý ngôn ngữ tự nhiên (Natural Language Processing: NLP). Từ điển là tập hợp các tri thức về ngôn ngữ, cách sử dụng và ý nghĩa của từng từ thì tập văn bản là dữ liệu về cách sử dụng, cách viết của từ đó trong thực tế. Trên quan điểm sử dụng trong mô hình ngôn ngữ, tập văn bản có thể chia thành 2 loại chính : tập văn bản hẹp và tập văn bản rộng.

Tập văn bản hẹp là tập văn bản được xây dựng một cách cân bằng nhằm phản ánh trung thực tính đa dạng của ngôn ngữ trên một miền hẹp và vì vậy mô hình ngôn ngữ sẽ chính xác hơn. Ngược lại, tập văn bản rộng là tập văn bản tập hợp rất lớn các văn bản trên phổ rộng và vì vậy khó phản ánh đầy đủ mô hình ngôn ngữ và tính nhập nhằng vì thế cũng lớn hơn.