Tài liệu: Báo cáo bài tập lớn nhập môn khoa học dữ liệu

Báo cáo bài tập lớn về phân loại văn bản tiếng Việt trong khoa học dữ liệu. Tìm hiểu phương pháp xử lý ngôn ngữ tự nhiên và thuật toán học máy.

• Tác giả: Nguyên Hoàng An
• Người hướng dẫn: Vũ Hoài Nam
• Trường học: Học Viện Công Nghệ Bưu Chính Viễn Thông
• Chuyên ngành: Khoa học dữ liệu
• Đề tài: Phân loại văn bản tiếng Việt
• Loại tài liệu: Báo cáo bài tập lớn
• Năm xuất bản: 2024
• Địa điểm: Hà Nội

Tóm tắt

I. Giới thiệu về Báo cáo Bài tập Lớn Nhập môn Khoa học Dữ liệu

Báo cáo bài tập lớn nhập môn là một công trình học tập quan trọng tại Học viện Công nghệ Bưu chính Viễn thông, tập trung vào lĩnh vực khoa học dữ liệu và ứng dụng thực tiễn. Đây là tài liệu học tập giúp sinh viên nắm vững các kiến thức nền tảng về xử lý dữ liệu, phân loại văn bản tiếng Việt và các công cụ hiện đại như Python, pandas, scikit-learn. Bài tập lớn được hướng dẫn bởi ThS. Vũ Hoài Nam, một chuyên gia đầu ngành trong lĩnh vực này. Nhóm làm việc gồm ba thành viên từ lớp tín chỉ O1, nhóm 26, cùng nhau thực hiện một dự án phân loại văn bản có tính ứng dụng cao. Thông qua báo cáo này, sinh viên không chỉ học được lý thuyết mà còn phát triển kỹ năng khoa học dữ liệu thực tiễn và cách áp dụng công nghệ AI vào giải quyết các vấn đề thực tế.

1.1. Mục đích và ý nghĩa của báo cáo

Mục đích chính của báo cáo là giáo dục sinh viên về quy trình xử lý ngôn ngữ tự nhiên (NLP) và phân loại văn bản. Báo cáo cung cấp tài liệu học tập toàn diện, từ tiền xử lý dữ liệu đến xây dựng các mô hình học máy (ML) khác nhau. Sinh viên học cách sử dụng các kỹ thuật như TF-IDF, BoW, và các mô hình như Naive Bayes, Logistic Regression, Neural Network. Đây là tài liệu tham khảo quý giá cho những ai muốn khám phá lĩnh vực khoa học dữ liệu và trí tuệ nhân tạo (AI).

1.2. Cấu trúc và nội dung chính

Báo cáo được chia thành các phần chính bao gồm danh mục thuật ngữ, danh mục hình ảnh, và các chương chi tiết. Nội dung tài liệu bao gồm phần tiền xử lý dữ liệu, tạo đám mây từ, tính toán giá trị IDF và TF-IDF. Các chương tiếp theo tập trung vào vector hóa tệp dữ liệu, áp dụng Chi-square, và xây dựng các mô hình phân loại. Tài liệu học tập này còn trình bày kết quả dự đoán chi tiết từ các mô hình khác nhau.

II. Các kỹ thuật và phương pháp sử dụng trong báo cáo

Báo cáo bài tập lớn nhập môn sử dụng nhiều kỹ thuật xử lý dữ liệu tiên tiến và phù hợp với lĩnh vực khoa học dữ liệu. Các phương pháp chính bao gồm xử lý ngôn ngữ tự nhiên (NLP), chuẩn hóa Unicode, và tiền xử lý dữ liệu hàng loạt. Để biểu diễn văn bản, nhóm sử dụng TF-IDF và Bag of Words (BoW), những công cụ mạnh mẽ trong phân loại văn bản tiếng Việt. Tài liệu cũng trình bày cách sử dụng các công cụ như PCA, t-SNE để trực quan hóa dữ liệu. Ngoài ra, nhóm áp dụng các kỹ thuật cân bằng dữ liệu như SMOTE khi dữ liệu mất cân bằng, giúp cải thiện hiệu suất mô hình học máy.

2.1. Xử lý ngôn ngữ tự nhiên và tiền xử lý dữ liệu

Xử lý ngôn ngữ tự nhiên (NLP) là nền tảng của báo cáo. Quá trình tiền xử lý dữ liệu bao gồm chuẩn hóa Unicode theo các dạng NFD/NFC/NFKC/NFKD, loại bỏ ký tự đặc biệt, và xử lý từ dừng. Tài liệu trình bày hàm chuẩn hóa Unicode chuyên dụng và pipeline xử lý dữ liệu tuần tự. Mỗi bước tiền xử lý đều được kiểm tra chất lượng để đảm bảo dữ liệu đầu vào cho mô hình học máy là sạch và chuẩn hóa.

2.2. Vector hóa văn bản và trích xuất đặc trưng

Vector hóa tệp dữ liệu là bước quan trọng để chuyển đổi văn bản thành dạng số để máy tính có thể xử lý. Báo cáo sử dụng TF-IDF để tính giá trị quan trọng của từ trong tài liệu. Phương pháp BoW cũng được áp dụng để đếm số lần xuất hiện từ. Sau đó, nhóm áp dụng Chi-square để giảm chiều dữ liệu. Tài liệu cung cấp công thức tính toán chi tiết và ví dụ cụ thể về sparse matrix trong quá trình này.

III. Các mô hình phân loại và kết quả đạt được

Báo cáo bài tập lớn trình bày chi tiết quá trình xây dựng và đánh giá bốn mô hình phân loại chính. Đầu tiên là mô hình Naive Bayes, một thuật toán cơ bản nhưng hiệu quả trong phân loại văn bản tiếng Việt. Thứ hai là Logistic Regression, một phương pháp học máy nổi tiếng cho phân loại nhị phân. Thứ ba là Neural Network (MLP), một mô hình học sâu mạnh mẽ với khả năng học các mẫu phức tạp. Cuối cùng là Neural Network kết hợp kỹ thuật bagging, giúp cải thiện độ ổn định và chính xác của mô hình. Mỗi mô hình được đánh giá thông qua Confusion Matrix và các metrics hiệu suất khác, giúp sinh viên hiểu rõ về tài liệu học tập thực hành.

3.1. Mô hình Naive Bayes và Logistic Regression

Mô hình Naive Bayes là một lựa chọn tốt cho phân loại văn bản do tính đơn giản và hiệu quả. Mô hình Logistic Regression là phương pháp tuyến tính phổ biến trong khoa học dữ liệu. Báo cáo cung cấp Confusion Matrix chi tiết cho cả hai mô hình, cho phép đánh giá độ chính xác, độ nhạy, và độ đặc hiệu. Tài liệu này giúp người đọc hiểu cách lựa chọn mô hình phù hợp dựa trên yêu cầu cụ thể của bài toán.

3.2. Neural Network và kỹ thuật bagging

Neural Network (MLP) sử dụng hàm kích hoạt ReLU để xử lý các mô hình phi tuyến phức tạp. Mô hình Neural Network kết hợp bagging giúp giảm phương sai và cải thiện tổng quát hóa. Báo cáo trình bày kết quả dự đoán chi tiết và so sánh hiệu suất giữa các mô hình. Tài liệu học tập này cung cấp một nền tảng vững chắc cho sinh viên muốn tìm hiểu sâu hơn về học máy và trí tuệ nhân tạo.

IV. Ý nghĩa và hướng phát triển của dự án

Báo cáo bài tập lớn nhập môn không chỉ là một tài liệu học tập mà còn đại diện cho sự cam kết của sinh viên đối với lĩnh vực khoa học dữ liệu và trí tuệ nhân tạo. Dự án này giúp sinh viên thấu hiểu giá trị của công nghệ trong việc giải quyết các vấn đề thực tế. Qua phân loại văn bản tiếng Việt, sinh viên nhận ra tiềm năng to lớn của xử lý ngôn ngữ tự nhiên (NLP) trong các ứng dụng như lọc thư rác, phân tích cảm xúc, hoặc phân loại tin tức. Tài liệu cũng nhấn mạnh tầm quan trọng của tiền xử lý dữ liệu chất lượng để đạt kết quả tối ưu. Nhóm hy vọng dự án này sẽ trở thành hành trang quý báu cho hành trình học tập và sự nghiệp sau này của sinh viên.

4.1. Những bài học rút ra từ dự án

Dự án bài tập lớn đã cung cấp cho nhóm nhiều bài học quý báu về quy trình làm việc khoa học. Sinh viên học được cách tổ chức dữ liệu, áp dụng thuật toán học máy, và đánh giá mô hình một cách có hệ thống. Tài liệu này nhấn mạnh rằng khoa học dữ liệu không chỉ là lý thuyết mà cần kết hợp chặt chẽ với thực tiễn. Sự kiên nhẫn và hỗ trợ từ giảng viên đã giúp nhóm vượt qua các trở ngại và phát triển kỹ năng chuyên môn.

4.2. Hướng phát triển và ứng dụng thực tiễn

Báo cáo mở ra nhiều hướng phát triển tiếp theo, bao gồm áp dụng các mô hình BERT, RoBERTa để cải thiện hiệu suất phân loại. Dự án có thể được mở rộng để xử lý các bài toán NLP phức tạp hơn như dịch máy hay trích xuất thông tin. Tài liệu học tập này là nền tảng cho những nghiên cứu tiếp theo trong lĩnh vực khoa học dữ liệu và trí tuệ nhân tạo, mở ra cơ hội ứng dụng vào các ngành như công nghệ, tài chính, hoặc y tế.

Trích đoạn nội dung tài liệu

MỞ ĐẦU 1. Lý do chọn đề tài Trong thời đại công nghệ 4.0, dữ liệu ngày cảng trở thành một trong những tài nguyên quan trọng nhất, đóng vai trò then chốt trong việc định hình và phát triển xã hội. Với sự phát triển nhanh chóng của trí tuệ nhân tạo (AI) và hoc may (Machine Learning), nhu cau khai thac va xử lý dữ liệu để mang lại giá trị thực tiễn đã trở nên cấp thiết hơn bao giờ hết. Trong số đó, xử lý ngôn ngữ tự nhiên (Natural Language Processing - NLP) là một lĩnh vực đặc biệt quan trọng, giúp máy tính hiểu và tương tác với ngôn ngữ con người.

Ngôn ngữ tiếng Việt, với sự phức tạp về cấu trúc và ngữ nghĩa, là một thách thức lớn nhưng đồng thời cũng mở ra nhiều cơ hội nghiên cứu vả ứng dụng. Ở Việt Nam, việc xử lý dữ liệu văn bản không chỉ phục vụ các mục tiêu học thuật mà còn mang lại lợi ích thực tiễn trong nhiều lĩnh vực, từ kinh doanh, giáo dục, truyền thông đến quản lý nhà nước. Ví dụ, trong kinh doanh, NLP có thê giúp phân tích phản hồi khách hàng, phân loạiý kiến và dự đoán xu hướng thị trường. Trong truyền thông, các hệ thống tự động phân loại và tóm tat tin tức đã trở thành công cụ hỗ trợ đắc lực.

Tuy nhiên, một thực tế đáng lưu ý là ngôn ngữ tiếng Việt có những đặc điểm khác biệt so với nhiều ngôn ngữ phổ biến khác trên thế giới, như tiếng Anh hay tiếng Trung. Những đặc điểm như dâu câu, cầu trúc câu phức tạp, và sự đa dang trong cach su dung từ vựng khiến cho các mô hình NLP phát triển đựa trên ngôn ngữ khác khó có thé ap dụng trực tiếp vào tiếng Việt mà không cần điều chỉnh. Nhóm nhận thấy rằng, các nghiên cứu va ứng dụng hiện có về xử lý ngôn ngữ tự nhiên tiếng Việt vẫn còn nhiều hạn chế. Trong khi đó, nhụ cầu tự động hóa các tác vụ liên quan đến văn bản tiếng Việt ngày cảng gia tăng, đặc biệt là trong việc phân loại văn bản.

Đây là một bải toán quan trọng, có thé ap dụng trong nhiều trường hợp cụ thế như phân loại email spam, lọc thông tin quan trọng trong tin tức, hoặc hỗ trợ công cụ tìm kiếm thông minh. Hơn nữa, bài toán phân loại văn bản không chỉ giúp giảm bớt thời gian xử lý dữ liệu thủ công mà còn tăng tính chính xác và hiệu quả trong công việc. Mặt khác, với sự phát triển vượt bậc của các kỹ thuật học máy và mô hình học sâu, nhiều công cụ và thư viện mã nguồn mở mạnh mẽ đã xuất hiện, tạo điều kiện thuận lợi để xây dựng và phát triển các hệ thống NLP hiệu quả. Chắng hạn, các mô hình ngôn ngữ như Transformer hay cac thuật toán dựa trên vector hoa van ban nhu TF-IDF, Word2Vec, đã mang lại những bước tiến lớn trong khả năng hiểu ngôn ngữ của máy tính.

Việc áp dụng những công cụ hiện đại này, vào bải toán phân loại văn bản tiếng Việt không chỉ giúp nâng cao hiệu quả giải quyết vấn đề mà còn giúp nhóm hiểu rõ hơn về cách các công nghệ nảy hoạt động và tác động ra sao trong thực tiễn. Ngoài ra, việc thực hiện đề tải này cũng là cơ hội để nhóm củng cô và áp dụng những kiến thức đã học trong các môn học như xử lý dữ liệu, trí tuệ nhân tạo và lập trình học máy vào một dự án thực tế. Thông qua quá trình nghiên cứu, chúng tôi không chỉ học cách tiếp cận bài toán một cách khoa học mà còn phát triển ky nang lam việc nhóm, tư duy giải quyết vấn đề, và khả năng ứng dụng công nghệ để mang lại giá tri thực tiến. Đề tài này không chỉ dừng lại ở mức xây dựng một hệ thống cơ bản mà còn mở ra cơ hội phát triển các ứng dụng mở rộng hơn trong tương lai.

Từ một hệ thống phân loại văn bản đơn giản, chúng ta có thê tiến tới xây dựng các hệ thông phức tạp hơn như phân tích cảm xúc, nhận diện chủ đẻ, hoặc các ứng dụng hỗ trợ khách hàng thông minh. Đây là những lĩnh vực đang được quan tâm rất lớn trong cả nghiên cứu và thực tiễn. Với những lý do trên, chúng tôi quyết định chọn đề tài “Phân loại văn bản tiếng Việt” làm nội dung chính cho dự án. Đề tài khong chi mang y nghia hoc thuat ma con có tiềm năng ứng dụng lớn trong thực tế, giúp giải quyết những thách thức hiện tại trong việc xử lý ngôn ngữ tự nhiên tiếng Việt và đóng góp vào sự phát triển của lĩnh vực này tại Việt Nam.

Nhiệm vụ của đề tài Tìm hiểu tổng quan về xử lý ngôn ngữ tự nhiên vả bải toán phân loại văn bản Tìm hiểu tổng quan về xử lý ngôn ngữ tự nhiên vả bải toán phân loại văn bản Tìm hiểu các công đoạn chính trong bài toán phân loại văn bản: - Thu thap và tiền xử lý dữ liệu. - _ Trích xuất đặc trưng từ dữ liệu văn bản. - Huấn luyện và đánh giá mô hình học máy. Thực nghiệm bằng cách xây dựng 1 mô hình phân loại văn bản tiếng việt cơ bản.

Nội dung của dự án Dựa trên nhiệm vụ đã nêu, nội dung đề tài sẽ bao gồm các phần sau: - Tìm hiểu tông quan về ngôn ngữ tiếng Việt va bai toán phân loại văn bản. - Xác định bài toán và xây dựng hướng giải quyết phù hợp. - Nghiên cứu các kỹ thuật xử lý ngôn ngữ tự nhiên và học máy như tiền xử lý đữ liệu, vector hóa văn bản, và các mô hình phân loại. - Thực nghiệm thông qua xây dựng hệ thống phân loại văn bản tiếng Việt: Thu thập dữ liệu văn bản từ các nguồn đáng tin cậy.

Tiền xử lý dữ liệu, bao gồm loại bỏ stopwords, chuẩn hóa văn bản. Huấn luyện mô hình học máy và đánh giá hiệu quả. - Kết luận dự án và đề xuất hướng phát triển trong tuong lai. CHUONG I: TONG QUAN VE BAI TOAN PHAN LOAI VAN BAN CO BAN 1.

Mô hình khái quát cho bài toán phân lớp. Supervised Learning Model Training Text, Feature Documents. images, = Vectors etc. › Machine Learning " Feature New Text, we Document, => EEE=E=) Predictive =» Expected Image, Model Label etc.1: Report on text classification Ban đầu sẽ chia bộ dữ liệu (dataset) thành 2 phần: data train va data test.

Tổng thé một bài toán phan lớp sẽ chia thanh 2 công việc: - Huấn luyện: Dùng bộ Training Text (data train) rút trích thành các bộ Features vector đưa vào Machine Learnine Alsorithm từ đó thành một Predictrive Model dùng để phân loại sau này, cuối cùng kết quả sẽ thu được Expect Label tên lớp cần phân loại. - Hiện thực kết quả: Dùng Text (data test) rút trích thành các bộ Features vector đưa vao Predictive Model sé nhan được Expect Label tên lớp cần phân loại. Mô hình bải toán phân lớp khá đơn giản, bao gồm các thành phân: - Training text: Day 1a van ban dau vao thong qua do mé hinh supervised learning có thể hoc (learn) va dy doan (predict) duoc phan lép/ phan loai (categories/classes). - Feature vector: là một vector chứa thông tin mô tả các đặc điểm của đữ liệu đầu vào.

- Labels: Day là các danh mục/ lớp (catepories/classes) được xác định trước ma mô hình sẽ dự đoán. - ML Algo: Day là thuật toán mà qua đó mô hình có thể xử lý phân loại văn bản (Naive Bayes, LogIstic Represston, MLP Regression,. - Predictive Model: Một mô hình đã được train/learn dựa trên bộ dữ liệu train và mô hình này có thê thực hiện dự đoán nhận biết được nhãn (catesories/classes) nào khi nhập từ bộ dữ liệu test. Quy trình tông quan hiện thực bài toán phân loại cơ bản Raw data Clean data Features Model Results K=___ | x Ñ | P : ti -ện Feature a2 e«e S\ xe a SS processing 5 TCCG extraction exNGGHeR «(tee Trainin g x Evaluation WS Ss ————> TTAGT ————> ———> ee (x ` —- 4 ` os + J f.¢_cc th x ee Ry J ne tern «4A0 Hình 1.2: Giới thiệu tiền xử lý trong xứ lý ngôn ngữ tự nhiên Luong xu ly co ban: Crawl data (cao dữ liệu) -> data preprocessing (tiền xử lý đữ liệu) - > text normalization (chuẩn hóa dữ liệu) -> features (trích xuất đặc trưng) -> learn/train model (chon model machine learning va huan luyén) -> evaluation/results (đánh giá kết qua).

Trong do: Crawler data (cao dit liệu): Là công đoạn chuẩn bị tập dataset (bộ đữ liệu đề sử dung) duoc lay tirnhiều nguôn khác nhau như website. VÍ dụ, lây 3 triệu bài báo từ 5 trang web tin tức nỗi tiếng, nhất Việt Nam. Data preprocessing (tiên xử lý dữ liệu): Chuyên dữ liệu/ văn bản nhận đượcở giai đoạn trên thành dữ liệu đầu vào (data input) thích hợp cho đúng với mô hình (model machine learning) sur dung phan loại văn bản. Ví dụ, các công việc cần thực hiện trước khi đưa vào thuật toán phân loại văn bản tiếng Việt như: tách từ, chuẩn hóa từ, loại bỏ stopword Text normalization (chuân hóa đữ liệu): Công đoạn loại bỏ các thành phần không cần thiết, có thê hiểu là làm sạch đữ liệu xóa đi dữ liệu rác cuối củng nhận được đoạn văn bản chỉ có text.

Ví dụ, xóa đi tap HTML, xóa link, xóa ký tự đặc biệt "An \t &#64",.-stopwords, vector héa tr. Day la c6ng doan quan trong trong bai toan phan loai van ban. Features (trich xuất đặc trưng): Với bài toán phân loại trên thực tế, khi muốn phân loại cần phải dựa theo một đặc điểm nào đó như giới tính, hình dạng, kích thước dựa trên sự quan sát hoặc số liệu cụ thể. Trong bài toán phân loại cũng vậy, nhưng nó đòi hỏi việc phải tự động phát hiện ra các đặc điểm của đối tượng rồi mới thực hiện phân loại cho phù hợp.

Ví dụ, phân loại hoa Hồng, phải phát hiện ra mỗi hoa đó có đặc điểm như thế nào xét cả về hình dạng, màu, kích thước, giống, mùi hương. Một đối tượng có rất nhiều đặc điểm, vậy dựa trên một hoặc nhiều đặc điểm nảo để : phân loại? Vì the công đoạn này sẽ rút trích hay lựa chọn bộ đặc điểm nào tối ưu nhất, dễ nhận dạng nhất, dé phát hiện ra đôi tượng đó nhất. Cuối cùng công đoạn này sẽ thu được một tập đữ liệu đã được trích xuất sau đó đưa vào thuật toán machine learnine phân loại. Có 2 loại feature: - Feature Selection (chon lựa đặc trưng): là chọn ra một tập đặc trưng con từ không gian đặc trưng gốc.

- Feature Extraction (rút trích đặc trưng): là biến đôi (transform) không gian đặc trưng gốc thành một không gian đặc trưng nhỏ hơn để giảm số chiều đặc trưng.