Chương 1: Biểu diễn dữ liệu văn bản, khai phá quan điểm và sơ bộ bài toán khóa luận. Chương này sẽ trình bày các nội dung về biểu diễn dữ liệu văn bản, phân lớp dữ liệu, khai phá quan điểm và sơ bộ bài toán trong khóa luận. Chương 2: Mô hình chủ đề khía cạnh đích và các nội dung liên quan. Chương này Chương 3: Mô hình giải quyết bài toán Chương 4: Thực nghiệm và kết quả Phần kết luận: Tóm lược kết quả đạt được của khóa luận và định hướng phát triển trong tương lai.
BIỂU DIỄN DỮ LIỆU VĂN BẢN, KHAI PHÁ QUAN ĐIỂM VÀ SƠ BỘ BÀI TOÁN KHÓA LUẬN 1. Biểu diễn dữ liệu văn bản Như chúng ta đã biết, dữ liệu văn bản là một dạng dữ liệu phổ biến được dùng để lưu trữ thông tin kể từ khi máy in ra đời cho đến nay. Khi lượng thông tin ngày càng lớn dần theo thời gian và theo đó là sự thay đổi của môi trường, việc lưu trữ dữ liệu trên giấy gặp nhiều khó khăn. Máy tính xuất hiện đã mở ra một cách thức mới cho việc lưu trữ và sử dụng dữ liệu.
Vấn đề khó khăn nhất ở đây là làm thế nào để máy tính thể hiện đúng nội dung của dữ liệu. Công việc này được gọi là đánh chỉ số văn bản. Ban đầu với lượng dữ liệu nhỏ con người có thể sử dụng phương pháp thủ công để đánh chỉ số nhưng khi dữ liệu ngày càng lớn thì việc đánh chỉ số tự động là vô cùng cần thiết. Có rất nhiều cách đánh chỉ số khác nhau tùy theo mục đích của người dùng.
Song nó đều thỏa mãn ba mục đích sau [1]: Cho phép vị trí của từ đó liên quan tới chủ đề người dùng quan tâm. Gắn kết các từ và các chủ đề liên quan với nhau bằng cách phân biệt được các từ riêng biệt (cụ thể) đối với các lĩnh vực/miền Dự đoán được mức độ liên quan của từ đó tới thông tin yêu cầu của người dùng, với lĩnh vực và chuyên ngành cụ thể. Vậy các từ trong văn bản được phân bố như thế nàovà chúng ta có cần đánh chỉ số tất cả các từ trong văn bản hay không? hầu hết các phương pháp đánh chỉ số đều bắt đầu bằng lập luận rằng, tần số xuất hiện của các từ đóng vai trò quan trọng trong biểu diễn văn bản. Chúng ta có thể dễ dàng thấy rằng, trong văn bản tiếng Anh các giới từ như “a” “the” “and” có tần suất xuất hiện rất cao nhưng lại không thể hiện được các đặc trưng nội dung văn bản, đồng thời những từ chỉ xuất hiện một, hai lần thì mức độ ảnh hưởng của từ đó tới văn bản cũng không nhiều.
Vậy có thể đi đến kết 2 luận rằng những từ có tần số xuất hiện trung bình là những từ quan trọng trong văn bản. Trong những nghiên cứu của mình, Luhn đưa ra một phương pháp đánh trọng số cho các từ trong văn bản như sau [1]: Đầu vào là một tập n văn bản, tính tần số của mỗi từ trong một văn bản. Tính tần số xuất hiện của mỗi từ trong toàn bộ n văn bản. Sắp xếp từ theo tần số giảm dần.
Chọn một ngưỡng trên để loại bỏ các từ có tần số cao và một ngưỡng dưới để loại bỏ những từ không quan trọng. Các từ còn lại là những từ được dùng để đánh chỉ số văn bản được tập hợp trong tập từ vựng V. Một số phương pháp đánh trọng số Input: cho một từ ∈ V và một văn bản thuộc miền ứng dụng. Output: giá trị là trọng số của từ trong văn bản.
Phương pháp boolean Giả sử, một tập gồm m văn bản D = { , ,…, } tập từ vựng V gồm có n từ khóa V = { , ,…, }, W = ( ) là ma trận trọng số. Phương pháp boolean là phương pháp đánh trọng số đơn giản nhất với giá trị trọng số của từ khóa trong văn bản được xác định như sau: = 1 với ∈ = 0 với ∉ 1. Phương pháp dựa trên tần số Phương pháp này xác định các số trong ma trận W=( ) dựa vào tần số xuất hiện của các từ khóa trong văn bản và tần số xuất hiện của văn bản trong tập D gồm m văn bản. Một số phương pháp đánh trọng số dựa trên tần số phổ biến: 3 1.
Phương pháp dựa trên tần số từ khóa (TF - Term Frequency) Phương pháp dựa trên tần số từ khóa (Term Frequency: TF) cho thấy rằng nếu một từ xuất hiện nhiều lần trong một văn bản thì thường quan trọng hơn những từ xuất hiện ít. Giá trị của một từ khóa được tính dựa trên số lần xuất hiện của từ khóa đó trong văn bản. Gọi vf là số lần xuất hiện của từ khóa trong văn bản , khi đó có thể chọn cách tính theo một trong các công thức : = vf Hoặc = 1 + log vf Hoặc = vf 1. Phương pháp dựa trên nghịch đảo tần số văn bản Phương pháp dựa trên nghịch đảo tần số văn bản (IDF – Inverse Document Frequency) được giải thích như sau, một từ xuất hiện nhiều trong văn bản D (từ phổ biến) sẽ không quan trọng bằng những từ xuất hiện ít hoặc xuất hiện trong một văn bản hoặc một tập nhỏ các văn bản trong D.
Gọi df là số lượng văn bản có chứa từ khóa trong tập m văn bản đang xét. Công thức tính giá trị trọng số: = log = log - log df 1. Phương pháp TFIDF Đây là phương pháp tổng hợp của TF và IDF TFIDF = TF × IDF 4 1. Một số mô hình biểu diễn văn bản phổ biến 1.
Mô hình boolean Giả sử, cho một tập gồm m văn bản D = { , ,…, } tập từ vựng V gồm có n từ khóa V = { , ,…, }, W = ( ) là ma trận trọng số, trong đó là trọng số của từ khóa trong văn bản. Trọng số các từ trong văn bản sẽ là 0 hoặc 1. Mỗi văn bản sẽ được biểu diễn dưới dạng tập hợp như sau: ={ }, trong đó là từ có trọng số trong văn bản là 1. Mô hình xác suất Văn bản trong mô hình xác suất được coi như một quan sát trong tập Y, trong đó các từ trong văn bản được giả thiết là độc lập, không phụ thuộc vào vị trí và ngữ pháp.
Văn bản sẽ bao gồm các từ chứa trong đó, vì vậy đây còn gọi là phương pháp biểu diễn túi-các-từ (hay túi từ). Theo thuật ngữ toán học, một mô hình xác suất được coi như một cặp (Y, P). Trong đó Y là tập quan sát được, P là mô hình xác suất trên Y. Sử dụng các phương pháp hồi quy hoặc Bayes để đưa ra kết luận về các phần tử của tập Y.
Mô hình không gian vecter Đây là mô hình được sử dụng rộng rãi nhất trong biểu diễn văn bản. Mỗi văn bản được biểu diễn trong một không gian nhiều chiều, trong đó mỗi chiều tương ứng với một từ của văn bản. Độ quan trọng của từ được xác định bằng phương pháp đánh chỉ số trong văn bản và giá trị trọng số được chuẩn hóa trong đoạn [0,1]. Tổng quát, một văn bản d trong không gian vecter, ký hiệu là sẽ được biểu diễn trong không gian vecter gồm N chiều, trong đó N là số lượng từ có trong tập văn bản.
=[ , , , ,…, , ]T 5 Độ giống nhau giữa hai văn bản được tính bằng công thức: (. Khái quát về khai phá quan điểm và phân lớp dữ liệu 1. Khái quát về khai phá quan điểm Khai phá quan điểm hay còn gọi là khai thác ý kiến là một lĩnh vực thực hiện tìm hiểu, nghiên cứu về tình cảm, cảm xúc, ý kiến, thái độ và đánh giá của con người trên những thực thể như sản phẩm, dịch vụ, tổ chức, sự kiện, vấn đề hay một cá nhân nào đó [16]. Thông tin văn bản có thể được chia ra thành hai loại chính, đó là sự kiện và quan điểm.
Thông tin sự kiện thể hiện khách quan về những thực thể, sự kiện hay các thuộc tính của chúng. Thông tin quan điểm thể hiện chủ quan của con người, miêu tả quan điểm, ý kiến hướng đến thực thể, sự kiện hay thuộc tính. Khai phá quan điểm đang là một lĩnh vực thu hút sự quan tâm đặc biệt không chỉ của các nhà khoa học trong giới học thuật mà còn của các nhà sản xuất, các công ty,… trên thế giới nói chung và ở Việt Nam nói riêng. Khai phá quan điểm là một trong những bài toán quan trọng trong khai phá dữ liệu văn bản.
Nó thực hiện các phương pháp trong xử lý ngôn ngữ tự nhiên, khai phá dữ liệu và công nghệ mạng để trích xuất và xác định quan điểm trong nguồn dữ liệu là các đánh giá, nhận định của con người [17]. Khái niệm “quan điểm” là một khái niệm rất rộng, nó có thể được thể hiện ở nhiều hình thức và mức độ khác nhau. Bo Pang and Lillian Lee [18] chỉ ra 4 miền ứng dụng chính của khai phá quan điểm. Ứng dụng cho các website đánh giá: việc khai thác ý kiến người dùng trong website đánh giá là việc vô cung quan trọng.
Người dùng có thể đánh giá không chỉ ở một chủ đề giới hạn như sản phẩm mà có thể đánh giá cả về các vấn đề như chính trị. Các trang web có thể thu thập tóm tắt đánh giá của người dùng và đôi khi thực hiện sửa chữa một số lỗi trong xếp hạng người dùng như: người dùng đánh giá tích cực nhưng lại vô tình chọn sếp hạng thấp. Một số trường 6 hợp cho thấy xếp hạng của người dùng có thể sai lệch hoặc cần sửa chữa và các phân lớp tự động có thể update lại vấn đề này. Thành phần phụ trong các hệ thống tư vấn, hỏi đáp: Các hệ thông phân tích quan điểm cũng có vai trò tiềm năng quan trọng là trao quyền công nghệ cho các hệ thống khác.
Một ứng dụng rất hữu ích hiện nay là khi các hệ thống hiển thị trực tuyến các quảng cáo sẽ hiện lên và việc phát hiện các nội dung quảng cáo nhạy cảm không phù hợp sẽ được phát hiện và kịp thời xử lý.