Luận văn: Tìm kiếm văn bản theo cụm từ và chuyển vào CSDL

Luận văn thạc sĩ: Nghiên cứu tìm kiếm văn bản hiệu quả dựa trên cụm từ, chuyển đổi và lưu trữ vào cơ sở dữ liệu. Tối ưu hóa truy vấn thông tin.

Chuyên ngành

Công nghệ Thông tin

Người đăng

Ẩn danh

Thể loại

Luận văn thạc sĩ

2015

59
1
0

Phí lưu trữ

30 Point

Mục lục chi tiết

LỜI CẢM ƠN

LỜI CAM ĐOAN

DANH SÁCH CÁC KÝ HIỆU VÀ CHỮ VIẾT TẮT

DANH MỤC CÁC HÌNH VẼ, ĐỒ THỊ

DANH SÁCH BẢNG BIỂU

MỞ ĐẦU

1. CHƯƠNG 1: TỔNG QUAN

1.1. Cơ sở dữ liệu

1.2. Khái niệm văn bản phi cấu trúc và có cấu trúc

1.3. Giới thiệu cơ sở dữ liệu quan hệ

1.4. Toán rời rạc

1.5. Mệnh đề đơn giản trong CSDL

1.6. Định nghĩa mệnh đề toán học

1.7. Các phép toán trên mệnh đề

1.8. Mệnh đề hội và tuyển sơ cấp, mệnh đề chuẩn hội và chuẩn tuyển

1.9. Tính tương đương giữa các biểu thức logic và mệnh đề chuẩnhội/chuẩn tuyển

1.10. Các phần mềm tìm kiếm cơ bản

2. TÌM KIẾM VĂN BẢN DỰA VÀO CỤM TỪ VÀ CHUYỂN VÀO CSDL

2.1. Tạo các xâu tìm kiếm

2.2. Tạo các xâu tìm kiếm dựa vào mode của xâu

2.3. Tạo các xâu tìm kiếm dựa vào toán tử OR hoặc AND

2.4. Cơ sở dữ liệu quan hệ

2.5. Tinh chế lại bảng TongHop

2.6. Thống kê tổng hợp dữ liệu từ số liệu của bảng TongHop

2.7. Tiền xử lý thông tin và các thao tác hỗ trợ thuật toán

2.8. Máy chủ và Công nghệ sử dụng

2.9. Ngôn ngữ PHP (Hypertext Preprocessor)

2.10. Web Crawler và phương pháp tìm kiếm dữ liệu trên Internet

2.11. Dữ liệu trong thu thập thông tin trên Internet

2.12. Phân loại nguồn thông tin từ Internet

3. THỬ NGHIỆM CHƯƠNG TRÌNH TÌM KIẾM CÁC ĐOẠN VĂN BẢN TRÊN MỘT MÁY TÍNH DỰA VÀO CỤM TỪ VÀ CHUYỂN VÀO CƠ SỞ DỮ LIỆU

3.1. Tìm kiếm và thu thập dự liệu theo chủ đề

3.2. Nội dung tổng hợp

KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN

3.1. a, Tầm quan trọng của vấn đề lấy tin tự động trên Internet

3.2. b, Các vấn đề đã được tìm hiểu trong đề tài

3.3. Luận văn đạt được hai kêt quả chính:

TÀI LIỆU THAM KHẢO

Tóm tắt

I. Tổng Quan Luận Văn Tìm Kiếm Văn Bản Theo Cụm Từ

Luận văn này tập trung vào việc tìm kiếm văn bản dựa trên cụm từchuyển vào cơ sở dữ liệu. Mục tiêu là tổng hợp nhanh thông tin theo chủ đề, hỗ trợ ra quyết định, ngăn chặn văn bản độc hại và lưu trữ dữ liệu vào CSDL quan hệ. Ứng dụng của luận văn là tạo báo cáo tổng quan và chọn lọc tài liệu xây dựng giáo trình. Với sự phát triển mạnh mẽ của Internet, khối lượng thông tin khổng lồ và sự đa dạng của website, việc tìm kiếm thông tin hữu ích trở nên khó khăn. Luận văn đề xuất giải pháp tìm kiếm các đoạn văn bản hay bài viết chứa cụm từ thuộc chủ đề quan tâm. Các dữ liệu này được lưu vào cơ sở dữ liệu quan hệ có cấu trúc tiền định nhằm hỗ trợ cho công tác lưu trữ và sử dụng. Có thể sử dụng các thuật toán trong đề tài này để tạo ra nhanh chóng các báo cáo tổng quan về một chuyên đề nào đó và đặc biệt hữu dụng để chọn lựa tài liệu khi xây dựng giáo trình và giáo trình điện tử. Công nghệ thông tin ngày càng phát triển, luận văn này đóng góp vào việc quản lý thông tin hiệu quả, đặc biệt trong bối cảnh kinh tế tri thứcquản lý nhà nước hiện đại.

1.1. Khái Niệm Văn Bản Cấu Trúc và Phi Cấu Trúc Trong CSDL

Văn bản có cấu trúc có khuôn mẫu sẵn, dễ cơ sở dữ liệu hóa theo chuẩn CSDL quan hệ, hướng đối tượng hoặc khối. Văn bản phi cấu trúc thì ngược lại. Trong thời đại bùng nổ công nghệ thông tin, nhiều linh vực trên thế giới đã và đang tận dụng giá trị thông diệp của nguồn dữ liệu phi cấu trúc khổng lồ mà linh vực kinh tế tài chính cũng không là ngoại lệ. Theo Turner (2013, tr.1), “Thông tin phi cấu trúc, một cách thừa nhận, truyền đạt nhiều tri thức ý nghĩa cho con nguời…không còn gói gọn trong lĩnh vực công nghệ thông tin mà còn lan rộng trong lĩnh vực tài chính ngân hàng. Dữ liệu có cấu trúc, thuờng là số liệu kế toán, giá cổ phiếu, dòng tiền, chỉ số thị truờng, là dạng thông tin có khả năng lưu trữ trong các cơ sở dữ liệu quan hệ (Relational Database), trong đó các thực thể và thuộc tính đã được định nghĩa sẵn, thuờng được thu thập trên Báo cáo tài chính (BCTC). Nguợc lại với dữ liệu cấu trúc, dữ liệu phi cấu trúc được định nghĩa là dạng dữ liệu không có cấu trúc định nghĩa sẵn và không thể biểu diễn duới dạng bảng số liệu quan hệ. Phổ biến nhất là các dạng dữ liệu văn bản dạng chữ (Text), ngoài ra còn có các dạng khác như tập tin video, tập tin ảnh, tập tin âm thanh.

1.2. Giới Thiệu Mô Hình Cơ Sở Dữ Liệu Quan Hệ và Ứng Dụng

Mô hình quan hệ tổ chức dữ liệu vào các bảng, liên kết qua các khóa. Một lược đồ quan hệ R, ký hiệu là R(A1,A2,., An), được tạo nên từ một quan hệ R gồm danh sách các thuộc tính A1,A2,…, An. Mỗi một thuộc tính Ai là tên vai trò của một miền D nào đó trong lược đồ quan hệ R. D được gọi là miền giá trị của Ai và được ký hiệu là Dom(Ai). Một lược đồ quan hệ được sử dụng để mô tả một quan hệ; R được gọi là tên của quan hệ đó. Cấp của một quan hệ là số các thuộc tính của lược đồ quan hệ của nó. Các đặc trưng của các quan hệ như : Thứ tự của các bộ trong một quan hệ: Một quan hệ được định nghĩa như một tập hợp các bộ. Các phần tử trong một tập hợp không có thứ tự, vì vậy các bộ trong một quan hệ không có một thứ tự cụ thể. Các ràng buộc quan hệ, lược đồ CSDL quan hệ a) Các ràng buộc miền, Các ràng buộc miền chỉ ra rằng giá trị của mỗi thuộc tính A phải là một giá trị nguyên tử thuộc miền giá trị dom(A). Các kiểu dữ liệu liên kết với các miền bao gồm: các kiểu dữ liệu số chuẩn cho các số nguyên (short integer, integer, long integer), các số thực (float, double precision float). Ngoài ra còn các kiểu dữ liệu ký tự (dãy ký tự với độ dài cố định, dãy ký tự với độ dài thay đổi), ngày, thời gian và tiền tệ.

II. Thách Thức Xây Dựng Xâu Tìm Kiếm Văn Bản Hiệu Quả

Thách thức chính là làm sao tạo dựng và bổ sung các xâu trong cơ sở dữ liệu (CSDL) một cách hiệu quả. Các xâu này được sử dụng làm tiêu chí tìm kiếm với nội dung trang web được tải về, việc tìm kiếm sẽ trả về kết quả có chứa xâu hay không. Nếu không chứa chứng tỏ URL không phù hợp cho việc lưu trữ ULR này hệ thống, ngược lại sẽ tiến hành lưu trữ trong hệ thống bao gồm thông tin xâu và URL thích hợp này. Để giải quyết vấn đề này, luận văn đề xuất hai phương pháp chính: tạo theo mode của xâu (chia xâu thành các nhóm để tạo mode) và tạo theo toán tử OR và AND. Việc chuẩn hóa và xác định mối quan hệ giữa các cụm từ tìm và lấy thông tin liên quan đến cụm từ cũng là một khó khăn cần vượt qua.

2.1. Cách Tạo Xâu Tìm Kiếm Dựa Trên Mode của Xâu Văn Bản

Xâu được tác giả thành lập và thu thập với mục đích làm căn cứ để tìm kiếm xâu với nội dung tài liệu được tải về theo URL. Tác giả tiến hành xây dựng xây dựng tập các mod xâu theo một số tiêu trí nhất định được phân định theo danh mục - Danh từ: Thể hiện các từ và cụm từ đại diện cho một danh từ cụ thể cần được tổ chức - Khái niệm: Thể hiện các từ, cụm từ mang tên một khái niệm cụ thể về chủ đề - Sự kiện: Thể hiện các từ thông báo tin tức theo sự kiện xảy ra - Địa điểm: thể hiện vị trí xảy ra sự kiện hoặc nội dung văn bản có thể đề cập tới - Thời gian: Thể hiện thông tin về thời gian trong nội dung văn bản được đề cập tới. Chúng ta sẽ gom nhóm chúng lại cùng với các thông tin liên quan và lưu lại dưới dạng tệp text hoặc dạng quan hệ trong cơ sở dữ liệu quan hệ. Khi các thông tin trên được lưu dưới dạng text, có nghĩa là chúng ta có thể tạo ra báo cáo phi chuẩn với nội dung thay đổi phụ thuộc vào thời điểm thực hiện thuật toán.

2.2. Xây Dựng Xâu Tìm Kiếm Dùng Toán Tử OR AND Phương Pháp

Bởi vì chúng ta luôn có thể biến đổi một biểu thức boole bất kỳ thành dạng chuẩn hội (xem“Quy tắc chuyển biểu thức logic bất kỳ về dạng chuẩn hội“ mục 1.2 chương 1) nên việc sử dụng vị từ hội sơ cấp trong một thuật toán không làm mất đi tính tổng quát của vấn đề nghiên cứu và do đó chúng ta tập trung vào cách tạo xâu chủ đề chỉ dựa vào phép hội. Cho một tập PR = { p1, p2,. pm } là tập các vị từ đơn giản Trong đó pi;= 1, 2,…, m là các biến mệnh đề đại diện cho xâu thứ i.

2.3. Tinh Chế Lại Bảng TongHop.dbf Cho Thuận Tiện Tra Cứu

Công việc tinh chế nặng về mặt sửa chữa cú pháp văn phạm, hình thức khi kết xuất văn bản. Tuy nhiên cũng là dịp để sửa chữa các lỗi phông, bỏ các ký hiệu thừa, thêm các ký hiệu thiếu, chỉnh sửa ngôn từ câu chữ.… Các lỗi này không phải do thuật toán gây ra. Để tinh chế bảng TongHop.dbf chúng ta có thể dùng lệnh xem [5]: CREATEVIEW SuaTongHop ASSELECT * FROM TongHop

III. Giải Pháp Thuật Toán Tìm Kiếm Cụm Từ và Lưu Trữ CSDL

Luận văn đề xuất hai thuật toán chính để giải quyết bài toán. Thuật toán 1 gom các địa chỉ Website có chứa cùng cụm từ vào một Collection. Thuật toán 2 truy cập các Website từ Collection đó, thu về các đoạn văn bản có chứa cụm từ và lưu vào CSDL. Các bước trong thuật toán bao gồm chuẩn bị tham số, duyệt các Collection, truy cập địa chỉ, tìm kiếm cụm từ, ghi thông tin vào CSDL. Việc tinh chế bảng TongHop.dbf (chứa các thông tin đã thu thập) cũng được đề cập đến để đảm bảo dữ liệu chính xác và dễ sử dụng.

3.1. Thuật Toán 1 Gom Địa Chỉ Website Theo Cụm Từ Liên Quan

Thuật toán 1(Gom địa chỉ các Website có chứa cùng “cụm từ” vào trong cùng một Collection) Vào:Mạng Ra:Các Collection đã lưu các địa chỉ Website có chứa chung 'cụm từ' và Collection DEM chứa các số hiệu bản ghi có 'cụm từ' tìm thấy trên Website. Bước 1: Khai báo các tham số. Declare n As Integer = Count(CumTu.dbf){Khai báo biến nguyên n để chứa số bản ghi của tệp CumTu.dbf} DeclareM_CumTu(n,2) As String {Khai báo mảng hai chiều kiểu String} Copy CumTu.dbfToM_CumTu{Sao bảngCumTu.dbfsang mảng} {Ma_CumTu} Bước 2: Tìm và gom nhóm các địa chỉ Website. Declare Collection DEMAsInteger {Tạo tập các phần tử nguyên} For i = 1 To n {Duyệt theo thứ tự 'cụm từ' trong bảng CumTu.dbf}

3.2. Thuật Toán 2 Truy Cập Website và Thu Thập Nội Dung

Thuật toán 2(Truy cập các Website và đưa về các đoạn văn bản có 'cụm từ') Vào: Các Collection DIACHI + Str(i) và DEMđã có ở thuật toán 1 Ra: FileTongHop.dbf Bước 1:(Chuẩn bị các tham số) {Dùng các Collection DIACHI + Str(i) và DEM ở Thuật toán 1} Bước 2: {Thu về bài viết có chứa 'cụm từ' từ} {Mở bảng TongHop.dbf} Open TongHop.dbf For 1 Each I_ElementinDEM Do {Duyệt từng phần tử trong DEM} i = I_Element{Gán phần tử nhặt được trong DEM cho i} {Duyệt từng phần tử nhặt được trong DIACHI + Str(i)}

3.3.Thống Kê và Tổng Hợp Dữ Liệu Từ Bảng TongHop.dbf

Do bảng TongHop.dbf cùng với CumTu.dbf thuộc cơ sở dữ liệu quan hệ, vì vậy việc thống kê, tổng hợp thông tin ra được thực hiện qua các câu truy vấn bình thường dạng: Select<FieldList> From <TableList> Where <Conditional Expresson> Một số ví dụ về kiết suất báo cáo được sử dụng trong hệ thống - Lấy tất cả các bài báo được viết bởi ông “Quang Tèo” Select * form app_article_content where author = “Quang Tèo” - Lấy tất cả các bài báo được đăng trong chủ đề học tiếng anh và được đăng vào tháng 10 năm 2015 - Select * form app_article_content where subjectId= 5 //Chủ đề tiếng anh And DATE_FORMAT(publish,”%Y-%m”) = “2015-10”

IV. Ứng Dụng Chương Trình Tìm Kiếm Văn Bản và Lưu CSDL

Chương trình được thử nghiệm để tìm kiếm văn bản dựa trên cụm từchuyển vào CSDL trên một máy tính. Chương trình có giao diện quản lý chủ đề tìm kiếm, cho phép người dùng nhập tên chủ đề, từ khóa và thực hiện tìm kiếm thông tin qua Internet. Module Crawler được sử dụng để khai thác thông tin. Chương trình sử dụng công nghệ PHP, Apache và MySQL.

4.1. Quản Lý Chủ Đề Tìm Kiếm Giao Diện Người Dùng Thân Thiện

Màn hình quản lý chủ đề tìm kiếm cho phép người sử dụng quản lý các chủ đề tìm kiếm, Người dùng nhập tên chủ đề và các từ khóa có thể được sử dụng trong chủ đề để tìm kiếm sau đó nhấn vào tên chủ đề để thực hiện gọi Crawler module để khai thác tìm kiếm thông tin thông qua Internet Dưới đây là màn hình quản lý tất cả các chủ đề cần tìm kiếm thông tin.

4.2. Tiền Xử Lý Thông Tin và Các Thao Tác Hỗ Trợ Thuật Toán

Tiền xử lý thông tin và các thao tác hỗ trợ thuật toán. Máy chủ và Công nghệ sử dụng. Hệ thống Demo sử dụng công nghệ dựa trên nền tảng mã nguồn mở PHP phiên bản 5.6 chạy trên nền webserver Apache 2. Máy chủ Apache Apache hay là chương trình máy chủ HTTP là một chương trình dành cho máy chủ sử dụng giao tiếp với các máy khác thông qua giao thức HTTP. Apache chạy trên các hệ điều hành phổ biến như: Linux, Unix, Microsoft Windows, Novell Netware và các hệ điều hành khác.

4.3.Crawler Web và Các Phương Pháp Tìm Kiếm Dữ Liệu

Web Crawler và phương pháp tìm kiếm dữ liệu trên Internet. Hầu hết các máy tìm kiếm hoạt động dựa trên các chương trình có tên là Crawler, chương trình này cung cấp dữ liệu (là các trang Web) cho máy tìm kiếm hoạt động. Crawler là các chương trình nhỏ của các máy tìm kiếm làm công việc duyệt Web.

V. Kết Luận và Hướng Phát Triển Nghiên Cứu Tìm Kiếm Văn Bản

Luận văn đã trình bày giải pháp tìm kiếm văn bản dựa trên cụm từchuyển vào cơ sở dữ liệu. Kết quả chính là các thuật toán và chương trình thử nghiệm. Hướng phát triển có thể là tối ưu hóa thuật toán, mở rộng cho nhiều ngôn ngữ và tích hợp các kỹ thuật khai phá dữ liệu để cải thiện hiệu quả tìm kiếm.Luận văn đạt được hai kêt quả chính:. a, Tầm quan trọng của vấn đề lấy tin tự động trên Internet . b, Các vấn đề đã được tìm hiểu trong đề tài . Luận văn đạt được hai kêt quả chính: .

5.1. Tóm Tắt Các Kết Quả Nghiên Cứu Đã Đạt Được Trong Luận Văn

Luận văn đã giới thiệu tổng quan về văn bản phi cấu trúc, có cấu trúc, cơ sở dữ liệu quan hệ, các mệnh đề đơn giản trong cơ sở dữ liệu, mệnh đề hội, tuyển sơ cấp, mệnh đề chuẩn hội, chuẩn tuyển sơ cấp, tính tương đương giữa các biểu thức logic và mệnh đề chuẩn tắc. Bên canh đó, tác giả cũng tìm hiểu về các phần mềm tìm kiếm cơ bản như: Google search, Yahoo search và một số lệnh tìm kiếm trong ngôn ngữ lập trình bậc cao.

5.2. Đề Xuất Các Hướng Phát Triển Để Nâng Cao Hiệu Quả

Độ tuyển hội sơ cấp và tần số truy xuất: (1) Độ tuyển hội sơ cấp. Độ tuyển hội sơ cấp là số lượng các xâu được truy xuất bởi phương pháp tìm kiếm được đặc tả theo một mệnh hội sơ cấp đã cho. (2) Tần số truy xuất. Tần số truy xuất của một phương pháp tìm kiếm là số lần sử dụng mệnh đềđó để tìm kiếm.

24/09/2025

Trích đoạn nội dung tài liệu

Chương 1. TỔNG QUAN Chương này trình bày về các khái niệm văn bản phi cấu trúc và có cấu trúc. Giới thiệu về cơ sở dữ liệu quan hệ, các mệnh đề đơn giản trong cơ sở dữ liệu, mệnh đề hội và tuyển sơ cấp, các dạng chuẩn tắc, tính tương đương giữa các biểu thức logic và mệnh đề chuẩn hội, chuẩn tuyển, sau đó là các công cụ tìm kiếm cơ bản Google search, Yahoo search, một số lệnh tìm kiếm trong các ngôn ngữ lập trình bậc cao 1. Cơ sở dữ liệu [2][9][10] Nếu dữ liệu được lưu trong máy theo một quy định nào đó (để có thể cập nhật: truy nhập, truy xuất) sẽ được gọi là Cơ Sở Dữ Liệu - Database (sẽ viết tắt là CSDL) Các mô hình Cơ Sở Dữ Liệu: i- Mô hình đẳng cấp Mô hình đẳng cấp được thiế tkế theo dạng hình cây (Tree) nên đôi khi còn gọi là mô hình cây.

ii- Mô hình mạng Một Cơ Sở Dữ Liệu mạng là một tập hợp các mắt xích (nodes) và các mối nối (links), như thế một mắt xích bất kỳ có thể được nối với một mắt xích khác, và có thể nối nhiều lần. Tuy nhiên các tác vụ như nhập dữ liệu và xuất dữ liệu trong trường hợp này sẽ rất phức tạp. iii- Mô hình quan hệ Các dữ liệu của cùng cấp sẽ được tổ chức thành một bảng, các bảng sẽ được đặt quan hệ bởi các khoá. Khi gọi đến một khoá của bảng mẹ, dữ liệu của các bảng con tương ứng với khoá đó sẽ được tham chiếu đến.

Kiến trúc một hệ Cơ Sở Dữ Liệu Một Cơ Sở Dữ Liệu được phân thành các mức: - Phần Cơ Sở Dữ Liệu Vật lý (mức Vật lý) là các tệp dữ liệu theo một cấu trúc nào đó và được lưu trên các thiết bị nhớ thứ cấp (đĩa từ, băng từ,.) - Phần Cơ Sở Dữ Liệu khái niệm là sự biểu diễn trừu tượng của Cơ Sở Dữ Liệu Vật lý, - Phần Khung nhìn là cách nhìn, là quan niệm sử dụng đối với Cơ Sở Dữ Liệu mức khái niệm TIEU LUAN MOI download : skknchat@gmail.com 8 Một Cơ Sở Dữ Liệu đã được thiết kế, người ta thường quan tâm đến bộ khung (cấu trúc – Structure) của Cơ Sở Dữ Liệu đó (ví dụ cấu trúc của bảng DBF trong FOXPRO chẳng hạn). Khái niệm văn bản phi cấu trúc và có cấu trúc Văn bản dạng có cấu trúc là loại văn bản mà khi cập nhật bằng thủ công hay máy tính đều có khuôn mẫu sẵn ví dụ như các công văn, quyết định, các mẫu biểu thống kê, điều tra dân số, …Đặc điểm của loại văn bản này là chúng ta có thể cơ sở dữ liệu hóa theo các chuẩn Cơ sở dữ liệu quan hệ, Cơ sở dữ liệu hướng đối tượng và Cơ sở dữ liệu dạng khối,…. Các văn bản ngược với loại văn bản trên được gọi là phi cấu trúc. Trong thời đại bùng nổ công nghệ thông tin, nhiều linh vực trên thế giới đã và đang tận dụng giá trị thông diệp của nguồn dữ liệu phi cấu trúc khổng lồ mà linh vực kinh tế tài chính cũng không là ngoại lệ.

Theo Turner (2013, tr.1), “Thông tin phi cấu trúc, một cách thừa nhận, truyền đạt nhiều tri thức ý nghĩa cho con nguời…không còn gói gọn trong lĩnh vực công nghệ thông tin mà còn lan rộng trong lĩnh vực tài chính ngân hàng. Nghiên cứu sử dụng nguồn dữ liệu văn bản trên Báo cáo thuờng niên và nguồn tin tức trực tuyến của các doanh nghiệp Việt Nam, một cách tiếp cận mới dựa trên nguồn dữ liệu phi cấu trúc, vào việc dự báo kiệt quệ tài chính. Thông tin phi cấu trúc được sử dụng riêng biệt hoặc kết hợp với các yếu tố dự báo khác dựa trên dữ liệu cấu trúc truyền thống, huớng tới mục tiêu cải thiện khả năng dự báo của các mô hình. Kết quả nghiên cứu cho thấy xét một cách độc lập thông tin phi cấu trúc có khả năng truyền tải nhiều thông điệp có ý nghia trong dự báo tình trạng kiệt quệ tài chính của các công ty niêm yết tại Việt Nam, đồng thời việc kết hợp giữa dữ liệu này và dữ liệu cấu trúc đại diện bởi các nhân tố truyền thống (tỷ số tài chính, đặc điểm quản trị công ty, chỉ số vi mô) giúp cải thiện độ chính xác của dự báo.

Dữ liệu có cấu trúc, thuờng là số liệu kế toán, giá cổ phiếu, dòng tiền, chỉ số thị truờng, là dạng thông tin có khả năng lưu trữ trong các cơ sở dữ liệu quan hệ (Relational Database), trong đó các thực thể và thuộc tính đã được định nghĩa sẵn, thuờng được thu thập trên Báo cáo tài chính (BCTC). Nguợc lại với dữ liệu cấu trúc, dữ liệu phi cấu trúc được định nghĩa là dạng dữ liệu không có cấu trúc định nghĩa sẵn và không thể biểu diễn duới dạng bảng số liệu quan hệ. Phổ biến nhất là các dạng dữ liệu văn bản dạng chữ (Text), ngoài ra còn có các dạng khác như tập tin video, tập tin ảnh, tập tin âm thanh. Theo Healy và Palepu (2001), thông tin văn bản phi cấu trúc của doanh nghiệp được chia thành hai nguồn thông tin nội bộ và đại chúng.

Nguồn thông tin nội bộ của doanh nghiệp được phân định thành các công bố phi tài chính bằng TIEU LUAN MOI download : skknchat@gmail.com 9 văn bản dạng bắt buộc theo quy định hoặc tự nguyện, hầu hết thuộc Báo cáo thuờng niên (BCTN). Nguồn thông tin phi cấu trúc bên ngoài doanh nghiệp tồn tại đa dạng hơn, bao gồm các nguồn như tin đồn, các tin vắn công bố về cổ phiếu trên các Sở giao dịch và các diễn đàn cổ phiếu, các phân tích tài chính độc lập, bình luận của các chuyên gia kinh tế, tạp chí tài chính, công bố của bên thứ ba (công ty kiểm toán) hoặc các bên Với khả năng hàm chứa các thông điệp có giá trị, thông tin phi cấu trúc có thể được sử dụng trong nhiều lĩnh vực nghiên cứu bao gồm cả việc cảnh báo sớm kết quả tài chính (KQTC) cũng như các sự kiện tiêu cực khác. Quá trình phát hiện tri thức từ nguồn dữ liệu văn bản này được gọi là Phân tích thông điệp văn bản hoặc Phân tích văn bản (Textual analysis), tương ứng với kĩ thuật khai thác văn bản (Text mining). Trong đó, nhiều tác giả sử dụng quy trình này trên nguồn thông tin phi cấu trúc nội bộ của doanh nghiệp trong xây dựng mô hình dự báo như Shirata và Sakagami (2009) dự báo KQTC theo quá trình phân tích thông tin phi cấu trúc dựa trên Báo cáo thuờng niên của các doanh nghiệp Nhật Bản ứng dụng kĩ thuật phân tích hình thái học cho bộ ký tự Kanji.

Nghiên cứu cũng đưa ra những nhóm từ mới có tính đại diện cao cho nhóm công ty không kiệt quệ nhu “R&D”, “đầu tư vốn”, “ kinh doanh mới”…Cecchini (2010) phát triển phương pháp phân tích nội dung thông điệp dạng từ điển từ nhằm dự báo KQTC trên phần thông tin văn bản trong mục Thảo luận và Phân tích của Ban quản trị thuộc BCTN. Tác giả tìm thấy việc dùng riêng các thông tin phi cấu trúc nhằm dự báo các sự kiện tài chính đạt được những kết quả tích cực (dự báo chính xác 75% cho nhóm công ty kiệt quệ), đồng thời trích lập được nhóm từ khóa đặc trưng cho phần thông tin mềm của nhóm công ty KQTC như “giảm lợi nhuận gộp”, “ảnh huởng lạm phát”, “lợi ích”, “nỗ lực công ty”. Ngoài ra, Lu, Shen và Wei (2013) sử dụng nguồn thông tin mềm đại Lựa chọn nguồn dữ liệu phi cấu trúc Nguồn dữ liệu văn bản phi cấu trúc nội bộ đuợc thu thập trong các phần phản ánh các nội dung về kế hoạch, triến luợc phát triển hoặc dự báo tương lai của doanh nghiệp trên BCTN. Các phần chi tiết được thu thập bao gồm: Những thông tin phải công bố theo quy định của Thông tu 52/2012/TT-BTC bao gồm: - Triển vọng và kế hoạch phát triển tương lai thuộc báo cáo của Hội đồng quản trị (HÐQT) - Kế hoạch phát triển trong tương lai thuộc báo cáo của Ban giám đốc.

Những thông tin công bố tự nguyện gồm các phát biểu dự báo tương lai của công ty trong các BCTN được lựa chọn theo tiêu chí của Vu, Tower và Scully (2011) bao gồm: TIEU LUAN MOI download : skknchat@gmail.com 10 - Dự báo doanh thu, phần diễn giải văn bản định tính. - Dự báo thu nhập, phần diễn giải văn bản định tính. - Thảo luận về các nhân tố bên ngoài ảnh huởng đến tình trạng hoạt động tương lai của công ty (kinh tế, chính trị và công nghệ). - Thảo luận về các nguồn quỹ và kinh phí của công ty trong tương lai.

Giới thiệu cơ sở dữ liệu quan hệ 1. Các khái niệm của mô hình quan hệ a) Miền, thuộc tính, bộ và quan hệ Một miền D là một tập hợp các giá trị nguyên tử, điều đó có nghĩa là mỗi giá trị trong miền là không thể phân chia được trong phạm vi mô hình quan hệ. Để đặc tả một miền, người ta chỉ ra một tên, một kiểu dữ liệu và khuôn dạng dữ liệu. Một lược đồ quan hệ R, ký hiệu là R(A1,A2,., An), được tạo nên từ một quan hệ R gồm danh sách các thuộc tính A1,A2,…, An.

Mỗi một thuộc tính Ai là tên vai trò của một miền D nào đó trong lược đồ quan hệ R. D được gọi là miền giá trị của Ai và được ký hiệu là Dom(Ai). Một lược đồ quan hệ được sử dụng để mô tả một quan hệ; R được gọi là tên của quan hệ đó. Cấp của một quan hệ là số các thuộc tính của lược đồ quan hệ của nó.

Ví dụ, ta có lược đồ cho quan hệ cấp 5: SINHVIEN(Maso, Hoten, Ngaysinh, Gioitinh, Diachi). Với lược đồ quan hệ này, SINHVIEN là tên của quan hệ. Một quan hệ (hoặc trạng thái quan hệ) r của lược đồ quan hệ R(A1,A2,…, An) được ký hiệu là r(R), là tập hợp các n-bộ r(R) = {t1, t2,. Mỗi n-bộ t là một danh sách có thứ tự của n giá trị, t = < v1, v2, …, vn>, trong đó mỗi vi,1<= i <= n, là một phần tử của Dom(Ai) hoặc là một giá trị không xác định (null value).

Giá trị thứ i của bộ t, tương ứng với thuộc tính Ai được ký hiệu là t[Ai]. Định nghĩa quan hệ ở trên có thể phát biểu lại như sau: Một quan hệ r(R) là một quan hệ toán học cấp n trên các miền giá trị dom(A1), dom(A2),…, dom(An), đó là tập con của tích Đề các của các miền giá trị xác định R: r(R)  (dom(A1) x dom(A2) x …dom(An)) b) Các đặc trưng của các quan hệ Thứ tự của các bộ trong một quan hệ: Một quan hệ được định nghĩa như một tập hợp các bộ.

Nội dung được bảo vệ bản quyền — Tải xuống đầy đủ