Chương I: Giới thiệu tổng quan về đề tài - Chương 2: Trình bày cơ sở lý thuyết của đề tài liên quan đến vấn đề thu thập thông tin tự động, thống kê và dự báo. - Chương 3: Trình bày mục tiêu và kiến trúc của hệ thống. Đề xuất mô hình thu thập thông tin tự động, tìm kiếm và thống kê trong âm nhạc. - Chương 4: Trình bày những công nghệ sử dụng dé xây dựng hệ thống, cùng với đó là việc cài đặt thử nghiệm công cụ hỗ trợ cho việc dự báo số lượng thính giả của bài hát.
- Chương 5: Trình bày về những kết quả, hạn chế, hướng phát triển tiếp theo của đề tài. 17 Chương 2: Cơ sở lý thuyết CHƯƠNG 2 CƠ SỞ LÝ THUYET 2.1 Thu thập thông tin tự động, thống kê, dự báo 2.1 Thu thập thông tin tự động Có nhiều hình thái về thu thập và bóc tách thông tin đã được nghiên cứu và phát triển để mô tả về những hình thái khai thác nội dung thông tin trên Internet. Google là minh chứng cụ thê cho giải pháp đó, các Website tồn tại trên Internet sẽ được Google Crawler ghé thăm và thu thập lại toàn bộ, sau đó nội dung được lưu trữ trong cơ sở dit liệu, được đánh chỉ mục,. và được tìm kiếm mỗi khi có yêu cầu từ phía người dùng.
Một sản phan khác là GoogleNews lại có nhiệm vụ tông hợp tat cả các tin tức diễn ra hàng ngày trên Internet. Ở Việt nam, ta có thé tìm kiếm những mô hình tương tự như : Baomoi.com hay Thegioitin.com, VietSpider, InewsCrawler. Hiện nay có nhiều giải pháp khác nhau như RSS, phân tích cây DOM, web clustering. RSS (Really Simple Syndication): Cho phép người dùng Internet có thể đặt mua thông tin từ các websites có cung cấp khả năng RSS (RSS feeds), chúng thường là các site có nội dung thay đổi va được thêm vào thường xuyên.
Đề có thé dùng công nghệ này, các người quan trị site đó tạo ra hay quản lý một phần mềm chuyên dụng (như là một hệ thống quản lý nội dung - CMS) mà, với định dạng XML mà máy có thê đọc được, có thể biểu diễn các bài tin mới thành một danh sách, với một hoặc hai dòng cho mỗi bài tin và một liên kết đến bài tin đầy đủ đó. Khác với việc mua nhiều ấn bản của các tờ báo hay tạp chí in giấy, hầu hết việc mua RSS là miễn phí. Một số website lớn có sử dụng RSS: CNN, và BBC, New York Times. DOM( Document Object Model): La một giao diện lập trình cho các tài liệu HTML va XML.
Nó đại điện cho trang để các chương trình có thé thay đổi cấu trúc tai liệu, phong cách và nội dung. DOM mô tả tài liệu dưới dạng các nút và các đối tượng. Bằng cách đó, ngôn ngữ lập trình có thê kết nối với trang. Một trang web là một tài liệu.
Tài liệu này có thể 18 Chương 2: Cơ sở lý thuyết được hiền thị trong cửa sé trình duyệt, hoặc là mã nguồn HTML. Nhưng nó là cùng tài liệu trong cả hai trường hợp. Mô hình đối tượng tài liệu (DOM) đại diện cho cùng một tài liệu để nó có thê được thao tác. DOM là một đại diện hướng đối tượng của trang web, có thể được sửa đổi bằng một ngôn ngữ như JavaScript.
Do đó dựa vào cấu trúc DOM ta có thé dé dàng lấy được những thông tin cần thiết từ các website. Web clustering: La hình thức phân cụm dữ liệu từ website nhằm khám phá mối liên hệ giữa các mẫu dữ liệu. Hiện nay có nhiều công cụ để thực thi việc thu thập thông tin tự động từ Internet : ParseHub (là một công cy scraping được thiết kế dé làm việc trên các trang web với JavaScript và Ajax), Visual Scapper đây là một phần mềm nỗi tiếng dé lấy dữ liệu từ website thông qua các thao tác click. tuy nhiên các công cu này cũng dựa vào các thao tác của người dùng dé thu thập những thông tin cần thiết.12 Thống kê Dự báo thống kê là phần rất quan trọng của nghiên cứu thống kê.
Làm thống kê có khả năng thực hiện được các loại dự đoán, quan trọng nhất là dự báo thống kê ngắn hạn: quá trình dự báo thống kê ngắn hạn là dự đoán quá trình tiếp theo của hiện tượng của những khoảng thời gian tương đối ngắn, nối tiếp với hiện tại bằng việc sử dụng những thông tin thống kê và áp dụng những phương pháp thích hợp. Trong đó việc áp dụng chuỗi thời gian (time series) là phương pháp phù hợp đề dua ra những dự đoán có cơ sở khoa học chính xác và các mức độ có thể có thể so sánh được trong chuỗi thời gian. Độ dài của các chuỗi thời gian , số lượng chuỗi càng đài càng tốt, đặc biệt là các mức cuối day. Để xây dựng một mô hình dự báo thì người nghiên cứu cần thu thập số liệu về vấn đề cần dự báo.
Phương pháp thu thập dữ liệu và tiến hành dự báo phụ thuộc vào nhiều nhân tố được mô tả ở sơ đồ sau: 19 Chương 2: Cơ sở lý thuyết Dữ liệu lịch sử Y----- Mẫu —-- Yn | Yqey-—-- Mẫu ---- Yy Du báo lai Dự bao trong mẫu Dự báo hậu nghiệm | Dự báo tiền nghiệm. Các nhân tố phụ thuộc trong dự báo. Dự báo Theo dự báo là một khoa học và nghệ thuật tiên đoán những sự việc sẽ xảy ra trong tương lai, trên cơ sở phân tích khoa học về các dữ liệu đã thu thập được. Khi tiến hành dự báo cần căn cứ vào việc thu thập, xử lý số liệu trong quá khứ và hiện tại để xác định xu hướng vận động của các hiện tượng trong tương lai nhờ vào một số mô hình toán học.
Trong thời đại công nghệ thông tin và toàn cầu hóa, dự báo lại đóng vai trò quan trọng hơn khi nhu cầu về thông tin thị trường, tình hình phát triển tại thời điểm nào đó trong tương lai. Dự báo bao giờ cũng chỉ có tính tương đối. Các sự kiện, biến cố ngẫu nhiên làm ảnh hưởng đến kết quả dự báo thì trong chừng mực nao đó ta không thể xác định được do không thể lập luận đơn giản từ các con số, nhưng nó lại là một yếu tố chi phối rất lớn đến kết quả dự báo. Ảnh hưởng của các yếu tố ngẫu nhiên có tác động thực như thế nào đến dự báo hoàn toàn phụ thuộc vào nội dung, bản chất của từng biến cố đã hoặc sắp xảy ra mà ta nhận biết được Quy trình dự báo Thông thường trong các dự báo, quy trình dự báo được chia thành các bước Sau: (1).
Xác định mục tiêu dự báo (2). Xác định loại dự báo (3). Chọn mô hình dự báo. Thu thập số lệu liệ và tiến hành dự báo (5).
Ứng dụng kết quả dự báo (6). Theo doi kết quả dự báo 20 Chương 2: Cơ sở lý thuyết 2.2 Phân tích chuỗi thời gian dự báo 2.1 Chuỗi thời gian Theo [6] chuỗi thời gian là một dãy các trị số của chỉ tiêu thống kê được sắp xếp theo thứ tự thời gian. Trong thống kê, xử lý số liệu dữ liệu thường là một chuỗi các điểm, được đo theo từng khoảng khắc thời gian liền nhau theo một tần suất thời gian thống nhất, các dữ liệu thường được dự báo dưới dạng chuỗi thời gian. Chuỗi thời gian cho phép thống kê nghiên cứu xu hướng biến động của hiện tượng qua thời gian.
Từ đó, tìm ra tính quy luật của sự phát triển đồng thời dự đoán được các mức độ của hiện tượng trong tương lai dựa trên các giá trị đã quan sát trước đó. Chuỗi thời gian thường được vẽ theo các đồ thị. Các giá trị của chuỗi tuần tự theo thời gian của đại lượng y được ký hiệu Vis Ya». Yn» với Ye là gia trị quan sát của y ở thời điểm t.
Chuỗi thời gian > Phan loại: Gồm 2 loại - Chuỗi số thời ky: phản ánh hiện tượng trong từng khoảng thời ngan nhất định - Chuỗi số thời điểm: phản ánh hiện tượng tại những thời điểm nhất định > Một chuỗi thời gian có kết cầu gồm 2 thành phan sau: -_ Thời gian: Có thé là ngày, tuần, tháng, quý, năm tuỳ thuộc vào đặc điểm, tính chất của hiện tượng nghiên cứu. Độ dài giữa 2 thời gian liền nhau gọi là khoảng cách thời gian. - Chỉ tiêu về hiện tượng: Tên, đơn vị tính phù hợp và trị số của chỉ tiêu. Các trị số này được gọi là các mức độ của chuỗi thời gian yi (i: l,n=).
Các mức độ của chuỗi thời gian có thể là số tuyệt đối, số tương đối hoặc số bình quân. 21 Chương 2: Cơ sở lý thuyết 2.1 Phân tích chuỗi thời gian Theo [7] phân tích chuỗi thời gian bao gồm các phương pháp phân tích dữ liệu chuỗi thời gian để trích xuất các số liệu thống kê có ý nghĩa và các đặc tính khác của dữ liệu. Dự báo chuỗi thời gian là việc sử dụng một mô hình đê dự đoán các giá trị trong tương lai dựa trên các giá trị đã quan sát trước đó. Ngoài ra, các mô hình chuỗi thời gian thường sử dụng cách sắp xếp theo thời gian một chiều tự nhiên đề các giá trị trong một khoảng thời gian nhất định sẽ được biểu diễn bằng một số cách từ các giá trị trong quá khứ, chứ không phải từ các giá trị trong tương lai.
Dự báo về chuỗi thời gian thường được thực hiện bằng cách sử dụng các gói phần mềm thống kê tự động bằng các phần mềm: R, S, SAS, SPSS, Minitab, Eviews. Dé phân tích chuỗi thời gian , ta chia nhỏ các dữ liệu đã qua thành các thời kỳ nhỏ hơn dé dé dang phân tích, bón thành phan đặc trưng của chuỗi thời gian là : [8]. Xu thế: là sự gia tăng hoặc giảm dan của biến Y trong dai han. Nó có thé là tuyến tính hoặc không tuyến tính.
W Y, time time Hình 2. Biểu đồ chuỗi thời gian tuyến tính 22 Chương 2: Cơ sở lý thuyết time time Hình 2. Biểu đồ chuỗi thời gian không tuyến tính b. Chu kỳ: Đó là thời gian mà hiện tượng sẽ lặp lại, có tinh chất dài hạn, lên và xuống có thé xảy ra bat thường biến Y ““.
tìme time Hình 2. Biểu đồ chuỗi thời gian theo chu kỳ c. Biến đổi theo mùa (S): Xét đến sự biến đổi có tính tuần hoàn trong một chu kỳ. 23 Chương 2: Cơ sở lý thuyết Hình 2.
Biểu đồ chuỗi thời gian theo mùa d. Dao động ngẫu nhiên (1): Xét đến sự dao động ngẫu nhiên xung quanh xu thế, điều này có thể làm ảnh hưởng đến chu kỳ và biến đổi theo mùa của chuỗi quan sát.