MỞ ĐẦU Đi cùng với sự phát triển mạnh mẽ của mạng Internet trong những thập kỷ gần đây trên toàn cầu, nguồn dữ liệu web trở thành kho dữ liệu khổng lồ để khai thác thông tin hữu ích (theo thống kê của NetCraft vào tháng 10 năm 2015, có khoảng 878.546 site trên toàn thế giới [9]). Nguồn dữ liệu mà Internet mang lại ngày càng trở nên đồ sộ, đa dạng, bao phủ lên tất cả mọi mặt của cuộc sống, từ văn hoá, kinh tế, chính trị, du lịch, học tập, nghiên cứu. Với sự phong phú về tài nguyên nhƣ vậy, nhu cầu về tìm kiếm và xử lý thông tin, cùng với yêu cầu về khả năng khai thác chúng một cách hiệu quả để giúp cho con ngƣời dễ dàng và chính xác hơn trong việc đƣa ra quyết định, chiến lƣợc kinh doanh, phân tích rủi ro (trong kinh doanh), trong việc makerting và quảng bá sản phẩm, hay trong việc điểu tra tâm lý và ý kiến của khách hàng,. đã trở nên cần thiết trong xã hội hiện đại.
Nhƣng vấn đề tìm kiếm và sử dụng nguồn tài nguyên đó nhƣ thế nào để phục vụ cho công việc của mình lại là một vấn đề khó khăn đối với ngƣời sử dụng, nhất là đối với những ngƣời đóng vai trò điều hành, ra quyết định ở các công ty, doanh nghiệp. Để thoả mãn yêu cầu trên Công ty Saltlux - một công ty chuyên về lĩnh vực tìm kiếm ngữ nghĩa và big data - đã giới thiệu một dịch vụ, một giải pháp tổng thể giúp chúng ta sử dụng nguồn tài nguyên đó dễ dàng hơn, tập trung hơn và hiệu quả hơn, qua đó nâng cao đƣợc chất lƣợng công việc và tiết kiệm đƣợc thời gian, đóng góp vào sự phát triển của các doanh nghiệp, công ty. Giải pháp đƣợc giới thiệu bao gồm các quá trình thu thập dữ liệu từ Internet, phân loại và phân cụm dữ liệu thu thập đƣợc, phân tích dữ liệu, tìm kiếm dữ liệu và trực quan hoá dữ liệu - sử dụng các biểu đồ, đồ thị để biểu diễn dữ liệu. Trong phạm vi luận văn tôi giới thiệu quy trình khảo sát, phân tích, thiết kế, phát triển và thử nghiệm một hệ thống khảo duyệt web và thu thập dữ liệu - một hệ thống mạnh mẽ thu thập dữ liệu từ nhiều nguồn khác nhau (trang tin tức, diễn đàn, blog, mạng xã hội Twitter), thu thập nhiều loại dữ liệu khác nhau nhƣ html, text (.), videos, và các loại file phổ biến khác nhƣ (.
Hệ thống đƣợc xây dựng có khả năng chạy trên nhiều môi trƣờng hệ điều hành khác nhau nhƣ Unix- based, Windows. Với việc thiết kế hệ thống chạy đa luồng đồng thời, số lƣợng luồng đƣợc cấu hình động giúp cho hệ thống dễ dàng tuỳ chỉnh một cách linh hoạt tận dụng tối đa nguồn tài nguyên của máy chủ cũng nhƣ băng thông mạng. Ngoài ra với kiến trúc phân tán công việc linh hoạt, giúp hệ thống có khả năng đƣợc mở rộng trên nhiều máy, tính năng mà các công cụ thu thập dữ liệu phổ 1 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com biến khác chƣa làm đƣợc nhƣ HTTrack, WebSPHINX, Web Application Attack and Audit Framework, OWASP Zed Attack Proxy,. Sử dụng cơ sở dữ liệu NoSQL - MongoDB để lƣu trữ dữ liệu giúp hệ thống đảm bảo lƣu trữ đƣợc dữ liệu rất lớn, tốc độ đọc/ghi dữ liệu nhanh, dễ dàng tích hợp với các hệ thống khác.
Đây cũng là ƣu điểm vƣợt trội so với các công cụ HTTrack, WebSPHINX,. chỉ cho phép lƣu trữ dữ liệu thu thập đƣợc dƣới dạng file. Hệ thống thu thập dữ liệu này cũng là hệ thống mà tôi tham gia thiết kế và phát triển tại công ty nơi tôi đang làm việc. Hệ thống thu thập dữ liệu đƣợc trình bày trong luận văn đã góp phần đáng kể vào việc thúc đẩy sự phát triển của công ty, và đã đƣợc triển khai tới khách hàng là cơ quan nhà nƣớc (Văn phòng chính phủ, Bộ nội vụ, Bộ quốc phòng.) ở Hàn Quốc và doanh nghiệp ở Nhật Bản (Samuraiz).
Phụ Lục 1 liệt kê danh sách các đơn vị đã triển khai hệ thống. Nội dung của luận văn đƣợc tổ chức thành 5 chƣơng nhƣ sau: Chƣơng 1: Trình bày lý thuyết chung về hệ hỗ trợ quyết định. Đây là kiến thức nền tảng về hệ thống hỗ trợ ra quyết định nhƣ quá trình ra quyết định, các thành phần cơ bản của hệ hỗ trợ ra quyết định. Chƣơng 2: Tìm hiểu và khảo sát một số hệ thống thu thập dữ liệu đƣợc giới thiệu trong các bài báo khoa học nhƣ Mercator và TwitterEcho; đồng thời tiến hành khảo sát hệ thống đã đƣợc triển khai thực tế nhƣ HTTrack.
Giải pháp cho việc lƣu trữ dữ liệu lớn cũng đƣợc trình bày trong chƣơng này. Chƣơng 3: Trình bày chi tiết thiết kế hai hệ thống khảo duyệt web và thu thập dữ liệu. Hệ thống thứ nhất là hệ thống thu thập dữ liệu từ website chung nhƣ các diễn đàn, blog, tin tức,. Hệ thống thứ hai là hệ thống chuyên thu thập dữ liệu từ mạng xã hội Twitter.
Chƣơng 4: Cài đặt, triển khai và đánh giá: chƣơng này trình bày chi tiết việc cài đặt, triển khai hệ thống, và đánh giá kết quả dựa trên yêu cầu thực lấy đƣợc từ phía khách hàng. Chƣơng 5: Kết luận và hƣớng phát triển 2 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com CHƢƠNG 1. TỔNG QUAN VỀ HỆ HỖ TRỢ QUYẾT ĐỊNH Sự phát triển nhanh chóng của mạng Internet trong những thập kỷ gần đây đã mang lại nguồn dữ liệu to lớn. Lƣợng dữ liệu đƣợc chia sẻ trên mạng là rất lớn với nội dung phong phú, đa dạng đến từ nhiều nguồn cung cấp dữ liệu khác nhau nhƣ: các site tin tức (cung cấp thông tin liên quan đến mọi mặt trong cuộc sống nhƣ giáo dục, kinh tế, chính trị, ngoại giao, thể , giải trí, .), các diễn đàn, các kênh truyền hình trực tuyến, mạng xã hội,.
Nguồn dữ liệu phong phú, nhƣng việc sử dụng chúng một cách hiệu quả để giúp ích cho con ngƣời đặc biệt những ngƣời có vai trò ra quyết định trong các tổ chức, các công ty đang là một thách thức lớn. Ý tƣởng của luận văn là xây dựng hệ thống thu thập dữ liệu trên web, trên các mạng xã hội. Dữ liệu thu thập đƣợc dùng cho các hệ thống phân tích, tìm kiếm sau này. Dƣới đây học viên trình bày lý thuyết chung và một trƣờng hợp sử dụng thực tế hệ hỗ trợ ra quyết.
Thế nào là ra quyết định Viẹ c đu a ra quyết định đối với mọ t vấn đề xuất hiẹ n trong khắp các lĩnh vực, hoạt đọ ng của đời sống mà đôi khi chúng ta không nhạ n ra. Từ những viẹ c đo n giản nhu chọn mọ t bọ quần áo để đi dự tiẹ c cho đến các viẹ c lớn lao nhu phân bổ ngân sách vào các chu o ng trình của quốc gia đều là các công viẹ c đu a ra quyết định. Vạ y đu a ra quyết định chính là chọn ra trong các giải pháp khả thi mọ t giải pháp mà theo ngu ời đu a ra quyết định là phù hợp nhất. Quá trình ra quyết định 1.
Phân loại quyết định Có thể phân ra bốn loại quyết định nhƣ sau: - Quyết định có cấu trúc (Structured Decision): Các quyết định mà ngu ời ra quyết định biết là chắc chắn đúng. - Quyết định không cấu trúc (Nonstructured Decision): Các quyết định mà ngu ời ra quyết định biết là có nhiều câu trả lời gần đúng và không có cách nào để tìm ra câu trả lời chính xác nhất. - Quyết định đẹ quy (Recurring Decision): Các quyết định lạ p đi, lạ p lại. - Quyết định không đẹ quy (Nonrecurring Decision): Các quyết định không xảy ra thu ờng xuyên.
Các giai đoạn của quá trình ra quyết định Theo Simon, các giai đoạn của quá trình ra quyết định bao gồm các pha: - Nhạ n định (Intelligence): Tìm kiếm các tình huống dẫn đến viẹ c phải ra quyết định, nhạ n dạng các vấn đề, nhu cầu, co họ i, rủi ro. 3 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com - Thiết kế (Design): Phân tích các hu ớng tiếp cạ n để giải quyết vấn đề, đáp ứng các nhu cầu, tạ n dụng các co họ i , hạn chế các rủi ro. - Lựa chọn (Choice): Cân nhắc và đánh giá từng giải pháp, đo lu ờng hạ u quả của từng giải pháp và chọn giải pháp tối u u. - Tiến hành ra quyết định (Implementation): Thực hiẹ n giải pháp đu ợc chọn, theo d i kết quả và điều chỉnh khi thấy cần thiết.
Hình 1-1 Các giai đoạn của quá trình ra quyết định 1. Hệ hỗ trợ ra quyết định 1. Khái niệm hệ hỗ trợ ra quyết định Trong thạ p niên 1970, Scott Morton đu a ra những khái niẹ m đầu tiên về Hẹ hỗ trợ ra quyết định (Decision Support Systems-DSS). ng định 4 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com nghĩa DSS nhu là những hẹ thống máy tính tu o ng tác nh m giúp những ngu ời ra quyết định sử dụng dữ liẹ u và mô hình để giải quyết các vấn đề không có cấu trúc 7].
Hình 1-2 Ƣu điểm của hệ hỗ trợ quyết định Cho đến nay chu a có mọ t định nghĩa thống nhất về DSS. Tuy nhiên tất cả đều đồng mục đích co bản nhất của DSS là để hỗ trợ và cải tiến viẹ c ra quyết định. Các thành phần của hệ hỗ trợ ra quyết định Mọ t hẹ hỗ trợ ra quyết định gồm có ba thành phần chính: - Quản lý mô hình. - Quản lý dữ liệu.
- Quản lý giao diện ngƣời dùng. Quản lý mô hình (Model Management) bao gồm các mô hình ra quyết định (DSS models) và viẹ c quản lí các mô hình này. Mọ t số ví dụ của các mô hình ra quyết định nhƣ: mô hình nếu thì, mô hình tối u u, mô hình tìm kiếm mục đích, mô hình thống kê. Quản lý dữ liệu (Data Management) thực hiẹ n công viẹ c lu u trữ các thông tin của hẹ và phục vụ cho việc cạ p nhạ t, truy vấn thông tin.
Quản lý giao diện ngƣời dùng (User Interface Management) quản lí viẹ c giao tiếp giữa ngu ời dùng cuối và Hẹ ra quyết định. 5 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Hình 1-3 Các thành phần của hệ hỗ trợ quyết định 1. Mô hình ra quyết định Mọ t đạ c tru ng co bản của Hẹ hỗ trợ ra quyết định là phải có ít nhất mọ t mô hình hỗ trợ ra quyết định. Viẹ c chọn lựa và xây dựng mô hình n m trong giai đoạn thứ hai (Design Phase) của quá trình ra quyết định.
Mọ t mô hình là mọ t khái quát hóa hay trừu tu ợng hóa của thực tế.