Luận văn: Xây dựng hệ thống tư vấn chọn ban tại THPT Võ Văn Kiệt

Luận văn thạc sĩ xây dựng hệ thống tư vấn chọn ban cho học sinh THPT. Ứng dụng khai phá dữ liệu giúp học sinh chọn ban phù hợp, hiệu quả.

Chuyên ngành

Khoa học máy tính

Người đăng

Ẩn danh

Thể loại

Luận văn thạc sĩ kỹ thuật

2017

63
0
0

Phí lưu trữ

30 Point

Tóm tắt

I. Tổng quan hệ thống tư vấn chọn ban cho học sinh THPT

Việc lựa chọn ban học ở cấp Trung học phổ thông (THPT) là một quyết định nền tảng, ảnh hưởng trực tiếp đến con đường học vấn và định hướng nghề nghiệp THPT trong tương lai. Tuy nhiên, đứng trước ngưỡng cửa quan trọng này, nhiều học sinh cảm thấy bối rối và thiếu thông tin. Luận văn “Xây dựng hệ thống tư vấn hỗ trợ học sinh chọn ban tại trường THPT Võ Văn Kiệt” của tác giả Lý Thị Kiều Oanh (2017) ra đời nhằm giải quyết bài toán này. Mục tiêu chính của đề tài là ứng dụng công nghệ thông tin, cụ thể là các kỹ thuật khai phá dữ liệu, để xây dựng một công cụ hỗ trợ chọn ngành tự động. Hệ thống này không chỉ giúp học sinh đưa ra lựa chọn phù hợp với năng lực và sở thích, mà còn hỗ trợ nhà trường trong công tác quản lý và phân ban ở trường THPT một cách hiệu quả hơn. Sự phát triển của các ứng dụng hướng nghiệp đang trở thành xu hướng tất yếu trong giáo dục hiện đại. Các ứng dụng này cung cấp một kênh thông tin đáng tin cậy, giúp giảm bớt áp lực cho học sinh và gia đình. Thay vì lựa chọn theo cảm tính hoặc theo xu hướng đám đông, học sinh có thể dựa trên dữ liệu phân tích khách quan từ kết quả học tập, sở thích cá nhân và yêu cầu của các ngành nghề. Một hệ thống tư vấn chọn ban hiệu quả sẽ là cầu nối vững chắc giữa năng lực học sinh và định hướng tương lai, góp phần hạn chế tình trạng học nhầm ban, chuyển ban gây lãng phí thời gian và ảnh hưởng tâm lý. Nghiên cứu này mở ra một giải pháp thực tiễn, có khả năng nhân rộng tại nhiều trường học, đóng góp vào việc nâng cao chất lượng tư vấn tuyển sinh ngay từ bậc phổ thông.

1.1. Tầm quan trọng của định hướng nghề nghiệp THPT

Giai đoạn THPT là thời điểm vàng để học sinh bắt đầu khám phá bản thân và tìm hiểu về thế giới nghề nghiệp. Một định hướng đúng đắn sẽ giúp các em xác định được mục tiêu học tập rõ ràng, từ đó có động lực phấn đấu. Việc chọn ngành học tương lai không chỉ dựa vào sở thích mà còn cần cân nhắc đến năng lực, điều kiện gia đình và nhu cầu xã hội. Sự thiếu hụt thông tin và các hoạt động tư vấn tâm lý học đường chuyên sâu khiến nhiều học sinh lựa chọn sai lầm, dẫn đến việc phải học lại hoặc làm trái ngành sau này. Do đó, việc trang bị kiến thức và công cụ hỗ trợ định hướng nghề nghiệp THPT là vô cùng cần thiết.

1.2. Vai trò của ứng dụng hướng nghiệp trong giáo dục 4.0

Trong bối cảnh chuyển đổi số, các ứng dụng hướng nghiệpphần mềm tư vấn chọn ban đóng vai trò quan trọng. Các công cụ này tích hợp nhiều nguồn dữ liệu, từ thông tin các trường đại học, mô tả ngành nghề, đến các bài trắc nghiệm Holland online để đánh giá sở thích và năng lực. Chúng giúp cá nhân hóa lộ trình tư vấn cho từng học sinh, đưa ra những gợi ý xác đáng dựa trên thuật toán phân tích. Việc xây dựng website tư vấn không chỉ cung cấp thông tin mà còn tạo ra một môi trường tương tác, giúp học sinh chủ động tìm hiểu và lên kế hoạch cho tương lai của mình một cách khoa học và bài bản.

II. Thách thức khi học sinh chọn ban tự nhiên hay xã hội

Quá trình phân ban ở trường THPT là một bài toán phức tạp đối với cả học sinh và nhà trường. Theo nghiên cứu tại trường THPT Võ Văn Kiệt, công tác tư vấn và chọn ban trước đây diễn ra khá thủ công. Học sinh thường tự đăng ký dựa trên cảm tính, lời khuyên từ bạn bè hoặc áp lực từ gia đình mà chưa có sự phân tích kỹ lưỡng. Điều này dẫn đến nhiều hệ lụy: học sinh học không đúng sở trường, kết quả học tập giảm sút, và tình trạng xin chuyển ban diễn ra phổ biến, gây khó khăn cho công tác quản lý, xếp lớp của nhà trường. Câu hỏi chọn ban tự nhiên hay xã hội luôn là một trăn trở lớn. Mỗi ban học có những đặc thù và định hướng ngành nghề khác nhau. Nếu không hiểu rõ năng lực cốt lõi của bản thân, học sinh dễ bị choáng ngợp trước hàng trăm lựa chọn ngành nghề và khối thi. Việc thiếu một hệ thống gợi ý nghề nghiệp đáng tin cậy khiến quyết định của các em trở nên may rủi. Thực trạng này cho thấy nhu cầu cấp thiết về một phần mềm tư vấn chọn ban chuyên nghiệp. Hệ thống này cần có khả năng phân tích đa yếu tố: điểm số các môn học, môn học yêu thích, và cả định hướng ngành nghề mong muốn. Một giải pháp công nghệ sẽ giúp chuẩn hóa quy trình tư vấn, đảm bảo mọi học sinh đều nhận được những lời khuyên khách quan và khoa học, từ đó đưa ra quyết định chọn chọn khối A, B, C, D một cách tự tin và chính xác nhất.

2.1. Khó khăn trong công tác phân ban thủ công ở trường

Công tác phân ban thủ công thường dựa vào việc phát phiếu đăng ký và tổng hợp danh sách. Quy trình này tốn nhiều thời gian, dễ xảy ra sai sót và không có khả năng đưa ra gợi ý cá nhân hóa. Giáo viên chủ nhiệm dù có kinh nghiệm cũng khó có thể tư vấn sâu cho từng em trong một lớp học đông. Thực tế này nhấn mạnh sự cần thiết của một công cụ hỗ trợ chọn ngành để giảm tải cho giáo viên và nâng cao chất lượng tư vấn tuyển sinh tại trường.

2.2. Nhu cầu cần một phần mềm tư vấn chọn ban hiệu quả

Học sinh và phụ huynh ngày nay có nhu cầu tiếp cận thông tin một cách nhanh chóng và chính xác. Một phần mềm tư vấn chọn ban có thể đáp ứng nhu cầu này bằng cách cung cấp thông tin 24/7. Thay vì phải chờ đợi các buổi tư vấn tập trung, học sinh có thể tự thực hiện các bài trắc nghiệm chọn khối thi và nhận kết quả ngay lập tức. Đây là một giải pháp hiện đại, phù hợp với xu thế ứng dụng công nghệ vào giáo dục, giúp quá trình chọn ban trở nên minh bạch và hiệu quả hơn.

III. Phương pháp Bayes Giải pháp cho hệ thống tư vấn chọn ban

Để giải quyết bài toán tư vấn, luận văn đã lựa chọn một hướng tiếp cận khoa học dựa trên khai phá dữ liệu. Cốt lõi của hệ thống tư vấn chọn ban này là việc áp dụng phương pháp phân lớp Naïve Bayes. Đây là một thuật toán học máy dựa trên định lý Bayes, có khả năng tính toán xác suất một đối tượng thuộc về một lớp cụ thể dựa trên các đặc điểm đã biết. Trong bối cảnh này, đối tượng là học sinh, các đặc điểm là điểm số hoặc sở thích, và các lớp là Ban Khoa học Tự nhiên và Ban Khoa học Xã hội. Quá trình khám phá tri thức bắt đầu từ việc thu thập và tiền xử lý dữ liệu. Sau đó, thuật toán Naïve Bayes được sử dụng để xây dựng một mô hình dự đoán. Ví dụ, hệ thống sẽ tính toán xác suất một học sinh nên chọn Ban Tự nhiên khi biết điểm Toán, Lý, Hóa của em đó cao. Theo tác giả Lý Thị Kiều Oanh, phương pháp này phù hợp vì nó xử lý tốt các bộ dữ liệu có nhiều thuộc tính và cho kết quả nhanh chóng. Đây là một điểm sáng trong các khóa luận tốt nghiệp CNTT vì đã vận dụng thành công lý thuyết xác suất thống kê vào giải quyết một vấn đề thực tiễn trong giáo dục. Việc sử dụng thuật toán Naïve Bayes giúp hệ thống đưa ra những gợi ý có độ tin cậy cao, dựa trên phân tích dữ liệu lịch sử thay vì các quy tắc cứng nhắc. Điều này làm cho lời khuyên của hệ thống trở nên linh hoạt và gần với thực tế hơn, là một bước tiến quan trọng trong việc xây dựng website tư vấn thông minh.

3.1. Giới thiệu về khai phá dữ liệu và thuật toán Naïve Bayes

Khai phá dữ liệu (Data Mining) là quá trình trích xuất những thông tin hữu ích, tiềm ẩn từ các tập dữ liệu lớn. Trong luận văn này, thuật toán Naïve Bayes là kỹ thuật được lựa chọn. Thuật toán hoạt động dựa trên nguyên tắc tính xác suất có điều kiện. Cụ thể, hệ thống sẽ tính P(Ban | Dữ liệu học sinh) – xác suất học sinh thuộc một ban nào đó khi biết các dữ liệu đầu vào (điểm số, sở thích). Giả định “Naïve” (ngây thơ) của thuật toán là các thuộc tính đầu vào độc lập với nhau, giúp đơn giản hóa việc tính toán mà vẫn duy trì hiệu quả cao.

3.2. Cách mô hình phân lớp Naïve Bayes hoạt động

Mô hình phân lớp Naïve Bayes được “huấn luyện” từ một tập dữ liệu mẫu (ví dụ: dữ liệu chọn ban của các khóa trước). Từ đó, nó học được xác suất của từng đặc điểm ứng với mỗi ban. Khi một học sinh mới nhập thông tin, hệ thống sẽ sử dụng công thức Bayes để tính xác suất thuộc về Ban Tự nhiên và Ban Xã hội. Ban nào có xác suất cao hơn sẽ được đề xuất. Quy trình này mô phỏng cách một chuyên gia tư vấn tâm lý học đường đưa ra nhận định dựa trên kinh nghiệm và dữ liệu.

IV. Hướng dẫn xây dựng website tư vấn chọn ban cho học sinh

Việc hiện thực hóa lý thuyết thành một sản phẩm cụ thể là bước quan trọng nhất của luận văn. Quá trình xây dựng website tư vấn được thực hiện một cách bài bản, từ khâu phân tích yêu cầu đến thiết kế và triển khai. Hệ thống được phát triển trên nền tảng Microsoft Visual Studio 2008 và hệ quản trị cơ sở dữ liệu Microsoft SQL Server 2008. Cấu trúc của phần mềm tư vấn chọn ban bao gồm các module chính: đăng nhập, tư vấn, đăng ký chọn ban và thống kê. Chức năng tư vấn là hạt nhân của hệ thống, cung cấp ba phương thức tiếp cận khác nhau: tư vấn theo điểm trung bình môn, tư vấn theo môn học yêu thích và tư vấn theo ngành nghề. Mỗi phương thức được thiết kế với một thuật toán riêng để xử lý dữ liệu đầu vào và đưa ra kết quả phù hợp. Thiết kế cơ sở dữ liệu được tối ưu để lưu trữ thông tin học sinh, các luật tư vấn và kết quả lựa chọn. Giao diện người dùng được xây dựng thân thiện, dễ sử dụng, đảm bảo học sinh có thể thao tác một cách đơn giản. Toàn bộ quy trình này cho thấy việc phát triển một công cụ hỗ trợ chọn ngành không chỉ đòi hỏi kiến thức về lập trình mà còn cần sự am hiểu sâu sắc về bài toán nghiệp vụ. Đây là một minh chứng tiêu biểu cho một khóa luận tốt nghiệp CNTT có tính ứng dụng cao, đáp ứng trực tiếp nhu cầu của nhà trường và học sinh.

4.1. Phân tích và thiết kế cơ sở dữ liệu của hệ thống

Cơ sở dữ liệu là xương sống của hệ thống, bao gồm các bảng chính như TB_DSHOCSINH (danh sách học sinh), TB_LUATĐTB (lưu các luật tư vấn dựa trên điểm trung bình), TB_NHOM (nhóm ngành) và TB_NGANH (ngành nghề). Việc thiết kế các bảng này một cách hợp lý đảm bảo dữ liệu được lưu trữ nhất quán, dễ dàng truy vấn và mở rộng, là nền tảng cho một hệ thống gợi ý nghề nghiệp hoạt động ổn định và chính xác.

4.2. Sơ đồ thuật toán tư vấn dựa trên điểm và sở thích

Luận văn trình bày chi tiết các sơ đồ thuật toán cho từng chức năng tư vấn. Với tư vấn theo điểm, hệ thống áp dụng thuật toán Bayes để tính xác suất. Với tư vấn theo môn học yêu thích hoặc ngành nghề, hệ thống sử dụng các luật suy diễn đã được định nghĩa trước. Các thuật toán này đảm bảo logic tư vấn rõ ràng, giúp học sinh hiểu được tại sao hệ thống lại đưa ra gợi ý chọn khối A, B, C, D hay ban học cụ thể.

4.3. Thiết kế giao diện và chức năng của ứng dụng

Giao diện của ứng dụng hướng nghiệp này được thiết kế đơn giản với các màn hình chức năng rõ ràng: màn hình đăng nhập, màn hình tư vấn, màn hình chọn ban, màn hình thống kê. Các nút bấm và trường nhập liệu được bố trí logic, giúp người dùng dễ dàng tương tác. Sự thân thiện của giao diện là yếu tố quan trọng quyết định sự thành công của một phần mềm tư vấn chọn ban khi đối tượng sử dụng chính là học sinh.

V. Kết quả ứng dụng hệ thống gợi ý nghề nghiệp thực tiễn

Hiệu quả của một đề tài nghiên cứu được đánh giá rõ nhất qua kết quả ứng dụng thực tiễn. Hệ thống tư vấn chọn ban được triển khai thử nghiệm tại trường THPT Võ Văn Kiệt từ ngày 15/07/2017 đến 26/07/2017, phục vụ cho hơn 1500 học sinh. Kết quả thử nghiệm cho thấy hệ thống hoạt động ổn định và mang lại những giá trị tích cực. Học sinh có thể dễ dàng đăng nhập, sử dụng các chức năng tư vấn và nhận được những gợi ý hữu ích. Ví dụ, khi một học sinh nhập điểm các môn tự nhiên cao, hệ thống sẽ tính toán và đưa ra xác suất P(KHTN | Điểm) lớn hơn, từ đó khuyến nghị chọn Ban Khoa học Tự nhiên. Các màn hình kết quả tư vấn được trình bày rõ ràng, giúp học sinh nắm bắt thông tin nhanh chóng. Bên cạnh đó, chức năng thống kê cho phép ban giám hiệu theo dõi được tỷ lệ chọn ban của từng khối một cách trực quan. Việc ứng dụng thành công hệ thống gợi ý nghề nghiệp này đã góp phần giải đáp thắc mắc cho đa số học sinh, giúp các em chọn đúng ban, hạn chế việc học nhầm. Đây không chỉ là một sản phẩm công nghệ mà còn là một công cụ hỗ trợ chọn ngành đắc lực, minh chứng cho tính khả thi và ý nghĩa thực tiễn của luận văn. Thành công của dự án là nguồn động lực để tiếp tục phát triển các ứng dụng hướng nghiệp tiên tiến hơn.

5.1. Triển khai và thử nghiệm tại trường THPT Võ Văn Kiệt

Hệ thống được cài đặt trên môi trường Windows, sử dụng SQL Server 2008 và Visual Studio 2008. Dữ liệu đầu vào bao gồm danh sách học sinh, danh sách ngành nghề và các luật tư vấn. Quá trình thử nghiệm với hơn 1500 học sinh đã chứng minh hệ thống có khả năng chịu tải và đáp ứng tốt nhu cầu thực tế của một trường THPT, cho thấy tiềm năng nhân rộng của mô hình xây dựng website tư vấn này.

5.2. Đánh giá hiệu quả từ dữ liệu thống kê thực tế

Theo thống kê từ hệ thống, các kết quả tư vấn có độ chính xác cao và nhận được phản hồi tích cực từ học sinh. Hệ thống không chỉ giúp cá nhân học sinh trong việc chọn ngành học tương lai mà còn hỗ trợ nhà trường quản lý danh sách chọn ban và xếp lớp một cách thuận tiện, hiệu quả hơn trước thềm năm học mới. Đây là một minh chứng rõ ràng về lợi ích mà công nghệ mang lại cho công tác quản lý giáo dục.

VI. Kết luận Tương lai của phần mềm tư vấn chọn ngành học

Luận văn “Xây dựng hệ thống tư vấn hỗ trợ học sinh chọn ban tại trường THPT Võ Văn Kiệt” đã hoàn thành xuất sắc các mục tiêu đề ra. Đề tài đã xây dựng thành công một hệ thống tư vấn chọn ban đầu tiên cho trường, dựa trên nền tảng lý thuyết vững chắc của khai phá dữ liệu và thuật toán Naïve Bayes. Sản phẩm không chỉ là một khóa luận tốt nghiệp CNTT chất lượng mà còn là một giải pháp thực tiễn, góp phần giải quyết một vấn đề tồn tại lâu nay trong công tác định hướng nghề nghiệp THPT. Hệ thống đã chứng minh được hiệu quả trong việc hỗ trợ học sinh đưa ra quyết định sáng suốt hơn, đồng thời tối ưu hóa công tác quản lý của nhà trường. Sự thành công của dự án mở ra nhiều hướng phát triển trong tương lai. Phần mềm tư vấn chọn ban có thể được nâng cấp bằng cách tích hợp thêm các mô hình học máy phức tạp hơn, cập nhật dữ liệu ngành nghề theo thời gian thực và kết hợp các bài trắc nghiệm Holland online để đánh giá tính cách. Hơn nữa, hệ thống có thể mở rộng thành một hệ thống gợi ý nghề nghiệp toàn diện, không chỉ tư vấn chọn ban mà còn gợi ý các trường đại học và ngành học cụ thể. Tương lai của giáo dục gắn liền với công nghệ, và những công cụ hỗ trợ chọn ngành như thế này sẽ ngày càng trở nên quan trọng, giúp thế hệ trẻ tự tin bước vào tương lai.

6.1. Tóm tắt thành công của khóa luận tốt nghiệp CNTT này

Luận văn đã thành công trong việc nghiên cứu và ứng dụng thuật toán Bayes để xây dựng một hệ thống tư vấn thực tiễn. Kết quả không chỉ dừng lại ở mặt lý thuyết mà đã được kiểm chứng qua thực tế với dữ liệu và người dùng thật. Đề tài đã tạo ra một sản phẩm có ý nghĩa khoa học và giá trị ứng dụng cao, giải quyết trực tiếp nhu cầu của học sinh trường THPT Võ Văn Kiệt.

6.2. Hướng phát triển cho công cụ hỗ trợ chọn ngành tương lai

Trong tương lai, hệ thống có thể được phát triển thành một ứng dụng di động để tăng tính tiện dụng. Dữ liệu có thể được mở rộng, kết nối với các nguồn thông tin tuyển sinh chính thức để đảm bảo tính cập nhật. Việc tích hợp trí tuệ nhân tạo để phân tích sâu hơn về xu hướng nghề nghiệp và đưa ra dự báo sẽ là một bước tiến vượt bậc, biến nó thành một trợ lý ảo không thể thiếu trong việc tư vấn tuyển sinh cho học sinh.

04/10/2025

Trích đoạn nội dung tài liệu

Chương 1. Cơ sở lý thuyết: Chương này giới thiệu tổng quan về kho dữ liệu, khám phá tri thức, khai phá dữ liệu và giới thiệu sơ về phương pháp phân loại Naïve Bayes. Giải pháp hệ tư vấn hỗ trợ chọn ban: gồm các phần như: giới thiệu về công tác tư vấn và chọn ban tại trường THPT Võ Văn Kiệt, phát biểu bài toán, giải pháp tổng thể, thiết kế chi tiết hệ thống tư vấn. Cài đặt và thử nghiệm: gồm môi trường cài đặt, dữ liệu đầu vào, cài đặt hệ thống, kết quả thử nghiệm, đánh giá kết quả.

CƠ SỞ LÝ THUYẾT Từ khi ứng dụng công nghệ thông tin được sử dụng rộng rãi trên hệ thống máy tính, có một khối lượng lớn dữ liệu được lưu trữ và xử lý trên máy tính. Vấn đề ứng dụng công nghệ thông tin hiện nay không chỉ là lưu trữ vận hành dữ liệu, mà còn là việc tổ chức các nguồn dữ liệu đó để rút trích thông tin và hỗ trợ ra quyết định. Đây chính là một sự tiến hoá cần thiết cho các hệ thống thông tin. Kho dữ liệu 1.

Tổng quan về kho dữ liệu Kho dữ liệu là tuyển tập các cơ sở dữ liệu tích hợp, hướng chủ đề, được thiết kế để hỗ trợ cho chức năng trợ giúp quyết định. Theo John Ladley, Công nghệ kho dữ liệu (Data Warehouse Technology) là tập các phương pháp, kỹ thuật và các công cụ có thể kết hợp, hỗ trợ nhau để cung cấp thông tin cho người sử dụng trên cơ sở tích hợp từ nhiều nguồn dữ liệu, nhiều môi trường khác nhau. Inman đề xướng: DW được hiểu là một tập hợp các dữ liệu tương đối ổn định (không hay thay đổi), cập nhật theo thời gian, được tích hợp theo hướng chủ đề nhằm hỗ trợ quá trình tạo quyết định về mặt quản lý [8;9]. Kho dữ liệu thường rất lớn tới hàng trăm Gigabyte hay thậm chí hàng Terabyte.

Kho dữ liệu được xây dựng để tiện lợi cho việc truy cập theo nhiều nguồn, nhiều kiểu dữ liệu khác nhau sao cho có thể kết hợp được cả những ứng dụng của các công nghệ hiện đại và kế thừa được từ những hệ thống đã có sẵn từ trước. Mục đích của kho dữ liệu - Mục tiêu chính của kho dữ liệu là nhằm đáp ứng các tiêu chuẩn cơ bản sau: + Phải có khả năng đáp ứng mọi yêu cầu về thông tin của người sử dụng. + Hỗ trợ để các nhân viên của tổ chức thực hiện tốt, hiệu quả công việc của mình, như có những quyết định hợp lý, nhanh và bán được nhiều hàng hơn, năng suất cao hơn, thu được lợi nhuận cao hơn, v. + Giúp cho tổ chức, xác định, quản lý và điều hành các dự án, các nghiệp vụ một cách hiệu quả và chính xác.

+ Tích hợp dữ liệu và các siêu dữ liệu từ nhiều nguồn khác nhau. - Muốn đạt được những yêu cầu trên thì DW phải: + Nâng cao chất lượng dữ liệu bằng các phương pháp làm sạch và tinh lọc dữ liệu theo những hướng chủ đề nhất định + Tổng hợp và kết nối dữ liệu + Đồng bộ hoá các nguồn dữ liệu với DW + Phân định và đồng nhất các hệ quản trị cơ sở dữ liệu tác nghiệp như là các công cụ chuẩn để phục vụ cho DW. 5 + Quản lí siêu dữ liệu + Cung cấp thông tin được tích hợp, tóm tắt hoặc được liên kết, tổ chức theo các chủ đề + Dùng trong các hệ thống hỗ trợ quyết định (Decision suport system - DSS), các hệ thống thông tin tác nghiệp hoặc hỗ trợ cho các truy vấn đặc biệt [11]. Đặc tính của kho dữ liệu Những đặc điểm cơ bản của Kho dữ liệu (DW) là một tập hợp dữ liệu có tính chất sau: - Tính tích hợp (Integration) - Dữ liệu gắn thời gian và có tính lịch sử - Dữ liệu có tính ổn định (nonvolatility) - Dữ liệu không biến động - Dữ liệu tổng hợp 1.

Quy trình xây dựng kho dữ liệu và các vấn đề liên quan 1. Kho dữ liệu và cơ sở dữ liệu - Trước tiên DW là database rất lớn - Database hướng về xử lý thời gian thực, DW hướng về tính ổn định. - Phục vụ xử lý transaction, cập nhật. Datawarehouse thường chỉ đọc, phục vụ cho những nhu cầu báo cáo.

- DW sẽ lấy thông tin có thể từ nhiều nguồn khác nhau: DB2, Oracle, SQLserver thậm chí cả File thông thường rồi làm sạch chúng và đưa vào cấu trúc của nó-đó là VLDB (very large database). - Một điểm quan trọng là Database thường được chuẩn hóa (Dạng chuẩn 1, 2, 3, BCK) để khai thác [1]. Kiến trúc kho dữ liệu Mô hình kiến trúc của kho dữ liệu cơ bản gồm có ba thành phần: Dữ liệu nguồn, khu vực xử lý và kho dữ liệu [4]. 6 Dữ liệu nguồn Khu vực xử lý Kho dữ liệu Người dùng đầu cuối Hệ thống hoạt động Các tập tin phẳng Hình 1.

Kiến trúc kho dữ liệu a. Nguồn dữ liệu Nguồn dữ liệu của kho dữ liệu bao gồm từ rất nhiều nguồn khác nhau và có cấu trúc dữ liệu khác nhau: - Dữ liệu từ hệ thống tác nghiệp: Đây là nguồn dữ liệu chính để xây dựng kho dữ liệu, chứa các dữ liệu chi tiết hiện tại của hệ thống tác nghiệp. - Dữ liệu từ hệ thống phân tích: Đây là dữ liệu được tổng hợp từ dữ liệu nguồn đã cũ và tổ chức lại theo nhiều phương pháp khác nhau. - Dữ liệu từ bên ngoài: đây là các dữ liệu từ các nguồn ngoài hệ thống của công ty, có thể do các tổ chức khác thu thập và tạo ra, nó được sử dụng cho các yêu cầu phân tích dữ liệu.

Dữ liệu từ các hệ thống nguồn thường hỗn tạp và chứa nhiều cấu trúc khác nhau ví dụ: các cơ sở dữ liệu, từ các file excel, các file thô, hay dạng XML. Vì thế trước khi đưa vào kho dữ liệu cần phải chuyển đổi và tích hợp dữ liệu. Khu vực xử lý Ở khu vực này dữ liệu được sử dụng các kỹ thuật làm sạch và chuyển đổi để đảm bảo tính nhất quán dữ liệu trước khi đưa vào kho dữ liệu đích. Thông thường người ta sử dụng các công cụ trích xuất, chuyển đổi và nạp dữ liệu (ETL: Extracts dữ liệu-Transforms dữ liệu-Load dữ liệu).

Công cụ này thực hiện các thao tác trích xuất dữ liệu, chuyển đổi dữ liệu, tải dữ liệu vào kho dữ liệu. Nhiệm vụ: - Làm sạch dữ liệu vào: Đây là quá trình kiểm tra dữ liệu đầu vào và loại bỏ các dữ liệu sai định dạng hoặc lỗi. Nhiệm vụ của bước này bao gồm:  Sử dụng các luật về dữ liệu (Data Quality rules) để kiểm tra dữ liệu đầu vào. 7  Chỉnh sửa lỗi dữ liệu.

 Cảnh báo về lỗi dữ liệu đầu vào. - Chuyển đổi dữ liệu: Đây là quá trình chuyển đổi dữ liệu nhằm đảm bảo tính nhất quán trước khi chuyển vào kho dữ liệu. Quá trình này bao gồm các bước:  Sử dụng các luật về chuyển đổi dữ liệu để chuyển đổi.  Chuyển đổi kiểu dữ liệu cho phù hợp với cơ sở dữ liệu đích  Chuyển đổi dữ liệu vào một lược đồ nhất quán.

Các bước: Tiến trình ETL gồm có 3 bước: - Trích xuất: Dữ liệu nguồn từ rất nhiều nguồn khác nhau và có thể có rất nhiều cấu trúc dữ liệu khác nhau như nhiều loại cơ sở dữ liệu, từ file excel hay từ file thô. Vì thế nhiệm vụ chính của bước này là trích xuất dữ liệu từ hệ thống nguồn để xử lý. - Chuyển đổi: Đây là quá trình rất phức tạp dùng để chuyển đổi dữ liệu nguồn một mô hình khác phù hợp và chuyển vào cơ sở dữ liệu đích. Ở bước này sẽ phải sử dụng các phép chuyển đổi như:  Chọn các cột dữ liệu phù hợp (chỉ chọn các cột cần thiết)  Chuyển đổi dữ liệu.

Ví dụ: chuyển 1 thành Nam hay ngược lại.  Tạo ra các cột tính toán mới. Ví dụ: Điểm trung bình = Tổng điểm /số trình  Lọc dữ liệu.  Sắp xếp dữ liệu  Thực hiện các phép tổng hợp (tính tổng các cột, đếm số dòng, tính trung bình).

 Tạo ra các giá trị mới (tạo khóa tự tăng).  Tìm kiếm hay so sánh dữ liệu. Có thể nói đây là bước quan trọng nhất trong tiến trình ETL, nó thực hiện hầu hết các nhiệm vụ của tiến trình ETL. - Nạp dữ liệu vào kho dữ liệu: Đây là quá trình đẩy dữ liệu sau khi đã được chuyển đổi vào kho dữ liệu.

Dữ liệu sau khi đã được chuyển đổi sẽ được nạp vào kho dữ liệu. Kho dữ liệu 8 Kho dữ liệu là cơ sở dữ liệu được tổ chức lại theo mô hình hình sao hay mô hình bông tuyết. Mô hình được phi chuẩn hóa, chấp nhận sự dư thừa dữ liệu trong lưu trữ dữ liệu chính vì thế mô hình dữ liệu đơn giản hơn nên việc truy vấn dễ dàng hơn và tốc độ xử lý cũng nhanh hơn mô hình dữ liệu được chuẩn hóa. Ngoài ra kho dữ liệu còn chứa các dữ liệu khác như: - Siêu dữ liệu: Đây là dữ liệu chứa định nghĩa của dữ liệu được lưu trữ trong kho dữ liệu.

Siêu dữ liệu định nghĩa nên các thành phần của kho dữ liệu, cách thức dữ liệu được tải vào kho dữ liệu, lưu lại quá trình hoạt động của kho dữ liệu. Siêu dữ liệu gồm có các dạng sau: + Dữ liệu định nghĩa và cách thức ánh xạ dữ liệu vào các bảng trong kho dữ liệu. + Dữ liệu định nghĩa và giải thích cấu trúc của các bảng bên trong kho dữ liệu. + Dữ liệu định nghĩa cấu trúc dữ liệu ở hệ thống nguồn.

+ Dữ liệu định nghĩa và chú thích về tiến trình ETL. + Dữ liệu định nghĩa các luật về chất lượng dữ liệu, các mức độ sai lệch của dữ liệu và cách thức xử lý. + Dữ liệu theo dõi tiến trình xử lý các bản ghi trong kho dữ liệu. + Dữ liệu chứa các sự kiện hoạt động của các ứng dụng.

- Bảng sự kiện tổng hợp: Các bảng tổng hợp này lưu dữ các dữ liệu tính toán được nhằm trả lời một cách nhanh nhất các câu hỏi của người dùng đưa ra. Đây là dữ liệu có thể tính toán được từ các bảng khác tuy nhiên để tăng tốc độ xử lý dữ liệu này được lưu trữ để không phải tính toán lại mỗi khi có truy vấn. Khám phá tri thức và khai phá dữ liệu 1. Tổng quan về khai phá tri thức và khai phá dữ liệu “Khám phá tri thức là quá trình tìm ra những tri thức, đó là những mẫu tìm ẩn, trước đó chưa biết và là thông tin hữu ích đáng tin cậy”.

Nội dung được bảo vệ bản quyền — Tải xuống đầy đủ