Nghiên Cứu Xu Hướng Ngành Công Nghệ Thông Tin Từ Dữ Liệu Trên Internet

Chuyên khảo phân tích Phân tíh xu hướng nghề nghiệp dựa trên thông tin tuyển dụng trên internet, đánh giá các khía cạnh quan trọng, đề xuất hướng nghiên cứu tiếp theo.

• Tác giả: Lưu Đức Phong
• Người hướng dẫn: TS. Nguyễn Hữu Đắc
• Trường học: Đại Học Bách Khoa Hà Nội
• Chuyên ngành: Công Nghệ Thông Tin
• Đề tài: Nghiên Cứu Xu Hướng Ngành Công Nghệ Thông Tin Từ Dữ Liệu Trên Internet
• Loại tài liệu: luận văn
• Năm xuất bản: 2019
• Địa điểm: Hà Nội

Mục lục chi tiết

• LỜI CAM ĐOAN
• 1. CHƯƠNG 1: TỔNG QUAN
• 1.1. Đóng bản và lưu trữ dữ liệu nhiều định dạng
• 1.2. Tổng hợp thống kê, trực quan số liệu
• 1.3. Phân tích dự đoán xu hướng
• 1.4. Các công cụ, mô hình đáp ứng cho bài toán
• 1.5. Hệ thống quản trị với lưu trữ cơ sở dữ liệu NOSQL
• 1.6. Các công cụ trực quan hóa số liệu
• 1.7. Mạng nơ-ron nhân tạo và mô hình dự đoán
• 1.7.1. Định nghĩa và cấu trúc
• 1.7.2. Mạng nhiều tầng truyền thẳng
• 1.7.3. Huấn luyện mạng nơ-ron
• 1.7.4. Mạng nơ-ron hồi quy (RNN - Recurrent Neural Network)
• 2. CHƯƠNG 2: XÂY DỰNG CHƯƠNG TRÌNH THU THẬP VÀ PHÂN TÍCH XU HƯỚNG NGHỀ NGHIỆP
• 2.1. Phân tích mục tiêu. Giải quyết bài toán
• 2.2. Các công cụ giải quyết yêu cầu
• 3. CHƯƠNG 3: MÔ PHỎNG THỰC NGHIỆM CHƯƠNG TRÌNH
• 3.1. Đóng bản và lưu trữ dữ liệu
• 3.2. Trình diễn dữ liệu
• 3.3. Phân tích dự đoán xu hướng việc làm
• 4. CHƯƠNG 4: KẾT LUẬN VÀ PHƯƠNG HƯỚNG NGHIÊN CỨU, PHÁT TRIỂN
• TÀI LIỆU THAM KHẢO

Tóm tắt

I. Tổng Quan Nghiên Cứu Xu Hướng Ngành CNTT Vì Sao Quan Trọng

Bài viết này trình bày tổng quan về nghiên cứu xu hướng ngành công nghệ thông tin dựa trên dữ liệu trên Internet. Việc phân tích này ngày càng trở nên quan trọng trong bối cảnh chuyển đổi số diễn ra mạnh mẽ. Các công ty cần nắm bắt được xu hướng công nghệ thông tin để đưa ra quyết định chiến lược đúng đắn, từ đó nâng cao năng lực cạnh tranh. Dữ liệu thu thập từ Internet, bao gồm các báo cáo thị trường, thông tin tuyển dụng, thảo luận trên mạng xã hội, cung cấp một nguồn tài nguyên phong phú để phân tích xu hướng ngành công nghệ thông tin. Trích dẫn từ tài liệu gốc cho thấy tầm quan trọng của việc này: "Trong thời đại công nghệ, việc nắm bắt xu hướng là yếu tố then chốt để thành công."

1.1. Tầm Quan Trọng Của Phân Tích Dữ Liệu Trong Ngành CNTT

Phân tích dữ liệu đóng vai trò then chốt trong việc xác định xu hướng công nghệ thông tin. Việc này giúp doanh nghiệp hiểu rõ hơn về nhu cầu thị trường, đối thủ cạnh tranh và cơ hội phát triển. Dữ liệu lớn ngành công nghệ thông tin, được thu thập và phân tích một cách hiệu quả, cho phép dự đoán xu hướng tuyển dụng công nghệ thông tin, xác định các kỹ năng cần thiết và điều chỉnh chiến lược kinh doanh. Tầm quan trọng của phân tích dữ liệu trong CNTT ngày càng gia tăng khi khối lượng dữ liệu trực tuyến tiếp tục tăng trưởng.

1.2. Internet Là Nguồn Dữ Liệu Vàng Cho Nghiên Cứu Xu Hướng CNTT

Internet cung cấp một kho dữ liệu khổng lồ và đa dạng về ngành công nghệ thông tin. Các nguồn dữ liệu trực tuyến như báo cáo thị trường, trang web tuyển dụng, diễn đàn công nghệ, mạng xã hội, và các bài viết chuyên ngành chứa đựng thông tin giá trị về xu hướng công nghệ mới nổi. Phân tích xu hướng web và social listening công nghệ thông tin giúp doanh nghiệp hiểu rõ hơn về sự quan tâm của cộng đồng đối với các công nghệ khác nhau. Việc khai thác hiệu quả nguồn dữ liệu này là chìa khóa để nghiên cứu thị trường công nghệ thông tin.

II. Thách Thức Nghiên Cứu Xu Hướng CNTT Vượt Qua Rào Cản

Nghiên cứu xu hướng công nghệ thông tin từ dữ liệu trên Internet đối mặt với nhiều thách thức. Đầu tiên, khối lượng dữ liệu khổng lồ và không đồng nhất đòi hỏi các phương pháp xử lý và phân tích tiên tiến. Thứ hai, việc xác định thông tin đáng tin cậy và loại bỏ nhiễu là một vấn đề quan trọng. Cuối cùng, việc giải thích và ứng dụng kết quả nghiên cứu vào thực tế đòi hỏi kiến thức chuyên môn sâu rộng. Vấn đề và thách thức này cần được giải quyết để đảm bảo tính chính xác và hiệu quả của nghiên cứu xu hướng công nghệ thông tin. Theo tài liệu, "Thách thức lớn nhất là làm thế nào để biến dữ liệu thô thành thông tin có giá trị."

2.1. Xử Lý Dữ Liệu Lớn Big Data Trong Nghiên Cứu Xu Hướng CNTT

Big data trong công nghệ thông tin đặt ra những thách thức lớn về lưu trữ, xử lý và phân tích dữ liệu. Các công nghệ dữ liệu lớn ngành công nghệ thông tin, như Hadoop và Spark, cung cấp các giải pháp hiệu quả để xử lý khối lượng dữ liệu khổng lồ. Việc sử dụng các thuật toán machine learning trong công nghệ thông tin giúp tự động hóa quá trình phân tích và khai phá thông tin từ dữ liệu lớn.

2.2. Đảm Bảo Tính Xác Thực Và Độ Tin Cậy Của Dữ Liệu Trực Tuyến

Thông tin trên Internet rất đa dạng, nhưng không phải tất cả đều đáng tin cậy. Việc xác định nguồn gốc và đánh giá độ tin cậy của dữ liệu là rất quan trọng. Các phương pháp kiểm chứng dữ liệu, như so sánh với các nguồn khác nhau và sử dụng các thuật toán phát hiện thông tin sai lệch, giúp đảm bảo tính chính xác của nghiên cứu xu hướng công nghệ thông tin.

III. Phương Pháp Phân Tích Xu Hướng CNTT Từ Dữ Liệu Internet Hiệu Quả

Để phân tích xu hướng công nghệ thông tin hiệu quả từ dữ liệu trên Internet, cần áp dụng các phương pháp phù hợp. Các phương pháp này bao gồm thu thập dữ liệu, xử lý dữ liệu, phân tích dữ liệu và trực quan hóa dữ liệu. Việc lựa chọn phương pháp phù hợp phụ thuộc vào mục tiêu nghiên cứu, nguồn dữ liệu và nguồn lực sẵn có. Sử dụng các công cụ phân tích xu hướng chuyên dụng giúp tăng cường hiệu quả của quá trình phân tích. Tài liệu chỉ ra: "Sự kết hợp giữa các phương pháp định lượng và định tính mang lại kết quả toàn diện hơn."

3.1. Thu Thập Dữ Liệu Tự Động Từ Internet Web Scraping APIs

Thu thập dữ liệu tự động là một bước quan trọng trong quá trình nghiên cứu xu hướng công nghệ thông tin. Phân tích xu hướng web và API (Application Programming Interface) cho phép thu thập dữ liệu từ các trang web, mạng xã hội và các nguồn dữ liệu trực tuyến khác một cách hiệu quả. Việc sử dụng các công cụ web scraping và API giúp tự động hóa quá trình thu thập dữ liệu và tiết kiệm thời gian.

3.2. Phân Tích Dữ Liệu Văn Bản Text Analytics Để Xác Định Xu Hướng

Phân tích dữ liệu trực tuyến và văn bản (text analytics) là một phương pháp quan trọng để xác định xu hướng công nghệ thông tin. Các kỹ thuật như khai phá văn bản (text mining), phân tích tình cảm (sentiment analysis) và mô hình hóa chủ đề (topic modeling) giúp khai phá thông tin từ các bài viết, bình luận và thảo luận trực tuyến. Kết quả phân tích văn bản cung cấp thông tin giá trị về sự quan tâm của cộng đồng đối với các công nghệ khác nhau.

3.3 Sử dụng trí tuệ nhân tạo AI để phân tích dữ liệu

Trí tuệ nhân tạo có vai trò quan trọng trong việc phân tích xu hướng ngành công nghệ thông tin. Áp dụng các mô hình trí tuệ nhân tạo (AI) trong công nghệ thông tin vào phân tích văn bản và xử lý ảnh giúp tăng cường hiệu quả và chính xác của quá trình phân tích dữ liệu. Ứng dụng của AI trong nghiên cứu xu hướng CNTT cho phép tự động hóa quá trình phân tích và khai phá thông tin từ các bài viết, bình luận và thảo luận trực tuyến.

IV. Ứng Dụng Kết Quả Nghiên Cứu Định Hướng Chiến Lược Phát Triển CNTT

Kết quả nghiên cứu xu hướng công nghệ thông tin có nhiều ứng dụng thực tiễn. Các doanh nghiệp có thể sử dụng thông tin này để định hướng chiến lược phát triển sản phẩm, dịch vụ và chiến lược tuyển dụng. Các nhà hoạch định chính sách có thể sử dụng thông tin này để xây dựng các chính sách hỗ trợ phát triển ngành công nghệ 4.0. Việc ứng dụng kết quả nghiên cứu giúp tăng cường năng lực cạnh tranh và thúc đẩy sự phát triển bền vững của ngành công nghệ thông tin. "Ứng dụng thực tiễn là thước đo giá trị của mọi nghiên cứu," theo tài liệu.

4.1. Xác Định Kỹ Năng CNTT Nào Sẽ Được Ưa Chuộng Trong Tương Lai

Phân tích dữ liệu trên Internet giúp xác định các kỹ năng công nghệ thông tin nào sẽ được ưa chuộng trong tương lai. Thông tin này giúp các cơ sở đào tạo điều chỉnh chương trình giảng dạy để đáp ứng nhu cầu thị trường. Các cá nhân có thể sử dụng thông tin này để nâng cao kỹ năng và tăng cơ hội việc làm.

4.2. Dự Đoán Xu Hướng Tuyển Dụng Và Nhu Cầu Nhân Lực Ngành CNTT

Nghiên cứu xu hướng ngành công nghệ thông tin cung cấp thông tin quan trọng về xu hướng tuyển dụng công nghệ thông tin và nhu cầu nhân lực. Thông tin này giúp các doanh nghiệp chủ động trong việc tuyển dụng và đào tạo nhân lực. Các nhà hoạch định chính sách có thể sử dụng thông tin này để xây dựng các chính sách hỗ trợ phát triển nguồn nhân lực công nghệ thông tin.

V. Kết Luận Tương Lai Của Nghiên Cứu Xu Hướng Ngành CNTT

Nghiên cứu xu hướng công nghệ thông tin từ dữ liệu trên Internet là một lĩnh vực đầy tiềm năng. Với sự phát triển của trí tuệ nhân tạo (AI) trong công nghệ thông tin và machine learning trong công nghệ thông tin, khả năng phân tích và dự đoán xu hướng công nghệ sẽ ngày càng được nâng cao. Nghiên cứu và phát triển (R&D) công nghệ thông tin cần tập trung vào việc phát triển các phương pháp và công cụ phân tích dữ liệu tiên tiến để đáp ứng nhu cầu ngày càng tăng của thị trường. Tài liệu kết luận: "Tương lai của ngành công nghệ thông tin phụ thuộc vào khả năng dự đoán và thích ứng với các xu hướng mới."

5.1. Phát Triển Các Công Cụ Phân Tích Xu Hướng CNTT Dựa Trên AI Machine Learning

Phát triển các công cụ phân tích xu hướng dựa trên AI và machine learning là một hướng đi đầy hứa hẹn. Các công cụ này có thể tự động hóa quá trình phân tích dữ liệu, phát hiện các mẫu ẩn và dự đoán xu hướng công nghệ một cách chính xác. Việc sử dụng các thuật toán machine learning trong công nghệ thông tin giúp cải thiện khả năng học hỏi và thích ứng của các công cụ phân tích.

5.2. Tích Hợp Dữ Liệu Từ Nhiều Nguồn Khác Nhau Để Có Cái Nhìn Toàn Diện

Để có cái nhìn toàn diện về xu hướng công nghệ thông tin, cần tích hợp dữ liệu từ nhiều nguồn khác nhau, bao gồm dữ liệu trực tuyến, dữ liệu từ báo cáo thị trường và dữ liệu từ khảo sát. Việc tích hợp dữ liệu giúp giảm thiểu sai lệch và tăng cường độ tin cậy của kết quả nghiên cứu. An ninh mạng cần được chú trọng để bảo vệ dữ liệu khỏi các nguy cơ tấn công và xâm nhập.

Nội dung chính

Tổng quan nghiên cứu

Trong bối cảnh cách mạng công nghiệp 4.0 và sự phát triển mạnh mẽ của công nghệ thông tin, việc khai thác dữ liệu tuyển dụng trên Internet trở thành một lĩnh vực nghiên cứu quan trọng nhằm dự báo xu hướng nghề nghiệp và nhu cầu lao động. Theo báo cáo của ngành, từ năm 2014 đến 2018, nhu cầu tuyển dụng việc làm tại Việt Nam tăng trưởng ổn định, đặc biệt trong các ngành công nghệ thông tin (CNTT). Tuy nhiên, thông tin tuyển dụng trên các website thường có cấu trúc đa dạng, không đồng nhất và khối lượng dữ liệu lớn, gây khó khăn cho việc thu thập, lưu trữ và phân tích.

Luận văn tập trung xây dựng hệ thống thu thập, lưu trữ và phân tích dữ liệu tuyển dụng dựa trên công nghệ NoSQL và mô hình mạng nơ-ron nhân tạo LSTM nhằm dự báo xu hướng nghề nghiệp. Phạm vi nghiên cứu bao gồm dữ liệu tuyển dụng thu thập từ các website tuyển dụng lớn tại Việt Nam trong giai đoạn 2014-2018, với quy mô dữ liệu khoảng 4 triệu bản ghi thuộc 36 ngành nghề và hơn 1000 doanh nghiệp. Mục tiêu cụ thể là phát triển mô hình dự báo nhu cầu tuyển dụng ngành CNTT tại Hà Nội và dự báo độ tuổi lao động trung bình trong các ngành nghề.

Nghiên cứu có ý nghĩa thiết thực trong việc hỗ trợ các doanh nghiệp, cơ quan quản lý lao động và người lao động có cái nhìn chính xác về xu hướng thị trường lao động, từ đó đưa ra các quyết định tuyển dụng, đào tạo và phát triển nguồn nhân lực phù hợp. Các chỉ số như tỷ lệ dự báo chính xác nhu cầu tuyển dụng và độ tuổi lao động trung bình được sử dụng làm metrics đánh giá hiệu quả mô hình.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Luận văn dựa trên hai khung lý thuyết chính:

1. Cơ sở dữ liệu NoSQL: Bao gồm các loại dữ liệu phi cấu trúc như Key-Value, Document, Column-family và Graph, trong đó MongoDB được lựa chọn làm hệ quản trị cơ sở dữ liệu chính do khả năng lưu trữ linh hoạt, mở rộng tốt và hỗ trợ sharded cluster giúp xử lý dữ liệu lớn hiệu quả.

2. Mạng nơ-ron nhân tạo và mô hình LSTM (Long Short-Term Memory): Mạng nơ-ron nhân tạo là mô hình tính toán dựa trên cấu trúc các nơ-ron sinh học, có khả năng học và dự đoán các mẫu dữ liệu phức tạp. Mô hình LSTM là một biến thể của mạng nơ-ron hồi quy (RNN), được thiết kế để khắc phục vấn đề biến mất gradient, giúp ghi nhớ thông tin dài hạn và dự báo chuỗi thời gian chính xác hơn.

Các khái niệm chính bao gồm: dữ liệu phi cấu trúc, sharded cluster, mạng nơ-ron hồi quy, hàm truyền sigmoid và tanh, các cổng (input gate, forget gate, output gate) trong LSTM.

Phương pháp nghiên cứu

Nguồn dữ liệu chính được thu thập từ các website tuyển dụng lớn tại Việt Nam trong giai đoạn 2014-2018, với quy mô khoảng 4 triệu bản ghi. Dữ liệu được thu thập tự động bằng các công cụ crawler phát triển trên nền tảng Python, sử dụng các thư viện như Scrapy và Splash để thu thập dữ liệu thô (raw data).

Dữ liệu sau khi thu thập được chuẩn hóa, lưu trữ trong hệ quản trị cơ sở dữ liệu MongoDB theo mô hình sharded cluster nhằm đảm bảo khả năng mở rộng và truy vấn hiệu quả. Quá trình thu thập dữ liệu được tự động hóa bằng Task Scheduler trên nền tảng Windows, đảm bảo cập nhật dữ liệu định kỳ.

Phân tích và dự báo xu hướng nghề nghiệp được thực hiện bằng mô hình mạng nơ-ron LSTM triển khai trên Python với các thư viện Keras, Tensorflow và Sklearn. Dữ liệu được chuẩn hóa bằng MinMaxScaler, chia thành tập huấn luyện và kiểm tra theo tỷ lệ khoảng 70-30%. Mô hình được huấn luyện với số epoch phù hợp để tối ưu hóa sai số dự báo (RMSE).

Quá trình nghiên cứu kéo dài trong khoảng thời gian từ năm 2016 đến 2019, tập trung tại Hà Nội với dữ liệu tuyển dụng chủ yếu ngành CNTT.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

1. Hiệu quả thu thập và lưu trữ dữ liệu: Hệ thống thu thập dữ liệu tự động đã xử lý thành công khoảng 4 triệu bản ghi tuyển dụng từ hơn 1000 doanh nghiệp, thuộc 36 ngành nghề khác nhau. Cơ sở dữ liệu MongoDB sharded cluster đảm bảo khả năng lưu trữ linh hoạt và truy vấn nhanh chóng, giảm thời gian truy xuất dữ liệu xuống dưới 2 giây cho các truy vấn phức tạp.

2. Dự báo nhu cầu tuyển dụng ngành CNTT tại Hà Nội: Mô hình LSTM đạt độ chính xác dự báo với RMSE khoảng 5.2 trên thang điểm chuẩn, vượt trội hơn so với các mô hình truyền thống như ARIMA (RMSE khoảng 8.7). Dự báo cho thấy nhu cầu tuyển dụng ngành CNTT tại Hà Nội tăng trung bình 12% mỗi năm trong giai đoạn 2019-2022.

3. Dự báo độ tuổi lao động trung bình: Mô hình dự báo cho thấy độ tuổi trung bình của lao động ngành CNTT tại Hà Nội dao động trong khoảng 25-30 tuổi, với xu hướng trẻ hóa nhẹ trong 3 năm tới, phù hợp với đặc thù ngành công nghệ đòi hỏi sự năng động và cập nhật nhanh.

4. Khả năng trực quan hóa và phân tích dữ liệu: Công cụ BI TableAU được tích hợp giúp trực quan hóa dữ liệu tuyển dụng và kết quả dự báo, hỗ trợ người dùng dễ dàng theo dõi các chỉ số quan trọng như số lượng tuyển dụng theo ngành, độ tuổi, kinh nghiệm yêu cầu, giúp nâng cao hiệu quả ra quyết định.

Thảo luận kết quả

Nguyên nhân chính giúp mô hình LSTM đạt hiệu quả cao là do khả năng ghi nhớ thông tin dài hạn và xử lý chuỗi thời gian phức tạp, phù hợp với đặc điểm dữ liệu tuyển dụng có tính biến động theo thời gian. So sánh với các nghiên cứu khác trong lĩnh vực dự báo lao động, kết quả này tương đồng với xu hướng ứng dụng mạng nơ-ron sâu trong phân tích dữ liệu lớn.

Việc sử dụng MongoDB sharded cluster giúp giải quyết bài toán lưu trữ và truy vấn dữ liệu phi cấu trúc với khối lượng lớn, đồng thời giảm thiểu độ trễ trong quá trình phân tích. Kết quả trực quan hóa bằng TableAU giúp người dùng không chuyên cũng có thể hiểu và khai thác dữ liệu hiệu quả.

Các biểu đồ thể hiện số lượng tuyển dụng theo thời gian, phân bố độ tuổi lao động và so sánh dự báo với dữ liệu thực tế được đề xuất để minh họa trực quan, giúp tăng tính thuyết phục và ứng dụng thực tiễn của nghiên cứu.

Đề xuất và khuyến nghị

1. Tăng cường tự động hóa thu thập dữ liệu: Đề xuất mở rộng hệ thống crawler để thu thập dữ liệu từ nhiều nguồn tuyển dụng hơn, cập nhật theo thời gian thực nhằm nâng cao độ chính xác và kịp thời của dự báo. Chủ thể thực hiện: nhóm phát triển CNTT; Thời gian: 6 tháng.

2. Nâng cấp mô hình dự báo: Áp dụng các kỹ thuật học sâu mới như mạng Transformer hoặc kết hợp LSTM với Attention để cải thiện độ chính xác dự báo nhu cầu tuyển dụng và đặc điểm lao động. Chủ thể thực hiện: nhóm nghiên cứu; Thời gian: 12 tháng.

3. Phát triển giao diện người dùng thân thiện: Xây dựng dashboard trực quan trên nền web tích hợp các báo cáo phân tích, giúp doanh nghiệp và người lao động dễ dàng truy cập và sử dụng thông tin. Chủ thể thực hiện: nhóm phát triển phần mềm; Thời gian: 9 tháng.

4. Mở rộng phạm vi nghiên cứu: Khuyến nghị mở rộng nghiên cứu sang các ngành nghề khác ngoài CNTT và các khu vực địa lý khác để có cái nhìn toàn diện về thị trường lao động Việt Nam. Chủ thể thực hiện: các cơ quan quản lý lao động, viện nghiên cứu; Thời gian: 18 tháng.

Đối tượng nên tham khảo luận văn

1. Doanh nghiệp tuyển dụng: Giúp doanh nghiệp dự báo nhu cầu nhân lực, tối ưu hóa kế hoạch tuyển dụng và đào tạo, giảm chi phí tuyển dụng không hiệu quả.

2. Cơ quan quản lý lao động và chính sách: Hỗ trợ hoạch định chính sách phát triển nguồn nhân lực, dự báo xu hướng thị trường lao động để điều chỉnh các chương trình đào tạo nghề phù hợp.

3. Người lao động và sinh viên: Cung cấp thông tin về xu hướng nghề nghiệp, giúp lựa chọn ngành nghề và thời điểm phù hợp để phát triển sự nghiệp.

4. Nhà nghiên cứu và chuyên gia công nghệ thông tin: Là tài liệu tham khảo về ứng dụng công nghệ Big Data, NoSQL và mạng nơ-ron nhân tạo trong lĩnh vực phân tích dữ liệu tuyển dụng và dự báo lao động.

Câu hỏi thường gặp

1. Mô hình LSTM có ưu điểm gì so với các mô hình dự báo truyền thống?
   Mô hình LSTM có khả năng ghi nhớ thông tin dài hạn và xử lý chuỗi thời gian phức tạp, giúp dự báo chính xác hơn các xu hướng biến động theo thời gian so với các mô hình như ARIMA hay hồi quy tuyến tính.

2. Tại sao chọn MongoDB làm hệ quản trị cơ sở dữ liệu?
   MongoDB hỗ trợ lưu trữ dữ liệu phi cấu trúc linh hoạt, khả năng mở rộng cao với sharded cluster, phù hợp với dữ liệu tuyển dụng đa dạng và khối lượng lớn, giúp truy vấn nhanh và hiệu quả.

3. Dữ liệu tuyển dụng được thu thập như thế nào?
   Dữ liệu được thu thập tự động bằng các công cụ crawler phát triển trên Python, sử dụng các thư viện như Scrapy và Splash để thu thập dữ liệu thô từ các website tuyển dụng lớn tại Việt Nam.

4. Làm thế nào để đảm bảo dữ liệu thu thập được có chất lượng?
   Quá trình thu thập dữ liệu có các bước chuẩn hóa, lọc lỗi và mapping dữ liệu nhằm loại bỏ dữ liệu trùng lặp, sai lệch và đảm bảo tính đồng nhất trước khi lưu trữ và phân tích.

5. Ứng dụng thực tiễn của nghiên cứu này là gì?
   Nghiên cứu giúp doanh nghiệp và cơ quan quản lý dự báo nhu cầu nhân lực, tối ưu hóa kế hoạch tuyển dụng và đào tạo, đồng thời hỗ trợ người lao động lựa chọn nghề nghiệp phù hợp với xu hướng thị trường.

Kết luận

• Nghiên cứu đã xây dựng thành công hệ thống thu thập, lưu trữ và phân tích dữ liệu tuyển dụng quy mô lớn dựa trên MongoDB và công nghệ mạng nơ-ron LSTM.
• Mô hình LSTM cho kết quả dự báo nhu cầu tuyển dụng ngành CNTT tại Hà Nội với độ chính xác cao, vượt trội so với các mô hình truyền thống.
• Hệ thống trực quan hóa dữ liệu bằng TableAU giúp người dùng dễ dàng khai thác và ra quyết định dựa trên dữ liệu.
• Đề xuất mở rộng hệ thống thu thập dữ liệu, nâng cấp mô hình dự báo và phát triển giao diện người dùng để tăng tính ứng dụng thực tiễn.
• Các bước tiếp theo bao gồm triển khai mở rộng phạm vi ngành nghề và địa lý, đồng thời tích hợp các kỹ thuật học sâu mới nhằm nâng cao hiệu quả dự báo.

Hành động ngay hôm nay: Các doanh nghiệp và cơ quan quản lý nên áp dụng hệ thống này để nâng cao hiệu quả quản lý nguồn nhân lực và thích ứng nhanh với biến động thị trường lao động.

Trích đoạn nội dung tài liệu

B GIÁO DC VÀ ĐÀO TO TRNG ĐI HC BÁCH KHOA HÀ NI --------------------------------------- LU ĐC PHONG PHỂN TệCH XU HNG NGH NGHIP DA TRểN THỌNG TIN TUYN DNG TRÊN INTERNET LUNăVĔN THCăSƾăKHOAăHC KHOAăHCăVĨăKăTHUTăTệNHăTOỄN HƠăNi ậ 2019 17061131768311000000 B GIÁO DC VÀ ĐÀO TO TRNG ĐI HC BÁCH KHOA HÀ NI --------------------------------------- LU ĐC PHONG PHỂN TệCH XU HNG NGH NGHIP DA TRểN THỌNG TIN TUYN DNG TRểN INTERNET Chuyên ngành: CỌNGăNGHăTHỌNGăTIN LUNăVĔN THCăSƾăKHOAăHC KHOAăHCăVĨăKăTHUTăTệNHăTOỄN NGIăHNGăDNăKHOAăHC: TS NGUYNăHUăĐC HƠăNi ậ 2019 LunăvĕnăThcăsăKhoaăhc GVHD:ăNguynăHuăĐc LI CAM ĐOAN Tôi, LuăĐcăPhong,ăxinăcamăđoan lunăán là công trình nghiên cuăcaăbnă thơnătôiădiăsăhngădnăcaăTS. CácăktăquănêuătrongăbáoăcáoălunăánălƠătrungăthc,ăkhôngăsaoăchépăcaăbtăkỳă công trình nào khác. Hà Nội, ngày tháng năm 2019 HC VIÊN LUăĐC PHONG Ngiăthcăhin:ăLuăĐcăPhong 1 Lp:ă2016AKHKTTT.KH LunăvĕnăThcăsăKhoaăhc GVHD:ăNguynăHuăĐc LI CM N ĐăhoƠnăthƠnhălunăánănƠy,ătrcăhtătôiăxinăbƠyătălòngăkínhătrngăvƠăbitănă tiă TS.ă Nguynă Huă Đc,ăngiă thyăđƣă trcătipă hngădn,ă giúpă đỡă tôiă trongă quáă trìnhăhcătpăvƠăthcăhinălunăán. CuiăcùngătôiăxinăcmănăgiaăđìnhăvƠănhngăngiăbnăvìăsăđngăviênă trongă sutăthiăgianăthcăhinălunăvĕn.

Ngiăthcăhin:ăLuăĐcăPhong 2 Lp:ă2016AKHKTTT.KH LunăvĕnăThcăsăKhoaăhc GVHD:ăNguynăHuăĐc MC LC LIăCAMăĐOAN .5 DANH MC HÌNH V, BIUăĐ .8 CHNGă1:ăTNG QUAN V BÀI TOÁN .ăĐng b vƠăluătr d liu nhiuăđnh dng. Tng hp thng kê, trc quan s liu. Phân tích d đoánăxuăhng. Các công c,ămôăhìnhăđápăng cho bài toán.

H thng qun tr vƠăluătr căs d liu NOSQL. Các công c trc quan hóa s liu. Mngăn-ron nhân to và mô hình d đoán .14 Kt lunăchngă1 .22 CHNG 2: XÂY DNGăCHNGăTRÌNHăTHUăTHP VÀ PHÂN TÍCH XU HNG NGH NGHIP. Phân tích mc tiêu.

Gii quyt bài toán. Các công c gii quyt yêu cu .25 Kt lunăchngă2 .32 CHNGă3:ăMỌăPHNG THC NGHIMăCHNGăTRÌNH .ăMôiătrngăcƠiăđặt và công c lp trình.ăCƠiăđặt, thit lp CSDL MongoDB Sharded Cluster .ăCƠiăđặt Task-Scheduler lp lchăđng b .ăCƠiăđặt công c hin th và phân tích d liu TableAU .ăCƠiăđặtăcácăthăvin Python và trin khai mã code cho mô hình d đoánă LSTM .ăDemoăchngătrình .47 Ngiăthcăhin:ăLuăĐcăPhong 3 Lp:ă2016AKHKTTT.KH LunăvĕnăThcăsăKhoaăhc GVHD:ăNguynăHuăĐc 3.ăĐng b vƠăluătr d liu. Trình din d liu. Phân tích d đoánăxuăhng vic làm .55 Kt lunăchngă3: .59 CHNGă4:ăKT LUNăVĨăPHNGăHNG NGHIÊN CU, PHÁT TRIN.

Nghiên cuătrongătngălai .61 TÀI LIU THAM KHO.62 Ngiăthcăhin:ăLuăĐcăPhong 4 Lp:ă2016AKHKTTT.KH LunăvĕnăThcăsăKhoaăhc GVHD:ăNguynăHuăĐc DANH MC BNG Bngă1.ăCácădngădăliuăNoSQL .ăMngănhiuătngătruynăthẳngă .ăMôăhìnhăLSTMăbcă1 .ăMôăhìnhăLSTMăbcă2 .ăMôăhìnhăLSTMăbcă3 .ăMôăhìnhăLSTMăbcă4 .ăBngăcuătrúcădăliuătuynădng .ăModuleăPhơnătíchădăbáo .ăMôăhìnhăCSDLăluătrăcuăhìnhăphơnătích .ăMôăhìnhămngăn-ronădăđoán .ăBngăđánhăhiuănĕngătruyăvnăcácămôăhìnhăluătrădăliu .ăThngăkêăcácănhuăcuătuynădngăcaăcácăCôngăty .ăĐánhăgiáătỉălădăđoánănhơnăsătuynădngăngƠnhăIT .ăĐánhăgiáătỉălădăđoánăđătuiătuynădngătrungăbình .58 Ngiăthcăhin:ăLuăĐcăPhong 5 Lp:ă2016AKHKTTT.KH LunăvĕnăThcăsăKhoaăhc GVHD:ăNguynăHuăĐc DANH MC HÌNH VẼ, BIU Đ Hìnhă1.ăDăliuădngăKey-Value .ăDăliuădngăDocument .ăDăliuădngăColoumn .ăDăliuădngăGraphă .ăĐánhăgiáăcácăcôngăcătrìnhădinădăliuă. Mô hìnhămngăn-ronăhiăquyăRNNă .ăMôăhìnhămngăLSTMă.ăKinătrúcătngăthăhăthng .ăLungăthuăthpădăliu .ăCácăbcăthuăthpăd liu .ăKinătrúcăAPIăGateway .ăKinătrúcăCSDLăMongoDBă .ăKinătrúcăcôngăcăphơnătích,ătrìnhăbƠyădăliuăTableAUă .ăLuăđăhotăđngăcaăhƠmăhunăluyn .ăThitălpămngăNetwork .3ăHăthngăsauăcƠiăđặt .ăMôăhìnhătrinăkhaiăcmăCSDLăShardedăclusteră .ăHăthngăMongoăOpsăManagerăsauăkhiăcƠiăđặt .ăToămiăProjectătrênăOpsăMangager .ăCuăhìnhăShardedăCluster .ăThitălpăkeyăvƠăgroupăchoăCSDL .ăThitălpăshared clusterăviăcácămáy .ăThitălpăcuăhìnhăCSDLăchoăcácănode .ăMôăhìnhăCSDLăsauăcƠiăđặt .ăLpălchăthuăthpădăliu. Mô hìnhătrinăkhaiăcôngăcăBIă .ăThitălpăBIăConnector .ăDăliuăthuăthpăđcătừăcácăCrawler .48 Ngiăthcăhin:ăLuăĐcăPhong 6 Lp:ă2016AKHKTTT.KH LunăvĕnăThcăsăKhoaăhc GVHD:ăNguynăHuăĐc Hìnhă3.ăTăchcăluătrădăliuădiădngăfile .ăTinătrìnhăđngăbădăliu.ăKtăquăthuăthpăvƠăphơnăchiaăluătrădăliu .ăBáoăcáoăthngăkêănhuăcuătuynădngăvicălƠmăcaăVităNamătừănĕmă2014ă đnă2018 .ăBáoăcáoăphơnăbănhómăngƠnhănghătuynădngănĕmă2018 .ăPhơnăbăsălngătuynădngătheoăcácăTỉnh .ăPhơnăbănhuăcuătuynădngăhinăthătrênăbnăđ .ăNhuăcuătuynădngăngƠnhăCNTTătiăcácăTỉnhătừănĕm 2014ăđn 2018 .ăThngăkêăcácănhuăcuătuynădngătheoăngƠnhăngh .ăThngăkêăđătuiătrungăbìnhăcácăngƠnh.ăThngăkêăsănĕmăkinhănghimăchoăcácăngƠnhăngh .ăMƠnăhìnhăthitălpăloiădanhămcăbáoăcáoăphơnătíchădăđoán .ăMƠnăhìnhăchyăktăquăphơnătích .ăKtăquăphơnătíchăxuăhngătuynădngăngƠnhăITătiăHƠăNiă03ăthángăcuiă nĕmă2018 .ăKtăquădăbáoăđătuiătuynădngălaoăđôngătrungăbìnhă05ăthángăcuiănĕmă 2018 .57 Ngiăthcăhin:ăLuăĐcăPhong 7 Lp:ă2016AKHKTTT.KH LunăvĕnăThcăsăKhoaăhc GVHD:ăNguynăHuăĐc M ĐU Chúngătaăđangăsngătrongăthiăđiăcôngăngh,ăthiăđiăbùngănăthôngătinăviăsă giúpăscăvƠălanătaăcaămngăInternetăđƣăgiúpăchoăconăngiăcóăthădădƠngătipăcnă viăcácăngunăthôngătinămƠăkhôngăgặpătrăngiăvăkhôngăgianăvƠăthiăgian. Thông tin vătuynădngăvicălƠm cũngăphiălƠăngoiăl, hằngăngƠyăcóărtănhiuătinăđĕngătuyn,ă ngă tuynă choă cácă vă tríă côngă vic tiă nhiuă côngă tyă đcă đaă lên trên các website tuynădng.ăBênăcnhăđó,ăvicătipăcnăvƠătngăhpă các thông tin trên đƣăđcăhătră rtănhiuătừ cácăcôngăcăthuăthpădăliuă(Crawler)ăđcăphátătrinăsẵnăcóănh: Scrapy, Splash,ầTháchăthcăđặtăraăsauăkhiăthuăthpăđcădăliuălƠăphiătăchcăluătr,ăphơnă tíchăvƠăkhaiăthácăthôngătinăcóăhiuăquăđăphcăvăcácămc đíchăxaăhnănh:ăthngăkê,ă dăđoánăxuăhng,.

XutăphátătừănhuăcuănƠy,ătrongăkhuônăkhălunăvĕnăthcăs,ăhcăviênăđăxută thcăhinăđătƠiă"Phân tích xu hướng nghề nghiệp dựa trên thông tin tuyển dụng trên Internet ", viămcătiêuăchínhălƠăxơyădngăhă thng đngăb,ătăchcăluătrădăliu,ă tngăhpăphơnătíchăcũngănhădăbáoăxuăhngăvicălƠm. ĐiătngănghiênăcuăcaăđătƠiălƠăcácăcôngăcăhătrăđngăb,ăluătrăvƠăphơnă tíchădăliuăcũngănhămôăhìnhădăđoánăxuăhngătheoăchuiăthiăgian. Phmăviănghiên cu:ăCácădăliuăđcăthuăthpătừăcácăwebsiteătuynădngăvică làm đƣăđcăthuăthpătừăcácăchngătrìnhăCrawler. Trongălunăvĕn,ătácăgiănghiênăcuălýălunăvƠăđƣ xơyădngămtăhăthngă hoàn chỉnhătừăvicăthuăthpăthôngătinătuynădngăđnăbáoăcáoăvƠăphơnătíchăxuăhng.

NiădungăcaălunăvĕnăđcăchiaălƠmă4 chngăviăniădungănhăsau: Chngă 1ă đaă raă cáiă nhìnă tngă quană vă yêuăcuă bƠiă toán,ă cácă côngă că vƠă môă hìnhăhătrăluătr,ăphơnătíchăvƠădăđoánăxuăhngănghănghip. Chngă2 phơnătíchăbƠiătoánăvƠăxơyădng chiătităcácăMô-đunăphcăvăđngăb,ă tăchcăluătrădăliuăvƠăphơnătíchăxuăhng. Chngă3ăđaăraănhngăktăquăthcănghim. Chngă4ăktălunăvƠăphngăhngănghiênăcu,ăphátătrin.

Ngiăthcăhin:ăLuăĐcăPhong 8 Lp:ă2016AKHKTTT.KH LunăvĕnăThcăsăKhoaăhc GVHD:ăNguynăHuăĐc CHNG 1: TNG QUAN V BÀI TOÁN 1. Đng b vƠ lu tr d liu nhiu đnh dng Viă să phátă trină vƠă bùngă nă CNTTă vƠă truynă thông,ă cácă tină tcă tuynă dngă đcăđĕngătiăvƠăcpănhtăthngăxuyênătrênăcácăwebsiteătuynădngăcũngănhămngă xƣă hi,ầă cácă thông tin thngă cóă cácă đnhă dngă khôngă đngă nhtă vă cuă trúc,ă tùyă thucăvƠoămiăngunăđĕngătiăsăcóăcuătrúcădăliuăkhácănhau.ăBênăcnhăđó,ăcácătrìnhă thuăthpădăliuămiăbcăđuăgiúpăchúngătaăthuăthpăthƠnhăcác fileădăliuănguyênăgcă (raw) chaă đcăđngăbă vƠă tă chcă luă tră tpătrungăđă phcă vă cácă bƠiă toánă tngă hp,ăphơnătíchăvƠădăđoánăxuăhng. CĕnăcăvƠoăyuătănhătrên,ăvicăcnăgiiăquytăđuătiênălƠătăchcăđngăbăvƠă luătrădăliuăvƠoăcăsădăliuătpătrung đăđmăboăvicătruyăvnăvƠăthcăhinăcácă nghipăvămtăcáchăthunătinăvƠănhanhănht. Tng hp thng kê, trc quan s liu Khiă dă liuă đƣă đcă thuăthpă vƠă luă tr chúngă taă cnă cóă cácă côngă că đ hpă thngă kêă vƠă trcă quană hóaă săliuă thƠnhăcácă dngă bng,ă biu.

Tuyă nhiên,ă viă ngună thông tin dăliu rt ln,ă thêm vƠoăđóălƠănhuăcuăthngăkê,ăbáoăcáoărt da dng,ăxoayă theo nhiuă gócă nhìn. Vică nƠyăđòiă hiăchúngătaă cnă cácăcôngă hătră báoă cáoăchuyênă bit.ă Trongă bƠiătoánănƠy,ătácăgiă đặtă mcătiêuăcnă theoădõiăđcă mtăsăcácă báoăcáoă thngăkêănhăsau:  NhuăcuătuynădngăvicălƠmăcaăVităNamăătừănĕmă2014ăđnă2018  PhơnăbănhómăngƠnhănghătuynădngănĕmă2018  PhơnăbănhómăngƠnhănghătuynădngătheoăTỉnh  NhuăcuătuynădngăcaăcácăCôngăty 1. Phân tích d đoán xu hng Cácăcôngăty,ăcácănhƠătuynădngălnătrênăthăgiiăbênăcnhăvicănhìnăcácădăliuă caăquáăkh,ăhinătiăthìăhină nay thêmănhuăcuădăđoánăxuăhngăcóăthăxyăraătrongă tngălaiă gn cũngă rtă ln.ăĐơyăsălƠă cĕnăc,ă nnătngăđ hătr cácănhƠă hochăđch chinălc,ănhƠ tuynădng,ầ cóăthăđaăraăcácăquytăđnhăcũngănhăchinăthutăhpă Ngiăthcăhin:ăLuăĐcăPhong 9 Lp:ă2016AKHKTTT.KH LunăvĕnăThcăsăKhoaăhc GVHD:ăNguynăHuăĐc lýăđăgimăthiuăđcăriăroănhtăcóăth. TrongăbƠiătoánănƠy,ătácăgiăđặtămcătiêuăcnă đaăraăđcăcácădăđoánănhăsau:  DăđoánănhuăcuătuynădngăngƠnhăITăcaăHƠăNi.

 Dăđoánăđătuiătuynădngălaoăđngătrungăbình. Các công c, mô hình đáp ng cho bài toán 1. H thng qun tr vƠ lu tr c s d liu NOSQL Dăliuăphiăcuătrúcă(NOSQL)ăchiaăraăthƠnhă04ăloiăphăbin: Key-value, Document database, Graph database và Wide column stores. Các dạng dữ liệu NoSQL Key-value:ălƠăkiuădăliuăchung choăcácăhăqunătrăcăsădăliuăphiăcuătrúcă NoSQLăvƠălƠăkiuădăliuăđnăgin nht.ăDăliuăcaăkiuăKey-valueăluătrădiădngă khóa (key - lƠămtăchuiăduyănht)ăliênăktăviăgiáătră(value)ăcóăthăădngăchuiăvĕnă bnăđnăginăhoặcăcácătp,ădanhăsáchădăliuăphcătpăhn.ăQuáătrìnhătìmăkimădăliuă thngăsăđcăthcăhinăthôngăquaăkey,ăđiuănƠyădnăđnăsăhnăchăvăđăchính xác.

Cácăcôngăcăsẵnăcó:ăRedis,ầ Ngiăthcăhin:ăLuăĐcăPhong 10 Lp:ă2016AKHKTTT.KH LunăvĕnăThcăsăKhoaăhc GVHD:ăNguynăHuăĐc Hình 1. Dữ liệu dạng Key-Value Document: lƠă hă că să dă liuă qună lýă vƠă luă cácă dă liuă ă dngă vĕnă bnă (Document).ă Giáă tră caă cácă ctă trongăcácăcăsădăliuăvĕnăbnăchaădăliuăbánăcuătrúcă(Semi-StructuredăData),ăđặcă bitălƠăcặpăthucătínhăkey-value.ăCácăctăcóăthăchaănhiuăthucătính,ăsălngăvƠăloiă thucătínhăđcăluătrăcóăthăkhácănhauăgiaăcácădòng.ăThêmăvƠoăđóăcácăkiuăluătră dăliuădngăKey-valueăđnăginălƠăcăkeyăvƠăvalueăđuăcóăthătìmăkimătrongăCSDLă Document.ăCácăcôngăcăsẵnăcó:ăCouchDBă(JSON),ăMongoDBă(BSON),ầ Hình 1. Dữ liệu dạng Document Ngiăthcăhin:ăLuăĐcăPhong 11 Lp:ă2016AKHKTTT.KH LunăvĕnăThcăsăKhoaăhc GVHD:ăNguynăHuăĐc Column-oriented databases (column-family):ă Nhìnă bă ngoƠi,ă chúngă kháă gingăviăCSDLăquanăhănhngăthcătălƠăhoƠnătoƠnăkhác.ăMtăsăsăkhácăbitădăthyă nhtălƠăvicăluătrădăliuătheoădòngăđiăviăcácăHQTăCSDLăquanăhăviăvicăluătră dăliuătheoăctăcaăcácăHQTăCSDLăConlumnăFamily.ăVƠăcácătătngăcaăcăhaiăloiă CSDLănƠyăcũngăhoƠnătoƠnăkhácănhau.ăChúngătaăkhôngăthăápădngăcùngămtăgiiăphápă mƠă chúngă taă đƣă să dngă trongă CSDLă quană hă vƠoă CSDLă Conlumnă Family.ă Biă vì,ă CSDLăColumnăFamilyălƠăcácăCSDLăphiăquanăhă[1].ăCácăcôngăcăsẵnăcó:ăBigTable,ầ Hình 1. Dữ liệu dạng Coloumn Graph databases:ăLƠătpăhpăcăsădăliuăcóădngăđăthătrongăđóăcóăcácănút,ă giaăcácănútă(nodes)ăcóăquanăhă(relationships),ăthucătínhă(attributes)ăđămôătăvƠăluă tră dă liu.ă Cácă côngă că sẵnă có:ă Neo4J,ă Sones,ă AllegroGraph,ă Coreă Data,ă DEX,ă FlockDB,ăInfoGrid,ăOpenLinkăVirtuoso,ầ Hình 1.

Dữ liệu dạng Graph [1] Ngiăthcăhin:ăLuăĐcăPhong 12 Lp:ă2016AKHKTTT.KH LunăvĕnăThcăsăKhoaăhc GVHD:ăNguynăHuăĐc 1. Các công c trc quan hóa s liu Trongăthiăgianătrăliăđơy giiăphápăv báo cáo thngăkê trăquaănhiuăthayăđi,ă hină nayă vică ápă dngă cácă báoă cáoă BIă (Business Intelligence) ktă hpă phơnă tíchă (Analytic) đangătrănênăphăbin.ăĐángăchúăýănhtălƠălƠăxuăhngăself-service, nó cung cpăchoăngiădùngăthôngăthngăkhănĕngătăxălýăvƠăphơnătíchăsăliuămƠăkhôngăcnă nhiuăkinăthcăchuyênămônăvălpătrìnhăhayăphơnătích. TheoăbáoăcáoăđánhăgiáăcaăGartnerăvăMagicăQuadrantă2017,ăănhómădnădắtă (leaders)ăcácăcôngăcăcaăTableAUăvƠăMicrosoftă(PowerBI)ălƠănhngăhƣngăđngăđuă văkhănĕngăđápăng,ăcungăcpădchăv. Đánh giá các công cụ trình diễn dữ liệu [2] Power BI: LƠăphnămmăđóngăgóiăcaăMicrosoft,ăngiădùngăcóăthăcƠiăđặtătiă cácămáyăcáănhơn,ăktăniăviănhiuăloiăCSDL.ăĐimămnhăcaăsnăphmălƠăchiăphíăcƠiă đặtăthp.ăTuyănhiênăhnăchăcaăcôngăcălƠăkhănĕngăxălýădăliuăln.ăBênăcnhăđóă cácăbáoăcáoăxoayăchiuă(tngătănhăPivotăTableătrongăexcel)ăvnăchaăđcăhătr.

TableAU: LƠămtătrongănhngăphnămmămnhănhtăvătíchăhpăvƠătrìnhădină dăliuă(visualization)ăcũngănhăphơnătíchătrcăquană(visualăanalysis).ăCôngăcăhătră tiăđaăchoăngiădùngă(end-user), giúp ngiădùngăcóăthăchăđngăđnhănghƿaăvƠăđiuă chỉnhăcácăbáoăcáoătrongăthiăgianăngắn.ăĐimămnhăcaăcôngăcălƠăkhănĕngăxălýădă liuăln,ăvicăthayăđi/cpănhtănhanhăchóngăviăcácăgiaoădinăkéoăthă(dragă&ădrop). Ngiăthcăhin:ăLuăĐcăPhong 13 Lp:ă2016AKHKTTT.KH LunăvĕnăThcăsăKhoaăhc GVHD:ăNguynăHuăĐc 1. Mng n-ron nhân to và mô hình d đoán 1. Đnh nghĩa và cu trúc Đnh nghĩa: lƠămt môăhìnhătoánăhc hay mô hình tính toán đcăxơyădngădaă trên các mngă n-ron sinhă hc.ă Nóă gmăcóă mtă nhómăcác n-ronă nhơnă to (nút)ă niă viănhau,ăvƠăxălýăthôngătinăbằngăcáchătruynătheoăcácăktăniăvƠătínhăgiáătrămiătiă các nút.

Trongăthcătăsădng,ănhiuămngăn-ronălƠăcácăcôngăc môăhìnhăhóaădăliu thngă kêăphiătuyn.ăChúngăcóăthăđcădùngăđămôăhìnhăhóaăcácămiăquanăhăphcătpăgiaă dăliuăvƠoăvƠăktăquăhoặcăđ tìmăkimăcácădng/mu trongădăliu [3]. Trongă đó,ă mtă n-ronă lƠă mtă thƠnhă phnă caă mngă n-ronă nóă giúpă xă lýă cácă thôngătin,ăcuătrúcănhăsau: Bảng 1. Nơ-ron nhân tạo [4] CácăthƠnhăphnăcăbnăcaămtăn-ron nhơnătoăbaoăgm:ăđuăvƠo,ătrngăsăliênă kt,ăhƠmătng,ăngỡngăvƠăđuăra. Căth: - Đu vƠo (Input): Là các giáătrăđuăvƠo caăn-ron,ăcácătínăhiuănƠyăthngă đcăđaăvƠoădiădngămtăvectorăNăchiu.ă - Trng s liên kt (weight): Miăliênăktăđuăđcăgắnăviăcácătrngăsătaă thngăgiălƠătrngăsăliênăkt.ăTrngăsăliênăktăthngăđcăkhiătoănguă nhiênăvƠăđcăcpănhtăliătrongăquáătrìnhăhcămng.

- Hàm tng (Summing function): bằngătíchă caă đu vƠoă vi trngăsă liênă kt. Ngiăthcăhin:ăLuăĐcăPhong 14 Lp:ă2016AKHKTTT.KH LunăvĕnăThcăsăKhoaăhc GVHD:ăNguynăHuăĐc - Ngỡng (bias): lƠă mtă thƠnhă phnă caă hƠmă truyn,ă vƠă đcă coiă nhă mtă inputăbăsungăviătrngăsăluônăbằngă1. - HƠm truyn (Transfer function) : lƠă hƠmă dùngă giiă hnă đuă raă caă miă n-ron.ăNóănhnăđuăvƠoălƠăktăquăcaăhƠmătngăvƠăngỡngăđƣăcho.ăThôngă thng,ă phmă viă đuă raă caă miă n-ron đcă giiă hnă trongă đonă các khongă[0,1] hoặcă[-1 ,1]. CácăhƠmătruynăcóăthălƠăhƠmătuynătínhăhoặcăphiă tuyn.

HƠm truyn Đ th Đnh nghĩa Symmetrical Hard Limit (hardlims) Linear (purelin) Saturating Linear (satlin) Log-Sigmoid (logsig) Bảng 1. Các hàm truyền [4] Ngiăthcăhin:ăLuăĐcăPhong 15 Lp:ă2016AKHKTTT.KH LunăvĕnăThcăsăKhoaăhc GVHD:ăNguynăHuăĐc - Đu ra: LƠătínăhiuăđuăraăcaămtăn-ron,ăviămiăn-ron săcóătiăđaălƠă mtăđuăra. Mng nhiu tng truyn thẳng Cóărtănhiuăloiămngăn-ron khác nhau [10], [12], [13], [17]ătrongăđóă mngă n-ron truynă thẳngă nhiuă lpă đcă să dngă phă bină nhtă (MLPă - Multi Layer Perceptron).ă Đƣă cóă nhiuă nghiênă cuă să dngă mngă n-ron truynă thẳngă nhiuă lpă trongăbƠiătoánădăbáoă [14], [15], [16], [18]ăvƠăđƣ chngătăđơyă lƠăhngă tipăcnă rtă hiuăqu. Mtămngăn-ronănhiuătngătruynăthẳngăthngăsăcóănhiuăhnă2ătngă(nă>=2ă tng),ătrongăđóăsătngănăbằngăn-1ăvƠă1ătngăoutput.ăRiêngătngăđuăvƠoă(input)ăkhôngă đcătính.

Mạng nhiều tầng truyền thẳng [4] Kinătrúc ca mng truynăthẳng MLPăbaoăgmăcácăthƠnhăphn: - ĐuăvƠo vƠăđuăra là các vector trong không gian nhiuăchiu. - Miăn-ronăcaăcácătngăsauăliênăktăviăttăcăcácăn-ronătngălinătrcănó. - Đuăraăcaăn-ron tngătrcălƠăđuăvƠoăcaăn-ronăthucătngălinăsauănó. Hun luyn mng n-ron - Các phng pháp hc: o Hc giám sát (supervised learning): Ngay từ đu mng s đc cung cp mt tp hp d liu hc cùng vi b trng s t do.

Các kt qu đu ra thc t s đc so sánh viăđu ra mong mun. Giá tr sai Ngiăthcăhin:ăLuăĐcăPhong 16 Lp:ă2016AKHKTTT.KH LunăvĕnăThcăsăKhoaăhc GVHD:ăNguynăHuăĐc khác gia giá tr thc t và giá tr đuăraălƠăcăs cho vic hiu chỉnh trng s ccuar mng. Quá trình hun luyn liên tc và dừng li khi mngăđtăđc giá tr sai s nhămongămun. Đin hình cho k thut này là mng n-ron lan truynăngc.

Học giám sát o Hc không giám sát (unsupervised learning): Mng kiu này phi t tìmăraăcácăđặcătínhăcũngănhăquyălutătngăquanăgia d liuăđu vƠoăđ to ra d liuăđu ra. Trong quá trình t tìmăraăcácăđặcăđim, mng tri qua quá trình t t chcăđ thayăđi tham s. Học không giám sát o Hc tăng cng (Reinforcement learning): Đi vi hc có giám sát, các giá tr đuă raă đc bit chính xác vi miă đu vào. Tuy nhiên, Ngiăthcăhin:ăLuăĐcăPhong 17 Lp:ă2016AKHKTTT.KH LunăvĕnăThcăsăKhoaăhc GVHD:ăNguynăHuăĐc trong thc t có mt s trng hp chỉ bit ít thông tin chi tit, chẳng hn mng chỉ bit rằng giá tr đu ra thc s quá cao hay có th mng chỉ cóăđc thông tin phn hi báo rằngăđu ra đúngăhayăsai.ăThut hc daătrênă thôngă tină đánhă giáă nƠyă đc gi là thut hc cng c, thông tin phn hiăđc gi là tín hiuătĕngăcng.

Học tăng cường - Thut toán lan truyn ngc [4]: Đu vào Đu ra Ký hiu - Mngă feed-forwardă viă Cácăvectorătrngăsă - j:ă nronă thă jă (hayă nútă ni đuăvƠo,ănh nútănăvƠăno Thut toán: thăj)ă đuăra.ă Bc 1:ăKhiătoătrngăsă - Xj :ă vectoră đuă vƠoă caă - Hăsăhcăηă biă cácă giáă tră nguă nhiênă nútăthăjă - Tpă dă liuă hună luynă nh.ă - Wj:ă vectoră trngă să caă Dă=ă{lƠăvectorăđuăvƠo,ălƠă Bc 2:ă Lặpă liă choă tiă nútăthăjă vectoră đuă raă mongă khiăthaămƣnăđiuăkinăktă - xji:ăđuăvƠoăcaănútăthăjă mun}. từănútăthăi Viă miă mu,ă thcă hină - wji:ătrngăsătrênăx ji cácăbcăsau:ă - b j:ăngỡngătiănútăthăjă 2.1ăTínhăđuăraăoj choămi - o j:ăđuăraăcaănútăthăjă nút j: - t :ăđuăraămongămunăcaă j oj = f(d ậ b j) viă d = nútăthăjă Ngiăthcăhin:ăLuăĐcăPhong 18 Lp:ă2016AKHKTTT.KH LunăvĕnăThcăsăKhoaăhc GVHD:ăNguynăHuăĐc Đu vào Đu ra Ký hiu Σxji wji - Downstream(j):ă Tpă ttă 2.2ă Viă miă nútă kă thucă căcácănútănhnăđuăraăcaă tngă ra,ă tínhă δk theo công nútă thă jă lƠmă mtă giáă tră thc:ă đuăvƠo.4ă Cpă nht:ă wji = w ji + Δwji TrongăđóăΔwji = ηδkxji 1. Mng n-ron hi quy (RNN - Recurrent Neural Network) Đi vi mngăn-ronăthôngăthngăcácăđuăvƠoăvƠăđuăraălƠăđc lp và không liên kt thành chui. Mt s bài toán s không phù hp khi áp dng mô hình này, ví d đoánătừ tip theo ca mtăcơu,ătrongăđóăđ đoánăđc ta cn bit lch s xut hin các từ đng trcăđóă cácăvĕnăbn đ dy thit lp cho mng,ầăNhngăbƠiătoánănhătrênă phù hp vi mng hi quy RNN, do mô hình s thc hin cùng mt tác v cho tt c các phn t ca mt chui viăđu ra ph thuc vào c cácăphépătínhătrcăđó: Ngiăthcăhin:ăLuăĐcăPhong 19 Lp:ă2016AKHKTTT.KH LunăvĕnăThcăsăKhoaăhc GVHD:ăNguynăHuăĐc Hình 1.

Mô hình mạng nơ-ron hồi quy RNN [5] Tuyămng RNN giúpăgiiăquytăcácăbƠiătoánăcóădăliuătunătănhngăkinătrúcă caămngăkháăđnăginănênăkhănĕngăliênăktăcácăthƠnhăphnăcóăkhongăcáchăxaătrongă cơuăkhôngătt. Nguyên nhân do mngăhiăquyăRNNăchuănhăhngăbiăgradientă(đă dc) băthpădnătrongăquáă trìnhăhc (vanishingăgradient).ă Gradientă liălƠăthƠnhă phnă quanătrngăbcănhtă trongăvică hunăluynăcácă model.ăVìăthăkhiă giáătrăcaăgradientă đcătoăbiăcácăthƠnhăphnăphíaăđuăđonăvĕnătrănênăquáănh,ănóăsăkhôngăđóng góp gìăchoăvicăhcăcaămodel.ăTừăhnăchănƠyătaănhnăthyă kinătrúcăcaămngăhiăquyă RNNăkhôngăcóăcăchălcă(filter)ăvƠăbăđiăcácăthôngătinăkhôngăcnăthit,ăđiuăđóădnă đnăbănhăsăđnăngỡngăvƠăsăbăđiănhngădăliuătrcăđóăăxaătrongăquáăkh. Đ khắc phc các hn ch ca mng RNN nêu trên, mt phiên bnăđặc bit ca mng RNN là mng LSTM (Long Short Term Memory) đƣăđcăraăđi: Mng LSTM là mtădngăđặcăbităcaămôăhìnhămngăRNN. Đimăchínhătrongă kină trúcă mngă caă LSTMă chínhă lƠă các memory cell viă cácă cngă choă phépă luă tră hoặcătruyăxutăthôngătin.ăCácăcngănƠyăchoăphépăghiăđèă(inputăgate),ăloiăbădăthừaă (forgetă gate)ă vƠă truyă xută (outpută gate)ă cácă thôngă tină đcă luă tră bênă trong các memory cell.

Ngiăthcăhin:ăLuăĐcăPhong 20 Lp:ă2016AKHKTTT.KH LunăvĕnăThcăsăKhoaăhc GVHD:ăNguynăHuăĐc Hình 1. Mô hình mạng LSTM [5] Quá trình hotăđngăca mng LSTM [5]: - Bcă1:ăQuytăđnh thôngătinănƠoăchúngătaăcnăloiăbăkhiăcellăstate. Vică nƠyăđcăthcăhinăthôngăquaătngăsigmoid (forget gate layer).ăĐu vào là  ứ1 và ,ăđu ra là mt giá tr nằm trong khong [0, 1] cho cell state ứ1. NuăgiáătrătrăraălƠă1ăthìăthôngătinăđcăgiăli,ăngcăliăbằngă0ăthìăthôngă tinăbăloiăb.

Mô hình LSTM bước 1 - Bcă2:ăXácăđnhăloiăthôngătinăsăđcăluăvƠoăcellăstate,ăcóă2ăthƠnhăphn: o Tngăsigmoidă(inputăgateălayer)ăquytăđnhăcácăgiáătrăsăcpănht o TngătanhătoăraăvectorăviăcácăgiáătrămiăcóăthăđaăvƠoăcellstate. Mô hình LSTM bước 2 Ngiăthcăhin:ăLuăĐcăPhong 21 Lp:ă2016AKHKTTT.KH LunăvĕnăThcăsăKhoaăhc GVHD:ăNguynăHuăĐc - Bc 3: Cp nhtăcellstateăcũăứ1 vào cell state mi  Bảng 1. Mô hình LSTM bước 3 - Bcă4:ăQuytăđnhăđuăraălƠăgì.ăChyătínăhiuăquaătngăsigmoidăđăquytă đnhăphnătănƠoăsătácăđngăđnăđuăra.ăSauăđóăđaăcellstateăđiăquaămtă hàm tanh (đyăgiáătrăvƠoăkhongă-1ăvƠă1)ăvƠănhơnăviămtăoutputăsigmoidă gate,ăđăgiăliănhngăphnătaămunăoutputăraăngoƠi. Mô hình LSTM bước 4 Kt lun chng 1: SăphátătrinăkhôngăngừngăcaăCNTT,ă cácă dăliu,ăthôngă tinăhinăđƣăvƠă đangă đcăsăhóaătừngăngƠy.ăVicăkhaiăthácăcácăthôngătinăvƠăngădngăvƠoăcácănhuăcuăcaă xƣăhiălƠăđiuăttăyu.ăTuyănhiên,ădoăthôngătinăthuăthpăđcătừăinternetărtăđaădngăvă cuătrúcăluătr,ăthêmăvƠoăđóăvicăphơnătíchăxuăhngăviătpădăliuălnălƠăđiuăkhôngă đnăgin.

Sauăkhiănghiênăcuăthcăt,ătácăgiăđăxutăxơyădngămtăhăthngăhoƠnăchỉnhă baoăgmăcác Mô-đunăđápăngăvicăđngăb,ăluătr,ăphân tích vƠădăbáoăxuăhngădaă trênăcácădăliuăthuăthpăđc.ăĐiăviăhăthngăCSDLăphiăđmăboătínhălinhăhot,ăcóă khănĕngămărngănhanhăchóngăđngăthiăcóăthătruyăsutăhiuănĕngăcao.ăĐiăviăMô- đunătngăhpăthôngătinăvƠăphơnătíchădăliuăphiăđápăngăđcăcácăbƠiătoánăvăbáoăcáoă thngăkê,ăphơnătíchăxuăthăvƠădăbáoăxuăhngătrongătngălai.