Xây Dựng Ứng Dụng Dự Đoán Giá Nhà Sử Dụng Học Máy (PTIT)

Xây dựng ứng dụng dự đoán giá nhà đất bằng học máy. Hướng dẫn chi tiết từng bước, từ thu thập dữ liệu đến triển khai mô hình. Xem ngay!

• Tác giả: Nguyễn Lương Đức
• Người hướng dẫn: TS. Nguyễn Văn Thủy
• Trường học: Học viện Công nghệ Bưu chính Viễn thông
• Chuyên ngành: Công Nghệ Thông Tin
• Đề tài: Xây dựng ứng dụng dự đoán giá nhà sử dụng học máy
• Loại tài liệu: Đồ án tốt nghiệp đại học
• Năm xuất bản: 2022
• Địa điểm: Hà Nội

Mục lục chi tiết

• LỜI CẢM ƠN
• NHẬN XÉT, ĐÁNH GIÁ, CHO ĐIỂM (Của giảng viên hướng dẫn)
• NHẬN XÉT, ĐÁNH GIÁ, CHO ĐIỂM (Của giảng viên phản biện)
• MỤC LỤC
• DANH MỤC KÝ HIỆU VÀ TỪ VIẾT TẮT
• DANH MỤC HÌNH VẼ
• MỞ ĐẦU
• 1. CHƯƠNG 1: TỔNG QUAN ĐỀ TÀI
• 1.1. Bài toán dự đoán giá nhà
• 1.2. Một số giải pháp hiện có
• 1.3. Giải pháp đề xuất của đồ án
• 2. CHƯƠNG 2: CƠ SỞ LÝ THUYẾT
• 2.1. Tổng quan về học máy
• 2.2. Phân loại thuật toán trong học máy
• 2.3. Học không có giám sát
• 2.4. Học tăng cường (Reinforcement learning)
• 2.5. Thuật toán hồi quy
• 2.6. Hồi quy tuyến tính và Gradient descent
• 2.7. Học kết hợp (Ensemble learning)
• 2.8. Thuật toán Rừng ngẫu nhiên (Random forest)
• 2.9. Thuật toán Gradient Boosting (GB)
• 2.10. Thuật toán XGBoost
• 3. CÀI ĐẶT ỨNG DỤNG
• 3.1. Cài đặt mô hình học máy
• 3.1.1. Thu thập dữ liệu
• 3.1.2. Xử lý dữ liệu
• 3.1.3. Huấn luyện mô hình dự đoán giá
• 3.2. Cài đặt ứng dụng
• 3.3. Cơ sở dữ liệu
• 3.4. Đánh giá kết quả thu được
• TÀI LIỆU THAM KHẢO

Tóm tắt

I. Khám Phá Cách Học Máy Thay Đổi Việc Định Giá Nhà Đất

Sự phát triển của công nghệ thông tin đã tác động mạnh mẽ đến mọi lĩnh vực, và bất động sản không phải ngoại lệ. Trong bối cảnh đó, trí tuệ nhân tạo (AI) và đặc biệt là machine learning (học máy) đang nổi lên như một công cụ đột phá, giải quyết những vấn đề phức tạp mà phương pháp truyền thống chưa thể xử lý triệt để. Dự đoán giá nhà bằng học máy không còn là một khái niệm xa vời mà đã trở thành một ứng dụng thực tiễn, mang lại giá trị to lớn cho cả người mua, người bán và các nhà đầu tư. Thay vì dựa vào các phương pháp định giá thủ công, tốn thời gian và dễ bị ảnh hưởng bởi yếu tố chủ quan, học máy cho bất động sản sử dụng các thuật toán tinh vi để phân tích một lượng lớn dữ liệu lịch sử. Các mô hình này có khả năng nhận diện các mẫu ẩn và mối quan hệ phức tạp giữa hàng loạt các yếu tố ảnh hưởng giá nhà, từ diện tích, vị trí, số phòng ngủ cho đến các tiện ích xung quanh và tình hình quy hoạch. Bằng cách khai thác sức mạnh của khoa học dữ liệu, các hệ thống này cung cấp những ước tính giá trị chính xác và khách quan hơn. Điều này không chỉ giúp các giao dịch diễn ra minh bạch, nhanh chóng mà còn hỗ trợ các doanh nghiệp đưa ra chiến lược kinh doanh phù hợp, đối phó kịp thời với những biến động của thị trường. Đồ án "Xây dựng ứng dụng dự đoán giá nhà sử dụng học máy" của tác giả Nguyễn Lương Đức là một minh chứng rõ ràng cho tiềm năng này, đề xuất một giải pháp công nghệ toàn diện từ thu thập, xử lý dữ liệu đến huấn luyện và triển khai mô hình.

1.1. Tầm quan trọng của việc định giá nhà đất chính xác

Trong một thị trường sôi động như bất động sản, việc định giá nhà đất chính xác là yếu tố then chốt. Đối với người mua, một mức giá hợp lý giúp họ đưa ra quyết định đầu tư đúng đắn. Đối với người bán, việc xác định đúng giá trị tài sản giúp tối đa hóa lợi nhuận và đẩy nhanh quá trình giao dịch. Các chuyên viên định giá tại ngân hàng hay công ty bất động sản cũng cần những công cụ hiệu quả để đánh giá tài sản một cách khách quan, giảm thiểu rủi ro. Tuy nhiên, giá niêm yết theo quy định thường không phản ánh đúng thực tế thị trường, gây ra nhiều khó khăn. Do đó, một hệ thống dự đoán giá dựa trên dữ liệu thực tế là cực kỳ cần thiết.

1.2. Giới thiệu machine learning trong lĩnh vực bất động sản

Machine learning, hay học máy, là một nhánh của trí tuệ nhân tạo cho phép máy tính tự học hỏi từ dữ liệu mà không cần lập trình tường minh. Trong bất động sản, ứng dụng AI trong bất động sản được dùng để xây dựng các mô hình dự đoán giá. Các thuật toán học máy phân tích hàng ngàn điểm dữ liệu từ các giao dịch trong quá khứ, thông tin quy hoạch, đặc điểm nhân khẩu học và nhiều yếu tố khác để tìm ra quy luật biến động giá. Nhờ đó, chúng có thể đưa ra dự báo về giá trị của một bất động sản cụ thể với độ chính xác ngày càng được cải thiện. Đây là một bước tiến vượt bậc so với các phương pháp phân tích thống kê truyền thống.

II. Những Thách Thức Khi Định Giá Nhà Đất Theo Cách Cũ

Bài toán dự đoán giá nhà luôn là một chủ đề phức tạp do sự biến động không ngừng của thị trường và vô số yếu tố tác động. Các phương pháp định giá truyền thống thường đối mặt với nhiều hạn chế cố hữu. Thách thức lớn nhất đến từ bản chất của dữ liệu. Dữ liệu bất động sản trên mạng internet tuy khổng lồ nhưng lại vô cùng phân tán, không đồng nhất và thiếu cấu trúc. Việc thu thập thủ công từ nhiều nguồn khác nhau như các trang rao vặt, đại lý bất động sản là một công việc tiêu tốn rất nhiều thời gian và công sức. Hơn nữa, chất lượng dữ liệu thường không được đảm bảo, chứa nhiều thông tin nhiễu, sai lệch hoặc thiếu sót (missing values). Một vấn đề khác là sự phức tạp trong việc xác định các yếu tố ảnh hưởng giá nhà. Giá của một ngôi nhà không chỉ phụ thuộc vào các đặc điểm nội tại như diện tích, số tầng, số phòng ngủ, mà còn bị chi phối bởi các yếu tố ngoại cảnh như vị trí địa lý, an ninh khu vực, tiện ích công cộng, tình trạng quy hoạch, và thậm chí cả các yếu tố kinh tế vĩ mô. Việc phân tích và định lượng tầm quan trọng của từng yếu tố này là một nhiệm vụ cực kỳ khó khăn đối với con người. Như trong tài liệu nghiên cứu đã chỉ ra, "chuyên viên định giá thậm chí phải dành hàng tuần, hàng tháng mới có thể thu thập đủ dữ liệu về tài sản mà họ cần". Điều này cho thấy sự cấp thiết của một giải pháp tự động hóa, có khả năng xử lý dữ liệu lớn và phân tích đa biến một cách hiệu quả, đó chính là vai trò của khoa học dữ liệu và học máy.

2.1. Sự thiếu hụt và phân tán của dữ liệu thị trường

Nguồn dữ liệu là nền tảng của mọi mô hình học máy. Tuy nhiên, trong lĩnh vực bất động sản tại Việt Nam, việc truy cập một tập dữ liệu giá nhà lớn, sạch và có cấu trúc là một rào cản lớn. Dữ liệu thường được đăng tải trên nhiều website khác nhau với các định dạng không đồng nhất. Thông tin có thể bị trùng lặp, thiếu các trường quan trọng như "Giấy tờ pháp lý", "Số tầng", hoặc chứa các giá trị ngoại lai (outliers) như giá quá cao hoặc diện tích quá nhỏ. Việc tổng hợp và làm sạch những bộ dữ liệu này đòi hỏi các kỹ thuật chuyên sâu về thu thập (crawling) và xử lý dữ liệu.

2.2. Các yếu tố ảnh hưởng giá nhà phức tạp và đa dạng

Giá trị của một bất động sản được quyết định bởi một mạng lưới các yếu tố phức tạp. Các đặc điểm vật lý (diện tích, hướng nhà, tuổi thọ công trình), vị trí (quận, phường, khoảng cách đến trung tâm), tiện ích (gần trường học, bệnh viện, chợ), và pháp lý (sổ đỏ, quy hoạch) đều có tác động qua lại lẫn nhau. Việc xác định mối tương quan và trọng số của từng yếu tố là gần như không thể nếu chỉ dựa vào phân tích cảm tính. Đây là lúc các mô hình như hồi quy tuyến tính đa biến hay các thuật toán phức tạp hơn thể hiện ưu thế vượt trội.

III. Hướng Dẫn Quy Trình Tiền Xử Lý Dữ Liệu Bất Động Sản

Chất lượng của mô hình dự đoán phụ thuộc trực tiếp vào chất lượng dữ liệu đầu vào. Do đó, quy trình xử lý dữ liệu là một bước tối quan trọng trong bất kỳ dự án khoa học dữ liệu nào. Quy trình này bao gồm hai giai đoạn chính: thu thập dữ liệu và tiền xử lý dữ liệu (data preprocessing). Trong đồ án tham khảo, dữ liệu được thu thập tự động (crawling) từ trang web Chotot.com, một nguồn dữ liệu lớn và đa dạng. Bằng cách sử dụng các công cụ như Python cho khoa học dữ liệu cùng với thư viện BeautifulSoup và Splash, các thông tin liên quan đến bất động sản được bóc tách và lưu trữ dưới dạng cấu trúc. Tuy nhiên, dữ liệu thô thu thập được thường chứa rất nhiều vấn đề. Giai đoạn tiền xử lý bắt đầu bằng việc xử lý các giá trị bị thiếu (missing values). Các cột dữ liệu có quá nhiều giá trị rỗng như 'Giấy tờ pháp lý', 'Số tầng' đã được loại bỏ để không ảnh hưởng đến độ chính xác của mô hình. Tiếp theo là xử lý các giá trị ngoại lai (outliers) – những dữ liệu không thực tế như diện tích quá nhỏ (<20m2) hoặc giá quá cao (>200 triệu/m2). Các dữ liệu dạng chữ (categorical data) như 'Quận', 'Loại hình nhà ở' được chuyển đổi sang dạng số bằng kỹ thuật One-Hot Encoding để các thuật toán có thể hiểu được. Cuối cùng, trích xuất đặc trưng (feature engineering) được thực hiện để tạo ra các biến mới có ý nghĩa hơn, ví dụ như tính toán giá trị 'Giá' tổng dựa trên 'Giá/m2' và 'Diện tích'.

3.1. Kỹ thuật thu thập và làm sạch dữ liệu ban đầu

Quá trình thu thập dữ liệu bắt đầu bằng việc sử dụng các web crawler để tự động trích xuất thông tin từ các trang web bất động sản. Các thư viện Python như requests và BeautifulSoup được sử dụng để lấy và phân tích cú pháp HTML. Sau khi thu thập, dữ liệu được đưa vào giai đoạn làm sạch. Giai đoạn này tập trung vào việc xác định và xử lý các giá trị bị thiếu (NaN). Trong nghiên cứu, tác giả đã quyết định loại bỏ các hàng hoặc cột có tỷ lệ dữ liệu thiếu cao. Đồng thời, các dữ liệu không hợp lệ hoặc không thực tế (ví dụ: giá nhà bằng 0) cũng được lọc bỏ để đảm bảo tính toàn vẹn của tập dữ liệu giá nhà.

3.2. Vai trò của trích xuất đặc trưng feature engineering

Trích xuất đặc trưng là nghệ thuật và khoa học của việc chuyển đổi dữ liệu thô thành các đặc trưng (features) phù hợp hơn cho mô hình học máy. Thay vì chỉ sử dụng các cột dữ liệu gốc, các đặc trưng mới có thể được tạo ra. Ví dụ, từ cột 'Ngày đăng tin', ta có thể trích xuất ra 'Tháng' hoặc 'Quý' để xem xét tính thời vụ của thị trường. Các biến phân loại như 'Quận', 'Phường' được mã hóa thành các biến giả (dummy variables) thông qua One-Hot Encoding. Quá trình này giúp mô hình nhận diện được các mẫu tinh vi hơn, từ đó cải thiện đáng kể độ chính xác của dự đoán, là một bước không thể thiếu trong phân tích thị trường bất động sản.

IV. Top Các Mô Hình Học Máy Dự Đoán Giá Nhà Hiệu Quả Nhất

Sau khi dữ liệu đã được chuẩn bị kỹ lưỡng, bước tiếp theo là lựa chọn và huấn luyện các mô hình dự đoán giá. Lĩnh vực học máy cho bất động sản cung cấp một loạt các thuật toán mạnh mẽ, từ các mô hình hồi quy cổ điển đến các kiến trúc phức tạp hơn. Trong đồ án của Nguyễn Lương Đức, một loạt các mô hình đã được thử nghiệm để tìm ra giải pháp tối ưu. Mô hình cơ bản nhất là Hồi quy tuyến tính (Linear Regression), cụ thể là biến thể RidgeCV, giúp tìm ra mối quan hệ tuyến tính giữa các đặc trưng và giá nhà, đồng thời kiểm soát hiện tượng overfitting. Tuy nhiên, các mối quan hệ trong dữ liệu bất động sản thường phi tuyến tính, do đó các mô hình dựa trên cây quyết định (decision tree) thường cho kết quả tốt hơn. Các thuật toán học tập kết hợp (Ensemble Learning) như Random Forest và Gradient Boosting là những lựa chọn phổ biến. Random Forest xây dựng nhiều cây quyết định độc lập và lấy kết quả trung bình, giúp giảm phương sai và tăng độ ổn định. Trong khi đó, Gradient Boosting xây dựng các cây một cách tuần tự, mỗi cây sau sẽ cố gắng sửa lỗi của cây trước đó. Một phiên bản cải tiến và hiệu quả cao của Gradient Boosting là XGBoost, nổi bật với tốc độ xử lý nhanh và khả năng chống overfitting tốt hơn. Cuối cùng, mạng nơ-ron (Neural Networks), với khả năng học các mối quan hệ phi tuyến tính cực kỳ phức tạp, cũng được triển khai và cho thấy kết quả vượt trội, mặc dù đòi hỏi thời gian huấn luyện lâu hơn.

4.1. Thuật toán Ensemble Random Forest và Gradient Boosting

Ensemble Learning là kỹ thuật kết hợp nhiều mô hình yếu (weak learners) để tạo ra một mô hình mạnh (strong learner). Random Forest là một ví dụ điển hình của phương pháp bagging, nó huấn luyện song song nhiều cây quyết định trên các mẫu dữ liệu con ngẫu nhiên. Ngược lại, Gradient Boosting thuộc phương pháp boosting, xây dựng các cây tuần tự. Mô hình sau sẽ tập trung vào việc dự đoán sai số của mô hình trước đó. Cả hai thuật toán này đều được triển khai hiệu quả thông qua thư viện Scikit-learn và thường mang lại độ chính xác cao cho bài toán định giá.

4.2. Mô hình nâng cao XGBoost và Mạng nơ ron Neural Networks

XGBoost (Extreme Gradient Boosting) là một triển khai tối ưu của thuật toán Gradient Boosting. Nó nổi tiếng với hiệu suất tính toán vượt trội nhờ khả năng xử lý song song và các kỹ thuật điều chuẩn (regularization) tích hợp sẵn để tránh overfitting. Mạng nơ-ron (Neural Networks), đặc biệt là các mạng đa lớp, có thể mô hình hóa các mối quan hệ cực kỳ phức tạp và trừu tượng trong dữ liệu. Với các thư viện như TensorFlow hay Keras, việc xây dựng một mạng nơ-ron để dự đoán giá nhà trở nên khả thi. Trong nghiên cứu, mô hình ANN đã cho thấy kết quả tốt nhất, chứng tỏ tiềm năng của học sâu (Deep Learning) trong lĩnh vực này.

V. Phân Tích Case Study Xây Dựng Ứng Dụng Thực Tiễn

Lý thuyết sẽ không hoàn chỉnh nếu thiếu đi ứng dụng thực tế. Đồ án "Xây dựng ứng dụng dự đoán giá nhà sử dụng học máy" đã trình bày một quy trình hoàn chỉnh từ khâu thu thập dữ liệu đến khi triển khai một ứng dụng web cho người dùng cuối. Dựa trên tập dữ liệu giá nhà được thu thập từ Chotot.com với hơn 30.000 mẫu sau khi làm sạch, các mô hình học máy đã được huấn luyện và đánh giá một cách có hệ thống. Tập dữ liệu được chia theo tỷ lệ 75% cho huấn luyện (training) và 25% cho kiểm thử (testing) để đảm bảo việc đánh giá mô hình (model evaluation) là khách quan. Các chỉ số đo lường phổ biến cho bài toán hồi quy như MAE (Mean Absolute Error) và RMSE (Root Mean Square Error) đã được sử dụng để so sánh hiệu suất. Kết quả thực nghiệm cho thấy sự khác biệt rõ rệt giữa các thuật toán. Mô hình RidgeCV, dù đơn giản, nhưng chưa mang lại kết quả cao. Random Forest và Gradient Boosting cho thấy sự cải thiện đáng kể. Đặc biệt, XGBoost chứng tỏ ưu thế về tốc độ xử lý, nhanh hơn gần 5 lần so với Gradient Boosting với độ chính xác tương đương. Tuy nhiên, mô hình mạng nơ-ron (ANN) mới là mô hình đạt kết quả ấn tượng nhất. Như kết luận của đồ án đã chỉ ra: "Mô hình mạng Nơ-ron đạt kết quả kết quả tốt nhất với độ chính xác là 81%". Kết quả này khẳng định sức mạnh của các kiến trúc học sâu trong việc giải quyết các bài toán dự đoán phức tạp trong thế giới thực.

5.1. Huấn luyện mô hình từ tập dữ liệu Kaggle house prices

Để kiểm chứng và so sánh, nhiều nhà khoa học dữ liệu thường bắt đầu với các bộ dữ liệu chuẩn như Kaggle house prices. Tuy nhiên, việc xây dựng mô hình trên dữ liệu thực tế của thị trường Việt Nam như trong đồ án mang lại giá trị ứng dụng cao hơn. Quá trình huấn luyện bao gồm việc lựa chọn siêu tham số (hyperparameter tuning) cho từng mô hình, ví dụ như số lượng cây trong Random Forest hay learning rate trong XGBoost, nhằm tìm ra cấu hình cho kết quả tốt nhất. Các thư viện như Scikit-learn và TensorFlow cung cấp các công cụ mạnh mẽ để thực hiện quá trình này.

5.2. Đánh giá mô hình model evaluation qua chỉ số MAE và RMSE

Đánh giá mô hình là bước không thể thiếu để xác định mô hình nào hoạt động tốt nhất. MAE (Sai số tuyệt đối trung bình) cho biết mức chênh lệch trung bình giữa giá dự đoán và giá thực tế, dễ diễn giải. RMSE (Căn bậc hai của sai số bình phương trung bình) cũng đo lường sai số nhưng có xu hướng "phạt" nặng hơn cho các lỗi dự đoán lớn. Việc so sánh các chỉ số này trên tập dữ liệu kiểm thử (test set) giúp lựa chọn ra mô hình không chỉ chính xác mà còn ổn định, có khả năng tổng quát hóa tốt trên dữ liệu mới.

VI. Tương Lai Của Ứng Dụng AI Trong Bất Động Sản Việt Nam

Việc dự đoán giá nhà bằng học máy chỉ là một trong nhiều ứng dụng tiềm năng của trí tuệ nhân tạo trong ngành bất động sản. Tương lai của lĩnh vực này hứa hẹn sẽ còn nhiều bước tiến đột phá hơn nữa, thay đổi hoàn toàn cách chúng ta mua, bán và đầu tư vào nhà đất. Các ứng dụng AI trong bất động sản sẽ ngày càng trở nên thông minh và cá nhân hóa hơn. Các hệ thống đề xuất (recommendation systems) có thể gợi ý những bất động sản phù hợp nhất với nhu cầu và khả năng tài chính của từng khách hàng, tương tự như cách Netflix gợi ý phim. Công nghệ xử lý ngôn ngữ tự nhiên (NLP) có thể tự động phân tích mô tả trong các tin rao để trích xuất thông tin chi tiết về tình trạng, nội thất và các đặc điểm khác của ngôi nhà. Công nghệ thị giác máy tính (Computer Vision) có thể phân tích hình ảnh và video để đánh giá chất lượng xây dựng, phong cách thiết kế hoặc thậm chí ước tính chi phí sửa chữa. Hơn nữa, AI còn là một công cụ đắc lực cho việc phân tích thị trường bất động sản ở quy mô lớn. Các mô hình có thể dự báo xu hướng giá theo từng khu vực, xác định các "điểm nóng" đầu tư tiềm năng, hoặc phân tích tác động của các dự án hạ tầng sắp triển khai đến giá trị bất động sản xung quanh. Mặc dù vẫn còn những thách thức về dữ liệu và nguồn nhân lực, không thể phủ nhận rằng AI và học máy đang mở ra một kỷ nguyên mới cho ngành bất động sản tại Việt Nam, hứa hẹn mang lại sự minh bạch, hiệu quả và thông minh hơn cho thị trường.

6.1. Xu hướng ứng dụng AI trong phân tích thị trường bất động sản

Ngoài định giá, AI đang được ứng dụng để phân tích thị trường bất động sản một cách toàn diện. Các thuật toán phân cụm (clustering) có thể tự động phân khúc thị trường dựa trên các đặc điểm tương đồng, giúp các nhà đầu tư xác định đối tượng khách hàng mục tiêu. Các mô hình chuỗi thời gian (time series) có thể dự báo nhu cầu và nguồn cung trong tương lai. Việc kết hợp dữ liệu bất động sản với các dữ liệu kinh tế - xã hội khác sẽ tạo ra những báo cáo phân tích sâu sắc, hỗ trợ việc ra quyết định chiến lược cho các doanh nghiệp.

6.2. Triển vọng và thách thức cho các nhà phát triển tại Việt Nam

Triển vọng cho các nhà phát triển và công ty công nghệ trong lĩnh vực Proptech (Công nghệ Bất động sản) tại Việt Nam là rất lớn. Nhu cầu về các giải pháp thông minh để giải quyết các bài toán thực tiễn là rất cao. Tuy nhiên, thách thức chính vẫn nằm ở chất lượng và tính sẵn có của dữ liệu. Việc xây dựng các nền tảng dữ liệu tập trung, chuẩn hóa và đáng tin cậy sẽ là chìa khóa để thúc đẩy sự phát triển của học máy cho bất động sản. Bên cạnh đó, việc đào tạo nguồn nhân lực có chuyên môn về cả bất động sản và khoa học dữ liệu cũng là một yếu tố quan trọng cần được chú trọng.

Trích đoạn nội dung tài liệu

Chương 1 này đã trình bày về bài toán dự đoán giá nhà đất và một số giải pháp cho bài toán tại Việt Nam, đồng thời đề xuất giải pháp mà đồ án sẽ triển khai để giải quyết bài toán. Trong chương tiếp theo, đồ án sẽ trình bày về cơ sở lý thuyết các của các công nghệ mà đồ án sử dụng. Nguyễn Lương Đức - E17CQCN01-B 6 Đồ án tốt nghiệp đại học Chương 2. Cơ sở lý thuyết CHƯƠNG 2: CƠ SỞ LÝ THUYẾT 2.

Tổng quan về học máy Học máy là một nhánh của trí tuệ nhân tạo (AI) và khoa học máy tính, tập trung vào việc sử dụng dữ liệu và thuật toán để bắt chước cách con người học, dần dần cải thiện độ chính xác của nó. Học máy là một thành phần quan trọng của lĩnh vực khoa học dữ liệu đang phát triển. Thông qua việc sử dụng các phương pháp thống kê, các thuật toán được huấn luyện để đưa ra phân loại hoặc dự đoán, khám phá những hiểu biết quan trọng trong các dự án khai thác dữ liệu. Những thông tin chi tiết này sau đó thúc đẩy việc đưa ra quyết định trong các ứng dụng và doanh nghiệp, tác động đến các chỉ số tăng trưởng chính.

Khi dữ liệu lớn tiếp tục mở rộng và phát triển, nhu cầu thị trường đối với các nhà khoa học dữ liệu sẽ tăng lên, đòi hỏi họ phải hỗ trợ xác định các câu hỏi kinh doanh phù hợp nhất và sau đó là dữ liệu để trả lời chúng. Phân loại thuật toán trong học máy Hình 2. Sơ đồ phân loại học máy 2. Học có giám sát Học có giám sát, còn được gọi là học máy có giám sát, là một danh mục con của học máy và trí tuệ nhân tạo.

Nó được định nghĩa bằng cách sử dụng các tập dữ liệu được Nguyễn Lương Đức - E17CQCN01-B 7 Đồ án tốt nghiệp đại học Chương 2. Cơ sở lý thuyết gắn nhãn để huấn luyện các thuật toán phân loại dữ liệu hoặc dự đoán kết quả một cách chính xác. Khi dữ liệu đầu vào được đưa vào mô hình, nó sẽ điều chỉnh trọng số của nó cho đến khi mô hình được lắp một cách thích hợp, điều này xảy ra như một phần của quá trình xác nhận chéo. Học có giám sát giúp các tổ chức giải quyết nhiều vấn đề trong thế giới thực trên quy mô lớn, chẳng hạn như phân loại thư rác trong một thư mục riêng biệt từ hộp thư đến.

Học tập có giám sát sử dụng tập huấn luyện (training set) để dạy các mô hình nhằm mang lại kết quả đầu ra mong muốn. Tập dữ liệu huấn luyện này bao gồm đầu vào và đầu ra chính xác, cho phép mô hình học hỏi qua thời gian. Thuật toán đo độ chính xác của nó thông qua hàm mất mát, điều chỉnh cho đến khi sai số được giảm thiểu đến mức tối thiểu. Học có giám sát có thể được tách thành hai loại vấn đề khi khai thác dữ liệu: phân loại và hồi quy: - Phân loại (Classification): sử dụng một thuật toán để gán chính xác dữ liệu thử nghiệm thành các danh mục cụ thể.

Nó nhận ra các thực thể cụ thể trong tập dữ liệu và cố gắng đưa ra một số kết luận về cách các thực thể đó nên được gắn nhãn hoặc định nghĩa. Các thuật toán phân loại phổ biến là phân loại tuyến tính (linear classifiers), máy vectơ hỗ trợ (support vector machines - SVM), cây quyết định (decision tree), k-láng giềng gần nhất (k-nearest neighbor) và rừng ngẫu nhiên (random forest). - Hồi quy (regression): được sử dụng để hiểu mối quan hệ giữa các biến phụ thuộc và độc lập. Nó thường được sử dụng để dự báo, chẳng hạn như doanh thu bán hàng cho một doanh nghiệp nhất định.

Hồi quy tuyến tính (linear regression), hồi quy logistic (logistical regression) và hồi quy đa thức (polynomial regression) là các thuật toán hồi quy phổ biến. Học không có giám sát Học không có giám sát, còn được gọi là học máy không giám sát, sử dụng các thuật toán học máy để phân tích và phân cụm các tập dữ liệu không được gắn nhãn. Các thuật toán này phát hiện ra các mẫu hoặc nhóm dữ liệu ẩn mà không cần sự can thiệp của con người. Khả năng phát hiện ra những điểm tương đồng và khác biệt trong thông tin khiến nó trở thành giải pháp lý tưởng để phân tích dữ liệu khám phá, phân khúc khách hàng và nhận dạng hình ảnh.

Các mô hình học tập không giám sát được sử dụng cho ba nhiệm vụ chính: phân cụm, liên kết và giảm kích thước: Nguyễn Lương Đức - E17CQCN01-B 8 Đồ án tốt nghiệp đại học Chương 2. Cơ sở lý thuyết - Phân cụm (Clustering): một kỹ thuật khai thác dữ liệu để nhóm dữ liệu không được gắn nhãn dựa trên những điểm tương đồng hoặc khác biệt của chúng. Ví dụ: các thuật toán phân cụm K-mean gán các điểm dữ liệu tương tự thành các nhóm, trong đó giá trị K đại diện cho kích thước của nhóm và mức độ chi tiết. Kỹ thuật này rất hữu ích cho việc phân đoạn thị trường, nén hình ảnh, v.

- Kết hợp (Association): một loại phương pháp học không giám sát khác sử dụng các quy tắc khác nhau để tìm mối quan hệ giữa các biến trong một tập dữ liệu nhất định. Các phương pháp này thường được sử dụng cho các công cụ phân tích và đề xuất giỏ thị trường, dọc theo dòng khuyến nghị “Khách hàng đã mua mặt hàng này cũng đã mua”. - Giảm kích thước (Dimensionality reduction): một kỹ thuật học tập được sử dụng khi số lượng đối tượng (hoặc kích thước) trong một tập dữ liệu nhất định quá cao. Nó làm giảm số lượng đầu vào dữ liệu đến một kích thước có thể quản lý được trong khi vẫn bảo toàn tính toàn vẹn của dữ liệu.

Thông thường, kỹ thuật này được sử dụng trong giai đoạn tiền xử lý dữ liệu, chẳng hạn như khi bộ mã tự động loại bỏ nhiễu khỏi dữ liệu trực quan để cải thiện chất lượng hình ảnh. Học bán giám sát Học tập bán giám sát là một phương pháp kết hợp giữa học tập có giám sát và không giám sát. Trong quá trình huấn luyện, nó sử dụng một tập dữ liệu có nhãn nhỏ hơn để hướng dẫn phân loại và trích xuất tính năng từ một tập dữ liệu lớn hơn, không được gắn nhãn. Học bán giám sát có thể giải quyết vấn đề không có đủ dữ liệu được gắn nhãn (hoặc không đủ khả năng gắn nhãn đủ dữ liệu) để huấn luyện thuật toán học có giám sát.

Học tăng cường (Reinforcement learning) Học máy củng cố là một mô hình học máy hành vi tương tự như học có giám sát, nhưng thuật toán không được huấn luyện bằng cách sử dụng dữ liệu mẫu. Mô hình này sẽ học theo cách sử dụng thử và sai. Một chuỗi các kết quả thành công sẽ được củng cố để phát triển khuyến nghị hoặc chính sách tốt nhất cho một vấn đề nhất định. Nguyễn Lương Đức - E17CQCN01-B 9 Đồ án tốt nghiệp đại học Chương 2.

Cơ sở lý thuyết Hình 2. AlphaGo chơi cờ vây với Lee Sedol. AlphaGo nổi tiếng với việc chơi cờ vây thắng cả con người. Cờ vây được xem là có độ phức tạp cực kỳ cao với tổng số nước đi là xấp xỉ 10761, so với cờ vua là 10120 và tổng số nguyên tử trong toàn vũ trụ là khoảng 1080.

Vì vậy, thuật toán phải chọn ra 1 nước đi tối ưu trong số hàng nhiều tỉ tỉ lựa chọn, và tất nhiên, không thể áp dụng thuật toán tương tự như IBM Deep Blue (IBM Deep Blue đã thắng con người trong môn cờ vua 20 năm trước). Về cơ bản, AlphaGo bao gồm các thuật toán thuộc cả Học có giám sát và Học tăng cường. Trong phần Học có giám sát, dữ liệu từ các ván cờ do con người chơi với nhau được đưa vào để huấn luyện. Tuy nhiên, mục đích cuối cùng của AlphaGo không phải là chơi như con người mà phải thậm chí thắng cả con người.

Vì vậy, sau khi học xong các ván cờ của con người, AlphaGo tự chơi với chính nó với hàng triệu ván chơi để tìm ra các nước đi mới tối ưu hơn. Thuật toán trong phần tự chơi này được xếp vào loại học tăng cường. Thuật toán hồi quy Với yêu cầu bài toán dự đoán giá nhà, sự lựa chọn phù hợp nhất là thuật toán học máy có giám sát, cụ thể là các thuật toán hồi quy. Nguyễn Lương Đức - E17CQCN01-B 10 Đồ án tốt nghiệp đại học Chương 2.

Hồi quy tuyến tính và Gradient descent 2.1 Hồi quy tuyến tính (linear regression) Hồi quy tuyến tính được sử dụng để phân tích, dự đoán giá trị của một biến dựa trên giá trị của một biến khác. Biến muốn dự đoán được gọi là biến phụ thuộc. Biến đang sử dụng để dự đoán giá trị của biến khác được gọi là biến độc lập. Dạng phân tích này ước tính các hệ số của phương trình tuyến tính, liên quan đến một hoặc nhiều biến độc lập dự đoán tốt nhất giá trị của biến phụ thuộc.

Hồi quy tuyến tính biểu diễn phù hợp với một đường thẳng hoặc mặt phẳng giúp giảm thiểu sự khác biệt giữa các giá trị đầu ra được dự đoán và thực tế. Có những máy tính hồi quy tuyến tính đơn giản sử dụng phương pháp "bình phương nhỏ nhất" để khám phá đường phù hợp nhất cho một tập hợp dữ liệu được ghép nối. Sau đó ước tính giá trị của X (biến phụ thuộc) từ Y (biến độc lập).2 Gradient descent Gradient descent là một thuật toán tối ưu hóa được sử dụng để tìm các giá trị của các tham số của một hàm (f) để tối thiểu hóa một hàm chi phí. Gradient descent được sử dụng tốt nhất khi các tham số không thể được tính toán phân tích (ví dụ: sử dụng đại số tuyến tính) và phải được tìm kiếm bằng một thuật toán tối ưu hóa.

Regularization Phương pháp đơn giản nhất để biết được chất lượng của mô hình với dữ liệu chưa nhìn thấy bao giờ (unseen data) khi xây dựng mô hình không được sử dụng dữ liệu kiểm tra (test data) là trích từ tập dữ liệu huấn luyện ra một tập con nhỏ và thực hiện việc đánh giá mô hình trên tập con nhỏ này. Tập con này được gọi là validation set. Lúc này, tập huấn luyện là phần còn lại của tập huấn luyện ban đầu. Train error được tính trên tập huấn luyện mới này, và có một khái niệm nữa được định nghĩa tương tự như trên validation error, tức error được tính trên tập validation.