Bối cảnh và vấn đề nghiên cứu

Khóa luận tốt nghiệp "Ứng dụng học sâu cho bài toán nhận diện thực thể định danh trong lĩnh vực bất động sản" do sinh viên Nguyễn Thu Hoài (Lớp K21HTTTA, Khóa học 2018-2022, Khoa Hệ thống thông tin quản lý – Học viện Ngân hàng) thực hiện dưới sự hướng dẫn của ThS. Trần Thị Huế vào tháng 5 năm 2022. Nghiên cứu được triển khai gắn liền với quá trình thực tập tại Công ty Cổ phần Tập đoàn Meey Land.

Lý do chọn đề tài và bối cảnh thực tiễn

Trong bối cảnh chuyển đổi số của thị trường bất động sản, các nền tảng trực tuyến như Meey Land (sở hữu website meeyland.com, Meey CRM, Meey Map, Meey Ads,...) xử lý khối lượng lớn tin đăng mua, bán, thuê và sang nhượng. Tuy nhiên, hoạt động khai thác thông tin trên hệ thống đối mặt với hai bất cập thực tế:

  • Quy trình đăng tin thủ công: Người dùng khi đăng tin vừa phải soạn thảo tiêu đề, mô tả, vừa phải chọn lặp lại các trường thông tin thuộc tính đặc tả (như nhu cầu, loại hình bất động sản, diện tích, giá cả, hướng nhà, vị trí) dù các thông tin này đã tồn tại sẵn trong phần văn bản mô tả.
  • Hạn chế trong tìm kiếm và gợi ý: Bộ lọc tìm kiếm và hệ thống gợi ý của nền tảng chưa nắm bắt chuẩn xác nhu cầu của người dùng do chưa trích xuất được các từ khóa trọng tâm từ chuỗi văn bản tự nhiên.

Nhận diện thực thể định danh (Named Entity Recognition - NER) là giải pháp nền tảng nhằm tự động hóa việc phát hiện và trích xuất các trường thông tin cốt lõi. Dù vậy, việc áp dụng NER trong tiếng Việt đối với ngành bất động sản gặp nhiều thách thức:

  • Không thể giải quyết triệt để bằng phương pháp tra từ điển do các thực thể mới liên tục xuất hiện theo thời gian.
  • Tính nhập nhằng ngữ nghĩa theo ngữ cảnh cao (ví dụ: "Thanh Bình" có thể là tên người hoặc tên địa danh cấp huyện tại Đồng Tháp).
  • Cụm từ thực thể gồm nhiều từ ghép phức tạp (cần xác định chính xác ranh giới bắt đầu và kết thúc).
  • Sự khan hiếm dữ liệu huấn luyện: Các tập ngữ liệu tiếng Việt công khai thời điểm nghiên cứu (VLSP 2016, VLSP 2018, ngữ liệu COVID-19) chỉ tập trung vào các thực thể chung (người, tổ chức, địa điểm) hoặc chuyên ngành dịch bệnh, hoàn toàn thiếu vắng bộ dữ liệu chuyên sâu cho thị trường bất động sản.

Mục tiêu và nhiệm vụ nghiên cứu

Khóa luận xác định 2 nhóm mục tiêu và nhiệm vụ chính:

  1. Xây dựng hệ thống NER chuyên biệt cho bất động sản: Nhận diện và gán nhãn tự động các trường thông tin từ văn bản mô tả (nhu cầu, loại hình bất động sản, vị trí, diện tích, giá cả, mặt tiền, hướng nhà) nhằm tự động điền biểu mẫu đăng tin trên website meeyland.com, tối ưu hóa bộ lọc tìm kiếm/gợi ý, và tạo tiền đề tích hợp cho hệ thống nhận diện giọng nói trong tương lai.
  2. Xây dựng tập dữ liệu: Đóng góp cho cộng đồng nghiên cứu một bộ dữ liệu gán nhãn thực thể định danh tiếng Việt mới dành riêng cho lĩnh vực bất động sản.

Đối tượng và phạm vi nghiên cứu

  • Đối tượng nghiên cứu: Kỹ thuật nhận diện thực thể định danh (NER) và các mô hình học sâu (Deep Learning) ứng dụng trong xử lý ngôn ngữ tự nhiên.
  • Phạm vi dữ liệu và không gian: Văn bản tin đăng rao vặt, quảng cáo mua bán/cho thuê bất động sản bằng tiếng Việt thu thập tại nền tảng của Công ty Cổ phần Tập đoàn Meey Land.
  • Phạm vi thời gian: Dữ liệu và thực nghiệm được tiến hành trong giai đoạn 2021–2022.

Cơ sở lý thuyết và phương pháp

Khung lý thuyết và mô hình sử dụng

Khóa luận hệ thống hóa cơ sở lý thuyết xử lý ngôn ngữ tự nhiên từ mức xử lý tiền kỳ đến các mạng nơ-ron chuyên sâu:

  • Biểu diễn văn bản và nhúng từ (Word Embedding):
    • Mã hóa One-hot (One-hot encoding): Biểu diễn từ dưới dạng vectơ nhị phân dựa trên kích thước từ điển.
    • Nhúng dựa trên tần suất: Count Vector, TF-IDF ($tfidf(t, d, D) = tf(t, d) \times idf(t, D)$).
    • Nhúng dựa trên dự đoán: Mô hình Word2Vec (Continuous Bag of Words - CBOW và Skip-gram) và Byte Pair Embedding (BPEmb/BPE) tách từ con (subword).
  • Mô hình học sâu và mạng nơ-ron:
    • Mạng nơ-ron nhân tạo (ANN): Cơ chế truyền thẳng, hàm kích hoạt (Sigmoid, Tanh, ReLU) và thuật ngữ hàm mất mát.
    • Mạng nơ-ron hồi quy (RNN): Cấu trúc lưu vết trạng thái ẩn $a^{(t)} = g_1(W_{aa} a^{(t-1)} + W_{ax} x^t + b_a)$, thuật toán lan truyền ngược qua thời gian (BPTT), phân tích hiện tượng tiêu biến/bùng nổ đạo hàm (vanishing/exploding gradient).
    • Mạng bộ nhớ ngắn hạn dài (LSTM): Kiểm soát luồng thông tin qua Cổng quên (Forget Gate - $f_t$), Cổng vào (Input Gate - $i_t$), Trạng thái ô (Cell State - $C_t$) và Cổng ra (Output Gate - $o_t$).
    • Mạng LSTM hai chiều (BiLSTM): Kết hợp lớp chuyển tiếp (forward layer) và lớp lùi (backward layer) nhằm tối ưu hóa việc nắm bắt ngữ cảnh hai chiều.
    • Mạng Gated Recurrent Unit (GRU): Kiến trúc thu gọn với Cổng thiết lập lại (Reset Gate - $r_t$) và Cổng cập nhật (Update Gate - $z_t$).
    • Mô hình Transformer & Cơ chế Attention: Positional Encoding hàm sin-cos, Self-Attention thông qua bộ ba vectơ Query ($Q$), Key ($K$), Value ($V$), tính toán Multi-Head Attention và kiến trúc khối Encoder đa tầng.
    • Trường điều kiện ngẫu nhiên (Conditional Random Fields - CRF): Lớp giải mã chuỗi nhãn nhằm tối ưu hóa phân phối xác suất toàn cục.
    • Mô hình tiền huấn luyện (Pre-trained models) cho tiếng Việt: PhoBERT và VnCoreNLP.
Nhóm phương pháp Mô hình / Kỹ thuật cụ thể Mục đích sử dụng trong nghiên cứu
Tiền xử lý chuỗi Unicode UTF-8, Biểu thức chính quy (RegEx) Chuẩn hóa bảng mã, lọc thẻ HTML, ký tự đặc biệt
Phân đoạn & Tách từ NLTK (sent_tokenize, word_tokenize), Trankit Phân đoạn câu, phân tách từ ghép tiếng Việt
Biểu diễn từ One-hot, Word2Vec, BPEmb Chuyển đổi dữ liệu chữ sang không gian vectơ số
Mô hình chuỗi kết hợp RNN-CRF, GRU-CRF, LSTM-CRF, BiLSTM-CRF Huấn luyện và phân loại chuỗi thực thể định danh
Mô hình Transformer PhoBERT Tận dụng cơ chế Self-Attention để trích xuất ngữ cảnh 
[Văn bản BĐS thô]

Phương pháp nghiên cứu thực tế

  • Phương pháp phân tích - tổng hợp: Nghiên cứu các công trình NER tiếng Việt và thế giới (từ mô hình thống kê CRF/SVM đến các kiến trúc BiLSTM-CRF, BiLSTM-CNN-CRF, BERT, XLM-R).
  • Phương pháp xử lý dữ liệu đặc thù: Xây dựng danh sách từ dừng tùy chỉnh (loại bỏ các hư từ không mang nghĩa nhưng giữ lại các từ liên quan đến cấu trúc câu BĐS như từ "cho" trong "cho thuê").
  • Phương pháp thực nghiệm so sánh: Triển khai huấn luyện thực nghiệm độc lập các mô hình chuỗi (RNN-CRF, GRU-CRF, LSTM-CRF, BiLSTM-CRF) và mô hình PhoBERT trên cùng một tập dữ liệu bất động sản được gán nhãn.
  • Nguồn dữ liệu: Dữ liệu thực tế từ các bài đăng tin mua bán, cho thuê bất động sản trên website meeyland.com.

Nội dung chính theo từng chương

Chương 1: Giới thiệu và đặt vấn đề bài toán

Chương này giới thiệu tổng quan về đơn vị thực tập – Công ty Cổ phần Tập đoàn Meey Land (thành lập ngày 15/08/2019, đạt giải thưởng Doanh nghiệp chuyển đổi số xuất sắc tại Vietnam Digital Awards 2021 và giải thưởng Sao Khuê 2022). Tác giả mô tả cơ cấu tổ chức và hệ sinh thái 26 sản phẩm công nghệ chuyên biệt cho bất động sản, trọng tâm là website MeeyLand.com (hơn 3 triệu tin rao, 20.000–30.000 tin mới mỗi tuần), Meey CRM, Meey Map, Meey Page và Meey Ads.

Tác giả phân tích nhu cầu tự động hóa khâu phân loại tin đăng và hỗ trợ công cụ tìm kiếm trên meeyland.com, từ đó xác lập sự cần thiết của hệ thống NER. Phần tổng quan nghiên cứu phân tích sự phát triển của NER từ phương pháp dựa trên thống kê (CRF, HMM, SVM với đặc trưng thủ công) đến các kiến trúc học sâu (BiLSTM-CRF của Huang et al., BiLSTM-CNN của Chiu & Nichols, BiLSTM-CNN-CRF của Ma & Hovy, PhoBERT của VinAI trong xử lý thực thể COVID-19). Chương 1 khẳng định khoảng trống nghiên cứu: chưa có công bố nào phát triển mô hình NER tiếng Việt chuyên sâu cho lĩnh vực bất động sản.

Chương 2: Kiến thức cơ bản trong xử lý ngôn ngữ tự nhiên

Chương 2 trình bày có hệ thống các lý thuyết nền tảng phục vụ giải quyết bài toán:

  • Kỹ thuật tiền xử lý văn bản thô: Trình bày cơ chế giải mã/mã hóa Unicode UTF-8; cú pháp RegEx (bộ ký tự [], tùy chọn ?, cố định {}, thay thế |, chốt ranh giới ^ $, ký tự đại diện ., dải ký tự, lớp viết tắt \w, \d, \W, \D, dấu sao/cộng Kleene *, +); các cấp độ phân đoạn (phân đoạn câu, phân tách từ) bằng khoảng trắng, từ điển, RegEx, tách từ con (BPE, WordPiece, SentencePiece) và công cụ hỗ trợ (Python split, thư viện re, NLTK, Trankit).
  • Xử lý từ dừng: Nguyên lý lọc từ dừng và lưu ý khi xây dựng danh sách từ dừng tùy chỉnh trong BĐS.
  • Hệ thống nhãn thực thể bất động sản: Định nghĩa các thực thể cốt lõi:
Nhãn thực thể Mô tả phạm vi Ví dụ minh họa trong văn bản
LOCATION Vị trí, địa chỉ bất động sản Đường Nguyễn Trãi, Phường Láng Hạ
PROPERTY STYLE Loại hình bất động sản Nhà riêng, văn phòng, đất
DEMAND Nhu cầu giao dịch Cần bán, cho thuê, sang nhượng
PRICE Giá trị giao dịch 2 tỷ, 2 triệu USD
AREA Diện tích đất / sàn 400 m2, 250m2
FRONTAGE Chiều rộng mặt tiền Mặt tiền 10m
  • Không gian biểu diễn từ: Cơ chế hoạt động của One-hot Encoding so với Word Embedding; chi tiết toán học của Count Vector, TF-IDF; kiến trúc lớp ẩn của mô hình CBOW (dự đoán từ mục tiêu từ ngữ cảnh) và Skip-gram (dự đoán từ ngữ cảnh từ từ mục tiêu); thuật toán hợp nhất Byte Pair Encoding (BPE) và mô hình BPEmb.
  • Mạng nơ-ron học sâu: Kiến trúc ANN, các hàm kích hoạt (Sigmoid, Tanh, ReLU) và công thức hàm mất mát; cấu trúc nơ-ron RNN và hạn chế tiêu biến đạo hàm; cơ chế 3 cổng và Cell State của LSTM; cơ chế 2 cổng (Reset, Update) của GRU; mạng BiLSTM kết hợp hướng xuôi và ngược; mô hình Transformer (công thức Positional Encoding sin-cos, ma trận $Q, K, V$, cơ chế Self-Attention scaled dot-product $\text{Attention}(Q,K,V) = \text{softmax}(\frac{QK^T}{\sqrt{d_k}})V$, Multi-Head Attention và khối Encoder với Skip-connection Add & Norm); nguyên lý lớp CRF và các mô hình tiền huấn luyện tiếng Việt (PhoBERT, VnCoreNLP).

Chương 3: Xây dựng mô hình NER cho dữ liệu bất động sản

Chương 3 trình bày toàn bộ quá trình thực nghiệm bài toán:

  • Mô tả tập dữ liệu: Xây dựng cấu trúc dữ liệu, chuẩn hóa các định nghĩa thực thể chuyên ngành BĐS và thống kê phân bổ các nhãn trong tập dữ liệu thu thập.
  • Quy trình thực nghiệm:
    1. Thu thập dữ liệu: Thu thập tin đăng từ cổng thông tin meeyland.com.
    2. Tiền xử lý: Chuẩn hóa văn bản, xử lý Unicode, tách từ, loại bỏ nhiễu và lọc từ dừng theo danh mục tùy chỉnh.
    3. Gán nhãn: Thực hiện gán nhãn thực thể thủ công dựa trên công cụ hỗ trợ gán nhãn chuyên dụng theo định dạng chuỗi.
    4. Huấn luyện mô hình: Thiết lập và huấn luyện song song các mô hình hồi quy kết hợp CRF (RNN-CRF, GRU-CRF, LSTM-CRF, BiLSTM-CRF) và mô hình dựa trên Transformer (PhoBERT).
  • Kết quả tính toán thực nghiệm: Đánh giá hiệu năng huấn luyện thông qua biểu đồ độ chính xác và hàm mất mát theo số lượng epoch, phân tích ma trận nhầm lẫn (Confusion Matrix) đa lớp cho từng mô hình, và so sánh hiệu suất tổng thể giữa các kiến trúc.
  • Triển khai ứng dụng: Trình diễn kết quả chạy thực tế của mô hình khi nhận chuỗi văn bản mô tả tin đăng BĐS đầu vào và trích xuất chính xác các cặp từ - nhãn thực thể tương ứng.

Kết quả và đóng góp

Kết quả chính

  • Nghiên cứu đã hoàn thiện quy trình xây dựng mô hình trích xuất thực thể định danh cho tiếng Việt chuyên biệt trong miền bất động sản, xử lý thành công chuỗi văn bản tự nhiên có cấu trúc phức tạp.
  • Thực nghiệm so sánh toàn diện 5 mô hình học sâu (RNN-CRF, GRU-CRF, LSTM-CRF, BiLSTM-CRF và PhoBERT) trên bộ dữ liệu BĐS:
    • Các mô hình kết hợp lớp CRF cho thấy khả năng cải thiện sự ràng buộc hợp lệ giữa các nhãn thực thể liên tiếp trong chuỗi.
    • Mô hình BiLSTM-CRF ghi nhận hiệu năng phân loại vượt trội so với các kiến trúc mạng hồi quy đơn hướng nhờ tận dụng thông tin ngữ cảnh hai chiều.
    • Mô hình tiền huấn luyện PhoBERT thể hiện khả năng học biểu diễn ngữ cảnh tiếng Việt sâu sắc thông qua cơ chế Multi-Head Self-Attention.

Giải pháp và kiến nghị ứng dụng

  • Tự động điền dữ liệu (Auto-fill): Ứng dụng mô hình vào hệ thống đăng tin của meeyland.com; khi người dùng soạn thảo tiêu đề hoặc mô tả, hệ thống tự động bóc tách các thực thể (DEMAND, PROPERTY STYLE, AREA, PRICE, LOCATION, FRONTAGE) để điền tự động vào các trường dữ liệu đặc tả, giảm thiểu thao tác nhập liệu.
  • Nâng cấp bộ máy tìm kiếm và gợi ý: Trích xuất từ khóa thực thể từ chuỗi tìm kiếm tự nhiên của khách hàng để phục vụ bộ lọc tìm kiếm thông minh và thuật toán gợi ý tin đăng liên quan.
  • Định hướng phát triển nhận diện giọng nói: Làm khối xử lý thông tin trung gian cho phép người dùng tìm kiếm và đăng tin bất động sản bằng giọng nói thông qua chuyển đổi Speech-to-Text kết hợp NER.

Đóng góp về mặt học thuật và thực tiễn

  • Đóng góp bộ dữ liệu gán nhãn thực thể định danh tiếng Việt chuyên ngành bất động sản, góp phần thu hẹp khoảng trống tài nguyên NLP cho các lĩnh vực chuyên biệt tại Việt Nam.
  • Cung cấp tài liệu thực nghiệm hệ thống hóa việc so sánh các dòng kiến trúc học sâu hồi quy cổ điển với mô hình Transformer đối với bài toán NER tiếng Việt.

Hạn chế và hướng nghiên cứu tiếp

Hạn chế của nghiên cứu

  • Phạm vi dữ liệu thực nghiệm giới hạn trong tập ngữ liệu thu thập tại nền tảng Meey Land, chưa bao quát toàn bộ các biến thể hành văn của thị trường bất động sản trên các vùng miền khác nhau.
  • Xử lý các câu có cấu trúc phi chuẩn, từ viết tắt đặc thù ngành hoặc lỗi chính tả phức tạp trong văn bản mạng xã hội vẫn còn gặp sai số trong quá trình gán nhãn và nhận diện.

Hướng nghiên cứu tiếp

  • Mở rộng quy mô bộ dữ liệu gán nhãn, bổ sung thêm các loại thực thể định danh chuyên sâu khác của bất động sản (pháp lý, hướng ban công, tiện ích nội ngoại khu,...).
  • Tích hợp sâu mô hình NER đã tối ưu vào pipeline xử lý dữ liệu tự động thời gian thực của hệ sinh thái công nghệ Meey Land.
  • Kết hợp mô hình NER với các hệ thống nhận dạng tiếng nói (Speech Recognition) để xây dựng tính năng tìm kiếm và đăng tin BĐS bằng giọng nói hoàn chỉnh.

Giá trị tham khảo

Tài liệu này hữu ích cho:

  • Sinh viên và nhà nghiên cứu ngành Hệ thống thông tin quản lý, Khoa học dữ liệu, Trí tuệ nhân tạo: Cung cấp tài liệu tham khảo chi tiết về toàn bộ vòng đời phát triển một bài toán NLP chuyên ngành hẹp (domain-specific NLP), từ khâu thu thập, tiền xử lý, gán nhãn dữ liệu đến xây dựng và đánh giá mô hình học sâu.
  • Kỹ sư phát triển hệ thống trích xuất thông tin (Information Extraction - IE): Phần trình bày toán học và cấu trúc của các mô hình LSTM, GRU, cơ chế Attention của Transformer, cùng cơ chế hoạt động của lớp CRF là tài liệu tham khảo trực quan, mạch lạc cho việc thiết kế kiến trúc mô hình xử lý chuỗi.
  • Các doanh nghiệp và dự án PropTech (Công nghệ Bất động sản): Cung cấp giải pháp kỹ thuật cụ thể để giải quyết bài toán tối ưu hóa trải nghiệm người dùng trong việc đăng tin, lọc tin và tìm kiếm thông tin bất động sản tự động.

Câu hỏi thường gặp

1. Khóa luận nhận diện những loại thực thể định danh cụ thể nào trong văn bản bất động sản?

Khóa luận tập trung nhận diện 6 nhóm thực thể cốt lõi phục vụ thông tin bất động sản:

  • LOCATION (Vị trí / Địa chỉ)
  • PROPERTY STYLE (Loại hình bất động sản)
  • DEMAND (Nhu cầu giao dịch: bán, cho thuê, sang nhượng)
  • PRICE (Giá bán / Giá thuê)
  • AREA (Diện tích)
  • FRONTAGE (Chiều rộng mặt tiền)

2. Vì sao tác giả lựa chọn phương pháp Học sâu (Deep Learning) thay cho phương pháp thống kê truyền thống?

Các phương pháp thống kê truyền thống (như CRF thuần túy, HMM, SVM) phụ thuộc lớn vào tập đặc trưng được tạo thủ công (hand-crafted features) – vốn tốn nhiều công sức, khó bao quát và khó tái sử dụng. Các mô hình học sâu (RNN, LSTM, BiLSTM, Transformer) có khả năng tự động học các đặc trưng ngữ nghĩa và cú pháp phức tạp từ dữ liệu dạng chuỗi, mang lại hiệu suất vượt trội và độ chính xác cao hơn rõ rệt đối với ngôn ngữ có tài nguyên thấp như tiếng Việt.

3. Những mô hình học sâu cụ thể nào đã được triển khai và đánh giá trong khóa luận?

Khóa luận đã triển khai huấn luyện và so sánh thực nghiệm 5 mô hình:

  1. RNN kết hợp CRF (RNN-CRF)
  2. GRU kết hợp CRF (GRU-CRF)
  3. LSTM kết hợp CRF (LSTM-CRF)
  4. BiLSTM kết hợp CRF (BiLSTM-CRF)
  5. Mô hình ngôn ngữ tiền huấn luyện dựa trên Transformer (PhoBERT)

4. Việc xử lý từ dừng (Stop words) trong bài toán NER bất động sản tiếng Việt có điểm gì đặc biệt?

Không thể sử dụng danh sách từ dừng thông thường của tiếng Việt một cách máy móc. Một số từ thường được coi là từ dừng (như từ "cho") nếu bị loại bỏ sẽ làm biến đổi hoàn toàn ngữ nghĩa của cụm từ thực thể trong bất động sản (ví dụ: làm mất nghĩa của cụm "cho thuê" trong câu mô tả nhu cầu giao dịch). Do đó, tác giả phải xây dựng danh sách từ dừng tùy chỉnh dành riêng cho ngữ cảnh bất động sản.

5. Kết quả của mô hình NER được ứng dụng vào những tính năng cụ thể nào tại Meey Land?

Kết quả nhận diện thực thể được ứng dụng trực tiếp vào:

  • Tự động điền (auto-fill) các trường thuộc tính bất động sản khi người dùng nhập tiêu đề/mô tả tin đăng trên website meeyland.com.
  • Trích xuất từ khóa trọng tâm để nâng cao độ chuẩn xác cho bộ lọc tìm kiếm và hệ thống gợi ý tin đăng.
  • Cung cấp mô-đun trích xuất thực thể phục vụ phát triển tính năng tương tác tìm kiếm qua giọng nói trong tương lai.

Kết luận

Khóa luận tốt nghiệp của sinh viên Nguyễn Thu Hoài đã giải quyết bài toán thực tế về trích xuất thông tin bất động sản tiếng Việt thông qua việc ứng dụng các kỹ thuật học sâu tiên tiến cho tác vụ nhận diện thực thể định danh (NER). Công trình đã hệ thống hóa đầy đủ cơ sở lý thuyết xử lý ngôn ngữ tự nhiên, xây dựng thành công quy trình tiền xử lý và tập dữ liệu gán nhãn thực thể bất động sản chuyên biệt. Nghiên cứu thực nghiệm so sánh toàn diện giữa các kiến trúc mạng hồi quy kết hợp CRF với mô hình PhoBERT đã chứng minh tính hiệu quả của mô hình học sâu, đồng thời mở ra giải pháp ứng dụng thiết thực nhằm nâng cao trải nghiệm người dùng trên nền tảng công nghệ bất động sản Meey Land.