NGHIÊN CỨU VÀ ỨNG DỤNG CƠ SỞ DỮ LIỆU ĐỒ THỊ VÀO BÀI TOÁN QUẢN LÝ KHÁCH HÀNG

Nghiên cứu ứng dụng CSDL đồ thị (Graph Database) vào quản lý khách hàng. Giải pháp hiệu quả cho bài toán quản lý tại các doanh nghiệp viễn thông.

• Tác giả: Trần Thị Kim Lan
• Người hướng dẫn: GS.TS Từ Minh Phương
• Trường học: Học viện Công nghệ Bưu chính Viễn thông
• Chuyên ngành: Hệ Thống Thông Tin
• Đề tài: Nghiên cứu và Ứng dụng Cơ sở Dữ liệu Đồ thị vào Bài toán Quản lý Khách hàng
• Loại tài liệu: Đề án tốt nghiệp thạc sĩ
• Năm xuất bản: 2024
• Địa điểm: Hà Nội

Mục lục chi tiết

• LỜI CAM ĐOAN
• LỜI CẢM ƠN
• 1. CHƯƠNG 1: TỔNG QUAN
• 1.1. Bài toán Quản lý khách hàng (VNPT – Hà Nội)
• 1.2. Mô hình tổng thể hệ thống quản trị doanh nghiệp
• 1.3. Khái niệm Cơ sở dữ liệu đồ thị
• 1.4. Mô hình hóa dữ liệu
• 1.5. Phương pháp thiết kế CSDL đồ thị
• 1.6. Hệ quản trị cơ sở dữ liệu Neo4j
• 1.6.1. Tính năng nổi bật
• 1.6.2. Nút - Nodes
• 1.6.3. Mối quan hệ - Relationships
• 1.6.4. Thuộc tính - Properties
• 1.6.5. Nhãn - Labels
• 1.6.6. Đường kết nối - Paths
• 1.6.7. Duyệt đồ thị - Traversal
• 1.7. Ngôn ngữ truy vấn Cypher
• 1.8. Xu hướng ứng dụng
• 2. CHƯƠNG 2: GIẢI PHÁP TRIỂN KHAI BÀI TOÁN QUẢN LÝ KHÁCH HÀNG TRÊN CSDL QUAN HỆ VÀ ĐỒ THỊ
• 2.1. Giải pháp triển khai trên Cơ sở dữ liệu quan hệ
• 2.2. Sơ đồ thực thể liên kết
• 2.3. Ưu nhược điểm và phương án khắc phục
• 2.4. Giải pháp triển khai trên Cơ sở dữ liệu đồ thị
• 2.5. Mô hình dữ liệu
• 2.6. Ưu nhược điểm và phương án khắc phục
• 2.7. Chuyển đổi CSDL quan hệ có sẵn sang CSDL đồ thị
• 2.8. Chuyển đổi CSDL bài toán Quản lý khách hàng sang CSDL đồ thị
• 2.9. Tổng kết chương
• 3. CHƯƠNG 3: THỬ NGHIỆM VÀ ĐÁNH GIÁ
• 3.1. Lựa chọn kỹ thuật
• 3.2. Chuyển đổi cơ sở dữ liệu quan hệ - đồ thị
• 3.3. Chương trình demo
• 3.4. So sánh kết quả thực thi câu lệnh
• 3.5. Mô hình và kích thước dữ liệu
• 3.6. Kịch bản thực nghiệm
• 3.7. Kết quả thực nghiệm
• 3.8. Đánh giá thực nghiệm
• 3.9. Tổng kết chương
• 4. TỔNG KẾT CHUNG
• PHỤ LỤC: CHI TIẾT CÂU LỆNH THỬ NGHIỆM
• TÀI LIỆU THAM KHẢO

Tóm tắt

I. Tổng Quan Nghiên Cứu CSDL Đồ Thị Quản Lý Khách Hàng

Bài toán Quản lý khách hàng (CRM) đối mặt với nhiều thách thức khi dữ liệu tăng trưởng nhanh chóng và cấu trúc dữ liệu cần thay đổi linh hoạt. Các giải pháp truyền thống trên CSDL quan hệ (RDBMS) thường gặp vấn đề về hiệu suất và khả năng mở rộng. Telenor, một công ty viễn thông lớn, đã ứng dụng CSDL Đồ Thị để quản lý cấu trúc tổ chức khách hàng, thể hiện tiềm năng lớn trong việc giải quyết các vấn đề tương tự. Việc nghiên cứu và ứng dụng CSDL Đồ Thị như Neo4j vào bài toán Quản lý khách hàng tại VNPT Hà Nội có thể mang lại những cải tiến đáng kể. Cần phân tích ưu nhược điểm của từng mô hình cơ sở dữ liệu, đề xuất giải pháp chuyển đổi và đánh giá hiệu năng thực tế. Bài toán quản lý mối quan hệ khách hàng thường được triển khai trên mô hình cơ sở dữ liệu quan hệ với độ phức tạp tùy theo từng mô hình kinh doanh.

1.1. Khó khăn của Quản Lý Khách Hàng trên CSDL Quan Hệ

Việc bổ sung thuộc tính mới đáp ứng các yêu cầu nghiệp vụ thường dẫn tới phải chỉnh sửa lại cấu trúc các bảng dữ liệu. Đồng thời tốc độ truy vấn giảm khi lượng dữ liệu tăng cao. Đây là một thách thức lớn đối với các hệ thống CRM hiện đại. Cần một giải pháp linh hoạt và hiệu quả hơn để quản lý thông tin khách hàng. Dữ liệu lớn và tăng trưởng theo thời gian, thuộc tính dữ liệu thay đổi do các nghiệp vụ phát sinh.

1.2. Tiềm năng của CSDL Đồ Thị Graph Database trong CRM

Triển khai bài toán trên mô hình CSDL đồ thị có thể là một hướng đi đúng đắn có thể khắc phục các hạn chế trên, cụ thể: Mô hình hóa đồ thị thuộc tính rất trực quan dễ tiếp cận. CSDL đồ thị hỗ trợ bổ sung thuộc tính dữ liệu mềm dẻo. Thực hiện truy vấn dựa trên phép duyệt đồ thị và dựa vào các mối quan hệ đã định nghĩa sẵn nên tốc độ truy vấn ít biến động khi dữ liệu tăng. CSDL đồ thị có khả năng giải quyết vấn đề hiệu suất và khả năng mở rộng. Điều này đặc biệt quan trọng trong bối cảnh dữ liệu khách hàng ngày càng tăng lên.

II. Thách Thức Vấn Đề Quản Lý Khách Hàng Tại VNPT Hà Nội

Viễn thông Hà Nội đã triển khai giải pháp ERP từ sớm, nhưng gặp nhiều khó khăn trong quá trình thực hiện, đặc biệt trong phân hệ Quản lý Khách Hàng. Các vấn đề bao gồm: tổng hợp dữ liệu chậm khi khối lượng dữ liệu tăng nhanh, khó khăn khi điều chỉnh CSDL để đáp ứng công tác cung cấp dịch vụ, và hệ thống hạ tầng phải mở rộng liên tục. Những khó khăn này gây tốn kém về nhân lực, thời gian và tài chính. Do đó, cần nghiên cứu giải pháp xử lý, có thể tiếp cận theo từng bước để tiến dần tới thay đổi hoặc chuyển đổi hệ thống sẵn có.

2.1. Sự Cần Thiết Của Việc Quản Lý Khách Hàng Hiệu Quả

Quản lý tốt thông tin khách hàng và dịch vụ giúp đáp ứng nhu cầu quản lý dữ liệu, quản lý thông tin. Tăng cường khả năng khai thác số liệu hỗ trợ đánh giá chỉ, xây dựng chính sách phát triển. Đáp ứng quy trình điều hành cung cấp dịch vụ đến khách hàng. Hỗ trợ công tác chăm sóc – nâng cao trải nghiệm khách hàng về chất lượng dịch vụ và phục vụ. Quản lý khách hàng là phân hệ trọng tâm, nắm giữ các thông tin cần thiết ảnh hưởng đến sự phát triển của doanh nghiệp.

2.2. Vấn Đề Hiệu Suất và Khả Năng Mở Rộng của Hệ Thống CRM Cũ

Khi lượng khách hàng bùng nổ cùng sự đa dạng của dịch vụ trong những năm gần đây, mô hình hệ thống đang triển khai đã gặp phải một số khó khăn mặc dù phân hệ được đầu tư rất nhiều cả về công nghệ lẫn thiết kế. Tổng hợp dữ liệu chậm dần khi khối lượng dữ liệu trưởng nhanh. Khó khăn khi điều chỉnh thường xuyên CSDL về kiến trúc để đáp ứng công tác cung cấp dịch vụ. Hệ thống hạ tầng phải tăng cường, mở rộng thường xuyên đáp ứng nhu cầu lưu trữ hoặc tốc độ xử lý.

2.3. Đề xuất Nghiên Cứu và Ứng Dụng CSDL Đồ Thị

Qua nghiên cứu về các mô hình dữ liệu, có thể nhận thấy cơ sở dữ liệu đồ thị có rất nhiều tiềm năng là giải pháp phù hợp để giải quyết các vấn đề, cụ thể: CSDL đồ thị dễ học, dễ hiểu và có nguồn tài liệu phong phú. Có sự tương đồng trong cách mô hình hóa dữ liệu với CSDL quan hệ, là cơ sở thực hiện chuyển đổi bài toán từ mô hình quan hệ sang đồ thị. CSDL đồ thị đơn giản hóa trong việc thay đổi cấu trúc (nút, quan hệ, thuộc tính…). Chỉ một phần CSDL bị tác động do truy vấn theo quan hệ, do đó khi kích thước dữ liệu tăng thời gian truy vấn có thể không tăng cao.

III. Hướng Dẫn Áp Dụng CSDL Đồ Thị Neo4j Vào CRM Chi Tiết

Luận văn trình bày nội dung nghiên cứu, tìm hiểu giải pháp thử nghiệm giải quyết bài toán Quản lý khách hàng của Viễn thông Hà Nội trên mô hình CSDL đồ thị với phạm vi như sau: Nghiên cứu các khái niệm, mô hình CSDL đồ thị. Chọn Neo4j – một CSDL đồ thị mạnh và phổ biến để thử nghiệm. Phân tích mô hình dữ liệu của bài toán trên cả hai mô hình: quan hệ - đồ thị, đánh giá ưu/nhược điểm của từng mô hình. Nghiên cứu giải pháp chuyển đổi CSDL từ quan hệ sang đồ thị. Xây dựng chương trình demo đánh giá khả năng phát triển ứng dụng trên CSDL đồ thị. Xây dựng kịch bản và thử nghiệm so sánh hiệu năng (thời gian) truy vấn trên cả hai CSDL với một số câu lệnh thường sử dụng.

3.1. Lựa Chọn Neo4j Phân Tích Ưu Điểm và Tính Năng

Neo4j hiện đang là hệ quản trị CSDL đồ thị phổ biến nhất, mã nguồn mở và được viết bằng ngôn ngữ Java, sử dụng Cypher làm ngôn ngữ truy vấn dữ liệu. Neo4j hỗ trợ và thực hiện đầy đủ các yêu cầu về mặt lý thuyết cơ sở dữ liệu đồ thị. Dễ dùng và áp dụng cho các API hướng đối tượng. Tối ưu hóa cho dữ liệu có tính kết nối cao. Xác định các mối quan hệ tại thời điểm tạo giúp tối ưu thời gian truy vấn.

3.2. Mô Hình Hóa Dữ Liệu Đồ Thị Nút Quan Hệ Thuộc Tính

Nút là đơn vị cơ bản của một đồ thị. Trong Neo4j, các nút có thể chứa các thuộc tính, có thể có mối quan hệ với nút khác hoặc cũng có thể được dán nhãn. Quan hệ giữa các nút cho phép tìm kiếm các dữ liệu có liên quan với nhau. Mối quan hệ cũng giống như nút: có thể có thuộc tính. Cả nút và quan hệ đều có thể bổ sung tập các thuộc tính. Thuộc tính là cặp key – value, trong đó key có kiểu là string.

IV. Phương Pháp Chuyển Đổi CSDL Quan Hệ Sang Đồ Thị Chi Tiết

Nghiên cứu giải pháp chuyển đổi CSDL từ quan hệ sang đồ thị. Xây dựng chương trình demo đánh giá khả năng phát triển ứng dụng trên CSDL đồ thị. Xây dựng kịch bản và thử nghiệm so sánh hiệu năng (thời gian) truy vấn trên cả hai CSDL với một số câu lệnh thường sử dụng.

4.1. Tìm hiểu các khái niệm mô hình CSDL đồ thị

Mô hình hóa dữ liệu bằng đồ thị sử dụng các hình khối và các mũi tên để đưa dữ liệu vào và thể hiện mối quan hệ giữa chúng.Khi xây dựng mô hình đồ thị, ta có thể đưa hoàn toàn các đặc điểm đó thành các nút, nhưng như vậy sẽ rất phức tạp trong cả việc xây dựng đồ thị lẫn khai thác sử dụng đặc biệt gây lãng phí số nút khi số lượng thực thể tăng lên làm phức tạp đồ thị và tốn không gian lưu trữ. Giải pháp là ta sử dụng mô hình đồ thị thuộc tính.

4.2. Nghiên cứu tìm hiểu giải pháp thử nghiệm giải quyết bài toán Quản lý khách hàng trên mô hình CSDL đồ thị

Về cơ bản, khi thiết kế CSDL đồ thị cũng tương tự thiết kế CSDL quan hệ, mô hình đồ thị thuộc tính với sơ đồ thực thể kết hợp cũng khá tương đồng. CSDL quan hệ có các thực thể cụ thể tương ứng các nút trong CSDL đồ thị và cả hai đều cần các mối quan hệ giữa chúng. Đối với cơ sở dữ liệu đồ thị việc thiết kế như thế nào sẽ được hiện thực đúng như vậy trong khi các thực thể của CSDL quan hệ sẽ là một bảng chứa tập các bản ghi, các mối quan hệ có thể thành thực thể kết hợp.

V. Kết Quả Thử Nghiệm So Sánh Hiệu Năng Giữa Oracle Neo4j

Luận văn này xây dựng chương trình demo đánh giá khả năng phát triển ứng dụng trên CSDL đồ thị. Đồng thời xây dựng kịch bản và thử nghiệm so sánh hiệu năng (thời gian) truy vấn trên cả hai CSDL với một số câu lệnh thường sử dụng. Mục đích đánh giá khả năng phát triển ứng dụng trên CSDL đồ thị

5.1. Đánh giá khả năng phát triển ứng dụng trên CSDL đồ thị

Chúng ta cần nghiên cứu giải pháp mới xuất phát từ các khó khăn thực tế khi phát triển các bài toán trên mô hình cơ sở dữ liệu quan hệ có sự mở rộng của khối lượng dữ liệu, sự thay đổi của các thuộc tính dữ liệu thường xuyên. Trong thực tế, khi khối lượng dữ liệu tăng dần tới các truy vấn dữ liệu bị chậm dần đi, buộc phải can thiệp bởi các giải pháp kỹ thuật, tốn kém nhiều chi phí.

5.2. So sánh hiệu năng thời gian truy vấn trên cả hai CSDL với một số câu lệnh thường sử dụng

Thực hiện truy vấn dựa trên phép duyệt đồ thị và dựa vào các mối quan hệ đã định nghĩa sẵn nên tốc độ truy vấn ít biến động khi dữ liệu tăng. Chỉ một phần CSDL bị tác động do truy vấn theo quan hệ, do đó khi kích thước dữ liệu tăng thời gian truy vấn có thể không tăng cao.

Nội dung chính

Tổng quan nghiên cứu

Trong bối cảnh chuyển đổi số và phát triển mạnh mẽ của ngành công nghệ thông tin, việc quản lý dữ liệu khách hàng trở thành một thách thức lớn đối với các doanh nghiệp viễn thông, đặc biệt là khi khối lượng dữ liệu tăng trưởng nhanh và đa dạng về thuộc tính. Viễn thông Hà Nội, một chi nhánh của tập đoàn VNPT, đang đối mặt với các vấn đề như tốc độ truy vấn giảm sút, khó khăn trong việc điều chỉnh cấu trúc cơ sở dữ liệu (CSDL) và chi phí tăng cao cho việc mở rộng hạ tầng. Mục tiêu nghiên cứu của luận văn là ứng dụng cơ sở dữ liệu đồ thị (CSDLĐT) vào bài toán quản lý khách hàng nhằm nâng cao hiệu quả xử lý dữ liệu, tăng tính linh hoạt trong quản lý thuộc tính và cải thiện tốc độ truy vấn. Phạm vi nghiên cứu tập trung vào việc chuyển đổi mô hình dữ liệu từ CSDL quan hệ sang CSDL đồ thị, thử nghiệm trên hệ quản trị Neo4j, với dữ liệu thực tế của Viễn thông Hà Nội gồm khoảng 1 triệu khách hàng, 1.5 triệu bản ghi thanh toán và thuê bao, cùng 3 triệu bản ghi dịch vụ. Nghiên cứu có ý nghĩa quan trọng trong việc đề xuất giải pháp công nghệ mới, giúp doanh nghiệp giảm thiểu chi phí vận hành, nâng cao chất lượng dịch vụ và đáp ứng nhanh các yêu cầu thay đổi trong kinh doanh.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Luận văn dựa trên hai khung lý thuyết chính: mô hình cơ sở dữ liệu quan hệ và mô hình cơ sở dữ liệu đồ thị. Mô hình quan hệ truyền thống tổ chức dữ liệu dưới dạng bảng với các thực thể và quan hệ thông qua khóa chính và khóa ngoại, phù hợp với các hệ thống ổn định nhưng gặp khó khăn khi dữ liệu tăng trưởng lớn và thuộc tính thay đổi thường xuyên. Ngược lại, mô hình đồ thị được xây dựng dựa trên lý thuyết đồ thị toán học, gồm các thành phần chính là nút (nodes), quan hệ (relationships) và thuộc tính (properties). Mô hình này cho phép biểu diễn trực quan các mối quan hệ phức tạp, hỗ trợ linh hoạt trong việc thêm bớt thuộc tính và duyệt dữ liệu hiệu quả. Hệ quản trị Neo4j được lựa chọn làm nền tảng thử nghiệm do tính phổ biến, hỗ trợ ngôn ngữ truy vấn Cypher dễ hiểu và khả năng mở rộng lưu trữ hàng tỷ nút. Các khái niệm chuyên ngành được sử dụng bao gồm: CSDL quan hệ (Relational Database), CSDL đồ thị (Graph Database), nút (Node), quan hệ (Relationship), thuộc tính (Property), nhãn (Label), duyệt đồ thị (Traversal), và ngôn ngữ truy vấn Cypher.

Phương pháp nghiên cứu

Nghiên cứu sử dụng phương pháp phân tích định tính kết hợp thực nghiệm định lượng. Dữ liệu thu thập từ hệ thống quản lý khách hàng của Viễn thông Hà Nội với quy mô khoảng 1 triệu khách hàng, 1.5 triệu bản ghi thanh toán và thuê bao, cùng 3 triệu bản ghi dịch vụ. Phương pháp chọn mẫu là toàn bộ dữ liệu thực tế của doanh nghiệp nhằm đảm bảo tính đại diện và độ tin cậy. Quá trình nghiên cứu gồm các bước: phân tích mô hình dữ liệu quan hệ hiện tại, thiết kế mô hình dữ liệu đồ thị tương ứng, chuyển đổi dữ liệu từ CSDL quan hệ sang CSDL đồ thị bằng công cụ Neo4j ETL Tool, xây dựng chương trình demo quản lý khách hàng trên nền Neo4j, và thực hiện các kịch bản thử nghiệm so sánh hiệu năng truy vấn giữa hai mô hình. Thời gian nghiên cứu kéo dài trong năm 2023-2024, với các giai đoạn chính gồm phân tích lý thuyết, thiết kế mô hình, triển khai thử nghiệm và đánh giá kết quả.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

1. Chuyển đổi mô hình dữ liệu thành công: Việc chuyển đổi từ CSDL quan hệ sang CSDL đồ thị được thực hiện hiệu quả với khoảng 4 triệu nút và 6 triệu quan hệ được tạo ra trong thời gian khoảng 1,5 giờ. Mô hình đồ thị thể hiện rõ ràng các thực thể như khách hàng, mã thanh toán, thuê bao, dịch vụ và các quan hệ giữa chúng, giúp trực quan hóa cấu trúc dữ liệu phức tạp.

2. Tăng tốc độ truy vấn: Thử nghiệm so sánh cho thấy truy vấn trên CSDL đồ thị có tốc độ ổn định và không giảm đáng kể khi kích thước dữ liệu tăng, trong khi truy vấn trên CSDL quan hệ bị chậm dần do các phép join phức tạp. Ví dụ, truy vấn tổng hợp nhóm khách hàng có số thuê bao cao nhất trên dữ liệu khoảng 1 triệu khách hàng và 2 triệu thuê bao cho thấy thời gian thực thi trên CSDL đồ thị nhanh hơn từ 30% đến 50%.

3. Linh hoạt trong quản lý thuộc tính: CSDL đồ thị cho phép bổ sung, thay đổi thuộc tính của các nút và quan hệ một cách dễ dàng mà không cần thay đổi cấu trúc tổng thể, trong khi CSDL quan hệ yêu cầu chỉnh sửa bảng và có thể gây gián đoạn hệ thống. Chương trình demo đã thực hiện thành công việc thêm bớt thuộc tính động trên Neo4j mà không ảnh hưởng đến dữ liệu hiện có.

4. Tiết kiệm không gian lưu trữ: Mô hình đồ thị giảm thiểu lãng phí không gian lưu trữ do không cần phải dự trữ các trường dữ liệu mặc định hoặc null như trong CSDL quan hệ, góp phần giảm chi phí lưu trữ khi dữ liệu mở rộng.

Thảo luận kết quả

Nguyên nhân chính của sự cải thiện hiệu năng truy vấn trên CSDL đồ thị là do cách thức duyệt dữ liệu dựa trên các quan hệ đã được định nghĩa sẵn, giúp truy vấn chỉ tập trung vào phần đồ thị liên quan thay vì toàn bộ bảng dữ liệu lớn như trong mô hình quan hệ. Kết quả này phù hợp với các nghiên cứu thực tiễn của các công ty viễn thông lớn trên thế giới, như Telenor, khi áp dụng CSDL đồ thị cho quản lý khách hàng và dịch vụ. Việc linh hoạt trong quản lý thuộc tính cũng giúp doanh nghiệp nhanh chóng thích ứng với các thay đổi nghiệp vụ và yêu cầu thị trường mà không phải đầu tư lớn vào việc tái cấu trúc hệ thống. Tuy nhiên, nhược điểm của CSDL đồ thị hiện nay là các công cụ quản trị và phân tán dữ liệu chưa phát triển mạnh như CSDL quan hệ, đòi hỏi doanh nghiệp cần có kế hoạch đầu tư và đào tạo phù hợp. Dữ liệu có thể được trình bày qua biểu đồ so sánh thời gian truy vấn giữa hai mô hình theo từng mức độ tăng trưởng dữ liệu, hoặc bảng thống kê chi tiết số lượng nút, quan hệ và thời gian chuyển đổi.

Đề xuất và khuyến nghị

1. Triển khai dần mô hình CSDL đồ thị trong quản lý khách hàng: Doanh nghiệp nên bắt đầu áp dụng CSDL đồ thị cho các phân hệ có dữ liệu phức tạp và tăng trưởng nhanh, nhằm cải thiện tốc độ truy vấn và linh hoạt trong quản lý thuộc tính. Thời gian thực hiện đề xuất trong vòng 12-18 tháng, do phòng công nghệ thông tin chủ trì.

2. Đào tạo và nâng cao năng lực nhân sự: Tổ chức các khóa đào tạo về mô hình dữ liệu đồ thị, ngôn ngữ truy vấn Cypher và công cụ Neo4j cho đội ngũ phát triển và quản trị hệ thống. Mục tiêu nâng cao năng lực triển khai và vận hành, hoàn thành trong 6 tháng đầu tiên.

3. Xây dựng công cụ chuyển đổi dữ liệu tự động: Phát triển hoặc tích hợp công cụ chuyển đổi dữ liệu từ CSDL quan hệ sang CSDL đồ thị để giảm thiểu chi phí và thời gian chuyển đổi, đảm bảo tính chính xác và toàn vẹn dữ liệu. Thời gian thực hiện dự kiến 9 tháng, phối hợp giữa phòng phát triển phần mềm và phòng dữ liệu.

4. Đánh giá và tối ưu hiệu năng định kỳ: Thiết lập quy trình đánh giá hiệu năng truy vấn và sử dụng tài nguyên hệ thống trên CSDL đồ thị định kỳ hàng quý, nhằm phát hiện và khắc phục kịp thời các vấn đề phát sinh. Phòng vận hành hệ thống chịu trách nhiệm thực hiện.

Đối tượng nên tham khảo luận văn

1. Các nhà quản lý công nghệ thông tin tại doanh nghiệp viễn thông: Giúp hiểu rõ về lợi ích và thách thức khi chuyển đổi mô hình dữ liệu, từ đó đưa ra quyết định đầu tư phù hợp.

2. Nhà phát triển phần mềm và kỹ sư dữ liệu: Cung cấp kiến thức chuyên sâu về thiết kế, chuyển đổi và tối ưu hóa cơ sở dữ liệu đồ thị, hỗ trợ phát triển các ứng dụng quản lý khách hàng hiệu quả.

3. Các nhà nghiên cứu và sinh viên chuyên ngành hệ thống thông tin: Là tài liệu tham khảo thực tiễn về ứng dụng công nghệ mới trong quản lý dữ liệu lớn và phức tạp.

4. Các chuyên gia tư vấn công nghệ và giải pháp ERP: Giúp đánh giá và đề xuất các giải pháp công nghệ phù hợp cho khách hàng trong lĩnh vực viễn thông và các ngành có dữ liệu tương tự.

Câu hỏi thường gặp

1. Cơ sở dữ liệu đồ thị khác gì so với cơ sở dữ liệu quan hệ?
   CSDL đồ thị lưu trữ dữ liệu dưới dạng nút và quan hệ trực tiếp giữa các nút, giúp truy vấn các mối quan hệ phức tạp nhanh hơn, trong khi CSDL quan hệ lưu trữ dữ liệu theo bảng và sử dụng khóa ngoại để liên kết, gây khó khăn khi dữ liệu lớn và phức tạp.

2. Tại sao chọn Neo4j làm hệ quản trị cơ sở dữ liệu đồ thị?
   Neo4j là hệ quản trị phổ biến, mã nguồn mở, hỗ trợ ngôn ngữ truy vấn Cypher dễ học, có khả năng mở rộng lưu trữ hàng tỷ nút và quan hệ, phù hợp với bài toán quản lý khách hàng quy mô lớn.

3. Việc chuyển đổi dữ liệu từ CSDL quan hệ sang đồ thị có phức tạp không?
   Việc chuyển đổi được thực hiện tương đối dễ dàng nhờ công cụ Neo4j ETL Tool, ánh xạ các bảng thành nút và các khóa ngoại thành quan hệ, tuy nhiên cần phân tích kỹ mô hình dữ liệu để đảm bảo tính chính xác và hiệu quả.

4. CSDL đồ thị có phù hợp với mọi loại bài toán quản lý dữ liệu không?
   CSDL đồ thị phù hợp với các bài toán có dữ liệu phức tạp, nhiều mối quan hệ và thuộc tính thay đổi thường xuyên. Với các bài toán dữ liệu đơn giản hoặc ít quan hệ, CSDL quan hệ vẫn là lựa chọn hiệu quả.

5. Làm thế nào để đảm bảo hiệu năng khi dữ liệu tăng trưởng lớn trên CSDL đồ thị?
   CSDL đồ thị duyệt dữ liệu dựa trên quan hệ định nghĩa sẵn, giúp tốc độ truy vấn không giảm nhiều khi dữ liệu tăng. Ngoài ra, cần thiết lập quy trình đánh giá và tối ưu định kỳ, cũng như sử dụng các kỹ thuật phân mảnh và phân tán dữ liệu khi cần thiết.

Kết luận

• Luận văn đã chứng minh khả năng ứng dụng cơ sở dữ liệu đồ thị vào bài toán quản lý khách hàng tại Viễn thông Hà Nội, với quy mô dữ liệu lớn và thuộc tính thay đổi linh hoạt.
• Việc chuyển đổi từ mô hình quan hệ sang mô hình đồ thị được thực hiện thành công, tiết kiệm thời gian và chi phí, đồng thời cải thiện hiệu năng truy vấn đáng kể.
• CSDL đồ thị mang lại lợi thế về tính trực quan, linh hoạt trong quản lý thuộc tính và tiết kiệm không gian lưu trữ so với mô hình quan hệ truyền thống.
• Các kết quả thử nghiệm và chương trình demo đã khẳng định tính khả thi và hiệu quả của giải pháp, mở ra hướng phát triển ứng dụng công nghệ mới trong quản lý dữ liệu doanh nghiệp.
• Đề xuất các bước tiếp theo gồm triển khai thử nghiệm thực tế, đào tạo nhân sự, phát triển công cụ chuyển đổi và đánh giá hiệu năng định kỳ nhằm đảm bảo ứng dụng thành công và bền vững.

Mời các nhà quản lý và chuyên gia công nghệ quan tâm nghiên cứu sâu hơn để áp dụng giải pháp này vào thực tế, góp phần nâng cao hiệu quả quản lý và phát triển doanh nghiệp trong kỷ nguyên số.

Trích đoạn nội dung tài liệu

CHƯƠNG 1: TỔNG QUAN Chúng ta cần nghiên cứu giải pháp mới xuất phát từ các khó khăn thực tế khi phát triển các bài toán trên mô hình cơ sở dữ liệu quan hệ có sự mở rộng của khối lượng dữ liệu, sự thay đổi của các thuộc tính dữ liệu thường xuyên. Trong thực tế, khi khối lượng dữ liệu tăng dần tới các truy vấn dữ liệu bị chậm dần đi, buộc phải can thiệp bởi các giải pháp kỹ thuật, tốn kém nhiều chi phí. Tương tự, việc các thuộc tính dữ liệu bị ràng buộc quá chặt chẽ cũng khó khăn trong quá trình chỉnh sửa bổ sung các phần mềm quản lý. Đối với bài toán quản lý khách hàng, Telenor – công ty viễn thông cung cấp dịch vụ ở cả Châu Âu và Châu Á cũng đã ứng dụng CSDL đồ thị quản lý cấu trúc tổ chức khách hàng, thỏa thuận, đăng ký và quyền truy cập của người dùng.

Họ đã có những đánh giá rất tốt về hiệu suất khi ứng dụng CSDL đồ thị so với CSDL quan hệ nhưng không chia sẻ cụ thể về phạm vi ứng dụng cũng như các tài liệu thiết kế hay thử nghiệm. Tuy nhiên, đây cũng có thể coi là cơ sở về mặt thực tiễn để chúng ta nghiên cứu về hướng áp dụng CSDL đồ thị trong bài toán ERP, với phạm vi và cấu trúc phù hợp với điều kiện triển khai của doanh nghiệp 1. Bài toán Quản lý khách hàng (VNPT – Hà Nội) Bài toán Quản lý khách hàng có số lượng thực thể quan hệ không nhiều nhưng có các đặc tính phù hợp cho việc phân tích: dữ liệu lớn và tăng trưởng theo thời gian, thuộc tính dữ liệu thay đổi do các nghiệp vụ phát sinh. Xét trong tổng thể bài toán quản trị doanh nghiệp của Viễn thông Hà Nội, bài toán về Quản lý khách hàng chỉ là một phân hệ quản lý nhưng lại có vị trí rất quan trọng: - Quản lý và cung cấp thông tin khách hàng cho các phân hệ khác: chăm sóc khách hàng, tính cước, điều hành phát triển dịch vụ… - Hỗ trợ tổng hợp số liệu các báo cáo phân tích, dự đoán tình hình phát triển hoặc cơ sở quyết định cho các chính sách kinh doanh.1 Mô hình tổng thể hệ thống quản trị doanh nghiệp Bài toán quản lý mối quan hệ khách hàng là dạng bài toán quản lý thường được triển khai trên mô hình Cơ sở dữ liệu quan hệ với độ phức tạp tùy theo từng mô hình kinh doanh.

Việc bổ sung thuộc tính mới đáp ứng các yêu cầu nghiệp vụ thường dẫn tới phải chỉnh sửa lại cấu trúc các bảng dữ liệu, đồng thời tốc độ truy vấn giảm khi lượng dữ liệu tăng cao. Triển khai bài toán trên mô hình cơ sở dữ liệu đồ thị có thể là một hướng đi đúng đắn có thể khắc phục các hạn chế trên, cụ thể: - Mô hình hóa đồ thị thuộc tính rất trực quan dễ tiếp cận - CSDL đồ thị hỗ trợ bổ sung thuộc tính dữ liệu mềm dẻo. 17 - Thực hiện truy vấn dựa trên phép duyệt đồ thị và dựa vào các mối quan hệ đã định nghĩa sẵn nên tốc độ truy vấn ít biến động khi dữ liệu tăng. Cơ sở dữ liệu đồ thị NoSQL là tên gọi chung cho các CSDL mã nguồn mở nhưng không sử dụng SQL làm ngôn ngữ truy vấn, được giới thiệu lần đầu vào năm 1998.

Cơ sở dữ liệu đồ thị được phân loại thuộc về CSDL NoSQL. Khái niệm Cơ sở dữ liệu đồ thị với các đặc trưng dễ tiếp cận và trực quan là cơ sở dữ liệu được mô hình hóa trên lý thuyết đồ thị: 1.Mô hình hóa Mô hình hóa là hoạt động với mục đích đưa các vấn đề cụ thể vào một không gian có cấu trúc có thể thao tác được với các vấn đề trong không gian đó. Quá trình mô hình hóa là một loạt các bước đưa vấn đề về sự đơn giản hóa, có khả năng thao tác xử lý, đạt được các mục tiêu mong muốn. Mô hình hóa dữ liệu bằng đồ thị sử dụng các hình khối và các mũi tên để đưa dữ liệu vào và thể hiện mối quan hệ giữa chúng.Mô hình đồ thị thuộc tính Mỗi thực thể đều có những đặc điểm riêng.

Khi xây dựng mô hình đồ thị, ta có thể đưa hoàn toàn các đặc điểm đó thành các nút, nhưng như vậy sẽ rất phức tạp trong cả việc xây dựng đồ thị lẫn khai thác sử dụng đặc biệt gây lãng phí số nút khi số lượng thực thể tăng lên làm phức tạp đồ thị và tốn không gian lưu trữ. Giải pháp là ta sử dụng mô hình đồ thị thuộc tính, cụ thể: [6] 18 Hình 1.2 Ví dụ về mô hình đồ thị thuộc tính - Đồ thị là tập hợp các nút và mối quan hệ - Nút, quan hệ có các thuộc tính được thể hiện theo key-value - Mối quan hệ: được đặt tên, có nút đầu và nút cuối Đồ thị thuộc tính thường rất trực quan, dễ hiểu và nhìn có vẻ đơn giản nhưng nó có thể mô tả đa số các trường hợp sử dụng, giúp chúng nhìn nhận sâu sắc hơn về dữ liệu.Mô hình hóa dữ liệu Về cơ bản, khi thiết kế CSDL đồ thị cũng tương tự thiết kế CSDL quan hệ, mô hình đồ thị thuộc tính với sơ đồ thực thể kết hợp cũng khá tương đồng. CSDL quan hệ có các thực thể cụ thể tương ứng các nút trong CSDL đồ thị và cả hai đều cần các mối quan hệ giữa chúng. Đối với cơ sở dữ liệu đồ thị việc thiết kế như thế nào sẽ được hiện thực đúng như vậy trong khi các thực thể của CSDL quan hệ sẽ là một bảng chứa tập các bản ghi, các mối quan hệ có thể thành thực thể kết hợp.

[2][6] Phương pháp thiết kế CSDL đồ thị: [2][6][7] 19 - Xác định đâu là nút, đâu là mối quan hệ rất quan trọng, quyết định viecj xây dựng đúng đắn đồ thị. Nút thường có quan hệ với nhiều nút khác và mối quan hệ thì nó phải có nút đầu, nút cuối. - Nghiên cứu chi tiết về dữ liệu để xác định các thực thể cũng như các mối quan hệ giữa chúng. - Sử dụng nút để đại diện cho các thực thể, thuộc tính nút để mô tả các tính chất của thực thể.

- Mối quan hệ để thể hiện sự kết nối giữa các thực thể, sử dụng các thuộc tính để mô tả tính quan trọng, chất lượng của một quan hệ. - Trong trường hợp các thực thể khác nhau tương tác trong cùng một khoảng thời gian thì một sự kiện xuất hiện, chúng được thể hiện như là các nút riêng và kết nối với các thực thể tham gia. - Kiểu dữ liệu phức tạp là những kiểu dữ liệu có hơn một trường hoặc thuộc tính thường biểu diễn chúng bằng các node riêng biệt. Hệ quản trị cơ sở dữ liệu Neo4j Neo4j hiện đang là hệ quản trị cơ sở dữ liệu đồ thị phổ biến nhất, mã nguồn mở và được viết bằng ngôn ngữ Java, sử dụng Cypher làm ngôn ngữ truy vấn dữ liệu.

Neo4j hỗ trợ và thực hiện đầy đủ các yêu cầu về mặt lý thuyết cơ sở dữ liệu đồ thị. Để hiểu rõ hơn và khai thác hiệu quả hơn Neo4j, chúng ta cần tìm hiểu một số vấn đề, cụ thể: 1.Tính năng nổi bật Neo4j có một số tính năng nổi bật được giới thiệu để chúng ta cân nhắc khi áp dụng vào thực tế: - Dễ dùng và áp dụng cho các API hướng đối tượng - Tối ưu hóa cho dữ liệu có tính kết nối cao - Xác định các mối quan hệ tại thời điểm tạo giúp tối ưu thời gian truy vấn. 20 - Không yêu cầu không gian lưu trữ lớn và có bộ nhớ đệm cho các đồ thị, có khả năng mở rộng lưu trữ số lượng lớn nút (hàng tỉ) trên một hệ thống phần cứng vừa phải. - Viết trên các JVM - Java virtual machine.Nút - Nodes: Nút là đơn vị cơ bản của một đồ thị.

Trong Neo4j, các nút có thể chứa các thuộc tính, có thể có mối quan hệ với nút khác hoặc cũng có thể được dán nhãn.3 Biểu đồ mô tả Nodes - Nút Các nút thường được dùng để biểu diễn các thực thể [6].Mối quan hệ - Relationships: Quan hệ giữa các nút cho phép tìm kiếm các dữ liệu có liên quan với nhau. Mối quan hệ cũng giống như nút: có thể có thuộc tính.4 Biểu đồ mô tả Relationships - Quan hệ Một mối quan hệ kết nối hai nút với nhau, gồm nút bắt đầu và nút kết thúc có hoặc không có thuộc tính, luôn xác định hướng được dùng cho phép duyệt đồ thị. Mỗi mối quan hệ đều có loại quan hệ và mỗi loại quan hệ này được xác định bởi một định danh duy nhất [6].5 Biểu đồ mô tả Quan hệ có hướng 1.Thuộc tính - Properties: Cả nút và quan hệ đều có thể bổ sung tập các thuộc tính. Thuộc tính là cặp key – value, trong đó key có kiểu là string.

Các giá trị của thuộc tính trong Neo4j có thể là: chuỗi, số, luận lý hoặc tập hợp. Thuộc tính có key chứa giá trị null đồng nghĩa là không tồn tại key đó trong tập thuộc tính của nút hay mối quan hệ [6].6 Biểu đồ mô tả Properties – Thuộc tính 1.Nhãn - Labels: Nhãn là tên một cấu trúc đồ thị được sử dụng để nhóm các nút vào một tập hợp trong đó tất cả các nút có nhãn giống nhau cùng thuộc về một bộ.7 Biểu đồ mô tả Labels - Nhãn Một nút có thể được gắn nhãn hoặc không. Truy vấn cơ sở dữ liệu có thể tác động trên các bộ thay vì toàn đồ thị giúp cho việc viết các truy vấn tối ưu.Đường kết nối - Paths: Một đường đi là một hay nhiều node được kết nối với nhau bởi các quan hệ: [6].8 Biểu đồ mô tả Paths – Đường kết nối 1. Duyệt đồ thị - Traversal: Duyệt đồ thị là cách truy vấn đồ thị, điều hướng bắt đầu từ một nút đến các nút có liên quan.

[5][6] - Duyệt một đồ thị là đi thăm các node của đồ thị đó, dựa trên các quan hệ giữa các nút. - Có hai cách duyệt đồ thị cơ bản: duyệt theo chiều rộng và duyệt theo chiều sâu.Ngôn ngữ truy vấn Cypher là ngôn ngữ truy vấn cho cơ sở dữ liệu đồ thị, có đặc điểm dễ đọc và dễ hiểu đối với cả các nhà phát triển. Cypher được xem là ngôn ngữ truy vấn đồ thị dễ tìm hiểu nhất, cho phép người dùng truy vấn thông tin trên cơ sở dữ liệu theo một mô hình cụ thể, Nhìn chung, Cypher thể hiện rất tự nhiên và cũng như hầu hết các ngôn ngữ khác, Cypher cũng có các câu lệnh riêng, cú pháp riêng.