Tổng quan nghiên cứu

Thị trường viễn thông Việt Nam giai đoạn 2007 - 2008 chứng kiến bước chuyển mình mạnh mẽ với tốc độ tăng trưởng bùng nổ, đạt mốc 44 triệu thuê bao điện thoại toàn mạng vào cuối năm 2007. Trong đó, phân khúc di động chiếm vị thế áp đảo với hơn 30 triệu thuê bao (tương đương 75,5% tổng số thuê bao), đưa mật độ điện thoại chạm ngưỡng 52 máy trên 100 dân. Cùng với sự phát triển của 1,2 triệu thuê bao ADSL và 18,64 triệu người dùng Internet quy đổi, các nhà mạng phải đối mặt với lượng dữ liệu giao dịch khổng lồ phát sinh mỗi ngày. Khi Việt Nam chính thức gia nhập Tổ chức Thương mại Thế giới (WTO), sự cạnh tranh khốc liệt giữa 7 doanh nghiệp viễn thông lớn đã đẩy tỷ lệ khách hàng rời mạng lên cao, trong khi biên lợi nhuận từ dịch vụ thoại truyền thống có xu hướng suy giảm mang tính hệ thống.

Vấn đề cốt lõi đặt ra cho Tổng công ty Bưu chính Viễn thông Việt Nam (VNPT) là dữ liệu khách hàng, chi tiết cuộc gọi và thông tin vận hành đang nằm phân tán trong hệ thống Tính cước và Chăm sóc khách hàng (CCBS) tại các đơn vị thành viên, chưa được khai thác theo chiều sâu để phục vụ quản trị chiến lược. Đề tài tập trung nghiên cứu, thiết kế và triển khai kho dữ liệu (Data Warehouse - DWH) khách hàng sử dụng dịch vụ viễn thông trên nền tảng Oracle 11g và Oracle Warehouse Builder cho mô hình Viễn thông tỉnh điển hình. Mục tiêu cụ thể là xây dựng cấu trúc cơ sở dữ liệu đa chiều hoàn chỉnh, thiết lập luồng trích xuất - chuyển đổi - nạp (ETL) tự động và phát triển các công cụ báo cáo quản trị động. Việc triển khai hệ thống giúp rút ngắn trên 60% thời gian tổng hợp báo cáo kinh doanh, tối ưu hóa hơn 50% chi phí xử lý dữ liệu và nâng cao năng lực cạnh tranh cho VNPT trong bối cảnh thị trường viễn thông hội nhập sâu rộng.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Nghiên cứu được xây dựng dựa trên sự kết hợp giữa lý thuyết kho dữ liệu doanh nghiệp của William H. Inmon và mô hình dữ liệu đa chiều của Ralph Kimball. Theo lý thuyết của Inmon, kho dữ liệu được định nghĩa là tập hợp dữ liệu hướng chủ đề, tích hợp, gắn biến thời gian và mang tính bền vững (không biến động), đóng vai trò nền tảng hỗ trợ quá trình ra quyết định chiến lược. Nhằm phục vụ truy vấn phân tích trực tuyến hiệu năng cao, nghiên cứu ứng dụng phương pháp luận của Ralph Kimball thông qua việc xây dựng các kho dữ liệu chủ đề (Data Mart) theo mô hình lược đồ hình sao (Star Schema) và lược đồ bông tuyết (Snowflake Schema).

Hệ thống tích hợp các khái niệm chuyên ngành then chốt bao gồm: Quản trị doanh nghiệp thông minh (Business Intelligence - BI) nhằm biến đổi dữ liệu thô thành tri thức định hướng kinh doanh; Tích hợp dữ liệu khách hàng (Customer Data Integration - CDI) thuộc hệ thống Quản lý dữ liệu chủ (Master Data Management - MDM) để tạo ra góc nhìn khách hàng 360 độ duy nhất; Xử lý phân tích trực tuyến quan hệ (ROLAP) dựa trên các khối dữ liệu đa chiều (Cubes); và Kiến trúc hướng dịch vụ (Service-Oriented Architecture - SOA) nhằm đảm bảo khả năng liên kết mở giữa các phân hệ báo cáo phân tán.

Phương pháp nghiên cứu

Nguồn dữ liệu nghiên cứu được trích xuất trực tiếp từ hệ thống phần mềm tính cước và chăm sóc khách hàng CCBS đang vận hành tại Viễn thông tỉnh, kết hợp với các tập tin ghi nhận dữ liệu chi tiết cuộc gọi (Call Detail Data) và nhật ký trạng thái mạng lưới (Network Data).

Cỡ mẫu nghiên cứu bao gồm toàn bộ cơ sở dữ liệu giao dịch thực tế của hơn 100.000 hồ sơ khách hàng cùng hơn 5.000.000 bản ghi chi tiết cuộc gọi được tích lũy liên tục trong giai đoạn khảo sát. Nghiên cứu áp dụng phương pháp chọn mẫu điển hình có chủ đích (purposive sampling) tại một Viễn thông tỉnh trực thuộc VNPT, nơi hội tụ đầy đủ các loại hình dịch vụ viễn thông tiêu biểu như điện thoại cố định, di động (VinaPhone, MobiFone), GPhone, Internet ADSL và kênh thuê riêng.

Lý do lựa chọn phương pháp phân tích ROLAP và công nghệ Oracle Database 11g kết hợp Oracle Warehouse Builder xuất phát từ khả năng xử lý cơ sở dữ liệu cực lớn (VLDB). Theo báo cáo thị phần của Gartner năm 2006, Oracle dẫn đầu toàn cầu với 47,1% thị phần hệ quản trị cơ sở dữ liệu nhờ khả năng nén dữ liệu tiên tiến từ 2 đến 3 lần và cơ chế tính toán song song vượt trội. Nghiên cứu áp dụng mô hình phát triển phần mềm thác nước cải tiến (Waterfall Model), bổ sung thêm hai giai đoạn quan trọng là thiết lập cơ sở hạ tầng và quản lý dự án, được thực hiện trong khung thời gian 12 tháng từ năm 2007 đến năm 2008.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

Quá trình phân tích thực trạng dữ liệu nguồn và thử nghiệm hệ thống kho dữ liệu mang lại 4 phát hiện quan trọng:

Thứ nhất, qua phân tích hệ thống nguồn CCBS, nghiên cứu phát hiện có khoảng 18,5% dữ liệu khách hàng ban đầu gặp tình trạng thiếu nhất quán về quy ước đặt tên, trùng lặp mã định danh hoặc chứa giá trị rỗng (NULL) do được nhập liệu từ nhiều phân hệ nghiệp vụ độc lập. Quy trình làm sạch dữ liệu tại vùng đệm trung gian (Staging Area) đã giải quyết triệt để sự sai lệch này, nâng độ chính xác dữ liệu tích hợp lên trên 99,2%.

Thứ hai, việc áp dụng mô hình lược đồ hình sao và các bảng tổng hợp tính toán trước (Materialized Views) giúp tăng tốc độ truy vấn phân tích lên gấp 3,5 đến 5 lần so với truy vấn trực tiếp trên cơ sở dữ liệu giao dịch quan hệ (OLTP). Thời gian thực thi các báo cáo phân tích đa biến phức tạp giảm từ mức trung bình 45 phút xuống dưới 2 phút.

Thứ ba, tính năng nén dữ liệu nâng cao của Oracle Database 11g đã chứng minh hiệu quả vượt trội khi giảm dung lượng lưu trữ vật lý của các bảng sự kiện (Fact Tables) chi tiết cuộc gọi xuống từ 2,2 đến 2,8 lần, giúp tiết kiệm hơn 60% không gian đĩa cứng của hệ thống máy chủ.

Thứ tư, kết quả tổng hợp dữ liệu viễn thông phản ánh xu hướng dịch chuyển tiêu dùng rõ rệt: thuê bao di động chiếm tới 75,5% tổng lưu lượng toàn mạng, trong khi điện thoại cố định chỉ duy trì mức tăng trưởng chậm khoảng 9% trong giai đoạn 2007 - 2011, khẳng định tính cấp thiết của việc xây dựng các Data Mart chuyên sâu cho dịch vụ di động và băng rộng.

Thảo luận kết quả

Nguyên nhân cốt lõi dẫn đến sự tắc nghẽn trong các hệ thống báo cáo truyền thống tại VNPT là sự xung đột tài nguyên giữa các tác vụ xử lý giao dịch thường nhật (OLTP) và các truy vấn phân tích lịch sử dung lượng lớn. Bằng việc phân tách kho dữ liệu thành một môi trường độc lập gồm vùng Staging Area, kho trung tâm và các Data Mart theo từng chủ đề (Phát triển thuê bao, Điều hành thi công, Xử lý khiếu nại, Khóa mở nợ cước), hệ thống đã loại bỏ hoàn toàn hiện tượng khóa bảng (lock table) và suy giảm hiệu năng tác nghiệp.

Kết quả này hoàn toàn tương thích với các nghiên cứu triển khai kho dữ liệu viễn thông trên thế giới, đồng thời khẳng định tính đúng đắn của việc chọn lựa nền tảng Oracle (chiếm 47,1% thị phần toàn cầu theo Gartner năm 2006). Toàn bộ dữ liệu phân tích được trực quan hóa linh hoạt thông qua biểu đồ phân bố cuộc gọi theo các khung giờ bắt đầu trong ngày, bảng thống kê doanh thu đa chiều theo từng nhóm dịch vụ và hệ thống báo cáo từ xa trên nền tảng Web ASP.NET/C#. Các giao diện quản trị phân quyền và tra cứu động giúp ban lãnh đạo dễ dàng thực hiện thao tác đào sâu dữ liệu (drill-down) từ cấp tỉnh xuống từng huyện, xã và điểm giao dịch một cách trực quan, chính xác.

Đề xuất và khuyến nghị

Nhằm tối ưu hóa hiệu quả vận hành của kho dữ liệu khách hàng và thúc đẩy năng lực cạnh tranh của doanh nghiệp viễn thông, luận văn đưa ra 4 nhóm giải pháp chiến lược:

Thứ nhất, tự động hóa toàn diện quy trình trích xuất, chuyển đổi và nạp dữ liệu (ETL). Đội ngũ quản trị hệ thống thuộc Trung tâm Công nghệ Thông tin cần ứng dụng công cụ Oracle Process Flow để thiết lập lịch trình ETL tự động hàng đêm, tối ưu hóa các dòng lệnh PL/SQL nhằm mục tiêu rút ngắn thời gian xử lý dữ liệu định kỳ xuống dưới 90 phút, hạn chế tối đa sự can thiệp thủ công trước quý 4 năm 2008.

Thứ hai, mở rộng các kho dữ liệu chuyên đề (Data Mart) phục vụ dịch vụ dữ liệu di động và 3G. Phòng Kỹ thuật và Nghiên cứu Phát triển cần chủ động thiết kế bổ sung các bảng sự kiện và bảng chiều cho mạng 3G, đón đầu lộ trình phát triển khi thị trường dịch vụ 3G dự kiến đạt quy mô 3 triệu thuê bao (chiếm 6% tổng thuê bao di động) vào năm 2011.

Thứ ba, triển khai các mô hình khai phá dữ liệu nâng cao (Data Mining) nhằm dự báo tỷ lệ khách hàng rời mạng (Churn Prediction). Phòng Kinh doanh và Tiếp thị cần phối hợp cùng bộ phận CNTT áp dụng các thuật toán phân lớp và phân cụm trên dữ liệu cước nợ và tần suất cuộc gọi, đặt mục tiêu giảm tỷ lệ rời bỏ mạng của thuê bao trả sau từ 12% xuống dưới 5% trong vòng 18 tháng.

Thứ tư, chuẩn hóa hệ thống siêu dữ liệu (Metadata) và triển khai kiến trúc hướng dịch vụ (SOA) trên toàn mạng VNPT. Ban Lãnh đạo Tập đoàn cần ban hành quy chế quản lý dữ liệu chủ (MDM) thống nhất tại 63 Viễn thông tỉnh thành trong giai đoạn 2008 - 2010, tạo điều kiện thuận lợi cho việc tích hợp kho dữ liệu cấp tỉnh thành kho dữ liệu tổng thể cấp quốc gia.

Đối tượng nên tham khảo luận văn

Luận văn cung cấp nguồn tài liệu chuyên sâu và có tính ứng dụng cao cho 4 nhóm đối tượng cụ thể:

Thứ nhất, kỹ sư dữ liệu và kiến trúc sư hệ thống thông tin. Nhóm đối tượng này có thể tham khảo chi tiết quy trình thiết kế cơ sở dữ liệu đa chiều, kỹ thuật xây dựng lược đồ hình sao, bông tuyết và cách cấu hình công cụ Oracle Warehouse Builder (OWB) để áp dụng trực tiếp vào việc xây dựng kho dữ liệu quy mô lớn (VLDB) cho các doanh nghiệp viễn thông, ngân hàng hoặc tài chính.

Thứ hai, nhà quản trị và lãnh đạo doanh nghiệp viễn thông. Lãnh đạo các đơn vị thành viên của VNPT có thể ứng dụng các mô hình báo cáo quản trị và chỉ số đo lường trong luận văn để nâng cao hiệu quả giám sát phát triển thuê bao, theo dõi tiến độ thi công và kiểm soát nợ cước trên từng địa bàn quản lý.

Thứ ba, chuyên viên phân tích kinh doanh (Business Analyst) và chăm sóc khách hàng. Nghiên cứu cung cấp phương pháp luận thực tế về tích hợp dữ liệu khách hàng (CDI), giúp xây dựng các chiến dịch tiếp thị phân đoạn, tối ưu hóa quy trình tiếp nhận giải quyết khiếu nại và nâng cao mức độ hài lòng của người dùng.

Thứ tư, học viên cao học, giảng viên và nhà nghiên cứu chuyên ngành Công nghệ thông tin. Luận văn là tài liệu tham khảo giá trị về mô hình thác nước cải tiến kết hợp công nghệ ROLAP, phục vụ công tác giảng dạy, nghiên cứu học thuật và thực hiện các đề tài tốt nghiệp liên quan đến Business Intelligence và Data Warehouse.

Câu hỏi thường gặp

Vì sao luận văn lại lựa chọn hệ quản trị cơ sở dữ liệu Oracle Database 11g thay vì các giải pháp cơ sở dữ liệu khác?

Oracle 11g là nền tảng dẫn đầu thế giới với 47,1% thị phần toàn cầu theo thống kê của Gartner năm 2006. Phiên bản này tích hợp các công nghệ chuyên biệt cho cơ sở dữ liệu cực lớn (VLDB) như tính toán song song, phân vùng dữ liệu ảo và khả năng nén nâng cao từ 2 đến 3 lần. Hơn nữa, hầu hết hệ thống tính cước CCBS tại các Viễn thông tỉnh đều chạy trên Oracle, tạo sự tương thích tối ưu cho quy trình ETL.

Sự khác biệt cốt lõi giữa cơ sở dữ liệu giao dịch tác nghiệp (OLTP) và kho dữ liệu (DWH) là gì?

Hệ thống OLTP tập trung vào việc ghi nhận và xử lý các giao dịch tức thời phát sinh hàng ngày với độ trễ thấp, trong khi kho dữ liệu DWH hướng tới việc lưu trữ thông tin lịch sử từ 5 đến 10 năm, dữ liệu mang tính bền vững, chỉ đọc và được tổ chức theo chủ đề. Kho dữ liệu cho phép phân tích hành vi của hàng triệu thuê bao mà không gây tắc nghẽn hoạt động tính cước thực tế.

Vùng lưu trữ trung gian (Staging Area) đóng vai trò gì trong kiến trúc kho dữ liệu?

Staging Area là khu vực đệm trung gian thực hiện nhiệm vụ giải nén, kiểm tra tính nhất quán và làm sạch các nguồn dữ liệu thô trước khi nạp vào kho chính. Tại đây, hệ thống loại bỏ khoảng 18% dữ liệu rác, chuẩn hóa định dạng số điện thoại, sửa chữa các giá trị rỗng (NULL) và hợp nhất mã danh mục giữa các phân hệ cũ, đảm bảo nguồn dữ liệu kho đạt độ tin cậy tuyệt đối.

Lược đồ hình sao (Star Schema) mang lại lợi ích gì vượt trội trong xử lý dữ liệu đa chiều?

Lược đồ hình sao tổ chức dữ liệu thành một bảng sự kiện (Fact Table) trung tâm liên kết trực tiếp với các bảng chiều (Dimension Tables) đã được phi chuẩn hóa. Cấu trúc này giúp đơn giản hóa các câu truy vấn SQL phức tạp, loại bỏ các phép nối bảng (JOIN) đa cấp và tận dụng cơ chế đánh chỉ mục hình sao, từ đó rút ngắn từ 50% đến 70% thời gian phản hồi của các báo cáo phân tích.

Hệ thống kho dữ liệu này có khả năng mở rộng như thế nào khi phát sinh dịch vụ mới?

Hệ thống được thiết kế theo kiến trúc hướng dịch vụ (SOA) và phân rã thành các Data Mart độc lập theo từng chủ đề nghiệp vụ. Khi có dịch vụ mới như 3G, Internet cáp quang hay truyền hình số, quản trị viên chỉ cần bổ sung các bảng chiều và ánh xạ ETL mới vào kho mà không làm thay đổi hay gián đoạn cấu trúc dữ liệu hiện hữu.

Kết luận

  • Luận văn đã thiết kế và xây dựng thành công mô hình kho dữ liệu khách hàng hoàn chỉnh cho Viễn thông tỉnh thuộc VNPT, hỗ trợ toàn diện các yêu cầu phân tích quản trị kinh doanh đa chiều.
  • Xây dựng thành công quy trình trích xuất, chuyển đổi và nạp dữ liệu (ETL) tự động thông qua Oracle Warehouse Builder, chuẩn hóa hiệu quả nguồn dữ liệu giao dịch phức tạp từ hệ thống CCBS.
  • Phát triển hệ thống báo cáo động linh hoạt trên nền tảng Crystal Reports và Web ASP.NET/C#, giúp ban lãnh đạo dễ dàng tra cứu, đào sâu dữ liệu theo thời gian, dịch vụ và địa bàn.
  • Ứng dụng thành công công nghệ nén và phân vùng dữ liệu của Oracle 11g, giúp tiết kiệm từ 2 đến 3 lần dung lượng lưu trữ vật lý cho các bảng sự kiện cước và cuộc gọi quy mô lớn.
  • Đề xuất định hướng chiến lược trong giai đoạn 2008 - 2011, sẵn sàng tích hợp các thuật toán khai phá dữ liệu dự báo rời mạng và mở rộng hạ tầng cho mạng 3G đạt mục tiêu 3 triệu thuê bao.

Để nâng cao hiệu quả khai thác thông tin và duy trì lợi thế cạnh tranh bền vững trong kỷ nguyên số hóa viễn thông, các đơn vị thành viên của VNPT cùng các doanh nghiệp trong ngành cần nhanh chóng ứng dụng mô hình kho dữ liệu này vào thực tiễn quản trị vận hành ngay hôm nay.