Tổng quan nghiên cứu

Trong kỷ nguyên kinh tế số và bùng nổ truyền thông trực tuyến, ngành quảng cáo kỹ thuật số đang chứng kiến sự tăng trưởng vượt bậc với hàng triệu giao dịch và luồng dữ liệu phát sinh mỗi giây. Tuy nhiên, theo các khảo sát thực tế tại doanh nghiệp công nghệ, có đến khoảng 65% thời gian của đội ngũ kỹ thuật và phân tích dữ liệu bị tiêu tốn vào việc trích xuất thủ công các truy vấn cơ sở dữ liệu để phục vụ báo cáo quản trị. Vấn đề nghiên cứu trọng tâm của luận văn xuất phát từ điểm nghẽn thực tế: các công cụ Business Intelligence truyền thống thường chỉ tập trung hiển thị dữ liệu tĩnh theo vai trò người dùng mà thiếu đi sự gắn kết với dòng chảy quy trình nghiệp vụ thực tế. Sự thiếu hụt các công cụ tự động hóa khiến các bảng điều khiển trực quan hóa dữ liệu thường bị dư thừa các biểu đồ không cần thiết hoặc thiếu hụt các chỉ số trọng yếu, làm giảm hiệu suất ra quyết định của các cấp quản lý.

Mục tiêu cụ thể của luận văn là nghiên cứu, thiết kế và hiện thực hóa một cơ chế sinh mã tự động cho phép xây dựng bảng điều khiển linh hoạt bám sát mô hình quy trình nghiệp vụ chuẩn và phân quyền theo từng vai trò cụ thể. Đề tài được triển khai thực nghiệm trong phạm vi hoạt động kinh doanh quảng cáo trực tuyến tại Công ty Cổ phần Viễn thông FPT Telecom, một đơn vị sở hữu 25 năm kinh nghiệm phát triển hạ tầng mạng và truyền hình kỹ thuật số tại Việt Nam. Dữ liệu thực nghiệm được thu thập chi tiết từ 52.019 bản ghi vận hành quảng cáo trong tháng 1 năm 2021. Ý nghĩa thực tiễn của công trình thể hiện ở việc cắt giảm ước tính 70% đến 80% thời gian thiết lập dashboard thủ công, nâng cao tính minh bạch cho 100% hợp đồng quảng cáo, đồng thời loại bỏ tình trạng phát sóng quảng cáo dư thừa giúp doanh nghiệp tối ưu hóa doanh thu và gia tăng lợi thế cạnh tranh.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Nghiên cứu được xây dựng trên nền tảng vững chắc của hai lý thuyết cốt lõi: Lý thuyết Kiến trúc Doanh nghiệp (Enterprise Architecture) và Phương pháp Phát triển hướng Mô hình (Model-Driven Development). Kiến trúc doanh nghiệp đóng vai trò chuẩn hóa các góc nhìn đa chiều về dữ liệu, quy trình, dịch vụ và vai trò người dùng trong hệ sinh thái tổ chức số. Phương pháp phát triển hướng mô hình cung cấp cơ chế trừu tượng hóa, sử dụng siêu mô hình để chuyển dịch các thành phần logic của quy trình nghiệp vụ thành mã nguồn thực thi giao diện trực quan.

Hệ thống khái niệm chuyên ngành trong nghiên cứu bao gồm các trụ cột chính:

  • Mô hình hóa Quy trình Nghiệp vụ (BPMN 2.0): Tập hợp các ký hiệu đồ họa chuẩn quốc tế cho phép mô tả trực quan các luồng tác vụ, sự kiện, cổng logic, làn phân quyền và đối tượng dữ liệu.
  • Bảng điều khiển hướng quy trình (Process-Oriented Dashboard): Giao diện số hóa tổng hợp các chỉ số hiệu suất trọng yếu theo ngữ cảnh diễn tiến của luồng công việc thay vì chỉ thể hiện các báo cáo phân mảnh.
  • Bộ chỉ số đo lường hiệu suất quảng cáo số: Bao gồm Lượt hiển thị (Impression = Reach x Frequency), Lượt nhấp chuột (Click), Lượt bắt đầu xem (Start), Các mốc xem video trực tuyến (View 25%, View 50%, View 75%), Lượt xem hoàn tất (Complete View / Played100), Tỷ lệ nhấp chuột CTR (Click-Through Rate = Clicks / Impressions x 100) và Tỷ lệ xem hết video VTR (View-Through Rate = Complete / Impressions x 100).

Phương pháp nghiên cứu

Nguồn dữ liệu của nghiên cứu là tập dữ liệu thứ cấp gồm 52.019 bản ghi nhật ký vận hành thực tế thu thập định kỳ 2 lần mỗi ngày từ máy chủ phân phối quảng cáo của FPT Telecom trong giai đoạn tháng 1 năm 2021. Mẫu dữ liệu phản ánh toàn diện các thuộc tính chuỗi thời gian, định danh chiến dịch, loại hình quảng cáo trên nền tảng Web và thiết bị di động. Phương pháp chọn mẫu có chủ đích được áp dụng nhằm trích xuất các đợt phát sóng quảng cáo tiêu biểu, cụ thể là chiến dịch mang mã định danh Flight 21007 để kiểm thử tính toàn vẹn của mô hình.

Quy trình phân tích và hiện thực hệ thống trải qua lộ trình nghiên cứu từ tháng 2 năm 2022 đến tháng 12 năm 2022, gồm ba bước kỹ thuật chính:

  1. Xử lý và trích xuất dữ liệu: Sử dụng hệ quản trị cơ sở dữ liệu quan hệ MySQL để chạy các câu lệnh truy vấn cấu trúc, tổng hợp dữ liệu chuỗi thời gian theo ngày và tạo các trường dữ liệu tích lũy bằng hàm cửa sổ sum() over (partition by FLIGHT_ID order by DAY). Dữ liệu sau xử lý được đồng bộ lên kho lưu trữ đám mây.
  2. Xây dựng mô-đun sinh mã nguồn: Phát triển một plugin mở rộng nhúng trực tiếp vào phần mềm Camunda Modeler bằng thư viện ReactJS. Plugin này đọc cấu trúc sơ đồ BPMN, phân tích các nhóm làn phân quyền (pools), đối tượng dữ liệu (data objects) và các chú thích ngữ nghĩa (text annotations).
  3. Kết xuất giao diện bảng điều khiển: Plugin tự động khớp nối tên đối tượng dữ liệu với trường dữ liệu đám mây, áp dụng thuật toán sinh cấu trúc tài liệu JSON chứa cấu hình các bảng biểu và nạp trực tiếp vào nền tảng Grafana để vẽ bảng điều khiển tự động.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

Quá trình phân tích thực nghiệm và đánh giá hệ thống đã chỉ ra bốn phát hiện khoa học và kỹ thuật nổi bật:

Thứ nhất, việc tạo bảng điều khiển theo phương pháp thủ công truyền thống qua Microsoft Power BI hoặc Google Analytics bộc lộ mức độ dư thừa thông tin lên tới hơn 60%, khi các nhà phân tích thường xuyên đưa vào các biểu đồ tĩnh không phục vụ trực tiếp cho mục tiêu giám sát theo thời gian thực của từng vai trò cụ thể.

Thứ hai, thuật toán sinh mã tự động đã chuyển đổi thành công 100% các đối tượng dữ liệu được định nghĩa trên sơ đồ BPMN 2.0 thành các đối tượng đồ họa tương ứng trong tệp cấu hình JSON của Grafana mà không cần xuất trung gian qua định dạng XML phức tạp.

Thứ ba, việc tích hợp chú thích ngữ nghĩa (text annotation) vào mô hình BPMN cho phép hệ thống tự động xác định ngưỡng chặn trên (giới hạn ngân sách hoặc tổng lượt đặt trước - Total Booking), từ đó tự động lựa chọn dạng biểu đồ đo (Gauge Chart) với độ chính xác đạt 100% trong môi trường thử nghiệm.

Thứ tư, qua kiểm thử với chiến dịch Flight 21007, hệ thống đã trực quan hóa đồng bộ ba chiều dữ liệu: phân phối tỷ lệ qua Biểu đồ tròn (Pie Chart), mức độ hoàn thành chỉ tiêu qua Biểu đồ đo (Gauge Chart), và xu hướng tăng trưởng lũy kế theo chuỗi thời gian qua Biểu đồ đường (Line Chart), giúp phát hiện ngay lập tức tình trạng thiếu hụt chỉ số trong quá trình chạy quảng cáo.

Thảo luận kết quả

Nguyên nhân cốt lõi giúp hệ thống đạt hiệu năng vượt trội là việc kết hợp chặt chẽ giữa ngữ cảnh quy trình và vai trò người dùng ngay tại giai đoạn thiết kế mô hình BPMN. Khi người dùng lựa chọn một làn vai trò (ví dụ: Quản trị viên kỹ thuật hoặc Nhân viên đặt hàng), thuật toán số 1 sẽ quét toàn bộ các đối tượng dữ liệu thuộc làn đó, loại bỏ hoàn toàn các thông tin không liên quan. So với các nghiên cứu trước đây vốn chỉ tập trung vào bảng điều khiển hướng vai trò độc lập, việc bổ sung ngữ cảnh luồng thông tin BPMN giúp bảng điều khiển có khả năng phản ánh chính xác trạng thái vận hành của chiến dịch quảng cáo.

Dữ liệu so sánh giữa phương pháp truyền thống và giải pháp tự động mới được tổng hợp chi tiết qua cấu trúc bảng phân tích sau:

Tiêu chí đánh giá Phương pháp thủ công (Power BI / Trích xuất SQL) Giải pháp sinh tự động (Camunda + React + Grafana) Mức độ cải thiện
Thời gian tạo lập Dashboard 120 đến 180 phút cho mỗi chiến dịch mới Dưới 2 phút thông qua thao tác nhấn nút trên plugin Giảm khoảng 98% thời gian
Tần suất can thiệp của Kỹ sư dữ liệu 2 đến 3 lần mỗi ngày để chỉnh sửa truy vấn 0 lần sau khi luồng dữ liệu chuẩn đã được thiết lập Tự động hóa hoàn toàn
Khả năng bám sát quy trình nghiệp vụ Rất thấp (chỉ hiển thị số liệu tĩnh độc lập) Tuyệt đối (gắn liền với từng tác vụ và đối tượng BPMN) Tối ưu hóa 100% ngữ cảnh
Mức độ phù hợp của biểu đồ hiển thị Khoảng 40% (dễ phát sinh biểu đồ không cần thiết) 100% (chọn đúng Gauge, Pie, Line theo thuộc tính dữ liệu) Tăng 60% tính chuẩn xác

Kết quả này khẳng định rằng mô hình đề xuất không chỉ giải quyết triệt để bài toán quá tải truy vấn tại FPT Telecom mà còn mở ra hướng tiếp cận mới cho việc tự động hóa công nghệ kỹ thuật bảng điều khiển trong các hệ thống thông tin quản lý hiện đại.

Đề xuất và khuyến nghị

Dựa trên các kết quả đạt được cùng những hạn chế nội tại của hệ thống, tác giả đưa ra bốn nhóm giải pháp hành động cụ thể nhằm nâng cao hiệu quả ứng dụng trong thực tiễn:

  1. Tự động hóa hoàn toàn khâu tiền xử lý dữ liệu thô:
  • Chủ thể thực hiện: Đội ngũ Kỹ sư Dữ liệu (Data Engineers) và Chuyên viên Vận hành Hệ thống.
  • Hành động: Xây dựng các đường ống dữ liệu (data pipelines) tự động xử lý và làm sạch dữ liệu nhật ký quảng cáo trực tiếp từ máy chủ phân phối thay vì thực hiện các truy vấn SQL thủ công qua hai giai đoạn trung gian.
  • Chỉ số mục tiêu: Đạt tỷ lệ 100% dữ liệu thô được chuẩn hóa tự động vào kho dữ liệu chuỗi thời gian, giảm độ trễ dữ liệu xuống dưới 5 phút.
  • Lộ trình: Hoàn thành trong Quý 2 năm 2023.
  1. Mở rộng thư viện đồ họa và đa dạng hóa các loại biểu đồ:
  • Chủ thể thực hiện: Nhóm Phát triển Phần mềm Giao diện (Front-end Developers).
  • Hành động: Bổ sung các mẫu JSON đại diện cho biểu đồ cột chồng (Stacked Bar Chart), biểu đồ nhiệt (Heatmap) và biểu đồ phễu chuyển đổi (Funnel Chart) vào mã nguồn plugin Camunda.
  • Chỉ số mục tiêu: Tăng số lượng biểu đồ hỗ trợ từ 3 loại lên tối thiểu 8 loại biểu đồ phân tích nâng cao.
  • Lộ trình: Triển khai trong Quý 3 năm 2023.
  1. Tích hợp cơ chế tinh chỉnh trực quan trên giao diện mô hình hóa:
  • Chủ thể thực hiện: Trưởng nhóm Sản phẩm (Product Owners) và Chuyên gia Trải nghiệm Người dùng (UX/UI Designers).
  • Hành động: Phát triển tính năng cho phép người dùng tùy biến màu sắc, ngưỡng cảnh báo động, tỷ lệ kích thước panel trực tiếp trên bảng điều khiển Camunda Modeler trước khi xuất tệp JSON.
  • Chỉ số mục tiêu: Giảm thiểu 90% các lỗi không tương thích thuộc tính dữ liệu và cho phép tùy biến giao diện linh hoạt đạt 100%.
  • Lộ trình: Hoàn thành trong Quý 4 năm 2023.
  1. Nhân rộng mô hình sang các ngành công nghiệp phụ cận:
  • Chủ thể thực hiện: Ban Lãnh đạo Khối Công nghệ và Phòng Nghiên cứu và Phát triển (R&D).
  • Hành động: Đóng gói giải pháp thành khung kiến trúc chuẩn để ứng dụng vào quy trình quản lý đội xe tự lái (giám sát nhiên liệu, định vị GPS, tình trạng bảo dưỡng) và mô hình nông nghiệp thông minh (theo dõi cảm biến độ ẩm, nhiệt độ, chu kỳ tưới tiêu tự động).
  • Chỉ số mục tiêu: Triển khai thử nghiệm thành công tại ít nhất 2 lĩnh vực mới với độ ổn định hệ thống đạt trên 99%.
  • Lộ trình: Thực hiện xuyên suốt năm 2024.

Đối tượng nên tham khảo luận văn

Nội dung và kết quả nghiên cứu của luận văn mang lại giá trị tham khảo thiết thực cho bốn nhóm đối tượng chính sau:

Thứ nhất, Giám đốc Công nghệ (CTO) và Trưởng phòng Dữ liệu (Head of Data) tại các doanh nghiệp truyền thông số: Nghiên cứu cung cấp kiến trúc mẫu giúp tối ưu hóa hạ tầng trực quan hóa dữ liệu quy mô lớn, quản lý hiệu quả hơn 50.000 bản ghi mỗi ngày mà không làm gia tăng chi phí phần cứng hay nhân sự bảo trì.

Thứ hai, Chuyên viên Tối ưu hóa Quảng cáo (Ad Operations) và Nhân viên Kinh doanh Truyền thông (Media Sales): Cung cấp góc nhìn thực tiễn về cách thức theo dõi các chỉ số quan trọng như Impression, Click, Complete View và CTR theo thời gian thực. Use case điển hình là sử dụng bảng điều khiển để phát hiện sớm các chiến dịch chạy thiếu số, từ đó kịp thời tái đàm phán hợp đồng hoặc điều chỉnh trọng số ưu tiên nhằm cải thiện 30% hiệu quả giao dịch với khách hàng.

Thứ ba, Kỹ sư Phát triển Phần mềm và Chuyên viên Phân tích Nghiệp vụ (BA): Nguồn tài liệu quý giá về cách thức viết plugin mở rộng cho Camunda Modeler bằng ReactJS, kỹ thuật thao tác cây đối tượng BPMN và cấu trúc sinh mã JSON chuẩn hóa tương thích với Grafana API.

Thứ tư, Học viên Cao học và Nhà nghiên cứu chuyên ngành Hệ thống Thông tin Quản lý (MIS): Cung cấp phương pháp luận chặt chẽ kết hợp giữa kỹ thuật mô hình hóa quy trình doanh nghiệp và công nghệ trực quan hóa dữ liệu hiện đại, tạo tiền đề cho các đề tài mở rộng về khai phá quy trình (Process Mining).

Câu hỏi thường gặp

  1. Bảng điều khiển hướng quy trình có điểm gì khác biệt so với bảng điều khiển hướng vai trò truyền thống? Bảng điều khiển truyền thống chủ yếu gom nhóm các chỉ số tĩnh theo chức danh quản lý mà tách rời dòng chảy công việc. Ngược lại, bảng điều khiển hướng quy trình bám sát luồng thông tin trong sơ đồ BPMN, chỉ hiển thị dữ liệu phát sinh tại từng bước nghiệp vụ cụ thể của vai trò đó, giúp loại bỏ hoàn toàn các biểu đồ dư thừa và phản ánh chính xác tiến độ thực thi thực tế.

  2. Plugin trên Camunda Modeler thực hiện việc trích xuất và sinh mã nguồn JSON như thế nào? Plugin được viết bằng ReactJS sẽ duyệt qua các phần tử trong sơ đồ BPMN hiện hành, xác định các làn phân quyền tương ứng với vai trò được chọn, sau đó bóc tách danh sách đối tượng dữ liệu và chú thích văn bản đính kèm. Tiếp theo, plugin khớp nối các thuộc tính này với nguồn dữ liệu đám mây và đưa vào khung mẫu JSON để tạo tệp cấu hình bảng điều khiển hoàn chỉnh cho Grafana.

  3. Làm thế nào để hệ thống xử lý các chỉ số quảng cáo đặc thù như Played100 hay Complete View? Hệ thống sử dụng các truy vấn SQL nâng cao với cấu trúc điều kiện để gom nhóm các bản ghi theo mã chiến dịch và ngày phát sóng. Dữ liệu các mốc xem video từ 25% đến 100% được tổng hợp thành các trường số lượng cụ thể và trường tích lũy thời gian, cho phép kết xuất thành Biểu đồ đo thể hiện tỷ lệ đạt chỉ tiêu hoặc Biểu đồ đường thể hiện xu hướng xem của người dùng.

  4. Tại sao tác giả lại lựa chọn kết hợp Camunda Modeler, ReactJS, MySQL và Grafana? Camunda Modeler cung cấp nền tảng mở chuẩn BPMN 2.0 dễ dàng tích hợp tiện ích mở rộng; ReactJS tối ưu hóa việc xây dựng giao diện tương tác; MySQL đảm bảo tốc độ truy vấn cơ sở dữ liệu quan hệ ổn định; và Grafana là nền tảng mã nguồn mở hàng đầu trong việc trực quan hóa dữ liệu chuỗi thời gian thông qua tệp cấu hình JSON linh hoạt.

  5. Hệ thống sẽ xử lý thế nào nếu tên đối tượng dữ liệu trong quy trình BPMN không khớp với cơ sở dữ liệu? Đây là một trong những hạn chế được tác giả chỉ rõ trong luận văn: nếu tên đối tượng dữ liệu trên sơ đồ không khớp với tên trường trong bộ dữ liệu đám mây, Grafana sẽ không thể liên kết và hiển thị biểu đồ. Tác giả đã giải quyết tạm thời bằng quy tắc chuẩn hóa loại bỏ khoảng trắng và đề xuất giải pháp ánh xạ dữ liệu tự động cho các phiên bản tiếp theo.

Kết luận

  • Luận văn đã giải quyết thành công bài toán tự động hóa quy trình xây dựng bảng điều khiển quản trị bằng cách tích hợp trực tiếp công cụ sinh mã nguồn JSON vào phần mềm mô hình hóa quy trình BPMN Camunda Modeler.
  • Hệ thống đã kiểm thử thành công trên bộ dữ liệu thực tế gồm 52.019 bản ghi tại FPT Telecom, chứng minh khả năng tự động hóa 100% khâu chuyển đổi sơ đồ nghiệp vụ thành giao diện trực quan đa chiều trên nền tảng Grafana.
  • Giải pháp giúp doanh nghiệp cắt giảm hơn 70% thời gian thiết lập báo cáo thủ công, giảm thiểu sai sót dữ liệu và tối ưu hóa năng lực giám sát các chiến dịch quảng cáo số theo thời gian thực.
  • Kiến trúc tổng thể của đề tài mang tính linh hoạt cao, tạo tiền đề mở rộng ứng dụng hiệu quả sang nhiều lĩnh vực kinh tế - kỹ thuật khác như logistics, vận tải tự hành và nông nghiệp công nghệ cao.
  • Lộ trình nghiên cứu tiếp theo trong giai đoạn 2023-2024 sẽ tập trung vào việc tự động hóa quy trình tiền xử lý dữ liệu thô, bổ sung đa dạng biểu đồ phân tích và hoàn thiện tính năng tùy biến trực quan cho người dùng cuối.

Để khai thác tối đa tiềm năng số hóa quy trình và xây dựng hệ thống báo cáo thông minh cho doanh nghiệp, các nhà quản trị và kỹ sư hệ thống có thể áp dụng ngay khung kiến trúc này vào thực tế vận hành nhằm nâng cao năng suất và tạo đột phá trong quản trị dữ liệu.