Luận án TS Nguyễn Thành Trung: Tối ưu thời điểm dừng quảng cáo & bán tài sản

Bài viết phân tích sâu sắc về cách tối ưu thời điểm dừng trong chiến dịch quảng cáo và quyết định bán tài sản. Khám phá chiến lược giúp tăng hiệu quả và giảm

• Tác giả: Nguyễn Thành Trung
• Người hướng dẫn: Pgs. Phan Viết Thư
• Trường học: Đại học Quốc gia Hà Nội, Trường Đại học Khoa học Tự nhiên
• Chuyên ngành: Lý thuyết xác suất và thống kê Toán học
• Đề tài: Thời Điểm Dừng Tối Ưu Cho Bài Toán Quảng Cáo Và Bài Toán Bán Tài Sản
• Loại tài liệu: Luận án Tiến sĩ Toán học
• Năm xuất bản: 2020
• Địa điểm: Hà Nội

Tóm tắt

I. Tổng quan về thời điểm dừng tối ưu trong xác suất

Thời điểm dừng tối ưu là một khái niệm cốt lõi trong lý thuyết xác suất hiện đại. Bài toán xác định thời điểm dừng tối ưu xuất hiện trong nhiều lĩnh vực thực tế. Từ tài chính đến tiếp thị, từ bán hàng đến quản lý rủi ro. Về bản chất, bài toán này tìm kiếm thời điểm tốt nhất để dừng một quá trình ngẫu nhiên. Mục tiêu là tối đa hóa lợi ích kỳ vọng hoặc tối thiểu hóa chi phí. Trong lý thuyết dừng cổ điển, quá trình quyết định tuân theo tính chất Markov. Nghĩa là quyết định tại mỗi thời điểm chỉ phụ thuộc vào trạng thái hiện tại. Không phụ thuộc vào các trạng thái trước đó. Bài toán được nghiên cứu rộng rãi từ nửa sau thế kỷ 20. Các nhà toán học như Shiryaev, Dynkin đã đặt nền móng quan trọng. Ngày nay, với sự phát triển của công nghệ tính toán, các phương pháp xấp xỉ bằng mạng nơ-ron trở nên phổ biến. Chúng cho phép giải các bài toán phức tạp mà lời giải chính xác khó đạt được.

1.1. Định nghĩa thời điểm dừng trong không gian xác suất

Thời điểm dừng là một biến ngẫu nhiên τ lấy giá trị trong tập thời gian. Biến này thỏa mãn tính chất Markov: biến cố {τ = n} chỉ phụ thuộc vào thông tin tại thời điểm n. Trong không gian xác suất (Ω, F, P), mỗi thời điểm dừng tương ứng với một lược σ. Bài toán tối ưu tìm giá trị τ sao cho hàm mục tiêu g(τ, Xτ) đạt cực trị kỳ vọng. Không gian tất cả các thời điểm dừng khả thi ký hiệu là T. Giá trị tối ưu V bằng supremum của Eg(τ, Xτ) trên T.

1.2. Ứng dụng thực tế của lý thuyết thời điểm dừng

Lý thuyết thời điểm dừng tối ưu có ứng dụng rộng rãi trong đời sống. Trong tài chính, bài toán bán quyền chọn sử dụng thời điểm dừng để xác định lúc bán tài sản. Trong quảng cáo, nhà tiếp thị cần biết khi nào dừng chiến dịch để tối đa lợi nhuận. Bài toán bán tài sản tìm thời điểm bán để đạt giá kỳ vọng cao nhất. Bài toán quảng cáo xác định thời điểm dừng chiến dịch quảng cáo hiệu quả. Cả hai bài toán đều có thể mô hình hóa bằng quá trình ngẫu nhiên Markov.

II. Phân tích bài toán quảng cáo và bán tài sản

Bài toán quảng cáo và bài toán bán tài sản là hai ứng dụng quan trọng. Cả hai đều thuộc lớp bài toán thời điểm dừng tối ưu. Trong bài toán quảng cáo, doanh nghiệp đầu tư ngân sách vào chiến dịch truyền thông. Mỗi thời điểm, lợi nhuận thu được là một biến ngẫu nhiên. Chi phí quảng cáo tăng theo thời gian. Mục tiêu là tìm thời điểm dừng sao cho lợi nhuận ròng kỳ vọng lớn nhất. Bài toán bán tài sản có cấu trúc tương tự. Một người sở hữu tài sản có giá trị dao động ngẫu nhiên. Tại mỗi thời điểm, người bán có thể quyết định bán hoặc giữ lại. Giá trị tài sản tuân theo một quá trình ngẫu nhiên cụ thể. Thách thức lớn nằm ở tính bất định của môi trường. Không thể biết trước giá trị chính xác tại mỗi thời điểm. Do đó, quyết định phải dựa trên kỳ vọng có điều kiện. Cả hai bài toán đều đòi hỏi phương pháp giải tối ưu phù hợp.

2.1. Mô hình toán học của bài toán quảng cáo

2.2. Bài toán bán tài sản và lời giải chính xác

III. Phương pháp giải bài toán bằng mạng nơ ron

Mạng nơ-ron nhân tạo là công cụ mạnh mẽ để xấp xỉ lời giải. Phương pháp này đặc biệt hữu ích khi lời giải chính xác khó tính toán. Nơ-ron nhân tạo mô phỏng nguyên lý hoạt động của nơ-ron sinh học. Mỗi nơ-ron nhận tín hiệu đầu vào, xử lý và cho ra tín hiệu đầu ra. Cấu trúc cơ bản gồm các nhánh vào dendrites, thân tế bào và sợi trục axon. Mạng nơ-ron gồm nhiều lớp nơ-ron liên kết với nhau. Quá trình huấn luyện điều chỉnh trọng số để tối ưu hàm mất mát. Đối với bài toán thời điểm dừng, mạng nơ-ron học xấp xỉ đường bao tối ưu. Đầu vào là trạng thái hiện tại Xn. Đầu ra là xác suất dừng tại thời điểm đó. Giải thuật lặp đi lặp lại qua các epoch cho đến khi hội tụ. Kết quả cho phép xây dựng chiến lược dừng gần tối ưu. Phương pháp này linh hoạt với nhiều loại phân phối xác suất khác nhau.

3.1. Cấu trúc mạng nơ ron cho bài toán xấp xỉ

3.2. Giải thuật tối ưu và quá trình huấn luyện

IV. Kết luận và ứng dụng của thời điểm dừng tối ưu

Nghiên cứu về thời điểm dừng tối ưu mang lại giá trị học thuật và thực tiễn. Kết quả chính bao gồm việc chứng minh sự tồn tại lời giải tối ưu. Phương pháp xấp xỉ bằng mạng nơ-ron được kiểm chứng qua mô phỏng số. Bài toán quảng cáo cho thấy chiến lược dừng dựa trên ngưỡng lợi nhuận. Bài toán bán tài sản xác định đường bao phân chia vùng dừng và vùng tiếp tục. Cả hai bài toán đều áp dụng thành công với mạng nơ-ron nhân tạo. Kết quả mô phỏng cho thấy xấp xỉ gần đúng với lời giải chính xác. Sai số xấp xỉ giảm khi tăng số lượng nơ-ron và mẫu huấn luyện. Đóng góp nổi bật là xây dựng giải thuật hiệu quả cho cả hai bài toán. Giải thuật có thể mở rộng cho các biến thể phức tạp hơn. Nghiên cứu mở ra hướng ứng dụng trong kinh tế, tài chính và quản lý. Các nhà đầu tư có thể sử dụng mô hình để ra quyết định bán tài sản. Doanh nghiệp áp dụng để tối ưu ngân sách quảng cáo hiệu quả hơn.

4.1. Đóng góp khoa học của luận án nghiên cứu

4.2. Hướng phát triển và ứng dụng mở rộng

Trích đoạn nội dung tài liệu

Chương 1. KIẾN THỨC CHUẨN BỊ. Chương này chúng tôi trình bày một cách tóm lược nhất một số kiến thức cơ bản của giải tích ngẫu nhiên bao gồm phương trình vi phân ngẫu nhiên, bài toán thời điểm dừng tối ưu. Trong chương này cũng giới thiệu các vấn đề cơ bản về mạng nơ-ron, gồm các khái niệm của mạng nơ-ron nhân tạo, các mô hình mạng và phương pháp xây dựng cũng như huấn luyện mạng.

Trong đó đi sâu vào việc xây dựng một mạng nơ-ron với ngôn ngữ lập trình Python. Nội dung ở chương này chủ yếu được trích dẫn từ các tài liệu [3], [5], [6], [7], [8], [24]. THỜI ĐIỂM DỪNG TỐI ƯU CHO BÀI TOÁN QUẢNG CÁO. Trong chương này chúng tôi xem xét một bài toán thực tế đó là xác định thời điểm dừng tối ưu cho một chiến dịch quảng cáo.

Thị phần (tiềm năng) của công ty đang xét về một sản phẩm A nào đó được mô tả bằng một phương trình vi phân ngẫu nhiên dưới tác động của chiến dịch quảng cáo thông qua truyền thông cũng như sự truyền miệng của các khách hàng đã có của công ty. Hàm mục tiêu là một hàm liên tục xác định trên thời gian t và thị phần đạt được của chiến dịch quảng cáo. Trong chương này ngoài việc giải mô hình chúng tôi xem xét một cách tiếp cận khác cho bài toán thời điểm dừng tối ưu đó là tiếp cận 2 học máy. Các kết quả này đã được công bố trong [CT2] và [CT3].

THỜI ĐIỂM DỪNG TỐI ƯU CHO BÀI TOÁN BÁN TÀI SẢN. Trong chương này chúng tôi xem xét bài toán tìm thời điểm dừng tối ưu cho quá trình bán tài sản với tốc độ tăng giá là quá trình Markov rời rạc hai trạng thái (tăng giá và giảm giá). Kết quả tìm được các ngưỡng cố định cho quá trình xác suất hậu nghiệm. Nếu quá trình xác suất hậu nghiệm vượt qua ngưỡng này thì ta quyết định bán tài sản.

Các kết quả thu được là khả quan và được kiểm tra trên dữ liệu mô phỏng cho thấy tính đúng đắn của các kết quả tìm được. Cũng như trong chương 2, chương này chúng tôi cũng xem xét một cách tiếp cận khác cho bài toán thời điểm dừng tối ưu đó là tiếp cận học máy. Xấp xỉ hàm quyết định bởi một mạng nơ-ron nhiều lớp, sau khi đã huấn luyện mạng nơ-ron, cho dữ liệu qua mạng ta sẽ nhận được quyết định bán tài sản. Các kết quả này đã được công bố trong [CT1].

KIẾN THỨC CHUẨN BỊ Trong nhiều thế kỷ qua, với công lao đóng góp của nhiều thế hệ các nhà toán học, giải tích toán học đã trở thành một lĩnh vực toán học lớn với những chuyên ngành như: phép tính vi tích phân, phương trình vi phân, phương trình đạo hàm riêng, lý thuyết toán tử tuyến tính,. Nó cung cấp cho nhiều ngành khoa học và kỹ thuật một công cụ hết sức đắc lực để xử lý và tính toán các mô hình tất định. Tuy nhiên, chúng ta đang sống trong một thế giới chịu nhiều tác động của nhân tố ngẫu nhiên. Phần lớn các hệ động lực, các quá trình trong tự nhiên là các hệ động lực ngẫu nhiên và quá trình ngẫu nhiên.

Thành thử để phản ánh thực tế đúng đắn hơn, ngoài việc nghiên cứu các mô hình tất định, việc nghiên cứu các mô hình ngẫu nhiên là một tất yếu và cần thiết. Trong vài chục năm gần đây, một mặt do nhu cầu phát triển nội tại của toán học, mặt khác nhằm cung cấp một ngôn ngữ, một công cụ cho phép mô tả, phân tích, dự báo và điều khiển các mô hình ngẫu nhiên, giải tích ngẫu nhiên đã ra đời với các lý thuyết về độ đo ngẫu nhiên, tích phân ngẫu nhiên, phương trình vi phân ngẫu nhiên, toán tử ngẫu nhiên, hệ động lực ngẫu nhiên,. Lý thuyết Martingale bắt nguồn từ trò chơi cờ bạc nay trở thành một loại quá trình ngẫu nhiên có rất nhiều ứng dụng về lý thuyết cũng như thực tiễn, đặc biệt là một công cụ không thể thiếu trong tính toán ngẫu nhiên và toán học trong tài chính. Một công cụ quan trọng trong lý thuyết Martingale và các ứng dụng của chúng là các thời điểm dừng.

Thí dụ, chúng ta muốn dừng một Martingale trước khi nó nhận các giá trị quá lớn. Tuy nhiên, dừng nên được thực hiện sao cho đối tượng dừng lại là một Martingale mới thực sự có ý nghĩa quan trọng. 4 Ngày nay, không chỉ dừng lại ở mức nghiên cứu lý thuyết, các nghiên cứu ứng dụng mạng nơ-ron để giải quyết các bài toán thực tế được diễn ra ở khắp mọi nơi. Các ứng dụng mạng nơ-ron ra đời ngày càng nhiều và ngày càng hoàn thiện hơn.

Điển hình là các ứng dụng: xử lý ngôn ngữ (Language Processing), nhận dạng kí tự (Character Recognition), nhận dạng tiếng nói (Voice Recognition), nhận dạng mẫu (Pattern Recognition), xử lý tín hiệu (Signal Processing), Lọc dữ liệu (Data Filtering),. Chương này chúng tôi sẽ trình bày một cách tóm lược nhất một số kiến thức của giải tích ngẫu nhiên bao gồm phương trình vi phân ngẫu nhiên, bài toán thời điểm dừng tối ưu. Cũng trong chương này chúng tôi trình bày các vấn đề cơ bản về mạng nơ-ron, gồm các khái niệm của mạng nơ-ron nhân tạo, các mô hình mạng và phương pháp xây dựng cũng như huấn luyện mạng. Nội dung ở chương này chủ yếu được tham khảo và trích dẫn từ các tài liệu [3], [5], [6], [7], [8], [24], [26].

Phương trình vi phân ngẫu nhiên Phương trình vi phân ngẫu nhiên đóng vai trò rất quan trọng trong kĩ thuật, vật lý, kinh tế và một số ngành khoa học khác. Sự ra đời của nó xuất phát từ nhu cầu xác định mối quan hệ giữa một bên là một đại lượng biến thiên liên tục với một bên là độ biến thiên của đại lượng đó. Các mối quan hệ như thế xuất hiện thường xuyên trong các ứng dụng thực tế. Tìm các quá trình X = (Xt , t ≥ 0) có thể thoả mãn phương trình dXt = b (t, Xt ) + σ (t, Xt ) Wt (1.1) dt trong đó b(t, x) ∈ R, σ(t, x) ∈ R và Wt là "tiếng ồn trắng" 1-chiều.

Xt cũng là lời giải của phương trình tích phân Z t Z t Xt = X 0 + b(s, Xs )ds + σ(s, Xs )dB (1.2) 0 0 5 hay viết dưới dạng vi phân dXt = b (t, Xt ) dt + σ (t, Xt ) dBt (1.3) Như vậy từ (1.3) ta đã thay thế một cách hình thức dBt Wt bởi dt Vấn đề tự nhiên đối với phương trình (1. Với những điều kiện nào của các hệ số b và σ thì tồn tại nghiệm và nghiệm đó là duy nhất. Giải phương trình đó như thế nào? Công cụ cơ bản để tìm lời giải của một phương trình vi phân ngẫu nhiên chính là công thức Itô.1 (Công thức Itô [7]) Cho u(t, x) là một hàm xác định trên [0, T ]× R có các đạo hàm riêng ut , ux , uxx liên tục. Cho Xt là một quá trình Itô với vi phân ngẫu nhiên dXt = f (t, ω)dt + g(t, ω)dWt Khi đó quá trình Yt = u (t, Xt ) cũng là một quá trình Itô với vi phân ngẫu nhiên là 1   dYt = du (t, Xt ) = ut (t, Xt ) + ux (t, Xt ) f (t) + uxx (t, Xt ) g 2 (t) dt 2 +ux (t, Xt ) g(t)dWt Ta cũng có thể viết công thức Itô dưới dạng dễ nhớ hơn như sau 1 dYt = ut (t, Xt ) dt + ux (t, Xt ) dXt + uxx (t, Xt ) (dXt )2 2 trong đó khi tính (dXt )2 ta quy ước (dt)2 = dtdWt = 0, (dWt )2 = dt 6 Tổng quát hơn ta xét n quá trình Itô X1 (t), X2 (t),.

Giả sử rằng u = u (t, x1 , x2 ,. , xn ) là một hàm số xác định trên [0, T ] × Rn với các đạo hàm riêng liên tục ut , uxi , uxi xj với mọi i, j 6 n. Xét quá trình Yt = u (t, X1 (t), X2 (t),. Ta có công thức Itô suy rộng sau đây Định lý 1.

, Xn (t)) là một quá trình Itô với vi phân ngẫu nhiên cho bởi n n n X 1 XX dYt = ut dt + uxi dXi + uxi xj dXi dXj 2 i=1 i=1 i=1 trong đó tích dXi dXj được tính theo quy ước sau (dt)2 = dW dt = dtdW = 0, (dWt )2 = dt Như vậy dXi dXj = gi gj dt và n n n ! n ! X 1 XX X dYt = ut + uxi fi + uxi xj gi gj dt + uxi gi dWt .1 (Chuyển động Brown trên đường tròn đơn vị) Ta chọn X = B , một chuyển động Brown một chiều và g(t, x) = eix = (cos x, sin x) ∈ R2 với x ∈ R Khi đó Y = g(t, X) = eiB = (cos B, sin B) 7 Vậy Y = (Y1 , Y2 ) với Y1 = cos B, Y2 = sin B Theo công thức Itô ta có   dY (t) = − sin(B)dB − 1 cos(B)dt 1 2  dY2 (t) = cos(B)dB − 1 sin(B)dt 2 Như vậy, quá trình 2 chiều Y = (Y1 , Y2 ) mà ta sẽ gọi là chuyển động Brown trên đường tròn đơn vị là lời giải của hệ phương trình vi phân ngẫu nhiên   dY = − 1 Y dt − Y dB 1 2 1 2  dY2 = − 1 Y2 dt + Y1 dB 2 hoặc dưới dạng ma trận   1 0 −1 dY = − Y dt + KY dB, trong đó K =  .3 (Định lý tồn tại duy nhất nghiệm [5]) Giả sử các hàm b (t, x) và σ (t, x) thỏa mãn các điều kiện sau |b(t, x)| + |σ(t, x)| ≤ C(1 + |x|), x ∈ R, t ∈ [0, T ] với C là hằng số và |b(t, x) − b(t, y)| + |σ(t, x) − σ(t, y)| ≤ D|x − y| với D là hằng số. Gọi Z là đại lượng ngẫu nhiên độc lập với Wt , t > 0 và EZ 2 < ∞. Khi đó phương trình vi phân ngẫu nhiên dXt = b (t, Xt ) dt + σ (t, Xt ) dWt ; X0 = Z (1.4) có nghiệm duy nhất. Bài toán thời điểm dừng tối ưu 1.

Trường hợp thời gian rời rạc Giả sử (Ω, F, P ) là không gian xác suất, G ∈ F là σ -trường con của F. Một ĐLNN X được gọi là tương thích với G nếu X là G -đo được. Trong trường hợp đó ta viết X ∈ G .