Mathematical Statistics: Basic Ideas & Topics Vol I (2nd Ed) by Bickel & Doksum

Nắm vững thống kê toán học với các ý tưởng cơ bản và chủ đề chọn lọc. Tập 1, tái bản 2 mang đến kiến thức sâu sắc, làm rõ khái niệm cốt lõi.

• Tác giả: Peter J. Bickel
• Trường học: University of California
• Chuyên ngành: Mathematical Statistics
• Đề tài: Mathematical Statistics: Basic Ideas And Selected Topics Vol 1
• Loại tài liệu: Book
• Năm xuất bản: 2001
• Địa điểm: Upper Saddle River, New Jersey

Tóm tắt

I. Tổng quan về cuốn sách Mathematical Statistics Basic Ideas Selected Topics Vol 1

Cuốn sách Mathematical Statistics: Basic Ideas and Selected Topics, Volume I do Peter J. Bickel và Kjell A. Doksum biên soạn là một trong những giáo trình thống kê toán học kinh điển bậc nhất. Ấn bản thứ hai được xuất bản bởi Prentice Hall vào năm 2001, cập nhật và mở rộng so với phiên bản đầu năm 1977. Cuốn sách trình bày nền tảng lý thuyết thống kê từ góc độ lý thuyết quyết định, bao gồm các mô hình thống kê, mục tiêu phân tích và tiêu chuẩn đánh giá hiệu suất. Nội dung được xây dựng dựa trên ba trụ cột chính: mô hình thống kê và lý thuyết quyết định, phương pháp ước lượng, và thước đo hiệu suất. Đây là tài liệu tham khảo không thể thiếu cho sinh viên cao học, nghiên cứu sinh và các nhà nghiên cứu trong lĩnh vực khoa học dữ liệu, kinh tế lượng và sinh học thống kê. Cuốn sách nổi tiếng nhờ cách tiếp cận chặt chẽ, logic và cân bằng giữa lý thuyết toán học nghiêm ngặt với các ví dụ thực tiễn phong phú, giúp người đọc hiểu sâu bản chất của suy luận thống kê hiện đại.

1.1. Bố cục và cấu trúc nội dung của cuốn sách

Cuốn sách được chia thành các chương chính, bắt đầu từ các khái niệm cơ bản về dữ liệu, mô hình và tham số. Chương 1 giới thiệu khung lý thuyết quyết định, bao gồm các thành phần như không gian mẫu, hành động, hàm mất mát và quy tắc quyết định. Chương 2 tập trung vào phương pháp ước lượng, giới thiệu kỹ thuật ước lượng tương phản tối thiểu và phương trình ước lượng. Chương 3 trình bày thước đo hiệu suất như độ lệch, phương sai và nguy cơ. Mỗi chương đều có phần bài tập và bổ sung mở rộng, tạo nền tảng vững chắc cho việc nghiên cứu sâu hơn về lý thuyết thống kê hiện đại.

1.2. Đối tượng người đọc và giá trị học thuật

Cuốn sách hướng đến đối tượng chính là sinh viên chương trình thạc sĩ và tiến sĩ ngành thống kê, toán học ứng dụng và các ngành khoa học liên quan. Giá trị học thuật của cuốn sách nằm ở cách tiếp cận lý thuyết quyết định thống nhất, giúp người học hiểu mối liên hệ giữa các phương pháp ước lượng khác nhau như ước lượng hợp lý cực đại, ước lượng bình phương tối thiểu và ước lượng Bayes. Ngoài ra, cuốn sách cung cấp nền tảng vững chắc cho việc đọc hiểu các bài báo khoa học trong lĩnh vực thống kê lý thuyết và ứng dụng thực tế trong nghiên cứu.

II. Các vấn đề cốt lõi trong thống kê toán học hiện đại

Thống kê toán học đối mặt với nhiều vấn đề cốt lõi mà cuốn sách của Bickel và Doksum giải quyết một cách hệ thống. Vấn đề đầu tiên là xây dựng mô hình thống kê phù hợp cho dữ liệu thực tế. Mô hình hồi quy, ví dụ, giả định rằng biến phản hồi Y phụ thuộc vào vector biến giải thích Z thông qua một hàm chưa biết và nhiễu ngẫu nhiên. Vấn đề thứ hai liên quan đến việc chọn phương pháp ước lượng tốt nhất khi có nhiều lựa chọn khả thi. Mỗi phương pháp có ưu nhược điểm riêng về tính không chệch, hiệu quả và tính kiên cố. Vấn đề thứ ba là đánh giá hiệu suất của quy tắc quyết định, đòi hỏi thước đo phù hợp như nguy cơ Bayes hoặc nguy cơ cực đại. Cuốn sách cũng đề cập đến giả định thường bị vi phạm trong thực tế, như tính độc lập của các quan sát và phân phối chuẩn của sai số. Việc hiểu rõ các vấn đề này giúp nhà nghiên cứu đưa ra quyết định thống kê chính xác và đáng tin cậy hơn trong phân tích dữ liệu thực tế.

2.1. Vấn đề xây dựng mô hình hồi quy thống kê

Mô hình hồi quy là công cụ quan trọng trong thống kê toán học, cho phép nghiên cứu mối quan hệ giữa biến phản hồi và biến giải thích. Trong cuốn sách, mô hình được xây dựng dưới dạng tổng quát với vector covariate Z có kích thước d và biến phản hồi Y. Giả định cơ bản là các quan sát độc lập và phân phối của Y_i phụ thuộc vào Z_i. Hàm kỳ vọng có điều kiện μ(z) là đối tượng nghiên cứu chính. Tuy nhiên, nhiều giả định như tuyến tính và tính đồng phương sai thường bị vi phạm trong thực tế, đòi hỏi các phương pháp mở rộng và kiểm tra phù hợp.

2.2. Vấn đề dự đoán và sai số dự báo trung bình

Dự đoán là một mục tiêu quan trọng trong thống kê toán học, được trình bày chi tiết trong cuốn sách. Bài toán đặt ra là tìm hàm g dựa trên biến ngẫu nhiên Z sao cho g(Z) gần với Y nhất. Thước đo truyền thống là sai số dự báo trung bình bậc hai MSPE, tính bằng kỳ vọng của bình phương hiệu giữa dự đoán và giá trị thực. Trong thực tế, ví dụ như dự đoán điểm trung bình nhập học dựa trên điểm thi chuẩn hóa, MSPE giúp đánh giá chất lượng mô hình dự báo. Việc tối thiểu hóa MSPE dẫn đến hàm dự báo điều kiện kỳ vọng tối ưu E(Y|Z).

III. Phương pháp ước lượng và thuật toán tính toán trong thống kê

Phương pháp ước lượng là trọng tâm của cuốn sách, được trình bày từ góc độ ước lượng tương phản tối thiểu. Phương pháp này khái quát hóa nhiều kỹ thuật ước lượng phổ biến như ước lượng hợp lý cực đại, ước lượng bình phương tối thiểu và ước lượng bình phương tối thiểu có trọng số. Người đọc được hướng dẫn xây dựng phương trình ước lượng và chứng minh tính chất của các ước lượng thu được. Đặc biệt, cuốn sách trình bày chi tiết ước lượng hợp lý cực đại trong họ hàm mũ đa tham số, một lớp mô hình rộng rãi bao gồm phân phối chuẩn, Poisson và nhị thức. Phần tính toán được đề cập thông qua các thuật toán số học như phương pháp chia đôi, thuật toán Newton-Raphson và thuật toán EM. Thuật toán EM đặc biệt quan trọng cho bài toán dữ liệu thiếu hoặc dữ liệu không đầy đủ. Các phương pháp này tạo thành bộ công cụ hoàn chỉnh cho nhà thống kê thực hành, đảm bảo khả năng áp dụng vào các bài toán phức tạp trong nghiên cứu khoa học và phân tích dữ liệu công nghiệp.

3.1. Ước lượng hợp lý cực đại và họ hàm mũ

Ước lượng hợp lý cực đại là phương pháp ước lượng được sử dụng rộng rãi nhất trong thống kê. Trong cuốn sách, phương pháp này được phát triển đặc biệt cho họ hàm mũ đa tham số, bao gồm các phân phối như chuẩn, Poisson, nhị thức và gamma. Ước lượng MLE có nhiều tính chất tốt như tính hợp nhất, tính không chệch tiệm cận và hiệu quả tiệm cận. Phương trình hợp lý được giải bằng thuật toán Newton-Raphson hoặc phương pháp chia đôi trong trường hợp một tham số. Cuốn sách cũng chứng minh các tính chất tối ưu của MLE dưới điều kiện đều đặn của mô hình thống kê.

3.2. Thuật toán EM và ứng dụng xử lý dữ liệu thiếu

Thuật toán EM là một đóng góp quan trọng trong tính toán thống kê, được giới thiệu trong cuốn sách như công cụ giải quyết bài toán dữ liệu thiếu hoặc không đầy đủ. Thu thuật toán hoạt động qua hai bước lặp lại: bước E tính giá trị kỳ vọng của log hợp lý dựa trên ước lượng hiện tại, và bước M tối hóa giá trị kỳ vọng này để cập nhật tham số. Thuật toán đảm bảo tăng hàm hợp lý sau mỗi bước lặp và hội tụ đến điểm tối ưu địa phương. Ứng dụng phổ biến bao gồm phân tích cụm Gaussian, mô hình hỗn hợp và ước lượng từ dữ liệu bị kiểm duyệt trong nghiên cứu sinh tồn.

IV. Kết luận và ứng dụng thực tiễn của thống kê toán học

Cuốn sách Mathematical Statistics: Basic Ideas and Selected Topics Volume I cung cấp nền tảng lý thuyết vững chắc cho thống kê toán học hiện đại. Từ khái niệm mô hình thống kê đến phương pháp ước lượng và thước đo hiệu suất, cuốn sách xây dựng một hệ thống kiến thức hoàn chỉnh và logic. Ứng dụng thực tiễn của các phương pháp này rất đa dạng, từ kinh tế lượng, sinh học thống kê đến khoa học máy tính và trí tuệ nhân tạo. Ví dụ, mô hình hồi quy được áp dụng rộng rãi trong dự báo kinh tế, phân tích dữ liệu lâm sàng và học máy. Phương pháp ước lượng hợp lý cực đại là nền tảng của nhiều mô hình thống kê và thuật toán học sâu. Cuốn sách cũng nhấn mạnh tầm quan trọng của việc hiểu điều kiện áp dụng và giới hạn của từng phương pháp. Đây là tài liệu quý giá cho bất kỳ ai muốn xây dựng nền tảng vững chắc trong lý thuyết thống kê và áp dụng vào nghiên cứu khoa học cũng như giải quyết bài toán thực tế trong thời đại dữ liệu lớn.

4.1. Ứng dụng trong kinh tế lượng và khoa học xã hội

Thống kê toán học có vai trò không thể thiếu trong kinh tế lượng và khoa học xã hội. Các mô hình hồi quy trình bày trong cuốn sách được sử dụng để phân tích mối quan hệ nhân quả, dự báo biến kinh tế và đánh giá chính sách công. Phương pháp ước lượng bình phương tối thiểu và hợp lý cực đại là công cụ tiêu chuẩn trong phân tích dữ liệu khảo sát, nghiên cứu thị trường và phân tích tài chính. Ngoài ra, lý thuyết quyết định giúp nhà kinh tế đưa ra lựa chọn tối ưu dưới điều kiện bất định, ứng dụng trong lý thuyết trò chơi và phân tích rủi ro đầu tư tài chính.

4.2. Vai trò trong khoa học dữ liệu và học máy hiện đại

Trong thời đại khoa học dữ liệu, nền tảng thống kê toán học từ cuốn sách của Bickel và Doksum ngày càng trở nên quan trọng. Lý thuyết ước lượng cung cấp cơ sở cho các thuật toán học máy như hồi quy logistic, mạng nơ-ron và mô hình xác suất Bayes. Thuật toán EM được áp dụng rộng rãi trong học không giám sát và phân tích cụm. Hiểu biết về tính chất thống kê như tính hợp nhất, hiệu quả và phân phối tiệm cận giúp đánh giá và cải thiện mô hình học máy. Cuốn sách là cầu nối quan trọng giữa lý thuyết thống kê truyền thống và ứng dụng trí tuệ nhân tạo hiện đại.

Trích đoạn nội dung tài liệu

Second Edition Mathematical Statistics Basic Ideas and Selected Topics Volume I Peter J. Bickel University of California Kjell A. Doksum University of California PRENTICE HALL Upper Saddle River, New Jersey 07458 Library of Congress Cataloging-in-Publication Data BickeL Peter J. Mathematical statistics: basic ideas and selected topics / Peter J.

Doksum-2 nd ed. Includes bibliographical references and index. Doksum, Kjell A, II.5-dc21 00-031377 Acquisition Editor: Kathleen Boothby Sestak Editor in Chief: Sally Yagan Assistant Vice President of Production and Manufacturing: David W, Riccardi Executive Managing Editor: Kathleen Schiaparelli Senior Managing Editor: Linda Mihatov Behrens Production Editor: Bob Walters Manufacturing Buyer: Alan Fischer Manufacturing Manager: Trudy Pisciotti Marketing Manager: Angela Battle Marketing Assistant: Vince Jansen Director of Marketing: John Tweeddale Editorial Assistant: Joanne Wendelken !, Art Director: Jayne Conte I Cover Design: Jayne Conte • @2001, 1977 by Prentice-Hall, Inc, Upper Saddle River, New Jersey 07458 i All rights reserved, No part of this book may be reproduced, in any form Or by any means, without permission in writing from the publisher. ,• i •, , Printed in the United States of America : i 10 9 8 7 6 5 4 3 2 1 1 ISBN: 0-13-850363-X , Prentice-Hall International (UK) Limited, London I • Prentice-Hall of Australia Pty.

Limited, Sydney Prentice-Hall of Canada Inc., Toronto Prentice-Hall Hispanoamericana, S., Mexico Prentice-Hall of India Private Limited, New Delhi Prentice-Hall of Japan, Inc., Tokyo Pearson Education Asia Pte. Editora Prentice-Hall do Brasil, Ltda., Rio de Janeiro To Erich L._ - - - - - - CONTENTS ••• PREFACE TO THE SECOND EDITION: VOLUME I XIII •• PREFACE TO THE FIRST EDITION XVII 1 STATISTICAL MODELS, GOALS, AND PERFORMANCE CRITERIA 1 1.1 Data, Models, Parameters, and Statistics 1 1.1 Data and Models 1 1.2 Parametrizations and Parameters 6 1.3 Statistics as Functions on the Sample Space 8 1.4 Examples, Regression Models 9 1.3 The Decision Theoretic Framework 16 1.1 Components of the Decision Theory Framework 17 1.2 Comparison of Decision Procedures 24 1.3 Bayes and Minimax Criteria 26 1.1 The One-Parameter Case 49 1.2 The Multiparameter Case 53 1.3 Building Exponential Families 56 1.4 Properties of Exponential Families 58 1.5 Conjugate Families of Prior Distributions 62 1.7 Problems and Complements 66 1. VIII CONTENTS 2 METHODS OF ESTIMATION 99 2.1 Basic Heuristics of Estimation 99 2.1 Minimum Contrast Estimates; Estimating Equations 99 2.2 The Plug-In and Extension Principles 102 2.2 Minimum Contrast Estimates and Estimating Equations 107 2.1 Least Squares and Weighted Least Squares 107 2.3 Maximum Likelihood in Multiparameter Exponential Families 121 * 2.1 The Method of Bisection 127 2.3 The Newton-Raphson Algorithm 132 2.4 The EM (ExpectationlMaximization) Algorithm 133 2.5 Problems and Complements 138 2.7 References 159 3 MEASURES OF PERFORMANCE 161 3.4 Unbiased Estimation and Risk Inequalities 176 3.1 Unbiased Estimation, Survey Sampling 176 3.2 The Information Inequality 179 * 3.5 Nondecision Theoretic Criteria 188 3.6 Problems and Complements 197 3.8 References 211 4 TESTING AND CONFIDENCE REGIONS 213 4.2 Choosing a Test Statistic: The Neyman-Pearson Lemma 223 4.3 Uniformly Most Powerful Tests and Monotone Likelihood Ratio Mddels 227 4.4 Confidence Bounds, Intervals, and Regions 233 • CONTENTS IX 4.5 The Duality Between Confidence Regions and Tests 241 *4.6 Uniformly Most Accurate Confidence Bounds 248 *4.7 Frequentist and Bayesian Formulations 251 4.9 Likelihood Ratio Procedures 255 4.2 Tests for the Mean of a Normal Distribution-Matched Pair Experiments 257 4.3 Tests and Confidence Intervals for the Difference in Means of Two Normal Populations 261 4.4 The Two-Sample Problem with Unequal Variances 264 4.5 Likelihood Ratio Procedures for Bivariate Normal Distributions 266 4.10 Problems and Complements 269 4.12 References 295 5 ASYMPTOTIC APPROXIMATIONS 297 5.1 Introduction: The Meaning and Uses of Asymptotics 297 5.1 Plug-In Estimates and MLEs in Exponential Family Models 301 5.2 Consistency of Minimum Contrast Estimates 304 5.3 First- and Higher-Order Asymptotics: The Delta Method with Applications 306 5.1 The Delta Method for Moments 306 5.2 The Delta Method for In Law Approximations 311 5.3 Asymptotic Normality of the Maximum Likelihood Estimate in Exponential Families 322 5.4 Asymptotic Theory in One Dimension 324 5.1 Estimation: The Multinomial Case 324 * 5.2 Asymptotic Normality of Minimum Contrast and M -Estimates 327 * 5.3 Asymptotic Normality and Efficiency of the MLE 331 * 5.5 Asymptotic Behavior and Optimality of the Posterior Distribution 337 - -.6 Problems and Complements 345 .8 References 363 x CONTENTS 6 INFERENCE IN THE MULTIPARAMETER CASE 365 6.1 Inference for Gaussian Linear Models 365 6.1 The Classical Gaussian Linear Model 366 6.3 Tests and Confidence Intervals 374 *6.2 Asymptotic Estimation Theory in p Dimensions 383 6.2 Asymptotic Normality and Efficiency of the MLE 386 6.3 The Posterior Distribution in the Multiparameter Case 391 *6.3 Large Sample Tests and Confidence Regions 392 6.1 Asymptotic Approximation to the Distribution of the Likelihood Ratio Statistic 392 6.2 Wald's and Rao's Large Sample Tests 398 *6.4 Large Sample Methods for Discrete Data 400 6.1 Goodness-of-Fit in a Multinomial Model.2 Goodness-of-Fit to Composite Multinomial Models.3 Logistic Regression for Binary Responses 408 *6.5 Generalized Linear Models 411 *6.6 Robustness Properties and Semiparametric Models 417 6.7 Problems and Complements 422 6.9 References 438 A A REVIEW OF BASIC PROBABILITY THEORY 441 Al The Basic Model 441 A2 Elementary Properties of Probability Models 443 A.3 Discrete Probability Models 443 A4 Conditional Probability and Independence 444 A5 Compound Experiments 446 A.6 Bernoulli and Multinomial Trials, Sampling With and Without Replacement 447 A7 Probabilities on Euclidean Space 448 A.8 Random Variables and Vectors: Transformations 451 A9 Independence of Random Variables and Vectors 453 AI0 The Expectation of a Random Variable 454 A.l2 Moment and Cumu1ant Generating Functions 459 • CONTENTS XI A.13 Some Classical Discrete and Continuous Distributions 460 A.14 Modes of Convergence of Random Variables and Limit Theorems 466 A.15 Further Limit Theorems and Inequalities 468 A.18 References 475 B ADDITIONAL TOPICS IN PROBABILITY AND ANALYSIS 477 B.I Conditioning by a Random Variable or Vector 477 B.1 The Discrete Case 477 B.2 Conditional Expectation for Discrete Variables 479 B.3 Properties of Conditional Expected Values 480 B.5 Comments on the General Case 484 B.2 Distribution Theory for Transformations of Random Vectors 485 B.1 The Basic Framework 485 B.2 The Gamma and Beta Distributions 488 B.3 Distribution Theory for Samples from a Normal Population 491 2 B.1 The X , F, and t Distributions 491 B.4 The Bivariate Normal Distribution 497 B.5 Moments of Random Vectors and Matrices 502 B.1 Basic Properties of Expectations 502 B.2 Properties of Variance 503 B.6 The Multivariate Normal Distribution 506 B.1 Definition and Density 506 B.7 Convergence for Random Vectors: Op and Op Notation 511 B.9 Convexity and Inequalities 518 B.1O Topics in Matrix Theory and Elementary Hilbert Space Theory 519 B.2 Order on Symmetric Matrices 520 B.3 Elementary Hilbert Space Theory 521 B.ll Problems and Complements 524 B.13 References 539 00 XII CONTENTS C TABLES 541 Table I The Standard Normal Distribution 542 Table I' Auxilliary Table of the Standard Normal Distribution 543 Table II t Distribution Critical Values 544 2 Table III X Distribution Critical Values 545 Table IV F Distribution Critical Values 546 INDEX 547 I I 1 • PREFACE TO THE SECOND EDITION: VOLUME I In the twenty-three years that have passed since the first edition of our book appeared statistics has changed enormously under the impact of several forces: (1) The generation of what were once unusual types of data such as images, trees (phy- logenetic and other), and other types of combinatorial objects. (2) The generation of enormous amounts of data-terrabytes (the equivalent of 10 12 characters) for an astronomical survey over three years.

(3) The possibility of implementing computations of a magnitude that would have once been unthinkable. The underlying sources of these changes have been the exponential change in com- puting speed (Moore's "law") and the development of devices (computer controlled) using novel instruments and scientific techniques (e., NMR tomography, gene sequencing). These techniques often have a strong intrinsic computational component. Tomographic data are the result of mathematically based processing.

Sequencing is done by applying computational algorithms to raw gel electrophoresis data. As a consequence the emphasis of statistical theory has shifted away from the small sample optimality results that were a major theme of our book in a number of directions: (I) Methods for inference based on larger numbers of observations and minimal assumptions-asymptotic methods in non- and semiparametric models, models with "infinite" number of parameters. (2) The construction of models for time series, temporal spatial series, and other com- plex data structures using sophisticated probability mOdeling but again relying for analytical results on asymptotic approximation. Multipararneter models are the rule.

(3) The use of methods of inference involving simulation as a key element such as the bootstrap and Markov Chain Monte Carlo. XIII • XIV Preface to the Second Edition: Volume I (4) The development of techniques not describable in "closed mathematical form" but rather through elaborate algorithms for which problems of existence of solutions are important and far from obvious. (5) The study of the interplay between numerical and statistical considerations. Despite advances in computing speed, some methods run quickly in real time.

Others do not and some though theoretically attractive cannot be implemented in a human lifetime. (6) The study of the interplay between the number of observations and the number of parameters of a model and the beginnings of appropriate asymptotic theories. There have, of course, been other important consequences such as the extensive devel- opment of graphical and other exploratory methods for which theoretical development and connection with mathematics have been minimal. These will not be dealt with in our work.

As a consequence our second edition, reflecting what we now teach our graduate stu- dents, is much changed from the first. Our one long book has grown to two volumes, each to be only a little shorter than the first edition. Volume I, which we present in 2000, covers material we now view as important for all beginning graduate students in statistics and science and engineering graduate students whose research will involve statistics intrinsically rather than as an aid in drawing conclu- • SlOns. In this edition we pursue our philosophy of describing the basic concepts of mathemat- ical statistics relating theory to practice.

However, our focus and order of presentation have changed. Volume I covers the material of Chapters 1--6 and Chapter 10 of the first edition with pieces of Chapters 7-10 and includes Appendix A on basic probability theory. However, ! Chapter I now has become part of a larger Appendix B, which includes more advanced topics from probability theory such as the multivariate Gaussian distribution, weak con- vergence in Euclidean spaces, and probability inequalities as well as more advanced topics i in matrix theory and analysis. The latter include the principal axis and spectral theorems d for Euclidean space and the elementary theory of convex functions on R as well as an elementary introduction to Hilbert space theory.

As in the first edition, we do not require measure theory but assume from the start that our models are what we call "regular." That I 1 is, we assume either a discrete probability whose support does not depend on the parameter set, or the absolutely continuous case with a density. Hilbert space theory is not needed, but for those who know this topic Appendix B points out interesting connections to prediction and linear regression analysis. Appendix B is as self-contained as possible with proofs of most statements, problems, and references to the literature for proofs of the deepest results such as the spectral theorem. The reason for these additions are the changes in subject matter necessitated by the current areas of importance in the field.

Specifically, instead of beginning with parametrized models we include from the start non- and semiparametric models, then go to parameters and parametric models stressing the role of identifiability. From the beginning we stress function-valued parameters, such as the density, and function-valued statistics, such as the empirical distribution function.