A Modern Introduction to Probability and Statistics by F.M. Dekking et al. - Delft University

Khám phá xác suất và thống kê với góc nhìn hiện đại, dễ tiếp cận. Bài viết cung cấp kiến thức nền tảng cùng các ứng dụng thực tiễn đa dạng, giúp nắm bắt hiệu

• Tác giả: Frederik Michel Dekking
• Trường học: Delft University of Technology
• Chuyên ngành: Probability and Statistics
• Đề tài: A Modern Introduction to Probability and Statistics Understanding Why and How
• Loại tài liệu: Textbook
• Năm xuất bản: 2005
• Địa điểm: London

Tóm tắt

I. Tại sao Học Xác suất Thống kê Hiện đại Khai phá Sức mạnh Dữ liệu

Trong kỷ nguyên số, xác suất thống kê hiện đại không chỉ là một nhánh của toán học mà còn là công cụ thiết yếu để hiểu thế giới phức tạp. Từ dự đoán thị trường chứng khoán đến tối ưu hóa quy trình sản xuất, khả năng phân tích sự không chắc chắn và đưa ra quyết định dựa trên dữ liệu trở nên vô cùng quan trọng. Mục tiêu của bài viết này là cung cấp một cái nhìn tổng quan toàn diện, giới thiệu những khái niệm cốt lõi và ứng dụng thực tiễn của xác suất thống kê trong nhiều lĩnh vực. Một triết lý trọng tâm là lý giải cách thức và lý do các phương pháp ngẫu nhiên hoạt động, thay vì chỉ trình bày chúng như những công thức khô khan. Sự thấu hiểu này giúp người đọc không chỉ áp dụng mà còn đánh giá được chất lượng của các tuyên bố thống kê khi đối mặt với những vấn đề thực tế.

1.1. Tầm quan trọng của Xác suất Thống kê trong Khoa học Dữ liệu và AI

Sự bùng nổ của dữ liệu lớn và trí tuệ nhân tạo (AI) đã đặt xác suất thống kê hiện đại vào vị trí trung tâm của khoa học dữ liệu. Khả năng trích xuất thông tin có giá trị từ khối lượng dữ liệu khổng lồ, xây dựng các mô hình dự đoán chính xác và đánh giá rủi ro đều phụ thuộc vào nền tảng vững chắc của lý thuyết này. Các thuật toán học máy, từ hồi quy tuyến tính đến mạng nơ-ron phức tạp, đều dựa trên các nguyên lý suy luận thống kê và lý thuyết xác suất cơ bản. Việc nắm vững các khái niệm như phân phối xác suất, ước lượng tham số và kiểm định giả thuyết là yếu tố then chốt để phát triển các hệ thống thông minh, có khả năng học hỏi và thích nghi trong môi trường không chắc chắn. Từ việc dự báo hành vi khách hàng đến nhận dạng hình ảnh, vai trò của xác suất thống kê là không thể phủ nhận.

1.2. Thách thức khi Tiếp cận và Phương pháp Học hiệu quả Xác suất Thống kê

Nhiều người học thường gặp thách thức khi tiếp cận xác suất thống kê hiện đại do tính chất trừu tượng của nó. Việc chỉ học thuộc công thức mà không hiểu nguyên lý đằng sau thường dẫn đến khó khăn trong việc áp dụng vào thực tế. Một phương pháp học xác suất thống kê hiệu quả cần tập trung vào việc xây dựng nền tảng vững chắc về các khái niệm cơ bản, sau đó liên hệ chúng với các ứng dụng thực tiễn. Hiểu rõ vì sao một phương pháp hoạt động, chẳng hạn như định luật số lớn hay quá trình Poisson, sẽ giúp củng cố kiến thức và khả năng giải quyết vấn đề. Việc thực hành với các bài toán thực tế, sử dụng các công cụ lập trình để phân tích dữ liệu và mô phỏng ngẫu nhiên cũng là một bí quyết để biến lý thuyết thành kỹ năng thực tiễn, làm cho môn học trở nên sống động và dễ tiếp thu hơn.

II. Khám phá Nền tảng Lý thuyết Xác suất Bí quyết Hiểu Rõ Sự Không Chắc Chắn

Để thực sự làm chủ xác suất thống kê hiện đại, việc nắm vững lý thuyết xác suất cơ bản là điều kiện tiên quyết. Lý thuyết này cung cấp một khuôn khổ toán học để định lượng sự không chắc chắn và mô tả các kết quả có thể xảy ra của một sự kiện ngẫu nhiên. Nó không chỉ là tập hợp các công thức mà là một ngôn ngữ để diễn tả và phân tích các hiện tượng ngẫu nhiên, từ đó đưa ra quyết định dựa trên dữ liệu một cách có căn cứ. Từ các phép thử đơn giản đến các mô hình phức tạp, khả năng diễn giải và áp dụng các khái niệm này là chìa khóa để khai thác sức mạnh của xác suất thống kê trong mọi lĩnh vực.

2.1. Định nghĩa Cơ bản Không gian Mẫu Biến Cố và Hàm Xác suất

Trong lý thuyết xác suất cơ bản, mọi phân tích bắt đầu với không gian mẫu (Ω), tập hợp tất cả các kết quả có thể xảy ra của một thí nghiệm ngẫu nhiên. Biến cố là một tập con của không gian mẫu, đại diện cho một kết quả hoặc một nhóm kết quả cụ thể. Để định lượng khả năng xảy ra của một biến cố, một hàm xác suất P được gán cho mỗi biến cố A trong Ω. Hàm này phải thỏa mãn hai tính chất cơ bản: (i) P(Ω) = 1, nghĩa là tổng xác suất của tất cả các kết quả có thể là 1; và (ii) P(A ∪ B) = P(A) + P(B) nếu A và B là các biến cố rời nhau. "Số P(A) được gọi là xác suất để biến cố A xảy ra." (Dekking, et al., 2005). Những nguyên lý này tạo nên nền tảng cho việc mô hình hóa ngẫu nhiên và phân tích sự kiện.

2.2. Các Định luật và Công thức Nâng cao Mở rộng Hiểu biết về Xác suất Thống kê

Ngoài các định nghĩa cơ bản, xác suất thống kê hiện đại còn bao gồm nhiều định luật và công thức nâng cao giúp giải quyết các bài toán phức tạp hơn. Định luật De Morgan (A ∪ B)ᶜ = Aᶜ ∩ Bᶜ và (A ∩ B)ᶜ = Aᶜ ∪ Bᶜ cung cấp cách thức thao tác với các biến cố, cho phép đơn giản hóa các biểu thức xác suất. Khái niệm biến cố độc lập là nền tảng cho việc tính toán xác suất của nhiều sự kiện xảy ra đồng thời. Định luật xác suất toàn phần và định lý Bayes là những công cụ mạnh mẽ để cập nhật xác suất dựa trên thông tin mới, cực kỳ quan trọng trong suy luận thống kê và phân tích dữ liệu. Việc hiểu và áp dụng thành thạo các định luật này giúp nâng cao khả năng phân tích định lượng và đưa ra các dự đoán chính xác hơn trong các tình huống không chắc chắn.

III. Phương pháp Suy luận Thống kê Cách Đưa ra Quyết định từ Dữ liệu

Suy luận thống kê là một trụ cột của xác suất thống kê hiện đại, cho phép rút ra kết luận về một quần thể lớn dựa trên dữ liệu từ một mẫu nhỏ. Đây là quá trình quan trọng trong việc biến dữ liệu thô thành những thông tin hữu ích, hỗ trợ quyết định dựa trên dữ liệu trong nhiều lĩnh vực. Mục tiêu chính là ước lượng các đặc tính của quần thể (tham số) và kiểm định các giả thuyết về quần thể đó. Các phương pháp này đòi hỏi sự hiểu biết sâu sắc về phân phối xác suất và các nguyên tắc lấy mẫu. Bằng cách áp dụng kiểm định giả thuyết và ước lượng khoảng tin cậy, các nhà nghiên cứu và phân tích có thể đưa ra các tuyên bố có căn cứ, định lượng mức độ không chắc chắn liên quan đến những kết luận đó.

3.1. Ước lượng Tham số và Khoảng tin cậy Đo lường Sự Không Chắc Chắn

Trong suy luận thống kê, ước lượng tham số là quá trình sử dụng dữ liệu mẫu để đưa ra dự đoán về giá trị của một tham số quần thể (ví dụ: giá trị trung bình, tỷ lệ). Có hai loại ước lượng chính: ước lượng điểm (một giá trị duy nhất) và ước lượng khoảng (một khoảng giá trị). Khoảng tin cậy cung cấp một ước lượng khoảng kèm theo mức độ tự tin rằng khoảng đó chứa tham số quần thể thực sự. Ví dụ, một khoảng tin cậy 95% cho giá trị trung bình có nghĩa là nếu thực hiện quy trình lấy mẫu và ước lượng nhiều lần, 95% các khoảng được xây dựng sẽ chứa giá trị trung bình thực sự của quần thể. Khái niệm này là công cụ thiết yếu để định lượng mức độ không chắc chắn của các ước tính và hỗ trợ quyết định dựa trên dữ liệu vững chắc hơn.

3.2. Kiểm định Giả thuyết Xác nhận và Bác bỏ Những Tuyên bố Quan trọng

Kiểm định giả thuyết là một phương pháp cốt lõi trong xác suất thống kê hiện đại để đánh giá tính đúng đắn của một tuyên bố về quần thể. Quá trình này bắt đầu bằng việc thiết lập một giả thuyết không (H₀) và một giả thuyết thay thế (H₁). Sau đó, dựa trên dữ liệu mẫu, một giá trị thống kê kiểm định được tính toán và so sánh với phân phối của nó. Nếu giá trị p (p-value) nhỏ hơn một ngưỡng đã định (mức ý nghĩa α), giả thuyết không bị bác bỏ, cho thấy bằng chứng đáng kể ủng hộ giả thuyết thay thế. Đây là công cụ không thể thiếu trong nghiên cứu khoa học, y học, kinh tế để xác nhận hiệu quả của một phương pháp điều trị, sự khác biệt giữa các nhóm, hoặc tính hợp lệ của một mô hình, góp phần vào việc đưa ra quyết định dựa trên dữ liệu khách quan.

IV. Ứng dụng Thực tiễn của Xác suất Thống kê Hiện đại Tối ưu Hóa Quyết định trong Mọi Lĩnh vực

Sức mạnh thực sự của xác suất thống kê hiện đại nằm ở khả năng ứng dụng rộng rãi của nó để giải quyết các vấn đề thực tế trong vô số lĩnh vực. Từ tài chính đến y tế, từ kỹ thuật đến khoa học xã hội, các nguyên lý và phương pháp thống kê giúp các tổ chức và cá nhân đưa ra những quyết định dựa trên dữ liệu tốt hơn, tối ưu hóa quy trình và dự đoán tương lai. Việc hiểu rõ ứng dụng thực tiễn của xác suất và thống kê không chỉ làm cho môn học trở nên thú vị hơn mà còn mở ra những cơ hội nghề nghiệp trong kỷ nguyên phân tích dữ liệu lớn và học máy. Khả năng chuyển đổi các mô hình lý thuyết thành giải pháp cụ thể cho thấy tầm quan trọng không thể thiếu của lĩnh vực này trong thế giới ngày nay.

4.1. Vai trò của Xác suất Thống kê trong Tài chính Y tế và Kỹ thuật

Trong tài chính, xác suất thống kê hiện đại được sử dụng để định giá rủi ro, dự đoán biến động thị trường và phát triển các mô hình định giá tài sản phức tạp. Ngân hàng sử dụng chúng để đánh giá khả năng vỡ nợ của khách hàng, trong khi các quỹ đầu tư dùng để tối ưu hóa danh mục. Trong y tế, phân tích dữ liệu thống kê là trọng tâm của các thử nghiệm lâm sàng, giúp đánh giá hiệu quả của thuốc và phương pháp điều trị mới, cũng như dự báo sự lây lan của dịch bệnh. Trong kỹ thuật, mô hình hóa ngẫu nhiên giúp kiểm soát chất lượng sản phẩm, tối ưu hóa quy trình sản xuất và đánh giá độ tin cậy của hệ thống. Những ứng dụng thực tiễn này minh chứng cho sự linh hoạt và tầm ảnh hưởng sâu rộng của lĩnh vực này trong việc tạo ra giá trị cụ thể.

4.2. Xác suất Thống kê và Học máy Cầu nối tới Trí tuệ Nhân tạo

Sự hội tụ của xác suất thống kê hiện đại và học máy đã tạo ra một cuộc cách mạng trong lĩnh vực trí tuệ nhân tạo. Nhiều thuật toán học máy, đặc biệt là trong phân tích dữ liệu lớn, có gốc rễ sâu xa từ lý thuyết xác suất cơ bản và suy luận thống kê. Ví dụ, hồi quy logistic, máy véc tơ hỗ trợ (SVM), mạng Bayes và các mô hình Markov ẩn đều dựa trên các nguyên tắc xác suất. Thống kê cung cấp các công cụ để đánh giá hiệu suất của mô hình, chọn lọc tính năng, và xử lý dữ liệu thiếu hoặc nhiễu. Sự kết hợp này không chỉ nâng cao khả năng dự đoán mà còn tăng cường khả năng giải thích và độ tin cậy của các hệ thống AI, mở ra kỷ nguyên mới của khoa học dữ liệu và mô hình hóa ngẫu nhiên thông minh hơn.

V. Tương lai của Xác suất Thống kê Tiếp cận Hiện đại và Những Lĩnh vực Mới

Tương lai của xác suất thống kê hiện đại hứa hẹn nhiều đột phá, đặc biệt khi kết hợp với công nghệ mới và các lĩnh vực khoa học khác. Sự phát triển của phân tích dữ liệu lớn và khả năng tính toán mạnh mẽ đã mở ra cánh cửa cho việc khám phá các mô hình thống kê phức tạp hơn và ứng dụng chúng vào những vấn đề chưa từng có. Từ việc nghiên cứu mô hình hóa ngẫu nhiên trong sinh học đến phân tích hành vi người dùng trên mạng xã hội, vai trò của xác suất thống kê sẽ tiếp tục được mở rộng và làm sâu sắc hơn. Việc duy trì một triết lý học tập dựa trên sự hiểu biết lý do và cách thức là chìa khóa để khai thác những tiềm năng này, đảm bảo rằng lĩnh vực này vẫn là một công cụ không thể thiếu cho sự đổi mới và khám phá trong tương lai.

5.1. Mô phỏng Ngẫu nhiên và Phương pháp Monte Carlo Công cụ Giải quyết Vấn đề Phức tạp

Mô phỏng ngẫu nhiên và phương pháp Monte Carlo đang trở thành những công cụ không thể thiếu trong xác suất thống kê hiện đại, đặc biệt khi các mô hình phân tích trở nên quá phức tạp. Thay vì tìm kiếm các giải pháp giải tích chính xác, các phương pháp này sử dụng các mẫu ngẫu nhiên được tạo ra để ước tính các đặc tính của một hệ thống. Điều này cho phép giải quyết các bài toán về tích phân đa chiều, tối ưu hóa, và mô hình hóa ngẫu nhiên trong các lĩnh vực như vật lý, tài chính, và kỹ thuật mà các phương pháp truyền thống khó thực hiện. Khả năng mô phỏng hàng triệu kịch bản giúp định lượng rủi ro và dự đoán kết quả với độ chính xác cao, đồng thời làm sáng tỏ các tương tác phức tạp trong các hệ thống động lực.

5.2. Sự Giao thoa với Thống kê Bayes và Học sâu Hướng đi Mới cho Xác suất Thống kê

Sự giao thoa của xác suất thống kê hiện đại với thống kê Bayes và học sâu đang mở ra những hướng đi mới đầy hứa hẹn. Thống kê Bayes cung cấp một khuôn khổ để cập nhật niềm tin về các tham số mô hình khi có dữ liệu mới, điều này đặc biệt phù hợp với các ứng dụng học máy yêu cầu sự linh hoạt và khả năng học hỏi liên tục. Trong khi đó, học sâu, một nhánh của AI, đang tích hợp các nguyên lý xác suất để xây dựng các mô hình có khả năng xử lý dữ liệu phi cấu trúc như hình ảnh và ngôn ngữ tự nhiên. Sự kết hợp này không chỉ cải thiện hiệu suất của các mô hình mà còn mang lại khả năng định lượng sự không chắc chắn trong các dự đoán của AI, tạo ra các hệ thống thông minh hơn, minh bạch hơn và đáng tin cậy hơn, thúc đẩy tiến bộ trong phân tích dữ liệu lớn.

Trích đoạn nội dung tài liệu

Meester A Modern Introduction to Probability and Statistics Understanding Why and How With 120 Figures Frederik Michel Dekking Cornelis Kraaikamp Hendrik Paul Lopuhaä Ludolf Erwin Meester Delft Institute of Applied Mathematics Delft University of Technology Mekelweg 4 2628 CD Delft The Netherlands Whilst we have made considerable efforts to contact all holders of copyright material contained in this book, we may have failed to locate some of them. Should holders wish to contact the Publisher, we will be happy to come to some arrangement with them. British Library Cataloguing in Publication Data A modern introduction to probability and statistics.2 ISBN 1852338962 Library of Congress Cataloging-in-Publication Data A modern introduction to probability and statistics : understanding why and how / F. — (Springer texts in statistics) Includes bibliographical references and index.

Mathematical statistics—Textbooks.2—dc22 2004057700 Apart from any fair dealing for the purposes of research or private study, or criticism or review, as permitted under the Copyright, Designs and Patents Act 1988, this publication may only be reproduced, stored or transmitted, in any form or by any means, with the prior permission in writing of the publish- ers, or in the case of reprographic reproduction in accordance with the terms of licences issued by the Copyright Licensing Agency. Enquiries concerning reproduction outside those terms should be sent to the publishers. ISBN-10: 1-85233-896-2 ISBN-13: 978-1-85233-896-1 Springer Science+Business Media springeronline.com © Springer-Verlag London Limited 2005 The use of registered names, trademarks, etc. in this publication does not imply, even in the absence of a specific statement, that such names are exempt from the relevant laws and regulations and therefore free for general use.

The publisher makes no representation, express or implied, with regard to the accuracy of the informa- tion contained in this book and cannot accept any legal responsibility or liability for any errors or omissions that may be made. Printed in the United States of America 12/3830/543210 Printed on acid-free paper SPIN 10943403 Preface Probability and statistics are fascinating subjects on the interface between mathematics and applied sciences that help us understand and solve practical problems. We believe that you, by learning how stochastic methods come about and why they work, will be able to understand the meaning of statistical statements as well as judge the quality of their content, when facing such problems on your own. Our philosophy is one of how and why: instead of just presenting stochastic methods as cookbook recipes, we prefer to explain the principles behind them.

In this book you will find the basics of probability theory and statistics. In addition, there are several topics that go somewhat beyond the basics but that ought to be present in an introductory course: simulation, the Poisson process, the law of large numbers, and the central limit theorem. Computers have brought many changes in statistics. In particular, the bootstrap has earned its place.

It provides the possibility to derive confidence intervals and perform tests of hypotheses where traditional (normal approximation or large sample) methods are inappropriate. It is a modern useful tool one should learn about, we believe. Examples and datasets in this book are mostly from real-life situations, at least that is what we looked for in illustrations of the material. Anybody who has inspected datasets with the purpose of using them as elementary examples knows that this is hard: on the one hand, you do not want to boldly state assumptions that are clearly not satisfied; on the other hand, long explanations concerning side issues distract from the main points.

We hope that we found a good middle way. A first course in calculus is needed as a prerequisite for this book. In addition to high-school algebra, some infinite series are used (exponential, geometric). Integration and differentiation are the most important skills, mainly concern- ing one variable (the exceptions, two dimensional integrals, are encountered in Chapters 9–11).

Although the mathematics is kept to a minimum, we strived VI Preface to be mathematically correct throughout the book. With respect to probabil- ity and statistics the book is self-contained. The book is aimed at undergraduate engineering students, and students from more business-oriented studies (who may gloss over some of the more mathe- matically oriented parts). At our own university we also use it for students in applied mathematics (where we put a little more emphasis on the math and add topics like combinatorics, conditional expectations, and generating func- tions).

It is designed for a one-semester course: on average two hours in class per chapter, the first for a lecture, the second doing exercises. The material is also well-suited for self-study, as we know from experience. We have divided attention about evenly between probability and statistics. The very first chapter is a sampler with differently flavored introductory ex- amples, ranging from scientific success stories to a controversial puzzle.

Topics that follow are elementary probability theory, simulation, joint distributions, the law of large numbers, the central limit theorem, statistical modeling (in- formal: why and how we can draw inference from data), data analysis, the bootstrap, estimation, simple linear regression, confidence intervals, and hy- pothesis testing. Instead of a few chapters with a long list of discrete and continuous distributions, with an enumeration of the important attributes of each, we introduce a few distributions when presenting the concepts and the others where they arise (more) naturally. A list of distributions and their characteristics is found in Appendix A. With the exception of the first one, chapters in this book consist of three main parts.

First, about four sections discussing new material, interspersed with a handful of so-called Quick exercises. Working these—two-or-three-minute— exercises should help to master the material and provide a break from reading to do something more active. On about two dozen occasions you will find indented paragraphs labeled Remark, where we felt the need to discuss more mathematical details or background material. These remarks can be skipped without loss of continuity; in most cases they require a bit more mathematical maturity.

Whenever persons are introduced in examples we have determined their sex by looking at the chapter number and applying the rule “He is odd, she is even.” Solutions to the quick exercises are found in the second to last section of each chapter. The last section of each chapter is devoted to exercises, on average thirteen per chapter. For about half of the exercises, answers are given in Appendix C, and for half of these, full solutions in Appendix D. Exercises with both a short answer and a full solution are marked with
and those with only a short answer are marked with  (when more appropriate, for example, in “Show that.

” exercises, the short answer provides a hint to the key step). Typically, the section starts with some easy exercises and the order of the material in the chapter is more or less respected. More challenging exercises are found at the end. Preface VII Much of the material in this book would benefit from illustration with a computer using statistical software.

A complete course should also involve computer exercises. Topics like simulation, the law of large numbers, the central limit theorem, and the bootstrap loudly call for this kind of experi- ence. For this purpose, all the datasets discussed in the book are available at http://www. The same Web site also pro- vides access, for instructors, to a complete set of solutions to the exercises; go to the Springer online catalog or contact [e-mail] to apply for your password.

Delft, The Netherlands F. Meester Contents 1 Why probability and statistics? .1 Biometry: iris recognition .3 Cars and goats: the Monty Hall dilemma .4 The space shuttle Challenger .5 Statistics versus intelligence agencies .6 The speed of light. 9 2 Outcomes, events, and probability .4 Products of sample spaces .5 An infinite sample space .6 Solutions to the quick exercises. 21 3 Conditional probability and independence .2 The multiplication rule .3 The law of total probability and Bayes’ rule .5 Solutions to the quick exercises.

37 X Contents 4 Discrete random variables .2 The probability distribution of a discrete random variable .3 The Bernoulli and binomial distributions .4 The geometric distribution .5 Solutions to the quick exercises. 51 5 Continuous random variables .1 Probability density functions .2 The uniform distribution .3 The exponential distribution .4 The Pareto distribution .5 The normal distribution .7 Solutions to the quick exercises .1 What is simulation? .2 Generating realizations of random variables .3 Comparing two jury rules .4 The single-server queue .5 Solutions to the quick exercises. 85 7 Expectation and variance .3 The change-of-variable formula .5 Solutions to the quick exercises. 99 8 Computations with random variables .1 Transforming discrete random variables .2 Transforming continuous random variables .5 Solutions to the quick exercises.

111 9 Joint distributions and independence .1 Joint distributions of discrete random variables .2 Joint distributions of continuous random variables .3 More than two random variables .4 Independent random variables .5 Propagation of independence .6 Solutions to the quick exercises. 127 10 Covariance and correlation .1 Expectation and joint distributions .3 The correlation coefficient .4 Solutions to the quick exercises. 144 11 More computations with more random variables .1 Sums of discrete random variables .2 Sums of continuous random variables .3 Product and quotient of two random variables .4 Solutions to the quick exercises. 163 12 The Poisson process .2 Taking a closer look at random arrivals .3 The one-dimensional Poisson process .4 Higher-dimensional Poisson processes .5 Solutions to the quick exercises.

176 13 The law of large numbers .1 Averages vary less .3 The law of large numbers .4 Consequences of the law of large numbers .5 Solutions to the quick exercises. 191 14 The central limit theorem .2 Applications of the central limit theorem .3 Solutions to the quick exercises. 203 15 Exploratory data analysis: graphical summaries .1 Example: the Old Faithful data .3 Kernel density estimates .4 The empirical distribution function .6 Solutions to the quick exercises. 226 16 Exploratory data analysis: numerical summaries .1 The center of a dataset .2 The amount of variability of a dataset .3 Empirical quantiles, quartiles, and the IQR .4 The box-and-whisker plot .5 Solutions to the quick exercises.

240 17 Basic statistical models .1 Random samples and statistical models .2 Distribution features and sample statistics .3 Estimating features of the “true” distribution .4 The linear regression model .5 Solutions to the quick exercises. 259 Contents XIII 18 The bootstrap .1 The bootstrap principle .2 The empirical bootstrap .3 The parametric bootstrap .4 Solutions to the quick exercises .2 Investigating the behavior of an estimator .3 The sampling distribution and unbiasedness .4 Unbiased estimators for expectation and variance .5 Solutions to the quick exercises. 294 20 Efficiency and mean squared error .1 Estimating the number of German tanks .2 Variance of an estimator .3 Mean squared error .4 Solutions to the quick exercises .1 Why a general principle? .2 The maximum likelihood principle .3 Likelihood and loglikelihood .4 Properties of maximum likelihood estimators .5 Solutions to the quick exercises. 323 22 The method of least squares .1 Least squares estimation and regression .3 Relation with maximum likelihood .4 Solutions to the quick exercises.

337 XIV Contents 23 Confidence intervals for the mean .3 Bootstrap confidence intervals .5 Solutions to the quick exercises. 356 24 More on confidence intervals .1 The probability of success .2 Is there a general method? .3 One-sided confidence intervals .4 Determining the sample size .5 Solutions to the quick exercises. 369 25 Testing hypotheses: essentials .1 Null hypothesis and test statistic .3 Type I and type II errors .4 Solutions to the quick exercises. 380 26 Testing hypotheses: elaboration .1 Significance level .2 Critical region and critical values .3 Type II error .4 Relation with confidence intervals .5 Solutions to the quick exercises .1 Monitoring the production of ball bearings .2 The one-sample t-test .