Statistical mechanics entropy order parameters and complexity

Khám phá cơ học thống kê, entropy, tham số trật tự và độ phức tạp. Tìm hiểu mối liên hệ giữa chúng và ứng dụng trong nhiều lĩnh vực khoa học.

• Tác giả: James P. Sethna
• Trường học: Cornell University
• Chuyên ngành: Physics
• Đề tài: Statistical Mechanics: Entropy, Order Parameters and Complexity
• Loại tài liệu: book
• Năm xuất bản: 2005
• Địa điểm: Ithaca

Tóm tắt

I. Khám Phá Cơ Học Thống Kê Từ Entropy Đến Hệ Phức Hợp

Cơ học thống kê là nền tảng giải thích hành vi đơn giản của các hệ phức tạp. Thay vì phân tích từng thành phần riêng lẻ—một nhiệm vụ bất khả thi—lĩnh vực này nghiên cứu tập hợp lớn các hệ (ensembles) để rút ra các quy luật vĩ mô. Các khái niệm trung tâm như entropy, các pha vật chất, và hành vi trồi lên không chỉ giới hạn trong vật lý mà còn thâm nhập vào sinh học, khoa học máy tính và toán học. Nguyên lý sâu sắc của cơ học thống kê là việc hiểu được hành vi trung bình của một tập hợp thường dễ dàng hơn nhiều so với việc dự đoán quỹ đạo của một hệ đơn lẻ. Phương pháp này cho phép chúng ta suy ra các định luật mới, như phương trình khuếch tán từ các bước đi ngẫu nhiên, vốn chỉ trở nên chính xác ở quy mô lớn. Bài viết này sẽ phân tích các trụ cột chính: entropy như một thước đo của sự mất trật tự, tham số trật tự để mô tả các pha, và các công cụ để hiểu sự phức tạp trong tự nhiên.

1.1. Hiểu về trạng thái vi mô và trạng thái vĩ mô

Nền tảng của vật lý thống kê nằm ở việc kết nối thế giới vi mô của các hạt riêng lẻ với thế giới vĩ mô mà chúng ta quan sát được. Một trạng thái vi mô (microstate) là một cấu hình cụ thể của hệ, được xác định bởi vị trí và động lượng của mọi hạt. Ngược lại, một trạng thái vĩ mô (macrostate) được mô tả bởi các thuộc tính có thể đo lường được như nhiệt độ, áp suất và thể tích. Thách thức cốt lõi là có vô số trạng thái vi mô tương ứng với một trạng thái vĩ mô duy nhất. Ví dụ, các phân tử khí trong một căn phòng có thể được sắp xếp theo vô số cách (vi mô) nhưng vẫn tạo ra cùng một giá trị áp suất và nhiệt độ (vĩ mô). Cơ học thống kê sử dụng các công cụ xác suất để tính toán các thuộc tính vĩ mô bằng cách lấy trung bình trên tất cả các trạng thái vi mô tương thích. Khái niệm then chốt là giả định rằng tất cả các trạng thái vi mô có cùng năng lượng đều có xác suất xuất hiện như nhau trong trạng thái cân bằng.

1.2. Mục tiêu chính Giải thích hành vi trồi lên

Một trong những mục tiêu hấp dẫn nhất của cơ học thống kê là giải thích hành vi trồi (emergent behavior). Đây là những thuộc tính và quy luật mới xuất hiện ở cấp độ vĩ mô mà không thể suy ra một cách trực tiếp từ các quy luật chi phối các thành phần vi mô. Ví dụ, các pha của vật chất như rắn, lỏng, khí là các đặc tính trồi lên của nhiều phân tử tương tác. Tính lưu của chất lỏng hay độ cứng của chất rắn không phải là thuộc tính của một phân tử nước hay nguyên tử sắt riêng lẻ. Tương tự, các hiện tượng tới hạn (critical phenomena) tại điểm chuyển pha thể hiện các quy luật lũy thừa (power laws) và tính phổ quát (universality) không phụ thuộc vào chi tiết vi mô của hệ. Những hành vi này chỉ có thể được hiểu thông qua việc phân tích thống kê tập thể của một số lượng lớn các thành phần, cho thấy sức mạnh của cơ học thống kê trong việc xây dựng cầu nối giữa các quy mô khác nhau trong tự nhiên.

II. Giải Mã Entropy Thách Thức Đo Lường Mất Trật Tự Và Thông Tin

Entropy là một trong những khái niệm có ảnh hưởng sâu rộng nhất bắt nguồn từ cơ học thống kê. Ban đầu được hiểu là một thuộc tính nhiệt động lực học chỉ có thể tăng lên, entropy đã phát triển thành một thước đo cơ bản của sự mất trật tự, sự thiếu thông tin, và thậm chí là độ phức tạp. Entropy không phải là thuộc tính của một trạng thái vi mô đơn lẻ; nó chỉ có thể được định nghĩa trong bối cảnh của một tập hợp thống kê. Theo James P. Sethna, entropy "là đứa con của cơ học thống kê, không có sự tương ứng trong động lực học vi mô cơ bản". Sự gia tăng entropy, được hệ thống hóa trong định luật hai nhiệt động lực học, chi phối chiều mũi tên thời gian và giải thích tại sao các quá trình không thể đảo ngược lại phổ biến trong tự nhiên. Việc hiểu rõ bản chất kép của entropy—vừa là thước đo vật lý, vừa là thước đo thông tin—là chìa khóa để khai mở các nguyên lý vận hành của hệ phức hợp.

2.1. Phân biệt entropy nhiệt động lực học và entropy thông tin

Entropy nhiệt động lực học là thước đo số lượng trạng thái vi mô tương ứng với một trạng thái vĩ mô cho trước. Nó liên quan trực tiếp đến sự mất trật tự của một hệ vật lý. Mặt khác, entropy thông tin, hay entropy Shannon, xuất phát từ lý thuyết thông tin và định lượng sự không chắc chắn hoặc lượng thông tin trung bình chứa trong một thông điệp hoặc một biến ngẫu nhiên. Mối liên hệ sâu sắc giữa hai khái niệm này là một trong những thành tựu vĩ đại của vật lý thế kỷ 20. Về cơ bản, entropy nhiệt động lực học có thể được xem là sự thiếu hụt thông tin của chúng ta về trạng thái vi mô chính xác của hệ. Khi một hệ tiến đến trạng thái có entropy cao hơn, nó khám phá một không gian pha lớn hơn, và do đó, sự hiểu biết của chúng ta về cấu hình chính xác của nó giảm đi. Mối liên hệ này cho phép áp dụng các công cụ của cơ học thống kê vào các lĩnh vực như nén dữ liệu và khoa học máy tính.

2.2. Công thức entropy của Boltzmann và ý nghĩa cốt lõi

Ludwig Boltzmann đã thiết lập một cầu nối định lượng giữa thế giới vi mô và vĩ mô thông qua công thức nổi tiếng của mình: S = k_B log(Ω). Trong đó, S là entropy nhiệt động lực học, k_B là hằng số Boltzmann, và Ω là số lượng trạng thái vi mô tương ứng với trạng thái vĩ mô của hệ. Công thức entropy của Boltzmann là một định nghĩa vi mô cho một đại lượng vĩ mô, khẳng định rằng entropy là logarit của số cách mà một hệ có thể được sắp xếp. Công thức này giải thích tại sao các hệ có xu hướng tiến đến trạng thái có xác suất cao nhất—đơn giản là vì có nhiều cách để đạt được trạng thái đó hơn. Ví dụ, khí trong hộp có xu hướng phân bố đều vì số trạng thái vi mô ứng với việc khí chiếm toàn bộ thể tích lớn hơn rất nhiều so với số trạng thái vi mô khi khí chỉ co cụm ở một góc. Đây chính là nền tảng của định luật hai nhiệt động lực học ở cấp độ vi mô.

III. Phương Pháp Tham Số Trật Tự Mô Tả Sự Chuyển Pha Vật Chất

Các pha của vật chất—rắn, lỏng, khí, siêu lỏng, từ tính—là những biểu hiện kinh điển của hành vi trồi. Quá trình chuyển đổi giữa các pha này, gọi là chuyển pha, thường đi kèm với những thay đổi đột ngột trong thuộc tính của vật liệu. Để mô tả những thay đổi này một cách định lượng, các nhà vật lý sử dụng một công cụ toán học gọi là tham số trật tự (order parameter). Tham số trật tự là một đại lượng vĩ mô bằng không trong pha mất trật tự (đối xứng cao) và khác không trong pha có trật tự (đối xứng thấp). Ví dụ, trong một nam châm, từ độ tổng thể là tham số trật tự: nó bằng không ở nhiệt độ cao (pha thuận từ) và khác không ở nhiệt độ thấp (pha sắt từ). Việc xác định và phân tích tham số trật tự là bước đầu tiên và quan trọng nhất để hiểu về cơ chế của sự chuyển pha và sự phá vỡ đối xứng.

3.1. Khái niệm cốt lõi về sự phá vỡ đối xứng tự phát

Sự phá vỡ đối xứng (symmetry breaking) là một khái niệm trung tâm trong vật lý hiện đại. Nó xảy ra khi một hệ, vốn tuân theo các quy luật vật lý đối xứng, lại tồn tại trong một trạng thái không thể hiện đầy đủ tính đối xứng đó. Ví dụ, các phương trình tương tác giữa các spin trong một vật liệu sắt từ là đối xứng quay, không ưu tiên hướng nào. Tuy nhiên, dưới nhiệt độ tới hạn, tất cả các spin sẽ tự động sắp xếp theo một hướng cụ thể (ví dụ, lên trên), phá vỡ tính đối xứng quay ban đầu. Trạng thái có trật tự này có năng lượng thấp hơn. Tham số trật tự chính là công cụ để định lượng mức độ phá vỡ đối xứng. Việc hiểu rõ cơ chế này không chỉ quan trọng trong vật lý chất rắn mà còn trong vật lý hạt cơ bản, nơi nó giải thích nguồn gốc khối lượng của các hạt thông qua cơ chế Higgs.

3.2. Mô hình Ising và lý thuyết Landau trong thực tiễn

Mô hình Ising là một trong những mô hình đơn giản nhưng mạnh mẽ nhất trong vật lý thống kê để nghiên cứu sự chuyển pha. Nó mô tả một mạng lưới các spin chỉ có thể có hai trạng thái (lên hoặc xuống) và tương tác với các lân cận gần nhất. Mặc dù đơn giản, mô hình này nắm bắt được bản chất của chuyển pha từ tính và cho thấy sự xuất hiện của hiện tượng tới hạn. Để phân tích các chuyển pha một cách tổng quát hơn, lý thuyết Landau được sử dụng. Lý thuyết này không đi sâu vào chi tiết vi mô mà mô tả hệ thống bằng cách khai triển năng lượng tự do (free energy) thành một chuỗi lũy thừa theo tham số trật tự. Hình dạng của hàm năng lượng tự do sẽ thay đổi theo nhiệt độ, và các cực tiểu của nó tương ứng với các trạng thái cân bằng của hệ. Lý thuyết Landau cung cấp một khuôn khổ mạnh mẽ để phân loại các loại chuyển pha và dự đoán hành vi của hệ gần điểm tới hạn.

IV. Phân Tích Hệ Phức Hợp Vai Trò Của Tự Tổ Chức Và Tới Hạn

Các hệ phức hợp (complex systems) bao gồm nhiều thành phần tương tác với nhau, dẫn đến các hành vi tập thể khó dự đoán. Các ví dụ trải dài từ mạng lưới nơ-ron trong não, hệ sinh thái, thị trường tài chính, đến các mạng lưới xã hội. Cơ học thống kê cung cấp một bộ công cụ mạnh mẽ để phân tích các hệ thống này. Một đặc điểm nổi bật của nhiều hệ phức hợp là khả năng tự tổ chức (self-organization), nơi trật tự và cấu trúc phức tạp nảy sinh một cách tự phát mà không cần sự điều khiển từ bên ngoài. Thường thì, các hệ này tự điều chỉnh để hoạt động gần một điểm tới hạn, một trạng thái được gọi là "tự tổ chức tới hạn" (self-organized criticality). Trạng thái này cho phép hệ thống có khả năng thích ứng cao và tạo ra các biến động ở mọi quy mô, một đặc điểm chung của sự phức tạp trong tự nhiên.

4.1. Hành vi trồi và các quy luật ở quy mô lớn

Trong các hệ phức hợp, các tương tác đơn giản ở cấp độ vi mô có thể tạo ra các cấu trúc và hành vi phức tạp ở cấp độ vĩ mô. Hành vi trồi là kết quả trực tiếp của các tương tác phi tuyến tính giữa vô số thành phần. Các quy luật chi phối hành vi tập thể này thường hoàn toàn khác biệt với các quy luật chi phối các thành phần riêng lẻ. Ví dụ, ý thức trồi lên từ sự tương tác của hàng tỷ nơ-ron, nhưng không thể được tìm thấy trong một nơ-ron đơn lẻ. Vật lý thống kê giúp chúng ta hiểu làm thế nào các quy luật vĩ mô này có thể trở nên độc lập với các chi tiết vi mô, một khái niệm được gọi là tính phổ quát (universality). Điều này giải thích tại sao các hệ thống rất khác nhau về bản chất—từ nam châm đến dòng chảy hỗn loạn—lại có thể biểu hiện các hành vi tới hạn tương tự nhau.

4.2. Khám phá hiện tượng tới hạn và tính phổ quát

Một chuyển pha liên tục xảy ra tại một điểm tới hạn (critical point), nơi hệ thống thể hiện các hành vi độc đáo. Tại điểm này, các tương quan trong hệ trải dài trên mọi quy mô, từ vi mô đến vĩ mô, và hệ thống trở nên bất biến với sự thay đổi quy mô (scale-invariant). Các hiện tượng tới hạn được đặc trưng bởi các quy luật lũy thừa, với các số mũ tới hạn (critical exponents) mô tả sự thay đổi của các đại lượng vật lý gần điểm tới hạn. Điều đáng kinh ngạc là các số mũ này thường giống nhau cho một loạt các hệ thống khác nhau, một thuộc tính được gọi là tính phổ quát. Ví dụ, số mũ tới hạn mô tả sự chuyển pha lỏng-khí giống hệt với số mũ của mô hình Ising từ tính. Điều này cho thấy rằng hành vi ở quy mô lớn không phụ thuộc vào chi tiết của tương tác vi mô, mà chỉ phụ thuộc vào các đặc tính chung như số chiều không gian và tính đối xứng của tham số trật tự.

V. Top Ứng Dụng Cơ Học Thống Kê Trong Khoa Học Và Công Nghệ

Các nguyên lý của cơ học thống kê đã vượt ra ngoài phạm vi vật lý lý thuyết để trở thành công cụ không thể thiếu trong nhiều lĩnh vực khoa học và kỹ thuật. Từ việc thiết kế vật liệu mới với các đặc tính mong muốn, đến việc tối ưu hóa các thuật toán máy học và mô hình hóa các hệ thống sinh học phức tạp, ứng dụng của nó rất đa dạng. Trong vật lý chất rắn, nó giải thích các hiện tượng như siêu dẫn và siêu lỏng. Trong khoa học máy tính, các phương pháp Monte Carlo dựa trên chuỗi Markov, vốn được phát triển trong cơ học thống kê, được sử dụng để giải quyết các bài toán tối ưu hóa phức tạp. Ngay cả trong kinh tế học, các mô hình dựa trên bước đi ngẫu nhiên được dùng để phân tích biến động của thị trường chứng khoán. Sự thành công này chứng tỏ sức mạnh của việc tiếp cận các vấn đề phức tạp thông qua lăng kính của xác suất và các tập hợp thống kê.

5.1. Vai trò trong vật lý chất rắn và vật chất ngưng tụ

Vật lý vật chất ngưng tụ là một trong những lĩnh vực ứng dụng thành công nhất của cơ học thống kê. Các khái niệm như tham số trật tự và sự phá vỡ đối xứng là nền tảng để hiểu về các trạng thái trật tự trong vật liệu, chẳng hạn như cấu trúc tinh thể của chất rắn, trật tự từ trong nam châm, và trạng thái siêu dẫn. Lý thuyết Landau được sử dụng rộng rãi để mô tả các chuyển pha trong các hệ này. Hơn nữa, các công cụ tính toán như phương pháp Monte Carlo và mô phỏng động lực học phân tử, dựa trên các nguyên tắc của vật lý thống kê, cho phép các nhà khoa học dự đoán cấu trúc và thuộc tính của vật liệu mới trước khi chế tạo chúng trong phòng thí nghiệm. Việc hiểu biết về hàm phân bố (partition function) cho phép tính toán mọi thuộc tính nhiệt động lực học của hệ, từ năng lượng nội tại đến nhiệt dung riêng.

5.2. Mối liên hệ với lý thuyết thông tin và khoa học dữ liệu

Mối liên hệ giữa entropy nhiệt động lực học và entropy thông tin đã mở ra một hướng ứng dụng mạnh mẽ trong khoa học máy tính và khoa học dữ liệu. Khái niệm entropy Shannon là nền tảng của các thuật toán nén dữ liệu không mất mát, như mã hóa Huffman, nơi mục tiêu là loại bỏ sự dư thừa và biểu diễn thông tin một cách hiệu quả nhất. Trong học máy, entropy được sử dụng trong các thuật toán cây quyết định để đo lường độ tinh khiết của các tập dữ liệu. Các phương pháp suy luận Bayes, vốn là trung tâm của học máy hiện đại, cũng có nguồn gốc sâu xa từ các phương pháp thống kê được phát triển trong vật lý thống kê. Việc xem các mô hình phức tạp như các hệ thống vật lý và tối ưu hóa chúng bằng cách cực tiểu hóa một dạng năng lượng tự do đã trở thành một cách tiếp cận hiệu quả và phổ biến.

Trích đoạn nội dung tài liệu

Statistical Mechanics: Entropy, Order Parameters and Complexity James P. Sethna, Physics, Cornell University, Ithaca, NY
April c 19, 2005 Q B b Alcohol Two-Phase Mix E Water Oil Electronic version of text available at http://www.edu/sethna/StatMech/book.com Contents 1 Why Study Statistical Mechanics? 3 Exercises .4 Stirling’s Approximation and Asymptotic Series.5 Random Matrix Theory. 10 2 Random Walks and Emergent Properties 13 2.1 Random Walk Examples: Universality and Scale Invariance 13 2.2 The Diffusion Equation .3 Currents and External Forces.4 Solving the Diffusion Equation .1 Random walks in Grade Space.2 Photon diffusion in the Sun.3 Ratchet and Molecular Motors.4 Solving Diffusion: Fourier and Green.5 Solving the Diffusion Equation.7 Thermal Diffusion.8 Polymers and Random Walks. 27 3 Temperature and Equilibrium 29 3.1 The Microcanonical Ensemble .2 The Microcanonical Ideal Gas .1 Configuration Space .3 What is Temperature? .4 Pressure and Chemical Potential .5 Entropy, the Ideal Gas, and Phase Space Refinements .2 Temperature and Energy.com ii CONTENTS 3.3 Hard Sphere Gas .4 Connecting Two Macroscopic Systems.5 Gauss and Poisson.7 Microcanonical Energy Fluctuations.

50 4 Phase Space Dynamics and Ergodicity 51 4.1 The Damped Pendulum vs.2 Jupiter! and the KAM Theorem .1 Entropy as Irreversibility: Engines and Heat Death .2 Entropy as Disorder .1 Mixing: Maxwell’s Demon and Osmotic Pressure .2 Residual Entropy of Glasses: The Roads Not Taken 69 5.3 Entropy as Ignorance: Information and Memory .1 Life and the Heat Death of the Universe.4 Does Entropy Increase? .5 Entropy Increases: Diffusion.8 Entropy of Glasses.11 Chaos, Lyapunov, and Entropy Increase.12 Black Hole Thermodynamics.1 The Canonical Ensemble .2 Uncoupled Systems and Canonical Ensembles .3 Grand Canonical Ensemble .4 What is Thermodynamics? .5 Mechanics: Friction and Fluctuations .6 Chemical Equilibrium and Reaction Rates .7 Free Energy Density for the Ideal Gas .1 Two–state system. 107 To be pub. Oxford UP, ∼Fall’05 www.edu/sethna/StatMech/ www.com CONTENTS iii 6.3 Statistical Mechanics and Statistics.4 Euler, Gibbs-Duhem, and Clausius-Clapeyron.9 Molecular Motors: Which Free Energy? .10 Michaelis-Menten and Hill .11 Pollen and Hard Squares. 113 7 Quantum Statistical Mechanics 115 7.1 Mixed States and Density Matrices .2 Quantum Harmonic Oscillator .3 Bose and Fermi Statistics .4 Non-Interacting Bosons and Fermions .5 Maxwell-Boltzmann “Quantum” Statistics .6 Black Body Radiation and Bose Condensation .1 Free Particles in a Periodic Box .2 Black Body Radiation .7 Metals and the Fermi Gas .1 Phase Space Units and the Zero of Entropy.2 Does Entropy Increase in Quantum Systems? .3 Phonons on a String.6 Ensembles and Statistics: 3 Particles, 2 Levels.7 Bosons are Gregarious: Superfluids and Lasers .9 Phonons and Photons are Bosons.10 Bose Condensation in a Band.11 Bose Condensation in a Parabolic Potential.12 Light Emission and Absorption.13 Fermions in Semiconductors.14 White Dwarves, Neutron Stars, and Black Holes.

141 8 Calculation and Computation 143 8.1 What is a Phase? Perturbation theory.2 The Ising Model .3 Lattice Gas and the Critical Point .4 How to Solve the Ising Model.1 The Ising Model.2 Coin Flips and Markov Chains. Sethna, April 19, 2005 Entropy, Order Parameters, and Complexity www.com iv CONTENTS 8.3 Red and Green Bacteria .5 Heat Bath, Metropolis, and Wolff.8 Entropy Increases! Markov chains.9 Solving ODE’s: The Pendulum .10 Small World Networks.11 Building a Percolation Network.12 Hysteresis Model: Computational Methods. 169 9 Order Parameters, Broken Symmetry, and Topology 171 9.1 Identify the Broken Symmetry .2 Define the Order Parameter .3 Examine the Elementary Excitations .4 Classify the Topological Defects .1 Topological Defects in the XY Model.2 Topological Defects in Nematic Liquid Crystals.3 Defect Energetics and Total Divergence Terms.4 Superfluid Order and Vortices.5 Landau Theory for the Ising model.6 Bloch walls in Magnets.7 Superfluids: Density Matrices and ODLRO. 190 10 Correlations, Response, and Dissipation 195 10.1 Correlation Functions: Motivation .2 Experimental Probes of Correlations .3 Equal–Time Correlations in the Ideal Gas .4 Onsager’s Regression Hypothesis and Time Correlations .5 Susceptibility and the Fluctuation–Dissipation Theorem .1 Dissipation and the imaginary part χ

(ω) .3 χ(r, t) and Fluctuation–Dissipation .6 Causality and Kramers Krönig .1 Fluctuations in Damped Oscillators.2 Telegraph Noise and RNA Unfolding.3 Telegraph Noise in Nanojunctions.4 Coarse-Grained Magnetic Dynamics.5 Noise and Langevin equations.6 Fluctuations, Correlations, and Response: Ising .7 Spin Correlation Functions and Susceptibilities.

217 11 Abrupt Phase Transitions 219 11.2 Nucleation: Critical Droplet Theory.3 Morphology of abrupt transitions. 223 To be pub. Oxford UP, ∼Fall’05 www.edu/sethna/StatMech/ www.1 van der Waals Water.2 Nucleation in the Ising Model.3 Coarsening and Criticality in the Ising Model.4 Nucleation of Dislocation Pairs.6 Minimizing Sequences and Microstructure.3 Examples of Critical Points.1 Traditional Equilibrium Criticality: Energy versus Entropy.2 Quantum Criticality: Zero-point fluctuations versus energy.3 Glassy Systems: Random but Frozen.4 Dynamical Systems and the Onset of Chaos.1 Scaling: Critical Points and Coarsening.2 RG Trajectories and Scaling.3 Bifurcation Theory and Phase Transitions.4 Onset of Lasing as a Critical Point.5 Superconductivity and the Renormalization Group.6 RG and the Central Limit Theorem: Short.7 RG and the Central Limit Theorem: Long.9 Percolation and Universality.10 Hysteresis Model: Scaling and Exponent Equalities.269 A Appendix: Fourier Methods 273 A.2 Derivatives, Convolutions, and Correlations .3 Fourier Methods and Function Space .4 Fourier and Translational Symmetry .1 Fourier for a Waveform.2 Relations between the Fouriers.3 Fourier Series: Computation.4 Fourier Series of a Sinusoid.5 Fourier Transforms and Gaussians: Computation.9 Fourier Series and Gibbs Phenomenon. Sethna, April 19, 2005 Entropy, Order Parameters, and Complexity www.com 2 CONTENTS To be pub.

Oxford UP, ∼Fall’05 www.edu/sethna/StatMech/ www.com Why Study Statistical Mechanics? 1 Many systems in nature are far too complex to analyze directly. Solving for the motion of all the atoms in a block of ice – or the boulders in an earthquake fault, or the nodes on the Internet – is simply infeasible. Despite this, such systems often show simple, striking behavior. We use statistical mechanics to explain the simple behavior of complex systems.

Statistical mechanics brings together concepts and methods that infil- trate many fields of science, engineering, and mathematics. Ensembles, entropy, phases, Monte Carlo, emergent laws, and criticality – all are concepts and methods rooted in the physics and chemistry of gases and liquids, but have become important in mathematics, biology, and com- puter science. In turn, these broader applications bring perspective and insight to our fields. Let’s start by briefly introducing these pervasive concepts and meth- ods.

Ensembles: The trick of statistical mechanics is not to study a single system, but a large collection or ensemble of systems. Where under- standing a single system is often impossible, calculating the behavior of an enormous collection of similarly prepared systems often allows one to answer most questions that science can be expected to address. For example, consider the random walk (figure 1. (You might imag- ine it as the trajectory of a particle in a gas, or the configuration of a polymer in solution.) While the motion of any given walk is irregular (left) and hard to predict, simple laws describe the distribution of mo- tions of an infinite ensemble of random walks starting from the same initial point (right).

Introducing and deriving these ensembles are the themes of chapters 3, 4, and 6. Entropy: Entropy is the most influential concept arising from statis- tical mechanics (chapter 5). Entropy, originally understood as a thermo- dynamic property of heat engines that could only increase, has become science’s fundamental measure of disorder and information. Although it controls the behavior of particular systems, entropy can only be defined within a statistical ensemble: it is the child of statistical mechanics, with no correspondence in the underlying microscopic dynamics.

En- tropy now underlies our understanding of everything from compression algorithms for pictures on the Web to the heat death expected at the end of the universe. Statistical mechanics explains the existence and properties of 3 www.com 4 Why Study Statistical Mechanics? Fig. The motion of molecules in a gas, or bacteria in a liquid, or photons in the Sun, is described by an irregular trajectory whose velocity rapidly changes in direction at random. Describing the specific trajectory of any given random walk (left) is not feasible or even interesting.

Describing the statistical average properties of a large number of random walks is straightforward; at right is shown the endpoints of random walks all starting at the center. The deep principle underlying statistical mechanics is that it is often easier to understand the behavior of ensembles of systems. The three common phases of matter (solids, liquids, and gases) have multiplied into hundreds: from superfluids and liquid crystals, to vacuum states of the universe just after the Big Bang, to the pinned and sliding ‘phases’ of earthquake faults. Phases have an integrity or stability to small changes in external conditions or composition1 – with deep connections to perturbation theory, section 8.

Phases often have a rigidity or stiffness, which is usually associated with a spontaneously broken symmetry. Understanding what phases are and how to describe their properties, excitations, and topological defects will be the themes 2 Chapter 7 focuses on quantum sta- of chapters 7,2 and 9. tistical mechanics: quantum statistics, Computational Methods: Monte–Carlo methods use simple rules metals, insulators, superfluids, Bose condensation,. To keep the presenta- to allow the computer to find ensemble averages in systems far too com- tion accessible to a broad audience, the plicated to allow analytical evaluation.

These tools, invented and sharp- rest of the text is not dependent upon ened in statistical mechanics, are used everywhere in science and tech- knowing quantum mechanics. nology – from simulating the innards of particle accelerators, to studies of traffic flow, to designing computer circuits. In chapter 8, we introduce the Markov–chain mathematics that underlies Monte–Carlo. Statistical mechanics allows us to derive the new 1 Water remains a liquid, with only perturbative changes in its properties, as one changes the temperature or adds alcohol.

Indeed, it is likely that all liquids are connected to one another, and indeed to the gas phase, through paths in the space of composition and external conditions. To be pub. Oxford UP, ∼Fall’05 www.edu/sethna/StatMech/ www.2 Temperature: the Ising model at the critical temperature. Traditional statistical mechanics fo- cuses on understanding phases of mat- ter, and transitions between phases.

These phases – solids, liquids, mag- nets, superfluids – are emergent prop- erties of many interacting molecules, spins, or other degrees of free- dom. Pictured here is a simple two-dimensional model at its mag- netic transition temperature Tc. At higher temperatures, the system is non-magnetic: the magnetization is on average zero. At the temperature shown, the system is just deciding whether to magnetize upward (white) or downward (black).

While predict- ing the time dependence of all these degrees of freedom is not practical or possible, calculating the average be- havior of many such systems (a statis- tical ensemble) is the job of statistical mechanics. laws that emerge from the complex microscopic behavior. These laws be- come exact only in certain limits. Thermodynamics – the study of heat, temperature, and entropy – becomes exact in the limit of large numbers of particles.

Scaling behavior and power laws – both at phase transitions and more broadly in complex systems – emerge for large systems tuned (or self–organized) near critical points. The right figure 1.1 illustrates the simple law (the diffusion equation) that describes the evolution of the end-to-end lengths of random walks in the limit where the number of steps becomes large. Developing the machinery to express and derive these new laws are the themes of chapters 9 (phases), and 12 (critical points). Chapter 10 systematically studies the fluctuations about these emergent theories, and how they relate to the response to external forces.

Beautiful spatial patterns arise in statistical mechanics at the transitions between phases. Most of these are abrupt phase transitions: ice is crystalline and solid until abruptly (at the edge of the ice cube) it becomes unambiguously liquid. We study nucleation and the exotic structures that evolve at abrupt phase transitions in chap- ter 11. Other phase transitions are continuous.2 shows a snapshot of the Ising model at its phase transition temperature Tc.

The Ising model is a lattice of sites that can take one of two states.