Закон больших чисел простыми словами: суть, примеры, ЦПТ

Два утверждения, на которых держится вся прикладная статистика, опросы, контроль качества и машинное обучение. Без них нельзя понять, почему работает страхование, как предсказывают выборы по 1600 респондентам и почему казино с высокой вероятностью выигрывает на длинной дистанции. При этом обе теоремы интуитивно понятны без единой формулы — если объяснить правильно.

О чём эта статья

Закон больших чисел и центральная предельная теорема — два столпа, на которых держится прикладная статистика. В статье разберём, почему среднее большого числа наблюдений приближается к истинному значению, как это связано с теоремами Бернулли и Чебышёва, и где закон работает (казино, страхование, A/B-тесты), а где подводит. Объяснение построено от интуиции к формулам: сначала «на пальцах», потом точные условия.

Ключевые понятия

Закон больших чисел простыми словами

Если объяснять без единой формулы, закон больших чисел звучит так: чем больше раз вы повторяете случайный эксперимент, тем ближе результат к «теоретически правильному». Случайность никуда не исчезает — она просто перестаёт мешать, когда попыток становится много.

Самый простой пример — монета. Подбросьте её 10 раз: может выпасть 8 орлов подряд, и вам покажется, что монета «нечестная». Подбросьте 10 000 раз — доля орлов будет около 50%, и уже неважно, как повезло в первых десяти бросках. Короткие серии случайны, длинные — предсказуемы.

В казино это работает точно так же. Один спин рулетки — чистая лотерея: вам может повезти, и вы уйдёте с выигрышем. Но рулетка устроена так, что казино в среднем выигрывает на каждом спине чуть-чуть (одна ячейка «зеро» из 37). За одну ночь это незаметно, а за миллион спинов с высокой вероятностью превращается в прибыль на длинной дистанции. Поэтому казино не боится крупных выигрышей — закон больших чисел работает на их стороне.

Страхование построено на том же принципе. Страховая компания не знает, попадёт ли в аварию конкретно вы, но по статистике миллиона водителей точно знает, что попадёт примерно 2,5%. Собрав премии со всех, она с высокой точностью покрывает выплаты немногим. Индивидуальная непредсказуемость складывается в коллективную предсказуемость.

Главное, что нужно запомнить: закон больших чисел не гарантирует результат конкретной попытки. Он гарантирует стабильность на большом количестве попыток. В этом и есть его суть.

Суть закона больших чисел

Суть закона больших чисел в одном предложении: среднее арифметическое большого числа независимых наблюдений приближается к математическому ожиданию — то есть к «истинному» значению, заложенному в самом процессе.

Ключевые пункты:

• Больше данных — точнее оценка. С ростом n стандартная ошибка среднего убывает как σ/√n, поэтому оценка становится точнее; при этом отдельное наблюдение может увести среднее в любую сторону.
• Отдельные случайности не важны. Выбросы и неудачные серии «растворяются» в общей массе наблюдений.
• Точность растёт медленно. Чтобы вдвое уменьшить ошибку, нужно вчетверо больше наблюдений — такова цена статистики.
• Закон не предсказывает отдельные события. Он описывает поведение масс — поэтому работает в казино, страховании и опросах.
• Нужны одинаковые условия. Закон действует, только пока процесс не меняется: честная монета должна оставаться честной на протяжении всех бросков.

Теорема Бернулли и Чебышёва

Исторически закон больших чисел начинается с Якоба Бернулли, который в 1713 году (посмертно, в трактате «Ars Conjectandi» — «Искусство предположений») опубликовал первую строгую формулировку — теперь её называют теоремой Бернулли.

Она утверждает: если многократно повторять независимые испытания (например, бросать монету), доля успехов — скажем, доля орлов — сходится по вероятности к истинной вероятности успеха. Чем больше испытаний, тем меньше шанс, что наблюдаемая частота заметно отклонится от теоретической.

Это и есть слабый закон больших чисел в его исходном виде. Позже Борель (1909) и Колмогоров (1933) усилили результат, доказав сходимость почти наверное. Для практики разница несущественна: важна идея, которую первым строго доказал Бернулли, — многократное повторение превращает случайность в закономерность.

Неравенство Чебышёва: насколько быстро спадает ошибка

Если Бернулли доказал, что частота сходится к вероятности, то Пафнутий Чебышёв в 1867 году дал количественную оценку. Неравенство Чебышёва утверждает: для любой случайной величины с конечной дисперсией вероятность отклониться от среднего более чем на k стандартных отклонений не превышает 1/k².

Практический смысл: уже при k = 5 шанс сильного отклонения не более 4%, а при k = 10 — не более 1%. Оценка грубая, зато универсальная: она требует лишь конечной дисперсии и не зависит от формы распределения. Именно из неравенства Чебышёва выводится слабый закон больших чисел в общем виде, поэтому утверждение часто называют теоремой Чебышёва. Связь между средним и разбросом подробнее разобрана в статье о математическом ожидании.

Подробнее о слабом и усиленном вариантах — в следующем разделе.

Закон больших чисел: среднее сходится к истине

Интуиция

Подбросьте монетку 10 раз. Может выпасть 8 орлов и 2 решки — 80% орлов, хотя мы знаем, что «правильная» доля — 50%. Подбросьте 1000 раз — доля орлов будет около 52%. Подбросьте 1 000 000 раз — около 50.1%. Чем больше испытаний, тем ближе наблюдаемая частота к теоретической вероятности.

Это и есть закон больших чисел: среднее значение выборки стремится к математическому ожиданию генеральной совокупности при увеличении объёма выборки.

Два варианта: слабый и усиленный

Математики различают две версии:

Слабый закон (Якоб Бернулли, 1713): вероятность того, что выборочное среднее отличается от истинного больше чем на ε, стремится к нулю с ростом выборки. Иными словами — сходимость по вероятности.

Усиленный закон (Борель, 1909; Колмогоров, 1933): выборочное среднее сходится к истинному почти наверное. Это более сильное утверждение: не просто «вероятность ошибки падает», а «в пределе ошибки нет».

На практике разница не важна. Важен принцип: чем больше данных, тем точнее оценка.

Где применяется: казино, страхование, A/B-тесты

Закон больших чисел — не абстракция из учебника, а рабочий инструмент бизнеса и науки. Ниже пять сфер, где он превращает случайность в предсказуемость, и три ловушки, из-за которых его применяют неправильно.

1. Казино. Каждый спин рулетки — случайное событие с отрицательным матожиданием для игрока (-1/37 в европейской рулетке). Один спин — может повезти. Миллион спинов — казино с высокой вероятностью в плюсе на длинной дистанции.

2. Страхование. Страховая компания не знает, попадёт ли конкретный водитель в аварию. Но зная среднюю аварийность по миллиону водителей (2.5%), она может рассчитать справедливую премию. Закон больших чисел превращает индивидуальную неопределённость в коллективную предсказуемость.

3. Опросы. Почему 1600 респондентов достаточно для оценки мнения всей страны? Потому что точность оценки зависит от размера выборки, а не от размера популяции. 1600 человек дают погрешность ±2.5% — что для США (330 млн), что для Эстонии (1.3 млн).

4. A/B-тестирование. Вы запускаете две версии лендинга. В первый час версия B показывает конверсию на 30% выше. Радоваться рано — на малой выборке разница может быть случайной. Нужно дождаться статистической значимости. Существует и байесовский подход к A/B-тестам, который оценивает не p-value, а вероятность того, что вариант B действительно лучше.

5. Контроль качества. Вместо проверки каждой детали (дорого, долго) — проверяем случайную выборку. Это уже приёмный контроль (acceptance sampling): например, если из 200 случайно отобранных деталей бракованных меньше 3, партию принимают. Подчеркнём: порог и риски поставщика и потребителя задаются заранее, а «вероятность 95%» — свойство конкретного плана выборки при допущениях о доле брака и случайности отбора, а не прямое следствие закона больших чисел или ЦПТ в отдельности.

Где закон не работает: 3 ловушки

1. Игра на разорение. Даже при положительном матожидании можно разориться при ограниченном капитале. Если у вас $1000, а ставка $500 — двух неудач подряд достаточно, чтобы выйти из игры, не дождавшись «больших чисел».

2. Нестационарные процессы. Закон требует, чтобы условия были одинаковыми. Если монетку подменили на кривую — никакое число бросков не даст правильной оценки «вероятности 50%».

3. Независимость испытаний. В покере раздачи не независимы — на вас влияет психология, тильт, усталость. Закон больших чисел работает для механических процессов, а не для человеческого поведения.

Центральная предельная теорема: всё стремится к колоколу

Интуиция

Возьмите что угодно: рост людей, время отклика сервера, сумму чека в супермаркете, ошибку измерения. Посчитайте среднее по выборке. Повторите много раз и постройте гистограмму средних. Она будет приблизительно похожа на нормальное распределение — тот самый «колокол» Гаусса, причём тем точнее, чем больше выборка. Форма исходного распределения на результат не влияет, но определяет, насколько быстро наступает приближение.

Это центральная предельная теорема (ЦПТ). Одно из самых удивительных утверждений математики: стандартизованная сумма (или среднее) большого числа независимых случайных величин с конечной дисперсией распределена приблизительно нормально.

Три условия

1. Независимость — наблюдения не влияют друг на друга
2. Одинаковая распределённость — все наблюдения из одного распределения
3. Конечная дисперсия — разброс не бесконечен (есть распределения, где дисперсия бесконечна — например, распределение Коши. Для них ЦПТ не работает)

Почему это гениально

До ЦПТ: чтобы делать статистические выводы, нужно знать распределение исходных данных. А оно почти всегда неизвестно.

После ЦПТ: не важно, как распределены исходные данные. Распределение стандартизованного среднего приблизительно нормальное при достаточно большой выборке и конечной дисперсии. А для нормального распределения мы знаем всё: 68% в пределах ±1σ, 95% в пределах ±2σ, 99.7% в пределах ±3σ.

Это позволяет строить доверительные интервалы и проверять гипотезы без знания исходного распределения.

Сколько нужно данных?

Классический ответ: 30 наблюдений. Но это упрощение. Скорость сходимости к нормальному распределению зависит от формы исходного:

Где применяется

1. Доверительные интервалы. «С вероятностью 95% истинное среднее находится в интервале от X до Y» — прямое следствие ЦПТ. Без неё мы бы не могли оценивать погрешность.

2. Контрольные карты Шухарта. Границы ±3σ на контрольной карте основаны на ЦПТ: если процесс стабилен, 99.7% точек будут внутри границ. Точка вне границ → процесс разладился.

3. Метод Монте-Карло. Оценка сложных интегралов через многократную симуляцию. Точность оценки улучшается пропорционально 1/√n — следствие ЦПТ.

4. Риск-менеджмент. Value at Risk — «с вероятностью 99% потери не превысят X за день» — предполагает нормальность распределения доходностей. NB: для финансов это опасное упрощение — реальные хвосты толще нормальных.

Связь с законом больших чисел

ЗБЧ говорит: среднее СТРЕМИТСЯ к истинному значению. ЦПТ говорит: РАСПРЕДЕЛЕНИЕ стандартизованного среднего приблизительно нормальное; скорость сходимости зависит от исходного распределения — точную границу даёт неравенство Берри–Эссеена.

ЗБЧ без ЦПТ: «опросы точны, если выборка большая». ЦПТ без ЗБЧ: «я знаю распределение ошибки, но не знаю, к чему оно сходится». Вместе: полная картина для статистического вывода.

Итог

Две теоремы, которые превращают хаос случайных событий в предсказуемые закономерности:

• Закон больших чисел: чем больше данных, тем ближе оценка к истине. Работает для средних, долей, частот.
• Центральная предельная теорема: распределение стандартизованного среднего приблизительно нормально при конечной дисперсии. Даёт нам доверительные интервалы и проверку гипотез.

Обе требуют (хотя бы приблизительно) независимых наблюдений и одинаковых условий, а ЦПТ — ещё и конечной дисперсии. Закон больших чисел может работать и при тяжёлых хвостах, если среднее конечно; ЦПТ же для распределений с бесконечной дисперсией (например, Коши) не выполняется. И обе — фундамент, на котором стоит современная аналитика.

Ресурсы

• Теория вероятностей и матстатистика: полная шпаргалка — базовые понятия: вероятность, случайная величина, распределения.
• Математическое ожидание: от монетки до инвестиций — то самое «истинное значение», к которому сходится среднее.
• Формула Бернулли — вероятность ровно k успехов в серии независимых испытаний.
• Комбинаторика: правила суммы и произведения — как посчитать число исходов до того, как применять вероятность.
• Число Эйлера e — почему пределы вида (1 + 1/n)^n возникают в теории вероятностей и статистике.

Что дальше

• Формула Байеса простыми словами — как обновлять вероятности, когда приходят новые данные.
• Теория вероятностей и матстатистика — полный фундамент: от аксиом до проверки гипотез.
• Математическое ожидание — почему средний выигрыш важнее конкретного исхода.
• Формула Бернулли — схема независимых испытаний, из которой вырос закон больших чисел.
• Комбинаторика — подсчёт исходов для честных вероятностей.