Случайная величина - переменная, которая в результате испытания в зависимости от случая принимает одно из возможных значениий.
Примеры случайных величин:
Случайная величина называется дискретной, если множество ее возможных значений конечно или счетно. Под непрерывной будем понимать случайную величину, множество значений которой (бесконечное) есть некоторый интервал (конечный или бесконечной) числовой оси.
Более строгое теоретико-множественное определение:
Определение. Случайной величиной X называется функция, заданная на множестве элементарных исходов. Т.е. $X = f(\omega)$, где $\omega$ - элементарный исход, принадлежащий пространству $\Omega$.
Определение. Законом распределения случайной величины называется всякое соотношение, устанавливающее связь между возможными значениями случайной величины и соответствующими ими вероятностями. Для дискретной случайной величины закон распределения может быть задан в виде таблицы:
$x_1$ | $x_2$ | ... | $x_n$ |
---|---|---|---|
$p_1$ | $p_2$ | ... | $p_n$ |
Замечание: Заметим, что единица "распределена" между $x_1 \dots x_n$ в том смысле, что $\sum_{i=1}^{n}P(X = x_i) = \sum_{i=1}^{n}p_i = 1$
Если соединить точки $(x_i, p_i)$, то получим кривую, которая называется полигоном распределения вероятностей:
Две случайные величины называются независимыми если закон распределения одной из них не меняется от того, какие возможные значения приняла другая случайная величина. Пример. Где случайные величины зависимы, а где - нет?
Пример. Дана случайная величина X:
$x_i$ | -2 | 1 | 2 |
---|---|---|---|
$p_i$ | 0.5 | 0.3 | 0.2 |
Найти закон распределения случайных величин а) $Y = 3X$ б) $Z = X^2$
Если случайные величины независимы, то $p_{ij} = P(X = x_i) P(Y = y_j) = p_i p_j$
Задача. Даны случайные величины X и Y:
$x_i$ | 0 | 2 | 4 |
---|---|---|---|
$p_i$ | 0.5 | 0.2 | 0.3 |
$y_i$ | -2 | 0 | 2 |
---|---|---|---|
$p_i$ | 0.1 | 0.6 | 0.3 |
Найти закон распределения случайных величин а) $Z = X - Y$ б) $U = XY$
Ответ:
$z_i$ | -2 | 0 | 2 | 4 | 6 |
---|---|---|---|---|---|
$p_i$ | 0.15 | 0.36 | 0.26 | 0.2 | 0.03 |
$u_i$ | -8 | -4 | 0 | 4 | 8 |
---|---|---|---|---|---|
$p_i$ | 0.03 | 0.02 | 0.80 | 0.06 | 0.09 |
Задача. Есть два стрелка. И известны законы распределения числа очков, выбиваемых каждым из них:
Вопрос: кто же из них стреляет лучше?
Определение. Математическим ожиданием (или средним значением) M(X) дискретной случайной величины X, принимающей конечное число значений, называют число: $$M(X) = \sum_{i}^{n} x_i p_i $$ Замечание. В английской литературе математическое ожидание, или просто матожидание называется словом expectation и обозначается как E[X].
Вопрос: Чему равно матожидание числа попаданий первого и второго стрелков из примера выше?
Механическая интерпретация: грузики в точках $X_i$ с весами $p_i$ и условием $\sum p_i = 1$. Где будет матожидание?
Замечание 2. Если дискретная величина принимает бесконечное, но счетное множество значений, то МО (матожидание) определяется так: $$M(X) = \sum_{i}^{\infty} x_i p_i $$
Вопрос: Может ли существовать такая дискретная случайная величина у которой матожидание не определено?
Ответ: Оказывается, что может. Например, если X задана так:
$x_i$ | 2 | 4 | 8 | ... |
---|---|---|---|---|
$p_i$ | 1/2 | 1/4 | 1/8 | ... |
То X не имеет математического ожидания, т.к. $\sum\frac{2^i}{2^i}$ равна бесконечности.
Доказательство: $M(X\pm Y) = \sum_{i=1}^{n} \sum_{j=1}^{m}(x_i \pm y_j)p_{ij} = \sum_{i=1}^{n} \sum_{j=1}^{m}x_ip_{ij} \pm \sum_{i=1}^{n} \sum_{j=1}^{m}y_jp_{ij} = \sum_{i=1}^{n} x_i \sum_{j=1}^{m}p_{ij} + \sum_{j=1}^{m} y_j \sum_{i=1}^{n}p_{ij} = \sum_{i=1}^n x_i p_i \pm \sum_{j=1}^m y_j p_j = M(X) \pm M(Y)$
... Вернемся к примеру со стрелками. Мы выяснили, что срденее число попаданий у них одинаковое, но вот "разброс" оказывается совершенно разным. Давайте придумаем какую-нибудь меру разброса:
Дисперсией D(X) случайное величины X называется: $D(X) = M(X - a)^2$, где a = $M(X)$.
Замечание 0. В западной литературе дисперсию часто обозначают буквой V от слова variance.
Замечание 1. Выбор именно дисперсии мерой рассеяния обоснован тем, что матожидание квадрата отклонения случайной величины X от некоторой константы $C$ минимально именно тогда, когда эта случайная величина равна М(X). То есть:
$min_C M(X-C)^2 = M(X-a)^2 = D(X)$
Замечание 2. Оказывается, что если взять в качестве меры рассеяния более естественную (на первый взгляд) меру рассеяния $\sum |X_i - a|$, то ее минимизирует другая интересная мера случайной величины - медиана.
Замечание 3. Физической интерпретацией дисперсии является момент инерции: $J_a = \sum_{i}^{n}m_i {r_i}^2$. Момент инерции - очень важная величина в физике, аналогичная массе тела, что показывают следующие формулы:
$ L = J_a \omega$ - момент количества движения (изменяется только под действием внешних сил)
$M = J_a \omega'$ - момент силы равен произведению момента инерции на угловое ускорение
$E_k = \frac{J_a \omega^2}{2}$ - кинетическая энкргия твердого тела, вращающегося вокруг неподвижной оси
где $\omega$ - угловая скорость.
(Подробнее см. например тут https://yunc.org/%D0%9C%D0%BE%D0%BC%D0%B5%D0%BD%D1%82_%D0%B8%D0%BD%D0%B5%D1%80%D1%86%D0%B8%D0%B8)
Определение. Среднеквадратичным отклонением называется корень из дисперсии:
$\sigma_x = \sqrt{D(x)}$
Вопрос: Зачем он нужен вообще? Уже есть дисперсия ведь..
Пример. Возьмем распределение:
$x_i$ | 0 | 2 | 4 |
---|---|---|---|
$p_i$ | 0.5 | 0.2 | 0.3 |
Чему равна дисперсия?
Докажем последние два свойства:
Обозначим M(X) за a. Тогда $D(X) = M(x-a)^2 = M(X^2 - 2aX + a^2) = M(X^2) - 2aM(X) + a^2 = M(X^2) - a^2$
Обозначим M(X) за $a_x$, а M(Y) - за $a_y$. Тогда $D(X \pm Y) = M(X^2) \pm 2 a_x a_y + M(Y^2) - {a_x}^2 \mp 2 a_x a_y - {a_y}^2 = [M(X^2) - {a_x}^2] + [M(Y^2) - {a_y}^2] = D(X) + D(Y)$
Замечание. Случайная величина X - случайна, а вот ее числовые характеристики (дисперсия, матожидание, медиана, ...) - нет.
Финансовая интерпретация. Пусть известны возможные доходности какого-нибудь актива (например, акции) за определенный промежуток времени - $x_i$ и соответствующие им вероятности $p_i$ за тот же промежуток времени. Каков тогда смысл матожидания X и дисперсии?
Матожидание - $M(X)$ - средняя (прогнозная) доходность
Стандартное отклонение $\sigma_x = \sqrt{D(X)}$ - мера отклонения, колебаний доходности актива вокру среднего, риск данного актива. Или, выражаясь экономическим языком, волатильность актива.
... вернемся к сюжету о распределении Бернулли и попытаемся понять откуда берутся разные числа в теоремах Муавра-Лаплпса.
Дискретная случайная величина имеет биномиальный закон распределения с параметрами n и p, если она принимает значения $0, \dots , n$ с веротностями:
$P(X = m) = C_{n}^{m} p^m q^{n-m}$
Теорема. Матожидание случайной величины, распределенной по биномиальному закону равно $M(X) = np$, дисперсия равна $D(X) = npq$
Напомним формулировку теоремы Муавра-Лапласа:
Если вероятность p наступления события А в каждом испытании постоянна и отлична от 0 и 1, то и вероятность того, что А произойдет в m из n испытаний при достаточно большом n приближенно равна: \begin{equation} P_{m,n} \approx \frac{f(x)}{\sqrt{npq}} \end{equation} где \begin{equation} f(x) = \frac{1}{\sqrt{2 \pi}} e ^ {-\frac{x^2}{2}} \end{equation} - функция Гаусса
и \begin{equation} x = \frac{m - np}{\sqrt{npq}} \end{equation}
Определение. Непрерывная случайная величина имеет нормальный закон распределения (или распределение Гаусса) с параметрами $a$ и $\sigma^2$, если ее плотность вероятности имеет вид:
$p(x) = \frac{1}{\sigma \sqrt{2 \pi}} e ^ {-\frac{(x-a)^2}{2 \sigma ^2}} $
Чему равны матожидание и дисперсия нормального распределения?
Утверждение. Матожидание случайной величины, заданной плотностью выше, равно $a$, а дисперсия - $\sigma^2$.
График:
"По-простому":
Если $X_1, X_2, \dots X_n, \dots$ - независимые одинаково распределенные случайные величины с матожиданием $\mu$ и дисперсией $\sigma^2$, то среднее арифметическое $\frac{X_1 + \dots + X_n}{n}$ является случайной величиной, распределение которой стремится при $n \to \infty$ к нормальному распределению с параметрами $\mu$ и $\sigma / \sqrt{n}$.
Более строгая формулировка:
Замечание 1. Теперь мы можем гораздо лучше понять "смысл" теорем Муавра-Лапласа:
Локальная теорема Муавра-Лапласа Если вероятность p наступления события А в каждом испытании постоянна и отлична от 0 и 1, то и вероятность того, что А произойдет в m из n испытаний при достаточно большом n приближенно равна: \begin{equation} P_{m,n} \approx \frac{f(x)}{\sqrt{npq}} \end{equation} где \begin{equation} f(x) = \frac{1}{\sqrt{2 \pi}} e ^ {-\frac{x^2}{2}} \end{equation} - функция Гаусса
и \begin{equation} x = \frac{m - np}{\sqrt{npq}} \end{equation}
Интегральная теорема Муавра-Лапласа Если вероятность p наступления события A в каждом испытании постоянна и отлична от 0 и 1, то вероятность того, что число m наступления события А в n независимых испытаниях заключена в пределах от a до b (включительно) при достаточно большом n равна: \begin{equation} P_n(a <= m <= b) \approx \frac{1}{2}[F(x_2) - F(x_1)] \end{equation} где \begin{equation} F(x) = \frac{2}{\sqrt{2\pi}}\int_0^x e^{-t^2}dt \end{equation} - функция (или интеграл непрерывностей) Лапласа \begin{equation} x_1 = \frac{a-np}{\sqrt{npq}}, x_2 = \frac{b-np}{\sqrt{npq}} \end{equation}
Замечание 2. Привидем еще одно обоснование того, почему предельное распределение (нормальное распределение) имеет такую "жуткую" формулу:
$f_{Z}(x) = \int_{\infty}^{\infty} f_{X}(y) f_{Y}(x - y)$ https://ru.wikipedia.org/wiki/%D0%A1%D0%B2%D1%91%D1%80%D1%82%D0%BA%D0%B0_(%D0%BC%D0%B0%D1%82%D0%B5%D0%BC%D0%B0%D1%82%D0%B8%D1%87%D0%B5%D1%81%D0%BA%D0%B8%D0%B9_%D0%B0%D0%BD%D0%B0%D0%BB%D0%B8%D0%B7)
Таким образом (с точносью до множителя) предельное распределение должно быть инвариантно относительно свертки! А такое распределение более-менее одно.
...еще одно лирическое отсступление: неравенство Чебышева (очень простой, но крутой факт!)
Теорема (неравенство Маркова): Если случайная величина X принимает только неотрицательные значения (!!!), и имеет математическое ожидание, то для любого положительного A будет верно неравенство:
\begin{equation} P(X > A) \le \frac{M(X)}{A} \end{equation}Теорема (неравенство Чебышева). Для любой случайной величины, имеющей матожидание и дисперсию, справедливо неравенство:
\begin{equation} P(|X - a| > \epsilon) \le \frac{D(X)}{\epsilon^2} \end{equation}Замечание: Теперь у нас есть простой, но очень эффективный способ оценивать отклонения от ожидаемого значения!
Пример (правило трех сигм): Оцените вероятнгость того, что отклонение любой случайной величины от ее среднего значения будет не больше, чем $3 \sigma$.