====== Rachunek prawdopodobieństwa i statystyka - Lista 8. ======

===== Zadanie 1. =====
Wiemy, że 
$S^2=\frac 1 n \sum_{i=1}^n (X_i- \overline{X})^2$ i $ \overline{X}=\frac 1 n \sum_{i=1}^n X_i$

Korzystamy ze wskazówki.

$S^2=\frac 1 n \sum_{i=1}^n (X_i- \mu)^2-(\overline{X}-\mu)^2$, gdzie $\mu=EX$

$E(\overline{X}-\mu)^2=D^2\overline{X}=D^2(\frac 1 n \sum_{i=1}^n X_i)=\frac 1 {n^2} D^2 \sum_{i=1}^n X_i=\frac 1 {n^2}\sum_{i=1}^n D^2 X=\frac {\sigma^2} n$

Zatem 

$E(S^2)=\frac 1 n * n\sigma^2-\frac {\sigma^2} n=\frac {n-1} n \sigma^2$

===== Zadanie 2. =====

Mamy jakieś obserwacje $k_1, \dots, k_n$.

Szukamy maksymalnej wartości funkcji

$\displaystyle f(\lambda) = \prod_j^n \frac{\lambda^{k_j} e^{-\lambda}}{{k_j}!}$.

Możemy się zająć funkcją $g(\lambda) = \ln f(\lambda)$, która ma wartość maksymalną w tym samym punkcie.

$\displaystyle g'(\lambda) = (\ln \prod_j^n \frac{\lambda^{k_j} e^{-\lambda}}{{k_j}!})' = \sum_j^n (\ln \frac{\lambda^{k_j} e^{-\lambda}}{{k_j}!})' = \sum_j^n (\ln \lambda^{k_j} -\lambda - \ln {{k_j}!})' = \frac {\sum_j k_j} {\lambda} - n$.

Rozwiązując $g'(\lambda) = 0$ otrzymujemy $\displaystyle\lambda_{\mathrm{MLE}} = \frac 1 n \sum_j k_j = {\buildrel\sim\over{k}}$

===== Zadanie 3. =====

Rozwiązujemy (trochę ubogi) układ równań

$\cases{E(X) = \lambda \cr D^2(X) = \lambda}$

dla $\lambda$. Otrzymujemy dwa estymatory:

$\lambda = E(X) = \overline{X} = \frac{1}{n} \sum_{i=1}^n X_i$

oraz

$\lambda = D^2(X) = \frac{1}{n} \sum_{i=1}^n (X_i - \overline{X})^2$

===== Zadanie 4. =====

Mamy obserwacje $X_1, \dots, X_n$.

Szukamy maksymalnej wartości funkcji

$\displaystyle f(\mu) = \prod_{k} \frac{1}{\sqrt{2\pi\sigma^2}}\, e^{-(X_k-\mu)^2/(2\sigma^2)}$

Niech $g(\mu) = \ln f(\mu)$.

$\displaystyle g'(\mu) = (\sum_k \frac{-(X_k-\mu)^2}{2\sigma^2})' = \frac {\sum_k X_k - n \mu} {\sigma^2}$

Rozwiązując $g'(\mu) = 0$ otrzymujemy $\mu_{\mathrm{MLE}} = \frac 1 n \sum_k X_k = \overline X$.

===== Zadanie 5. =====

Mamy obserwacje $X_1, \dots, X_n$.

Niech $\upsilon = \sigma^2$. Szukamy maksymalnej wartości funkcji

$\displaystyle f(\upsilon) = \prod_{k} \frac{1}{\sqrt{2\pi\sigma^2}}\, e^{-(X_k-\mu)^2/(2\sigma^2)}$

Niech $g(\upsilon) = \ln f(\upsilon)$.

$\displaystyle g'(\upsilon) = \sum_k \left( (\frac{-(X_k-\mu)^2}{2\sigma^2})' - \frac 1 {\sigma} \right) = \frac {\sum_k (X_k - \mu)^2} {\sigma^3} - \frac n {\sigma}$

Rozwiązując $g'(\upsilon) = 0$ otrzymujemy $\upsilon_{\mathrm{MLE}} = \frac 1 n \sum_k (X_k - \mu)^2 = S^2$.

===== Zadanie 6. =====

Rozwiązujemy układ równań

$\cases{
E(X) = \mu \cr
D^2(X) = \sigma^2
}$

dla $\mu$ oraz $\sigma^2$ otrzymujemy estymatory

$\mu = E(X) = \overline X$ oraz

$\sigma^2 = D^2(X) = S^2$.

===== Zadanie 7. =====

Mamy jakieś obserwacje $k_1, \dots, k_n$.

Szukamy maksymalnej wartości funkcji

$\displaystyle f(p) = \prod_j^n {n\choose k_j}p^{k_j}(1-p)^{n-k_j}$.

Możemy się zająć funkcją $g(p) = \ln f(p)$, która ma wartość maksymalną w tym samym punkcie.

$\displaystyle g'(p) = (\ln \prod_j^n {n\choose k_j}p^{k_j}(1-p)^{n-k_j})' = \sum_j^n (\ln {n\choose k_j} + \ln p^{k_j} + \ln(1-p)^{n-k_j})' = \sum_j^n (0 + \frac {k_j} p - \frac {n - k_j}{1-p}) = \sum_j^n  \frac { k_j - pk_j - pn + pk_j } { p(1-p) } = \frac {\sum_j k_j - pn^2} {p(1-p)}$.

Rozwiązując $g'(p) = 0$ otrzymujemy $\displaystyle p_{\mathrm{MLE}} = \frac 1 {n^2} \sum_j k_j$.

===== Zadanie 8. =====
===== Zadanie 9. =====
===== Zadanie 10. =====
===== Zadanie 11. =====
===== Zadanie 12. =====