% !TeX encoding = UTF-8
\documentclass[a4paper]{scrartcl}
 \usepackage[top=2.5cm, bottom=2.5cm, left=1cm, right=1cm]{geometry}
 
\usepackage[ngerman]{babel}
\usepackage[utf8]{inputenc}
\usepackage{lmodern}
\usepackage[T1]{fontenc}
\usepackage{microtype}
\usepackage{amsmath}
\usepackage{amssymb}
\usepackage{amsfonts}
\usepackage{enumitem}
\usepackage{mathtools}
\usepackage{amsthm}

\newtheorem*{theorem}{Theorem}
\newtheorem*{lemma}{Lemma}

%\usepackage{mathrsfs}
%\usepackage{multicol}
\usepackage{datetime}
%\usepackage{color}

\usepackage[autostyle=true,german=quotes]{csquotes}

\KOMAoptions{parskip=half, fontsize=12pt}
\setkomafont{disposition}{\normalcolor\bfseries}

\title{Mathe C4 -- Merkhilfe}
\author{Marco Ammon}
\newdate{date}{22}{7}{2018}
\date{\displaydate{date}}

\begin{document}
%\sffamily
\maketitle
\section*{Definitionen (Skript, Kästchenaufgaben)}
\begin{align*}
E(X-a)^2 &= Var(X) + (E(X)-a)^2
\end{align*}


Seien $X,Y$ ZV, dann gilt:
\begin{equation*}
Var(X+Y) = Var(X) + Var(Y) + 2 Kov(X,Y)
\end{equation*}

Seien $X,Y$ stochastisch unabhängig, dann gilt:
\begin{align*}
Kov(X,Y) &= E(X\cdot Y) - (E(X)\cdot E(Y))\\
P^{(X+Y)} (X+Y \leq z) &= \int_{-\infty}^z \int_{\mathbb{R}} f^{X,Y} (x, a-x)\ dx\ da
\end{align*}

Seien $X,Y$ reellwertige ZV mit gemeinsamer Dichte $f^{X,Y}$, dann gilt:
\begin{equation*}
	Kov(X,Y) = \int_{\mathbb{R}}\int_{\mathbb{R}} (x - E(X)) (y -E(Y)) f^{(X,Y)}(x,y)\ dy\ dx
\end{equation*}

Sei $Z$ eine ZV, $Y \coloneqq g(Z)$ ebenfalls, dann gilt:
\begin{equation*}
f^Y(y) = f^Z(g^{-1}(y)) \cdot \frac{d\ g^{-1}(y)}{dy}
\end{equation*}
\section*{Regressionsgerade}
\begin{align*}
	g(x) = \frac{s_{xy}}{s_x^2} x + (\overline{y} - \frac{s_{xy}}{s_x^2} \overline{x})
\end{align*}
\section*{Integration mit Polarkoordinaten}
\begin{align*}
\Phi&: H \rightarrow G\\
H &\coloneqq [0, 1) \times [0, 2\pi)\\
\Phi(r, \phi) &= \binom{r\ \cos \phi}{r\ \sin \phi}\\
det(J\Phi(r. \phi)) &= r\\
\int_{G} f(x,y)\ dG &= \int_{H} f(\underbrace{r\ \cos \phi}_{x}, \underbrace{r\ \sin \phi}_{y}) \cdot \vert r\vert\ dH
\end{align*}
\section*{Dichten}
\subsection*{diskret}
\begin{tabular}{|c|c|c|c|c|c|}
	\hline 
	Name & $f(k)$ & $F(x)$ & $E(X)$ & $Var(X)$ & $X+Y$ \\ 
	\hline 
	Laplace & $\frac{1}{N}$ &  & $\frac{N+1}{2}$ & $\frac{N^2 -1}{12}$ &  \\ 
	\hline 
	Bernoulli $B(p)$ & $f(1) = p$ &  & $p$ & $p(1-p)$ & $B(2;p)$ \\ 
	\hline 
	Binomial $B(n;p)$ & $\binom{n}{k} p^k (1-p)^{n-k}$ &  & $np$ & $np (1-p)$ & $B(n_X+n_Y;p)$ \\ 
	\hline 
	Hypergeo. $H(N;K;n)$ & $\binom{K}{k} \frac{\binom{N-K}{n-k}}{\binom{N}{n}}$ &  & $n \frac{K}{N}$ & $n \frac{K}{N} \frac{N-K}{N} \frac{N-n}{N-1}$ &  \\ 
	\hline 
	Poisson $\pi(\lambda)$ & $e^{-\lambda} \frac{\lambda^k}{k!}$ & $Q(n+1;\lambda)$ & $\lambda$ & $\lambda$ & $\pi(\lambda_X + \lambda_Y)$ \\ 
	\hline 
	$geo^+(p;k)$ & $p\cdot q^{k-1}$ & $1- (1-p)^{\lfloor x \rfloor}$ & $\frac{1}{p}$ & $\frac{1-p}{p^2}$ & $nb^+(2;p)$ \\ 
	\hline 
	$geo^0(p;k)$ & $p \cdot q^k$ & $1- (1-p)^{\lfloor x + 1 \rfloor}$ & $\frac{1-p}{p}$ & $\sim$ &  \\ 
	\hline 
	Neg. Bin. $nb^+(r;p;k)$ & $\binom{k-1}{r-1} p^r (1-p)^{k-r}$ &  & $\frac{r}{p}$ & $\frac{r(1-p)}{p^2}$ & $nb^+(r_X + r_Y; p)$ \\ 
	\hline 
	$nb^0(r;p;k)$& $\binom{k+r-1}{r-1} p^r (1-p)^k$ &  & $\frac{r(1-p)}{p}$ & $\sim$ &  \\ 
	\hline 
\end{tabular} 
\subsection*{stetig}
\begin{tabular}{|c|c|c|c|c|c|}
	\hline 
	Name & $f(x)$ & $F(x)$ & $E(X)$ & $Var(X)$ & $X+Y$ \\ 
	\hline 
	Gleich $\mathcal{R}(a,b)$ & $\frac{1}{b-a} 1_{(a,b)}(x)$ & $0 < \frac{x-a}{b-a} < 1$ & $\frac{a+b}{2}$ & $\frac{(b-a)^2}{12} $ &  \\ 
	\hline 
	$Exp(\alpha)$ & $\alpha e^{-\alpha x} 1_{(0,\infty)}(x)$ & $(1 - e ^{-\alpha x}) 1_{(0, \infty)}(x)$ & $\frac{1}{\alpha}$ & $\frac{1}{\alpha^2}$ & $\Gamma(\alpha;2)$ \\
	\hline 
	$\mathcal{N}(0, 1)$ & $\frac{1}{\sqrt{2 \pi}} e^{- \frac{x^2}{2}}$ & $\Phi(x) $ & $0$ & $1$ &  $\mathcal{N}(0;2)$\\ 
	\hline 
	$\mathcal{N}(\mu, \sigma^2)$ & $\frac{1}{\sigma \sqrt{2 \pi}} e^{- \frac{(x-\mu)^2}{2 \sigma^2}}$ & $\Phi(\frac{x - \mu}{\sigma})$ & $\mu$ & $\sigma^2$ & $\mathcal{N}(\mu_X + \mu_Y; \sigma_X^2 + \sigma_Y^2)$ \\ 
	\hline 
	$\gamma(\alpha, \nu)$ & $\frac{\alpha^\nu}{\Gamma(\nu)} x^{\nu - 1} e^{-\alpha x} 1_{(0, \infty)}(x)$ & $ $ & $\frac{\nu}{\alpha}$ & $\frac{\nu}{\alpha^2} $ & $\Gamma(\alpha; \nu_X + \nu_Y)$ \\ 
	\hline 
\end{tabular}

Bei gemeinsamer Dichte $f^{X_1, X_2} (x_1, x_2)$ Randdichte $f^{X_1} = \int_\mathbb{R} f(x_1, x_2) dx_2$

Gekoppelte Dichten: $f(x_1,\dots, x_n) \coloneqq f_1 (x_1) \cdot \dots \cdot f_n^{n-1} (x_1, \dots, x_{n-1}; x_n)$
\section*{Normalverteilung im $\mathbb{R}^n$ und Kovarianzen}
Standardnormalverteilung
\begin{equation*}
f^X(x_1,\dots , x_n) = \left ( \frac{1}{\sqrt{2\pi}}\right)^n e^{- \frac{1}{2} (x_1^2 + \dots + x_n^2)}
\end{equation*}
Sei $g: \mathbb{R}^n \rightarrow \mathbb{R}^n$ mit $g(x) = a + Ax$, und $Y \coloneqq g(X)$, wobei $X$ standardnormalverteilt im $\mathbb{R}^n$ ist, dann gilt
\begin{align*}
E(Y_i) &=a_i\\
\text{Kovarianzmatrix}\ K &= AA^T
\end{align*}

Ist $Y \sim \mathcal{N}(a,K)$ und $Z = b+BY$, dann folgt $Z \sim \mathcal{N}(b+Ba, BKB^T)$

Stochastische Unabhängigkeit der $Y_i$, wenn $K$ Diagonalmatrix
\section*{Transformationen}
\begin{align*}
Y &= a + bX\\
\Rightarrow& F^Y(y) = F^X(\frac{y-a}{b})\\
\Rightarrow& f^Y(y) = \frac{1}{b} f^X(\frac{y-a}{b})
\end{align*}

insbesondere für $Y \sim \mathcal{N}(\mu, \sigma^2)$: $F^Y(y) = \Phi(\frac{y-a}{b})$
\section*{Approximationen}
\subsection*{Poisson-Approximation für Binomialverteilung}
$\lambda = np$
\subsection*{Normal-Approximation für Binomialverteilung}
\begin{equation*}
F^{S_n}(x) \approx \Phi(\frac{x-a}{\sigma})
\end{equation*}
mit $a=np$ und $\sigma=\sqrt{np(1-p)}$

\section*{Zufällige Summen}
$Im(Y) = \mathbb{N}_0, X_i$ identisch verteilt und stochastisch unabhängig: $S = \sum_{i=1}^{Y} X_i$
\begin{align*}
	P^{X|Y} (B|y) &= P(X \in B| Y = y) = \frac{P[(x \in B) \cap (Y=y)]}{P(Y=y)}\\
	E(S) &= E(Y)\cdot E(X_1)\\
	Var(S) &= E(Y) \cdot Var(X_1) + Var(Y) \cdot (E(X_1))^2
\end{align*}
\section*{Gesetze der großen Zahlen}
%\subsection*{Arten der Konvergenz}
%$Y_n$ konvergiert fast sicher gegen $Y$ ($Y_n \overset{\text{f.s.}}{\rightarrow} Y$), wenn gilt:
%\begin{equation*}
%P\left ( \left \{ \omega \in \Omega : \lim_{n \rightarrow \infty} Y_n(\omega) = Y(\omega) \right\}\right) = 1
%\end{equation*}
%
%$Y_n$ konvergiert stochastisch gegen $Y$ ($Y_n \overset{\text{st}}{\rightarrow} Y$), wenn gilt:
%\begin{equation*}
%\lim_{n \rightarrow \infty} P(\vert Y_n - Y\vert \geq \epsilon) = 0, \forall \epsilon > 0
%\end{equation*}
%
%$Y_n$ konvergiert im $r$-ten Mittel gegen $Y$ ($Y_n \overset{(r)}{\rightarrow} Y$), wobei $1 \leq r < \infty$, wenn gilt:
%\begin{equation*}
%E\vert Y_n - Y \vert^r \rightarrow 0
%\end{equation*}
%
%$Y_n$ konvergiert nach Verteilung gegen $Y$ ($Y_n \overset{\text{V}}{\rightarrow} Y$), wenn gilt:
%\begin{equation*}
%F^{Y_n}(x) \rightarrow F^Y(x)\ \text{für alle $x$ mit \enquote{$F^Y$ stetig im Punkt $x$}}
%\end{equation*}
\subsection*{Chebychew-Markov-Ungleichung}
\begin{align*}
P(\vert Y\vert \geq \epsilon) &\leq \frac{1}{\epsilon^r} E\vert Y\vert^r\\
P(\vert Y - E(Y)\vert \geq \epsilon) &\leq\frac{1}{\epsilon^2} Var(Y)
\end{align*}
\subsection*{Zentraler Grenzwertsatz für $n$ stoch. un. und id. veteilte $X_i$}
\begin{equation*}
\frac{S_n - E(S_n)}{Str(S_n)} = \frac{\sum_{i=1}^{n} X_i - n\cdot E(X_1)}{\sqrt{n} Str(X_1)} \rightarrow Y \sim \mathcal{N}(0;1)
\end{equation*}
\section*{Markov-Ketten}
Gleichgewichtsverteilung $\pi$: $\sum_{j\in I} \pi_j = 1$ und $\pi = \pi P$, also $\pi$ Eigenvektor zum Eigenwert 1 von $P^T$, ergo $\pi = \text{Kern}(P^T-E_n)$

Hinreichendes Kriterium für Irreduzibilität und Aperiodizität: $\exists m \in \mathbb{N}: P^m$ enthält nur positive Werte $\Rightarrow$ Konvergenz gegen Gleichgewichtsverteilung $\pi$ (falls existent)

\section*{Schätzer}
\subsection*{Punktschätzungen}
Likelihood-Funktion für Stichproben $x_1, \dots, x_n$, gesucht Parameter $\theta$ der Wahrscheinlichkeit $P$ (analog für Dichte $f$):
\begin{equation*}
L(x_1;\dots, x_n; \theta) \coloneqq \prod_{i=1}^{n}P(X=x_i; \theta)
\end{equation*}

Dann $\max_{\theta} L(x_1;\dots;x_n;\theta)$ gesucht (klassisch über Ableitung)
\subsection*{Konfidenzintervalle}
\subsubsection*{Schätzung von $\mu$ der Normalverteilung bei bekannter Varianz}
\begin{equation*}
\overline{X} - \zeta_{1-\frac{\alpha}{2}} \frac{\sigma}{\sqrt{n}} < \mu < \overline{X} + \zeta_{1-\frac{\alpha}{2}} \frac{\sigma}{\sqrt{n}}
\end{equation*}
mit $\zeta$ Perzentil der Standardnormalverteilung aus Formelsammlung
\subsubsection*{Schätzung von $\mu$ der Normalverteilung bei geschätzter Varianz}
\begin{equation*}
\overline{X} - t_{1-\frac{a}{2}; n-1} \frac{S}{\sqrt{n}} < \mu < \overline{X} + t_{1-\frac{a}{2}; n-1} \frac{S}{\sqrt{n}}
\end{equation*}
mit $S^2 \coloneqq \frac{1}{n-1} \sum_{i=1}^{n}(X_i - \overline{X})^2$ (\enquote{empirische Varianz}) und $t$ Perzentil der Student-T-Verteilung mit Freiheitsgrad $n-1$
\end{document}
