\documentclass[english]{scrreprt}
\usepackage[utf8]{inputenc}
\usepackage{graphicx}
\usepackage{tabularx}
\usepackage{multicol}
\usepackage[german]{babel}
\usepackage{bibgerm}
\usepackage{fancyhdr}
\usepackage{lastpage}
\usepackage{color}
\usepackage{framed}
\usepackage{ifthen}
\usepackage{enumerate}
\usepackage{amsmath, amsthm, amssymb}
\usepackage{eurosym}



\selectlanguage{german}

\pagestyle{fancy}
\fancyhf{}

%\fancyhead[L]{Gruppe: Do. 12-14 Uhr \newline \\ Aufgabenblatt 1}
%\fancyhead[R]{Andrej Zieger, Dennis Lutter,
%             \\Denis Graf, Sewan Aleanakian
%             \\Seite {\thepage} von {\pageref{LastPage}}}


\setlength{\headheight}{20mm}


%\newenvironment{definition}[1][Definition]{\begin{trivlist}
%\item[\hskip \labelsep {\bfseries #1}]}{\end{trivlist}}
%\newtheorem{definition}{Definition}[chapter]
\newenvironment{fshaded}{%
\def\FrameCommand{\fcolorbox{framecolor}{shadecolor}}%
\MakeFramed {\FrameRestore}}%
{\endMakeFramed}

\newenvironment{satz}[1][\empty]
{\definecolor{shadecolor}{rgb}{1,.8,.8}
\definecolor{framecolor}{rgb}{1,0,0}
\ifthenelse{\equal{#1}{\empty}}
    {\begin{fshaded}\begin{Satz}}
    {\begin{fshaded}\begin{Satz}[#1]}
}%
{\end{Satz}\end{fshaded}}




\newcommand{\abc}[2][\empty]{%%% \empty: Standardwert des optionalen Parameters
  \ifthenelse{\equal{#1}{\empty}}
    {no opt, mand.: \textbf{#2}}
    {opt: \textbf{#1}, mand.: \textbf{#2}}
}

\newenvironment{definition}[1][]
{
\definecolor{shadecolor}{rgb}{.9,.9,1}%
\definecolor{framecolor}{rgb}{.1,.0,.7}%
\ifthenelse{\equal{#1}{\empty}}
    {\begin{fshaded}\begin{Definition}}
    {\begin{fshaded}\begin{Definition}[#1]}
}
{\end{Definition}\end{fshaded}}


\newenvironment{satzdef}[1][]
{
\definecolor{shadecolor}{rgb}{.9,.7,1}%
\definecolor{framecolor}{rgb}{.1,.0,.7}%
\ifthenelse{\equal{#1}{\empty}}
    {\begin{fshaded}\begin{SatzDef}}
    {\begin{fshaded}\begin{SatzDef}[#1]}
}
{\end{SatzDef}\end{fshaded}}

\newenvironment{korollar}[1][]
{
\definecolor{shadecolor}{rgb}{.6,1,.6}%
\definecolor{framecolor}{rgb}{.0,.1,.7}%
\ifthenelse{\equal{#1}{\empty}}
    {\begin{fshaded}\begin{Korollar}}
    {\begin{fshaded}\begin{Korollar}[#1]}
}
{\end{Korollar}\end{fshaded}}

\newenvironment{lemma}[1][]
{
\definecolor{shadecolor}{rgb}{.9,.9,.5}%
\definecolor{framecolor}{rgb}{.0,.1,.7}%
\ifthenelse{\equal{#1}{\empty}}
    {\begin{fshaded}\begin{Lemma}}
    {\begin{fshaded}\begin{Lemma}[#1]}
}
{\end{Lemma}\end{fshaded}}

\newenvironment{example}[1][]{
\ifthenelse{\equal{#1}{\empty}}
    {\begin{Example} \label{example:\the\value{chapter}.\the\value{Satz}}}
    {\begin{Example}[#1]}
}
{\end{Example}}

%\newtheorem{Satz}{Satz}
\newtheorem{Satz}{Satz}[chapter]
%\newtheorem{Definition}[Satz]{Definition}
%\newtheorem{Definition}{Definition}[section]
%\newtheorem{SatzDef}{Satz \& Definition}[section]
%\newtheorem{example}{Beispiel}[section]

\newtheorem{Definition}[Satz]{Definition}
\newtheorem{SatzDef}[Satz]{Satz \& Definition}
\newtheorem{Example}[Satz]{Beispiel}
\newtheorem{bemerkung}[Satz]{Bemerkung}
\newtheorem{Korollar}[Satz]{Korollar}
\newtheorem{Lemma}[Satz]{Lemma}

\newcommand{\underoverset}[3]{
    \underset {#1} {\overset {#2} {#3}}
}

\newcommand{\underbraceset}[2]{
    \underset {#1} {\underbrace {#2}}
}

\newcommand{\sumft}[2][\empty]{%%% \empty: Standardwert des optionalen Parameters
  \ifthenelse{\equal{#1}{\empty}}
    {\underset {#2} {\sum}}
    {\underset {#1} {\overset {#2} {\sum}}}
}

\newcommand{\sumtn}[1][\empty]{%%% \empty: Standardwert des optionalen Parameters
  \ifthenelse{\equal{#1}{\empty}}
    {\underset {i=1} {\overset {n} {\sum}}}
    {\underset {#1} {\overset {n} {\sum}}}
}

\newcommand{\crossft}[2][\empty]{%%% \empty: Standardwert des optionalen Parameters
  \ifthenelse{\equal{#1}{\empty}}
    {\underset {#2} {X}}
    {\underset {#1} {\overset {#2} {X}}}
}

\newcommand{\prodft}[2][\empty]{%%% \empty: Standardwert des optionalen Parameters
  \ifthenelse{\equal{#1}{\empty}}
    {\underset {#2} {\prod}}
    {\underset {#1} {\overset {#2} {\prod}}}
}

\newcommand{\prodtn}[1][\empty]{%%% \empty: Standardwert des optionalen Parameters
  \ifthenelse{\equal{#1}{\empty}}
    {\underset {i=1} {\overset {n} {\prod}}}
    {\underset {#1} {\overset {n} {\prod}}}
}

\newcommand{\eqover}[1]{
    \overset {#1} {=}
}

\newcommand{\embrace}[1]{
    \lbrace #1 \rbrace
}

\newcommand{\twolines}[2]{
	\begin{matrix}
		#1\\
		#2
	\end{matrix}
}

\newcommand{\itemizeme}[2][\empty]{
	\begin{itemize}
	\ifthenelse{\equal{#1}{\empty}}
      {\item #2}
      {\item[#1] #2}
     \end{itemize}
}

\newcommand{\intft}[2][\empty]{
\ifthenelse{\equal{#1}{\empty}}
    {\int\limits_{#2}}
    {\int\limits_{#1}^{#2}}
}


\newcommand{\intMany}[2]{
	\intft{#1} \dotsi \intft{#2}
}

%%%% Erleichterungen für wiederkehrende mathematische Zeichen

\newcommand{\A}[0]{
	\mathcal{A}
}

\newcommand{\R}[0]{
	\mathbb{R}
}

\newcommand{\N}[0]{
	\mathbb{N}
}

\newcommand{\B}[0]{
	\mathbb{B}
}

\begin{document}
\chapter{Mathematische Modelle von Zufallsexperimenten}

\section*{Grundbegriffe}
\begin{tabular} {ll}
    Grundraum:  & nicht leere Menge $\Omega \neq \emptyset$ \\
                & Enthält alle möglichen Ergebnisse eines Zufallsexperimentes. \\
    Ereignis:   & Teilmenge $A \subset \Omega$ \\
                & Nicht immer wird jede Teilmenge als Ereignis bezeichnet,\\
                & sondern nur Mengen aus einem Mengensystem $\mathcal{A} \subset 2^{\Omega}$ \\
                & Sprechweise: Ereignis $A$ tritt ein $\Leftrightarrow$ Ergebnis $\omega$ liegt in $A$ \\
    Elementarereignis: & $\omega \in \Omega$ \\
                & Vorsicht: $\omega$ ist kein Ereignis!\\
                & Aber $\{\omega\}$ ist ein Ereignis, falls $\mathcal{A}$ geeignet gewählt ist.
\end{tabular}

\renewcommand{\labelenumi}{(\roman{enumi})}


\begin{example} \label{bsp_grundbegriffe}
\begin{itemize}\end{itemize}
\begin{enumerate}[(i)]
\item \label{bsp_grundbegriffe_1} Werfen eines Würfels \\
     $\Omega = \{1,...,6\}$ \\
     Ereignis ``Augenzahl ist gerade'': $A = \{2,4,6\}$ \\
\item \label{bsp_grundbegriffe_network}
     In einem Netzwerk werden Längen (in Byte) der ersten $n = 10^5$ Datenpakete beobachtet \\
     $\Omega = \mathbb{N}^n = \lbrace (\omega_1,...,\omega_n) | \omega_i \in \mathbb{N}\;\forall\, 1\le i\le n \rbrace$ \\
     Interpretation: $\omega_i = $ Länge des $i$-ten Paketes \\
     Ereignis ``Das größte Paket umfasst maximal $10^7$ Byte''\\
     $A := \{(\omega_1,...,\omega_n) \mid \omega_i \leq 10^7 \forall  1 \leq i \leq
     n\}$
\end{enumerate}
\end{example}

\subsection*{``Rechnen mit Ereignissen''}
Seien $A,B \subset \Omega$ Ereignisse. Dann ist
\begin{itemize}
\item $A \cup B = \lbrace \omega \in \Omega \mid \omega \in A \text{ oder } \omega \in B \rbrace$\\
      Ereignis, dass $A$ eintritt \underline{oder} $B$ eintritt
\item $A \cap B = \lbrace \omega \in \Omega \mid \omega \in A \text{ und } \omega \in B \rbrace$\\
      Ereignis, dass $A$ \underline{und} $B$ eintritt
\item $A \setminus B =  \lbrace \omega \in \Omega \mid \omega \in A, \omega \notin B \rbrace $
      Ereignis, dass $A$ eintritt, aber nicht $B$ eintritt
\item $A \subset B$ \\
     Wenn $A$ eintritt, dann tritt auch $B$ ein.
\end{itemize}

Im Wahrscheinlichkeitsmodell soll \underline{jedem} Ereignis eine Wahrscheinlichkeit (W.) zugeordnet werden.

Diese müssen ``zueinander passen''.

Z.B. muss bei $A \subset B$ die Wahrscheinlichkeit von A $\leq$ Wahrscheinlichkeit von B sein (Monotonie)\\
\newline

\begin{tabular}{llll}
Mathematisch: & Abbildung       & $P: \mathcal{A} \rightarrow \mathbb{R} $ &\\
              & mit Normierung  & $P(\emptyset) = 0 $ & Ereignis, das \underline{nie} eintritt, hat W. 0 \\
              &                 & $P(\Omega) = 1$ & Ereignis, das \underline{immer} eintritt, hat W. 1 \\
              && $\rightsquigarrow P : \mathcal{A} \rightarrow [0,1]$
\end{tabular}


\section*{Welche Abb. P sind sinnvoll?}
 \begin{tabular}{ll}
 $\rightarrow$ & Folien ''1. Ansatz: Inhaltlicher Zusammenhang''\\
 & bis ''Subjektivistische'' ...
 \end{tabular}

\section*{Axiomatischer Zugang - Kolmogorov (1933)}
Fordere Eigenschaften von P\\ Zur Motivation: Für die relativen
Häufigkeiten (``empirischen Wahrscheinlichkeiten'') $P_n$ gilt\\
$P_n(\Omega) = 1 ,\quad P_n(\emptyset) = 0$\\ $A,B$ disjunkt (d.h.\
$A \cap B
= \emptyset$) $\Rightarrow P_n(A \cup B) = P_n(A) + P_n(B)$ \\
Induktiv folgt: Ereignisse $A_1,...,A_k$ disjunkt $\Rightarrow
P_n(\underset{i=1} {\overset{k}{\bigcup}}A_i) = \underset{i=1}
{\overset{k}{\sum}} P_n(A_i)$

\section*{endl. Wahrscheinlichkeitsraum \& Wahrscheinlichkeitsmaß}
\begin{definition}[endl. Wahrscheinlichkeitsraum \& Wahrscheinlichkeitsmaß]
Ein \underline{endlicher Wahrscheinlichkeitsraum} ist ein Paar $(\Omega,P)$ bestehend aus einem endlichen Grundraum
$\Omega \neq \emptyset$ und einer Abbildung $P: 2^\Omega \rightarrow [0,1]$ mit den Eigenschaften:
\begin{itemize}
\item $P(\Omega) = 1$
\item $A,B \subset \Omega$ disjunkt $\Rightarrow P(A \cup B) = P(A) + P(B)$ (Additivität)
\end{itemize}
P heißt dann \underline{Wahrscheinlichkeitsmaß}.
\end{definition}

\pagebreak
\begin{example}
\begin{itemize}\end{itemize}
\begin{enumerate}
\item vgl. Beispiel
\ref{bsp_grundbegriffe}.(\ref{bsp_grundbegriffe_1}):
 einmaliges Werfen eines fairen Würfels\\
$\Omega = \{1,...,6\}$\\
$A \subset \Omega: P(A) = \frac {\lvert A \rvert} {\lvert \Omega \rvert} = \frac {\lvert A \rvert} {6}$ \\
insbesondere $P(\{\omega\}) = \frac 1 6$

\item Werfen zweier ununterscheidbarer fairer Würfel\\
$\Omega = \lbrace (\omega_1,\omega_2) \mid \omega_1,\omega_2 \in
\lbrace 1,...,6 \rbrace, \omega_1 \leq \omega_2 \rbrace$\\ Hier ist
es \underline{nicht} sinnvoll, jeder Menge $\{(\omega_1,\omega_2)\}$
die gleiche Wahrscheinlichkeit zuzuweisen, denn z.B. gibt es 2
Möglichkeiten (1,2) zu erhalten, aber nur eine für (1,1).

$ \rightsquigarrow P(\lbrace \omega_1,\omega_2 \rbrace) = \Bigl \lbrace {
\begin{matrix}
\frac {1} {36} , \omega_1 = \omega_2 \\ \frac {2} {36} , \omega_1 \neq \omega_2
\end{matrix}
}
$

Für $A \subset \Omega$ folgt

$P(A) = \underset {\omega \in A} \sum P(\lbrace \omega \rbrace)$

\end{enumerate}
\end{example}

\begin{satz} \label{satz_rechnen_wahrscheinlichkeitsraum}
Sei $(\Omega, P)$ ein endlicher Wahrscheinlichkeitsraum, dann gilt
\begin{enumerate}[(i)]
\item $P(\emptyset) = 0$
\item \label{satz_additiv_disjunkter_mengen}
      $A_1,...,A_k \subset \Omega$ disjunkt $\Rightarrow P(\underset {i=1} {\overset {k} {\bigcup}} A_i) =
      \underset {i=1} {\overset {k} {\sum}} P(A_i)$
\item $P(A^c) = 1 - P(A)$  $\forall A \subset \Omega$
\item $A \subset B \subset \Omega \Rightarrow P(B \setminus A) = P(B) - P(A)$
\item $A,B \subset \Omega \Rightarrow P(A \cup B) = P(A) + P(B) - P(A \cap B)$
\item $\forall A_1,...,A_k \subset \Omega \Rightarrow P(\underset {i=1} {\overset {k} {\bigcup}} A_i) \leq \underset {i=1}
{\overset {k} {\sum}} P(A_i)$ \quad (Subadditivität)
\end{enumerate}
\end{satz}
Beweis: (i) - (v) übungen
\begin{enumerate}[(vi)]
\item Def. $B_1 := A_1 , B_i := A_i \setminus \left ( \underset {j=1} {\overset {i-1} {\bigcup}} A_j \right )
\subset A_i$ $ \forall 2 \leq i \leq k$ \\
$\Rightarrow B_1,...,B_2 $ disjunkt (denn für $i < l$ gilt $B_i \subset A_i , A_i \cap B_l=\emptyset$) \\
$\underset {i=1} {\overset {k} {\bigcup}} B_i = \underset {i=1} {\overset {k} {\bigcup}} A_i$\\
\nopagebreak

$\Rightarrow P(\underset {i=1} {\overset {k} {\bigcup}} A_i) =
P(\underset {i=1} {\overset {k} {\bigcup}} B_i) \overset
{(\ref{satz_additiv_disjunkter_mengen})} {=}
\underset {i=1} {\overset {k} {\sum}} P(B_i) \leq \underset {i=1} {\overset {k} {\sum}} P(A_i)$\\
(Ist $\omega \in A_i$ für ein $i$ und ist $i_\omega$ das
\underline{kleinste} solche $i$, dann ist $\omega \in B_{i_\omega}$)
\end{enumerate}

\begin{definition}[Gleichverteilung oder Laplace-Verteilung]
    Ist $\Omega$ endlich, so heißt das durch
    
    $P(A) = \frac {\lvert A \rvert} {\lvert \Omega \rvert} , A \subset \Omega$,\\
    definierte Wahrscheinlichkeitsmaß die \underline{Gleichverteilung} oder \underline{Laplace-Verteilung} auf
    $\Omega$.
\end{definition}


\stepcounter{Satz}
\section*{\the\value{chapter}.\the\value{Satz} Urnenmodelle} \label{section_urnenmodelle}
Wenn Gleichverteilung betrachtet wird, sind nur Mächtigkeiten von Mengen zu bestimmen.

Oft hilfreich sind \underline{Urnenmodelle}

\subsection*{Situation}
Es sind die Kugeln $1,...,n$ in der Urne und es wird $k$-mal aus
 der Urne gezogen.

Es wird unterschieden, ob
\begin{itemize}
\item mit oder ohne Zurücklegen gezogen wird
\item mit oder ohne Berücksichtigung der Reihenfolge gezogen wird
\end{itemize}

\begin{enumerate}[{\the\value{chapter}.\the\value{Satz}} (a)]
\item \textbf{Ziehen \underline{mit} Zurücklegen und \underline{mit} Berücksichtigung der Reihenfolge}\\

\begin{tabular}{lll}
Grundraum & $\Omega_a$ & $= \lbrace 1,...,n \rbrace ^k = \lbrace (\omega_1,...,\omega_k) \mid \omega_i
 \in \lbrace 1,...,n \rbrace \rbrace$\\
Interpretation: & $\omega $& =$ (\omega_1,...,\omega_k) \in \Omega_a $\\
& & $\widehat{=}$  im i-ten Zug werde Kugel $\omega_i$ gezogen \\

 $\lvert \Omega_a \rvert = n^k$
\end{tabular}

\item \label{urnenmodelle_ohne_mit}
\textbf{Ziehen \underline{ohne} Zurücklegen, aber \underline{mit} Berücksichtigung der Reihenfolge}\\
$\Omega_b = \lbrace (\omega_1,...,\omega_n) \in \Omega_a \mid \omega_i \neq \omega_j \forall 1 \leq i < j \leq k \rbrace$\\
Interpretation wie bei (a), $\lvert \Omega_b \rvert = n \cdot
(n-1)\cdot ... \cdot (n-k+1) = \frac {n!} {(n-k)!}$
\\
\begin{tabular}{rl}
Begründung: & n Möglichkeiten für $\omega_1$ \\
dann & $n-1$ Möglichkeiten für $\omega_2$ bei gegebenem $\omega_1$ \\
dann & $n-2$ Möglichkeiten für $\omega_3$ bei gegebenen $\omega_1,\omega_2$\\
... & ... \\

dann & $n-k+1$ Möglichkeiten für $\omega_k$ bei gegebenen $\omega_1,...,\omega_{k-1}$
\end{tabular}
\pagebreak

\item \label{section_item_urnen_ohne_ohne}
\textbf{Ziehen \underline{ohne} Zurücklegen und \underline{ohne} Berücksichtigung der Reihenfolge}\\
Ordne gezogene Kugelnummern nach Größe

$\Omega_c = \lbrace (\omega_1,...,\omega_k) \in \Omega_a \mid \omega_1 < \omega_2 < ... < \omega_k \rbrace$\\

Es gibt zu jedem $(\omega_1,...,\omega_k) \in \Omega$ genau $k!$
verschiedene Möglichkeiten die $k$ verschiedenen Kugelnummern
anzuordnen.

D.h. jedem $\omega \in \Omega_c$ entsprechen $k!$ Elemente aus $\Omega_b$\\

$\Rightarrow \lvert \Omega_c \rvert = \frac {\lvert \Omega_b \rvert} {k!} = \frac {n!} {k!(n-k)!} =: {n \choose k}$

\item \textbf{Ziehen \underline{mit} Zurücklegen und \underline{ohne} Berücksichtigung der Reihenfolge}

$\Omega_d = \lbrace (\omega_1,...,\omega_k) \in \Omega_a \mid \omega_1 \leq \omega_2 \leq ... \leq \omega_k \rbrace$\\
Die Abbildung

 $S: \Omega_d \rightarrow \lbrace (\tilde \omega_1,...,\tilde \omega_k) \in \lbrace 1,...,n+k-1 \rbrace ^k
 \mid \tilde \omega_1 < \tilde \omega_2 < ... < \tilde \omega_k \rbrace =:  \widetilde \Omega_c$

 $S(\omega_1,...,\omega_k) := (\omega_1,\omega_2 + 1, \omega_3 + 2, ... , \omega_k + k + 1)$\\
\\
ist eine Bijektion.\\

$\tilde \Omega_c$ ist vom gleichen Typ wie $\Omega_c$ mit $n$
ersetzt durch $n + k - 1$.

Also $\lvert \Omega_d \rvert = \lvert \tilde \Omega_c \rvert \overset{(\ref{section_item_urnen_ohne_ohne})} {=} {{n+k-1} \choose k}$
\end{enumerate}

\begin{example} \label{bsp_urnen}
\begin{enumerate}[(i)]
\item Lotto 6 aus 49\\
6 Kugeln werden ohne Zurücklegen und ohne Berücksichtigung der Reihenfolge aus 49 Kugeln gezogen

$\overset {1.6(c)} {\Rightarrow} $ Es gibt ${49 \choose 6} =
13.983.816$
Möglichkeiten\\

Alle Möglichkeiten  sind gleich wahrscheinlich

$\Rightarrow $ Gewinnwahrscheinlichkeit für ein Los $\frac {1} {{49
\choose 6}} \approx 7,15 \cdot 10^{-8}$

\item Sucht man bei Yahoo nach Schlagwörtern ``Hausdepp
Kartenspiel'', so gibt es unter den ersten 10 ausgegebenen Links
genau einen, unter dem die Regeln dieses Kartenspiels zu finden
sind. Sei $r\in\{1,\ldots,10\}$ die Nummer dieses Links.

Sie probieren die 10 Links in zufälliger Reihenfolge durch, bis Sie auf den Link mit den Regeln stoßen.\\

Wie groß ist die Wahrscheinlichkeit, dass Sie genau $k$ Versuche brauchen?

$\rightsquigarrow$ Ziehen ohne Zurücklegen und mit Berücksichtigung der Reihenfolge

$\Omega = \lbrace (\omega_1,...,\omega_k) \in \lbrace 1,...,10 \rbrace^k \mid w_i \neq \omega_j \forall i \neq j \rbrace$\\

Ereignis ``Erfolg nach genau k Versuchen''

$A = \lbrace (\omega_1,...,\omega_{k-1}, r) \mid \omega_i \in
\lbrace 1,...,10 \rbrace \setminus \lbrace r
\rbrace \forall 1 \leq i \leq k-1 \rbrace$\\
entspricht 9-maligem Ziehen ohne Zurücklegen aus $\lbrace 1,...,10
\rbrace \setminus \lbrace r \rbrace$

$\Rightarrow \lvert A \rvert = \frac {9!} {(9-(k-1))!}$

$\lvert \Omega \rvert = \frac {10!} {(10-k)!}$\\

Bei Gleichverteilung

$P(A) = \frac {\lvert A \rvert} {\lvert \Omega \rvert} = \frac {9!} {10!} = \frac {1} {10}$\\

Bei 2 richtigen Links erhält man auf ähnliche Weise

$\lvert A \rvert = \frac {8!2} {(8-(k-1))!}$ (da es nun 2
Möglichkeiten für den $k$-ten Versuch gibt)

$\lvert \Omega \rvert = \frac {10!} {(10-k)!}$\\

$P(A) = \frac {\lvert A \rvert} {\lvert \Omega \rvert} = \frac {8!2 \cdot (10-k)!} {10!(8-(k-1))!} = \frac {2(10-k)} {10 \cdot 9}
=\frac{10-k}{45}$\\

\end{enumerate}
\end{example}

Liegt wie z.B. im Beispiel
\ref{bsp_grundbegriffe}(\ref{bsp_grundbegriffe_network}) kein
\underline{endlicher}, sondern ein \underline{abzählbarer} Grundraum
vor, dann ist die Additivität nicht mehr ausreichend.

\begin{definition}[diskretes Wahrscheinlichkeitsmaß \& -raum]
    Sei $\Omega \neq \emptyset$ eine beliebige nicht-leere Menge.\\
    Eine Abbildung $P: 2^\Omega \rightarrow [0,1]$ heißt \underline{diskretes Wahrscheinlichkeitsmaß}, falls

    \begin{enumerate}[(i)]
        \item $P(\Omega) = 1$
        \item $\forall A_n \subset \Omega $, $n \in \mathbb{N}$ disjunkt:
        $P(\underset {n \in \mathbb{N}} {\bigcup} A_n) = \underset {n \in \mathbb{N}} {\sum} P(A_n) \qquad$(`` $\sigma$-Additivität '')

        \item Es existiert eine (höchstens) abzählbare Menge $\Omega_0 \subset \Omega$ mit $P(\Omega_0) = 1$.
    \end{enumerate}

    Dann heißt $(\Omega,P)$ \underline{diskreter Wahrscheinlichkeitsraum}.
\end{definition}

Satz \ref{satz_rechnen_wahrscheinlichkeitsraum} gilt völlig analog
auch für diskrete Wahrscheinlichkeitsräume.\\ 
Es gilt sogar in Verallgemeinerung von
\ref{satz_rechnen_wahrscheinlichkeitsraum}{(vi)}

\begin{satz}
Sei $(\Omega,P)$ ein diskreter Wahrscheinlichkeitsraum und $A_n
\subset \Omega \forall n \in \mathbb{N}$\\ Dann gilt \quad
$P(\underset {n\in \mathbb{N}} {\bigcup} A_n) \leq \underset {n \in
\mathbb{N}} {\sum} P(A_n)$ \qquad (``$\sigma$-Subadditivität'')
\end{satz}

\begin{satzdef} \label{satzdef_wahrschfunk}
\begin{itemize}\end{itemize}
\begin{enumerate}
\item \label{satzdef_wahrschfunk_i}
Sei $(\Omega,P)$ ein diskreter Wahrscheinlichkeitsraum.\\
Dann heißt die Funktion $f: \Omega \rightarrow [0,1], f(\omega) = P(\lbrace \omega \rbrace)$ \underline{Zähldichte} oder \underline{Wahrscheinlichkeitsfunktion} von P.\\
Sie besitzt folgende Eigenschaften:
    \begin{enumerate}[(a)]
    \item \label{satzdef_wahrschfunk_a}
        $\Omega_T := \lbrace \omega \in \Omega \mid f(\omega) > 0 \rbrace$ ist abzählbar (und heißt Träger von $P$ bzw. von $f$)
    \item \label{satzdef_wahrschfunk_b}
    $\underset {\omega \in \Omega} {\sum} f(\omega) = 1$
    \end{enumerate}
 Für alle $A \subset \Omega$ gilt dann:
    \begin{equation} \label{satzdef_wahrschfunk_1}
    P(A) = \underset {\omega \in A} {\sum} f(\omega) = \underset {\omega \in A \cap \Omega_T} {\sum} f(\omega)
    \end{equation}
%%%%%%%%%%%%%%%%%%%%%%%%%%% 21.04.09
\item \label{satzdef_wahrschfunk_ii}
Ist umgekehrt $\Omega \neq \emptyset$ und $f: \Omega \rightarrow
[0,1]$ eine Funktion, die (a) und (b) erfüllt, so existiert genau
ein diskretes Wahrscheinlichkeitsmaß auf $\Omega$, das f zur
Zähldichte hat.
\end{enumerate}
\end{satzdef}

Beweis:
\begin{enumerate}[(i)]
\item $\exists \Omega_0 \subset \Omega $ abzählbar, $P(\Omega_0)=1\\
\Rightarrow P({\Omega_0}^c) = 0\\ \Rightarrow
\forall\omega\in{\Omega_0}^c: f(\omega) = P(\{\omega\}) \leq
P({\Omega_0}^c) = 0\\ \Rightarrow \Omega_T \subset \Omega_0
\Rightarrow \Omega_T $ abzählbar, d.h. (a).\\
(b) ist
Spezialfall von \eqref{satzdef_wahrschfunk_1} mit $A=\Omega$\\
(\ref{satzdef_wahrschfunk_1}) folgt aus der $\sigma$-Additivität von
$P$, denn
\begin{equation*}
\begin{split}
P(A)& = P(A \cap \Omega_T) + P(A \cap {\Omega_T}^c) \\
& = P(A \cap \Omega_T) \\
& = P(\underset {\omega \in A \cap \Omega_T} {\bigcup} \{\omega\}) \\
& = \underset {\omega \in A \cap \Omega_T} {\sum} P(\{\omega\}) =
\underset {\omega \in A \cap \Omega_T} {\sum} f(\omega)
 = \underset {\omega \in A} {\sum} f(\omega)
\end{split}
\end{equation*}
da $f(\omega) = 0 \forall \omega \notin \Omega_T$

\item Def. $P(A)$ gemäß (\ref{satzdef_wahrschfunk_1}) für alle $A \subset \Omega$\\
Dann ist $P$ ein diskretes Wahrscheinlichkeitsmaß, denn
\begin{itemize}
\item $P(\Omega) \overset {(\ref{satzdef_wahrschfunk_1})} {=} \underset {\omega \in \Omega} {\sum} f(\omega) \overset
 {(b)} {=} 1$

\item $A_n \subset \Omega, n \in \mathbb{N}$, disjunkt\\
$\Rightarrow P(\underset {n \in \mathbb{N}} {\bigcup} A_n)
=\underset {\omega \in \bigcup_{n\in\mathbb{N}} A_n }
 {\sum} f(\omega) = \underset {n\in \mathbb{N}} {\sum} \underset{\omega \in A_n} {\sum} f(\omega) \overset{(\ref{satzdef_wahrschfunk_1})}
  {=} \underset{n \in \mathbb{N}} {\sum} P(A_n)$

\item $P(\Omega_T) \overset {\eqref{satzdef_wahrschfunk_1}} {=} \underset{\omega \in \Omega_T} {\sum} f(\omega) =
 \underset{\omega \in \Omega} {\sum} f(\omega) \overset {(b)} {=} 1$\\
und $\Omega_T$ ist abzählbar nach (a)
\end{itemize}

Also ist $P$ ein diskretes Wahrscheinlichkeitsmaß mit $P(\lbrace
{\omega} \rbrace) \overset{\eqref{satzdef_wahrschfunk_1}} {=}
f(\omega)$ d.h. $f$ ist Zähl\-dichte von $P$. Dass $P$ das einzige
diskrete Wahrscheinlichkeitsmaß mit diesen Eigenschaften ist, folgt
aus \eqref{satzdef_wahrschfunk_1}.

\end{enumerate}


\begin{example}\label{bsp:1.11}
\begin{itemize}\end{itemize}
\begin{enumerate}[(i)]
\item \label{bsp:1.11.1}
Sei $p \in [0,1]$\\ %%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%% TODO: Hier ist ein Fehler...
$1 = (p + (1-p))^n = \sumft[k=0]{n} \underbraceset{ =: f(k)}{ {n \choose k}p^k \cdot (1-p)^{n-k}}$\\

Dies definiert eine Funktion $f: \{0,...,n\} =: \Omega \rightarrow
[0,1]$,  die \ref{satzdef_wahrschfunk}(a) und
\ref{satzdef_wahrschfunk}(b) erfüllt, also die Zähldichte eines
diskreten Wahrscheinlichkeitsmaßes auf
$\Omega$ ist.\\ Dieses Wahrscheinlichkeitsmaß heißt Binomialverteilung $\mathcal{B}_{(n,p)}$\\
d.h. $\mathcal{B}_{(n,p)}(\{k\}) = {n \choose p}p^k \cdot
(1-p)^{n-k} \quad \forall k \in \{0,...,n\}$

Später: $\mathcal{B}_{(n,p)}$ beschreibt zufällige Anzahl der
Erfolge bei n-maliger unabhängiger Durchführung eines
Zufallsexperiments mit Erfolgswahrscheinlichkeit p.

\item Frage : Wie groß ist die Wahrscheinlichkeit, dass man k mal würfeln muss, \underline{bevor} das erste Mal 6 gewürfelt wird?

Bei fairem Würfel: \\
Wahrscheinlichkeit, $k$-mal \underline{keine} 6 zu würfeln = $\left ( \frac 5 6 \right )^k$\\
Wahrscheinlichkeit, beim $(k+1)$-ten Mal 6 zu würfeln = $\left (
\frac 1 6 \right )$

$\Rightarrow gesuchte Wahrscheinlichkeit = \left ( \frac 5 6 \right )^k \cdot \frac 1 6 \qquad \forall k \in \mathbb{N}_0$\\

Allgemein: Für $p \in (0,1]$ definiert

$f(k) = (1-p)^k \cdot p$, \quad $k\in\mathbb{N}_0$,\\

eine Zähldichte auf $\mathbb{N}_0$, denn $\mathbb{N}_0$ ist
abzählbar und

$\sumft{k \in \mathbb{N}_0} f(k) = p \cdot \sumft{n \in \mathbb{N}_0} (1-p)^k \eqover{geometrische Reihe} p \cdot
\frac {1} {1 - (1-p)} = 1$\\

Das zugehörige Wahrscheinlichkeitsmaß heißt geometrische Verteilung
$\mathcal{G}_p$\\  und beschreibt die Anzahl der Misserfolge bis zum
ersten Erfolg bei unabhängiger Durchführung eines Zufallsexperiments
mit Erfolgswahrscheinlichkeit p.
\end{enumerate}
\end{example}

\chapter{Bedingte Wahrscheinlichkeiten und Unabhängigkeit}
Gesucht: Wahrscheinlichkeit, dass Ereignis $A$ eintritt, wenn bekannt ist, dass Ereignis $B$ eintritt/eintreten wird.\\

Ein Experiment wird $n$ mal durchgeführt\\
$n_A=$ Anzahl der Experimente, bei denen $A$ eintritt\\
$n_B=$ Anzahl der Experimente, bei denen $B$ eintritt\\
$n_{A \cap B}=$ Anzahl der Experimente, bei denen $A$ und $B$ eintreten\\

empirisches Gesetz der großen Zahlen:

Für ``große'' $n$ gilt \quad
$\frac {n_A} {n} \approx P(A), \quad \frac {n_B} {n} \approx P(B),\quad  \frac {n_{A \cap B}} {n} \approx P(A \cap B)$\\

Zur Bestimmung obiger Wahrscheinlichkeit betrachtet man
\underline{nur} Experimente, bei denen $B$ eingetreten ist.

$\rightsquigarrow \frac {n_{A \cap B}} {n_B} = \frac {n_{A \cap
B}/n} {n_B/n} \approx \frac {P(A \cap B)} {P(B)}$ , falls der Nenner
$> 0$.


\begin{definition}[bedingte Wahrscheinlichkeit von A gegeben B] \label{def:bed_w}
Sei $(\Omega, P)$ ein diskreter Wahrscheinlichkeitsraum, $B \subset
\Omega$ mit $P(B) > 0, A \subset \Omega$. Dann heißt

$P(A \mid B) = \frac{P(A \cap B)} {P(B)}$\\
die \underline{bedingte Wahrscheinlichkeit von A gegeben B}
\end{definition}

\begin{example}
(vergleiche Präsenzübungsblatt 2, A3)\\ Beim Skatspiel hat Spieler 1
keinen Buben erhalten.\\ Wie groß ist \underline{dann} die
Wahrscheinlichkeit, dass Spieler 2 oder Spieler 3 alle 4 Buben
erhalten hat?

\underline{Modell}: $\Omega = \lbrace (
     \underset {Karten\, Sp. 1} {\underbrace {\omega_1,...,\omega_{10}}},
     \underset {Karten\,\, Sp. 2} {\underbrace {\omega_{11},...,\omega_{20}}},
     \underset {Karten Sp. 3} {\underbrace {\omega_{21},...,\omega_{30}}},
     \underset {Stock} {\underbrace {\omega_{31},\omega_{32}}},
     ) \in K^{32} \mid \omega_i \neq \omega_j \; \forall i \neq j \rbrace$\\
     mit $K = \lbrace KreuzAs,PikAs,...,Karo7 \rbrace$ Menge aller Karten\\
     $P$ Laplace-Verteilung

     $C = \lbrace \omega \in \Omega \mid \lbrace \omega_1,...,\omega_{10} \rbrace \cap \lbrace KreuzBube,PikBube,HerzBube,KaroBube \rbrace
     = \emptyset \rbrace$\\
     \hspace*{2cm} Ergebnis, dass Spieler 1 keinen Buben erhält.

     $B_2 = \lbrace \omega \in \Omega \mid \lbrace KreuzBube,PikBube,HerzBube,KaroBube \rbrace \subset \lbrace \omega_{11},...,\omega_{20}
      \rbrace \rbrace$\\
     \hspace*{2cm} Ereignis, dass Spieler 2 alle Buben erhält.

     analog: $B_3$ \quad     Ereignis, dass Spieler 3 alle Buben erhält.\\

     $\Rightarrow B_2 \cap B_3 = \emptyset,\quad B_2 \cup B_3 \subset C$\\

     $\lvert C \rvert = \underset {^1} {\underbrace {\frac {28!} {18!} }} \cdot \underset{^2} {\underbrace {22!}}$\\
     $^1$: Anzahl der Möglichkeiten, 10 Karten für Spieler 1 aus 28 ``Nicht-Buben'' zu ziehen
     (siehe 1.6(b)) \\
     $^2$: Anzahl  der Möglichkeiten, die restlichen 22 Karten zu verteilen.\\

     $\lvert B_2 \rvert $ \& $\lvert B_3 \rvert $ in Präsenzaufgabe.\\

     Gesuchte Wahrscheinlichkeit:
     \begin{equation*}
     \begin{split}
         P(B_2 \cup B_3 \mid C)& \eqover {\ref{def:bed_w}} \frac {P((B_2 \cup B_3) \cap C)} {P(C)}\\
         & = \frac {P(B_2) + P(B_3)} {P(C)}\\
         & = \frac {\frac {\lvert B_2 \rvert} {\lvert \Omega \rvert} + \frac {\lvert B_3 \rvert} { \lvert \Omega \rvert}}
          {\frac { \lvert C \rvert} {\lvert \Omega \rvert}} = \frac {\lvert B_2 \rvert+ \lvert B_3 \rvert} {\lvert C \rvert}
          = \frac {2 \cdot \lvert B_2 \rvert} {\lvert C \rvert} = \overset {\text{Präsenzaufg.}} {...} = \frac {12} {209} \approx 0,057
     \end{split}
     \end{equation*}
\end{example}

\begin{satz}[totale Wahrscheinlichkeit \& Bayes]
Sei $(\Omega,P)$ ein diskreter Wahrscheinlichkeitsraum, $B_i \subset
\Omega (i \in I)$ disjunkt, $\underset {i \in I} \bigcup B_i =
\Omega$, I (höchstens) abzählbar und $P(B_i) > 0, A \subset \Omega$

\begin{enumerate}[(i)]
\item \label{satz:total_w}
\underline{Satz von der totalen Wahrscheinlichkeit}

$P(A) = \sumft {i \in I} P(A \mid B_i) \cdot P(B_i)$

\item \underline{Satz von Bayes}\\

Falls $P(A) > 0, k \in I$, dann

$P(B_k \mid A) = \dfrac {P(A \mid B_k) \cdot P(B_k)} {\sumft {i \in I} P(A \mid B_i) \cdot P(B_i)}$
\end{enumerate}

\end{satz}

Beweis:
\begin{enumerate}[(i)]
\item $\sumft {i \in I} P(A \mid B_i) \cdot P(B_i) = \sumft {i \in I} \dfrac {P(A \cap B)} {P(B_i)} \cdot P(B_i)
= P(\underset {i \in I} {\bigcup} (A \cap B_i)) = P(A),$\\
da $A \cap B_i$ disjunkt.

\item $P(B_k \mid A) = \dfrac {P(A \cap B_k)} {P(A)} = \dfrac {P(A \mid B_k) \cdot P(B_k)} {P(A)} \Rightarrow $
Beh. mit (\ref{satz:total_w})
\end{enumerate}

\begin{example}
Trisomie 21: genetischer Defekt, verursacht Down-Syndrom\\
Der Defekt kann schon bei Föten durch eine Fruchtwasseruntersuchung
erkannt werden.

In 99\% der Fälle, in denen Trisomie 21 vorliegt, ist der Test
positiv;

in 98\% der Fälle, in denen Trisomie 21 nicht vorliegt, fällt der
Test negativ aus.\\
\\
Betrachte die Ereignisse:

D: Trisomie 21 liegt vor

T: Test positiv

Dann gilt

\begin{tabular}{ll}
$P(T \mid D) = 0,99$ & Sensitivität des Tests\\ $P(T^c \mid D^c) =
0,98$ & Spezifität des Tests\\

$\Rightarrow P(T \mid D^c) = 0,02$\\

\end{tabular}
$\phantom{x}$\\
\\
Was bedeutet es, wenn der Test positiv ist?\\

$P(D \mid T) \eqover {Bayes} \dfrac {P(T \mid D) \cdot P(D)} {P(T
\mid D) \cdot P(D) + P(T \mid D^c) \cdot P(D^c)} =
\dfrac {1} {1 + \frac {P(T \mid D^c) \cdot P(D^c)} {P(T \mid D) \cdot P(D)}  }$\\

$P(D) $ entspricht der relativen Häufigkeit, mit der Trisomie 21 in
der betrachteten Bevölkerungsgruppe auftritt.\\

\begin{tabular}{lll}
25 jährige Schwangere: & $P(D) \approx \frac {1} {1250}$ &
$\Rightarrow P(D \mid T) \approx 0,035$\\ 43 jährige Schwangere: &
$P(D) \approx \frac
{1} {50}$ & $\Rightarrow P(D \mid T) \approx 0,503$\\
\end{tabular}\\
\\
Während das Baby einer 45jährigen Schwangeren also etwa mit
Wahrscheinlichkeit $1/2$ tatsächlich Trisomie 21 aufweist, wenn der
Test positiv ausfällt, ist dies bei 25jährigen Schwangeren dennoch
nur mit einer Wahrscheinlichkeit von unter $4\%$ der Fall.

Generell ist die Aussagekraft von derartigen medizinischen Tests
selbst bei hoher Sensitivität und Spezifität sehr beschränkt, wenn
die Erkrankungswahrscheinlichkeit sehr gering ist. Daher ist in
einem solchen Fall ein allgemeines Screening sinnlos.
\end{example}

%%%%%%%%%%%%%%%%%%%%%%%% 24.09.2009

Wird $A$ nicht von $B$ beeinflusst, so sollte $P(A \mid B) = P(A)$
gelten.

\begin{definition}[(P-)stochastisch unabhängig] \label{def:sto_unab}
Sei $(\Omega, P)$ ein diskreter Wahrscheinlichkeitsraum. Ereignisse
$A,B \subset \Omega$ heißen \underline{(P-)stochastisch unabhängig},
falls

$P( A \cap B) = P(A) \cdot P(B)$
\end{definition}

\begin{definition}[(P-)stochastisch unabhängig allgemein] \label{def:sto_unab_allg}
Ereignisse $A_1,...,A_n \subset \Omega$ in einem diskreten
Wahrscheinlichkeitsraum $(\Omega,P)$ heißen
\underline{(P-)stochastisch unabhängig}, wenn für jede Indexmenge $I
\subset \lbrace 1,...,n \rbrace, I \neq \emptyset$, gilt

$P(\underset {i \in I} {\bigcap} A_i) = \underset {i \in I} {\prod} P(A_i)$
\end{definition}

\pagebreak
\begin{bemerkung}
$\phantom x$ \\
\begin{enumerate}
\item Definition \ref{def:sto_unab_allg} stellt sicher, dass jede beliebige Auswahl $A_i, i \in I \subset \lbrace 1,...,n \rbrace$
aus unabhängigen Ereignissen $A_1,...,A_n$ auch wieder unabhängig sind.

\item Mehr als 2 Ereignisse $A_1,...,A_n$ sind im allgemeinen \underline{nicht} stochastisch unabhängig, wenn nur $P(\underoverset{i=1}{n}
{\bigcup} A_i) = \underoverset{i=1}{n}{\prod} P(A_i)$\\

Ist z.B. $A_1 = \emptyset$, so gilt $P(\underoverset{i=1}{n}{\bigcap} {A_i}) = P(\emptyset) = 0 = \underoverset{i=1}{n}{\prod} P(A_i)$\\

Ist $A_2 = A_3 = A$ mit $P(A) \in (0,1)$, so gilt

$P(A_2 \cap A_3) = P(A) \neq P(A_2) \cdot P(A_3) = (P(A))^2$

$\Rightarrow A,A_2,A_3$ sind \underline{nicht} stochastisch
unabhängig

\item
Ebenso sind mehr als 2 Ereignisse i.d.R. \underline{nicht}
stochastisch unabhängig, wenn jeweils 2 der Ereignisse stochastisch
unabhängig sind.\\

Bsp.: 2 maliges Werfen eines fairen Würfels\\
$\Omega = \embrace{1,...,6} $, P Laplace-Verteilung\\
$A_1 = \embrace{1,3,5}\times\embrace{1,...,6}$ \quad (Erste Augenzahl ist ungerade)\\
$A_2 = \embrace{1,...,6}\times\embrace{1,3,5}$ \quad (Zweite Augenzahl ist ungerade)\\
$A_3 = \embrace{(\omega_1,\omega_2) \in \Omega \mid \omega_1 + \omega_2 \text{ ungerade}}$ (Summe ist ungerade)\\
$\phantom{A_3} = (\embrace{1,3,5}\times\embrace{2,4,6}) \cup (\embrace{2,4,6}\times\embrace{1,3,5})$\\

$A_1,A_2$ sind stochastisch unabhängig\\ $A_1,A_3$ sind stochastisch
unabhängig\\ $A_2,A_3$ sind stochastisch unabhängig\\

z.B. $P(A_2 \cap A_3) = P(\embrace{2,4,6}\times\embrace{1,3,5}) =
\dfrac {\lvert \embrace{2,4,6}\times\embrace{1,3,5} \rvert} {\lvert
\Omega \rvert} = \frac {9} {36} = \frac 1 4$\\ $\phantom{z.B. P(A_2
\cap B_3} = \frac 1 2 \cdot \frac 1 2 = P(A_2) \cdot P(A_3)$,\\ d.h.
$A_2,A_3$ sind stochastisch unabhängig.\\

Aber $A_1,A_2,A_3$ sind \underline{nicht} stochastisch unabhängig,
denn \\ $A_1 \cap A_2 \cap A_3 = \emptyset \Rightarrow P(A_1 \cap
A_2 \cap A_3) = 0 \neq P(A_1) \cdot P(A_2) \cdot P(A_3) = \frac 1 8$
\end{enumerate}
\end{bemerkung}

\chapter{Zufallsvariablen und ihre Verteilungen}

Oft ist nicht das genaue Ergebnis eines Zufallsexperiments von
Interesse, sondern nur eine summarische Größe, die einen gewissen
Aspekt des Ergebnisses widerspiegelt

$\rightsquigarrow$ Abbildung $X: \Omega \rightarrow S,   S\ne
\emptyset$ beliebige Menge.

----------- Zeichnung ---------------\\

Urbild von $B$ unter $X: X^{-1}(B) = \embrace{\omega \in \Omega \mid
X(\omega) \in B} =: \embrace{X \in B}$\\
 Erinnerung:

$X^{-1}(A \cup B) = X^{-1}(A) \cup X^{-1}(B)$

$X^{-1}(A \cap B) = X^{-1}(A) \cap X^{-1}(B)$

$X^{-1}(A \setminus B) = X^{-1}(A) \setminus X^{-1}(B)$

\begin{satzdef}[Zufallsvariable]
Ist $(\Omega,P)$ ein diskreter Wahrscheinlichkeitsraum und $S \neq
\emptyset$ eine beliebige Menge, so wird eine Abbildung $X:
\Omega \rightarrow S$ auch $S$-wertige \underline{Zufallsvariable} genannt.\\

Durch $P^X(B) := P(X^{-1}(B)) \; \forall B \subset S$ wird ein
Wahrscheinlichkeitsmaß $P^X$ auf $S$ definiert, die sogenannte
Verteilung von $X$.

 $(S,P^X)$ ist ein diskreter Wahrscheinlichkeitsraum
\end{satzdef}

Beweis: Offensichtlich $P^X(B) = P(X^{-1}(B)) \in [0,1]$

$P^X(S) = P(X^{-1}(S)) = P(\Omega) = 1$

$B_i \subset S $ disjunkt $(i \in \mathbb{N})$

$\Rightarrow\; P^X(\underset{i\in \mathbb{N}} {\bigcup} B_i) =
P(X^{-1}(\underset{i \in \mathbb{N}} {\bigcup} B_i)) = P(\underset{i
\in \mathbb{N}} {\bigcup} \underset{disjunkt} { \underbrace{
X^{-1}(B_i)}}) = \sumft {i \in \mathbb{N}} P(X^{-1}(B_i)) =
\sumft{i \in \mathbb{N}} P^X(B_i)$,\\
d.h. $P^X$ ist $\sigma$-additiv\\

$(\Omega,P)$ diskreter Wahrscheinlichkeitsraum $\Rightarrow \exists
\Omega_0 \subset \Omega$ abzählbar mit $P(\Omega_0) = 1$

$S_0 := X(\Omega_0) = \embrace{X(\omega) \mid \omega \in \Omega_0}
\subset S $ abzählbar.

$P^X(S_0) = P(X^{-1}(X(\Omega_0)) \geq P(\Omega_0) = 1$

d.h. $P^X(S_0) = 1$


\begin{example}
2 maliges Werfen eines fairen Würfels\\

Es interessiere nur die Augensumme\\
\\
Modell: $\Omega = \embrace{1,...,6}^2$, P Laplace-Verteilung

$X: \Omega \rightarrow \embrace{2,...,12} =: S$

$X(\omega_1,\omega_2) :=  \omega_1 + \omega_2$\\
\\
Verteilung von $P^X$ von X hat Zähldichte $f_X$ gegeben durch

\begin{equation*}
\begin{split}
k\in S: f_X(k)& = P^X(\embrace{k}) = P\embrace{X = k}\\
& = P\embrace{(\omega_1,\omega_2) \in \Omega \mid X(\omega_1,\omega_2) = \omega_1 + \omega_2 = k} \\
& = P\embrace{(\omega_1,k - \omega_1) \mid 1 \leq \omega_1 \leq 6, 1 \leq k - \omega_1 \leq 6} \\
& = P\embrace{(\omega_1,k - \omega_1) \mid \max(1,k-6) \leq \omega_1 \leq \min(6,k-1)} \\
& = \left \lbrace
\begin{matrix}
\frac {k-1} {36} & \text{falls } 2 \leq k \leq 7 \\
\frac {13-k} {36} & \text{falls } 7 < k \leq 12
\end{matrix}
\right. \\
& = \dfrac {6- \lvert k - 7 \rvert} {36} \quad \forall k \in S
\end{split}
\end{equation*}
\end{example}

Zufallsvariablen sollen als unabhängig angesehen werden, wenn alle
durch sie ausdrückbaren Ereignisse stochastisch unabhängig sind.

\begin{definition}[(P-)stochastische Unabhängigkeit bei Zufallsvariablen] \label{def:sto_abh_zv}
Sei $(\Omega,P)$ ein diskreter Wahrscheinlichkeitsraum.\\
Dann heißen Zufallsvariablen $X_i:\Omega \rightarrow S_i, 1 \leq i
\leq n$ \underline{(P-)stochastisch unabhängig}, wenn für beliebige
$B_i \subset S_i, 1 \leq i \leq n$, die Ereignisse $\embrace{X_1 \in
B_1},...,\embrace{X_n \in B_n}$ stochastisch unabhängig sind.
\end{definition}

Man beachte: $(X_1,...,X_n): \Omega \rightarrow S_1 \times
\cdots\times S_n$ ist eine Zufallsvariable.

\begin{satz}
In der Situation von Definition \ref{def:sto_abh_zv} sind
äquivalent:
\begin{enumerate}[(i)]
\item \label{satz:sto_abh_1}
$X_1,...,X_n$ sind stochastisch unabhängig

\item \label{satz:sto_abh_2}
 $\forall B_i \subset S_i (1 \leq i \leq n): P\embrace{X_i \in B_i \; \forall 1 \leq i \leq n} = \underoverset{i=1}{n}{\prod}
 P\embrace{X_i \in B_i}$

\item \label{satz:sto_abh_3}
Die Zähldichte $f_{(X_1,...,X_n)}$ von $P^{(X_1,...,X_n)}$ hat die
Form

 $f_{(X_1,...,X_n)}(t_1,...,t_n) = \underoverset{i=1}{n}{\prod} h_i(t_i) \quad \forall t_i \in S_i (1 \leq i \leq n)$\\
 \\
 für geeignete Funktionen $h_i:S_i \rightarrow [0,\infty)$

 In dem Fall hat $P^{X_i}$ die Zähldichte
 \begin{equation}\label{eqn:3_1}
 f_{X_i}(t_i) = c_i \cdot h_i(t_i) \; \forall t_i \in S_i \; \text{mit} \; c_i = \dfrac {1} {\sumft{t \in S_i} h_i(t)}
 \end{equation}
\end{enumerate}
\end{satz}


Beweis: \\ 
(\ref{satz:sto_abh_1}) $\Rightarrow$
(\ref{satz:sto_abh_2}) ist klar, da $\embrace{X_i \in  B_i}, 1 \leq
i \leq n$, stochastisch unabhängig.

$\Rightarrow P(\underoverset{i=1}{n}{\bigcap} \embrace{X_i \in B_i}) = P\embrace{X_i \in B_i \; \forall 1 \leq i \leq n} =
\underoverset{i=1}{n}{\prod} P\embrace{X_i \in B_i}$\\
\\
(\ref{satz:sto_abh_2}) $\Rightarrow$ (\ref{satz:sto_abh_3}) Speziell
für  $B_i = \embrace{t_i}$
\begin{equation*}
\begin{split}
P\embrace{X_i = t_i \, \forall 1 \leq i \leq n}& =  P\embrace{X_i \in B_i \, \forall 1 \leq i \leq n}\\
& \eqover{(\ref{satz:sto_abh_2})} \underoverset{i = 1}{n}{\prod} P\embrace{X_i \in B_i}\\
& = \underoverset{i=1}{n}{\prod} P\embrace{X_i = t_i}
\end{split}
\end{equation*}
d.h. $f_{(X_1,...,X_n)} (t_1,...,t_n) = P\embrace{(X_i,...,X_n) = (t_1,...,t_n)} = \underoverset{i=1}{n}{\prod} P\embrace{X_i = t_i} =
 \underoverset{i=1}{n}{\prod} f_{X_i}(t_i)$\\
d.h. (\ref{satz:sto_abh_3})\\
\\
(\ref{satz:sto_abh_3}) $\Rightarrow$ (\ref{eqn:3_1})
\begin{equation*}
\begin{split}
f_{X_i}(t_i)& = P\embrace{X_i = t_i} \\
& = P\embrace{X_i = t_i, X_j \in S_j \forall j \neq i}\\
& = \underset{j \neq i} {\sumft{t_j \in S_j}} f_{(X_1,...,X_n)}(t_1,...,t_n)\\
& \eqover{(\ref{satz:sto_abh_3})} \underset{j \neq i} {\sumft{t_j \in S_j}} \underoverset{k=1}{n}{\prod} h_k (t_k)\\
& = \sumft{t_1 \in S_1} \sumft{t_2 \in S_2}...\sumft{t_{i-1} \in S_{i-1}} \sumft{t_{i+1} \in S_{i+1}}...\sumft{t_n \in S_n}
\underoverset{k=1}{n}{\prod} h_k(t_k) \\
& = h_i(t_i) \cdot \underset{i \neq j} {\underoverset{j=1}{n}{\prod}} \left (\sumft{t_j \in S_j} h_j(t_j) \right ) =:
 c_i \qquad \text{(Distributivgesetz)}
\end{split}
\end{equation*}

Die Darstellung für $c_i$ folgt aus der Bedingung $\sumft{t \in S_i}
f_{X_i}(t) = 1$ an Zähldichten\\
\\
(\ref{satz:sto_abh_3})$\Rightarrow$(\ref{satz:sto_abh_2}) O.E. $h_i = f_{X_i}$

$\forall B_i \in S_i$
\begin{equation*}
\begin{split}
P\embrace{X_i \in B_i \; \forall 1 \leq i \leq n}& = P\embrace{(X_1,...,X_n) \in B_1\times ...\times B_n}\\
& = \sumft{(t_1,...,t_n) \in B_1\times...\times B_n} f_{(X_1,...,X_n)}(t_1,...,t_n)\\
& = \underoverset{i=1}{n}{\prod} \sumft{t_i \in B_i} f_{X_i} (t_i) \qquad \text{(Distributivgesetz)}\\
& = \underoverset{i=1}{n}{\prod} P\embrace{X_i \in B_i}
\end{split}
\end{equation*}\\
\\
(\ref{satz:sto_abh_2})$\Rightarrow$(\ref{satz:sto_abh_1}) \; z.Z.
$\forall J \subset \embrace{1,...,n}, J \neq \emptyset:\quad
\embrace{X_j \in B_j \; \forall j \in J} = \underset{j \in J}
{\prod}P\embrace{X_j \in B_j}$

Dies folgt sofort aus (\ref{satz:sto_abh_2}) mit $B_i := S_i \;
\forall i  \not\in J$, denn dann $P\embrace{X_i \in B_i} = P(\Omega)
= 1$ und

$\embrace{X_j \in B_j \; \forall j \in J} = \embrace{X_i \in B_i \; \forall 1 \leq i \leq n}$

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%% 27.04.09

\begin{example} \label{example:3.5}
Zufallsexperiment mit Erfolgswahrscheinlichkeit $p \in [0,1]$ werde
$n$-mal unabhängig durchgeführt.\\

\underline{Modell:} $\Omega = \embrace{0,1}^n$,\\
 wobei 0 einem Misserfolg und 1 einem Erfolg entspricht.\\

Def. Wahrscheinlichkeitsmaß auf $\Omega$ mit Zähldichte

$f(\omega) = P\embrace{(\omega_1,...\omega_n)} = p^{\sumft[i=1]{n} \omega_i} \cdot (1-p)^{\sum_{i=1}^{n} (1-\omega_i)}$\\
(denn bei jeder Durchführung Erfolgswahrscheinlichkeit $p$

$\rightsquigarrow$ Faktor $p$, wenn $\omega_i = 1$, d.h. $i$-tes
Experiment erfolgreich

$\phantom{\rightsquigarrow}$ Faktor $(1-p)$, wenn $\omega_i = 0$, d.h. $i$-tes Experiment Misserfolg )\\
\\
Zufallsvariable $X_i: \Omega \rightarrow \embrace {0,1}, X_i(\omega)
= \omega_i$, d.h.

$X_i = \left \lbrace
\begin{matrix}
0, & \text{ falls $i$-tes Experiment Misserfolg} \\
1, & \text{falls $i$-tes Experiment Erfolg}
\end{matrix}
\right. \\$\\
\\
Beh.: $X_1,...,X_n$ sind stochastisch unabhängig.\\
Denn: Zähldichte
von $P^{(X_1,...,X_n)}$

\begin{equation*}
\begin{split}
f_{(X_1,...,X_n)}(t_1,...,t_n)& = P\embrace{(X_1,...,X_n) = (t_1,...,t_n)}\\
& = P\embrace{\omega \in \Omega \mid X_i (\omega) = \omega_i = t_i \; \forall 1 \leq i \leq n}\\
& = P\embrace{(t_1,...,t_n)} = p^{\sumft[i=1]{n} t_i} \cdot (1-p)^{\sum_{i=1}^{n}(1-t_i)}\\
& = \underoverset{i=1}{n}{\prod} \left ( p^{t_i} \cdot
(1-p)^{(1-t_i)} \right )
\end{split}
\end{equation*} \nopagebreak
hat Produktgestalt.\\
\\
Betrachte die Zufallsvariable $Y := \sumft[i=1]{n} X_i$, also die
Anzahl der Erfolge in $n$ Experimenten.\\ $P^Y$ hat Zähldichte
\begin{equation*}
\begin{split}
f_Y(k)& = P\embrace{Y = k} = P\embrace{(\omega_1,...,\omega_n) \in \Omega \mid Y(\omega_1,...\omega_n) = \sumft[i=1]{n}X_i(\omega)
= \sumft[i=1]{n}\omega_i = k}\\
& = \underset{\sumft[i=1]{n}\omega_i = k}{\sumft{(\omega_1,...,\omega_n) \in \Omega}} p^k \cdot (1-p)^{n-k} \\
& = {n \choose k} \cdot p^k \cdot (1-p)^{n-k}
\end{split}
\end{equation*}
denn es gibt genau ${n \choose k}$ Möglichkeiten, die $k$ Stellen im
Vektor $(\omega_1,...,\omega_n)$ auszuwählen, an denen eine 1
steht.\\ Daher: $P^Y = \mathcal{B}_{(n,p)} \quad $:
Binomialverteilung ($\rightarrow$ Bsp
\ref{bsp:1.11}.(\ref{bsp:1.11.1}))\\ Speziell
$n=1$: $\mathcal{B}_{(1,p)}: \quad $ \underline{Bernoulli-Verteilung}\\
Also sind $X_1,...,X_n$ stochastisch unabhängig mit $P^{X_i} =
\mathcal{B}_{(1,p)}$

\end{example}

\begin{example} \underline{Capture-Recapture-Verfahren}\\
Ziel: Schätze Anzahl $N$ der Fische in einem See\\ Dazu:
\begin{enumerate}[1.]
\item Fange $M$ Fische, markiere sie und lasse sie wieder frei.
\item Fange wieder $n$ Fische, darunter seien $m$ markierte.\\
\end{enumerate}
Annahme: Fangwahrscheinlichkeit unter 2. sei für markierte und unmarkierte Fische gleich\\
\\
\underline{Modell:} n-mal Ziehen \underline{ohne} Zurücklegen aus N
Fischen und \underline{ohne} Berücksichtigung der Reihenfolge.

$\Omega = \embrace{(\omega_1,...,\omega_n) \in \embrace{1,...,N}^n \mid \omega_1 < \omega_2 < ... < \omega_n}$

markierte Fische entsprechen den Nummern $1,...,M$

$P$ Laplace-Verteilung

$X(\omega) = \sumft[i=1]{n} 1_{\embrace{1,...,M}}(\omega_i) \;$: Anzahl der markierten Fische\\
Erinnerung: $1_{\embrace{1,...,M}}(\omega_1) = \left \lbrace
\begin{matrix}
1 & \text{falls } \omega_i \in \embrace{1,...,M}\\
0 & \text{falls } \omega_i \notin \embrace{1,...,M}
\end{matrix} \right .$\\
\\
mögliche Werte von $X(\omega): 0 \leq X(\omega) \leq \min(M,n),
n-X(\omega) \leq N - M$

$\Rightarrow $ Wertebereich von $X: S := \embrace{\max(0,n+M-N),...,\min(n,M)}$\\
\\
Berechne: $P\embrace{X = m} = \dfrac {\lvert \embrace{\omega \in \Omega \mid X(\omega) = m} \rvert}{\lvert \Omega \rvert}$\\
\\
Es gibt genau ${M \choose m}$ Möglichkeiten, $m$ markierte Fische
aus $M$ markierten Fischen zu ziehen.\\ Es gibt genau ${N-M \choose
n-m }$ Möglichkeiten, $n-m$ nicht markierte Fische aus allen $N-M$
nicht
markierten Fischen zu ziehen.\\

$\Rightarrow P\embrace{X=m} = \dfrac { {M \choose m} \cdot {N-M \choose n-m} } { {N \choose n} } =: \mathcal{H}_{(N,M,n)}(\embrace{m})
 \; \forall m \in S$\\
 Die rechte Seite gibt die Zähldichte eines Wahrscheinlichkeitsmaßes
 auf $S$ an, der so genannten \underline{hypergeometrische
 Verteilung} $\mathcal{H}_{(N,M,n)}$.\\
Es gilt also $P^X = \mathcal{H}_{(N,M,n)} \quad$

Die hypergeometrische Verteilung beschreibt also die Anzahl der
``Erfolge'' beim Ziehen \underline{ohne} Zurücklegen, während die
Binomialverteilung die Anzahl beim Ziehen \underline{mit}
Zurücklegen beschreibt.


Falls $n\ll N$, dann ist Ziehen mit oder ohne Zurücklegen fast
identisch und daher

 $\mathcal{H}_{(N,M,m)}\embrace{m} \approx \mathcal{B}_{(n, \frac M N)}\embrace{m} \; \forall 0 \leq m \leq n$\\
\\
Wir werden sehen: erwartete Anzahl markierter Fische $= n \cdot \frac{M} {N}$,\\
wobei $N$ unbekannt ist.\\
Einen Schätzer für $N$ kann man so motivieren, dass die tatsächlich
beobachtete Zahl $X(\omega)$ markierter Fische in etwa gleich der
erwarteten Anzahl gesetzt wird:\\ $X(\omega) \approx n \cdot \dfrac
M N \rightsquigarrow \hat N := \left [ n \cdot \dfrac M {X(\omega)}
\right ]$

\end{example}

Im Fall, dass die Anzahl der Experimente $n$ groß und die
Erfolgswahrscheinlichkeit $p$ klein ist, kann $\mathcal{B}_{(n,p)}$
approximiert werden durch eine einfachere Verteilung.

\begin{satzdef}[Poisson'scher Grenzwertsatz, ``Gesetz der kleinen Zahlen'']
    Ist $p_n \in (0,1), n \in \mathbb{N}$, so dass $\underset{n \rightarrow \infty}{\lim} n \cdot p_n = \lambda > 0$,
    so gilt für $k \in \mathbb{N}_0$

    $\underset{n \rightarrow \infty} {\lim} \mathcal{B}_{(n,p_n)}(\embrace{k}) = e^{-\lambda} \cdot \frac {\lambda ^k} {k!} =:
     f_\lambda(k)$\\
    $f_\lambda: \mathbb{N}_0 \rightarrow [0,1]$ ist eine Zähldichte.\\
    Das zugehörige Wahrscheinlichkeitsmaß $\mathcal{P}_\lambda$ heißt \underline{Poisson-Verteilung} mit Parameter $\lambda$.
\end{satzdef}

Beweis: $(1- \frac {x_n} {n})^n \rightarrow e^{-x}$ falls $x_n \rightarrow x$\\
\\
$\mathcal{B}_{(n,p_n)}\embrace{k} = {n \choose k} \cdot p_n^k \cdot (1 - p_n)^{n-k} = \frac {n \cdot (n-1) \cdot ... \cdot (n - k + 1)}
 {n \cdot n \cdot ... \cdot n} \cdot (n \cdot p_n)^k \cdot (1 - \frac {n \cdot p_n} {n})^n \cdot (1 - p_n)^{-k} \cdot \frac 1 {k!}$
\\$\underset {n \rightarrow \infty}\longrightarrow \dfrac {\lambda^k \cdot e^{-\lambda}}
{k!}$,\\
da $(n-i)/n\to 1 \; \forall\, 0\le i\le k-1$, $(1-np_n/n)^n\to
e^{-\lambda}$ und wegen $n p_n\to\lambda\Rightarrow p_n\to 0$
schließlich $(1-p_n)^{-k}\to 1$.

\pagebreak

\section*{Summen unabhängiger Zufallsvariablen}

\begin{definition}[Faltung] \label{def:faltung}
    Sind X,Y stochastisch unabhängige $\mathbb{R}$-wertige Zufallsvariablen auf einem diskreten Wahrscheinlichkeitsraum $(\Omega,P)$,
    so heißt die Verteilung $P^{X+Y}$ der Summe X+Y die \underline{Faltung} von $P^X$ und $P^Y$, in Zeichen $P^X * P^Y$\\
    \\Ebenso wird die Zähldichte $f_{X+Y}$ von $P^{X+Y}$ die \underline{Faltung} der Zähldichten $f_X$ von $P^X$ und $f_Y$ von $P^Y$ genannt,
    i. Z. $f_X * f_Y$
\end{definition}

\begin{satz}
    Sind in der Situation von Def. \ref{def:faltung} X und Y $\mathbb{Z}$-wertig, so gilt

    $f_X * f_Y (n) = \sumft{k \in \mathbb{Z}} f_X(k) \cdot f_Y(n-k) \; \forall n \in \mathbb{Z}$
\end{satz}

Beweis:
\begin{equation*}
\begin{split}
    f_X * f_Y (n)& = P\embrace{X + Y = n} \\
&   = \sumft {k \in \mathbb{Z}} P\embrace{X=k, Y= n-k}\\
&   = \sumft {k \in \mathbb{Z}} P\embrace{X=k} \cdot P\embrace{Y=n-k} \\
&   = \sumft {k \in \mathbb{Z}} f_X(k) \cdot f_Y(n-k)
\end{split}
\end{equation*}


\begin{example}
    Seien $\lambda_1,\lambda_2 > 0$. Dann hat $\mathcal{P}_{\lambda_1}*\mathcal{P}_{\lambda_2}$ die Zähldichte
    \begin{equation*}
    \begin{split}
        f_{\lambda_1}*f_{\lambda_2}(n)& = \sumft[k=0]{\infty} f_{\lambda_1}(k) \cdot f_{\lambda_2}(n-k) \\
        & = \sumft[k=0]{n} e ^ {-\lambda_1} \cdot \frac {\lambda_1^k} {k!} \cdot e ^ {-\lambda_2} \cdot \frac {\lambda_2^{(n-k)}} {(n-k)!} \\
        & = e^{-(\lambda_1 + \lambda_2)} \cdot \frac 1 {n!} \sumft[k=0]{n} \frac {n!} {k! (n-k)!} \cdot \lambda_1^k \cdot \lambda_2^{n-k} \\
        & =  e^{-(\lambda_1 + \lambda_2)} \cdot \frac 1 {n!} \cdot (\lambda_1 + \lambda_2)^n = f_{\lambda_1 + \lambda_2}(n) \; \forall n
        \in \mathbb{N}_0
    \end{split}
    \end{equation*}
    
    Also $\mathcal{P}_{\lambda_1} * \mathcal{P}_{\lambda_2} = \mathcal{P}_{\lambda_1 + \lambda_2}$
\end{example}

\begin{example}[Quicksort] \label{bsp:3.11}

    Die Zahlen $x_1,...,x_n$, die alle als verschieden angenommen werden, sollen sortiert
    werden.

    Der Algorithmus Quicksort erledigt diese Aufgabe wie folgt:
    \begin{enumerate}[1.]
        \item Wähle zufällig gleichverteilt ein $x_j$ aus
        \item Ordne Zahlen $x_i < x_j$ links von $x_j \rightsquigarrow X_l$ Vektor von Zahlen $< x_j$
        \item Ordne Zahlen $x_i > x_j$ rechts von $x_j \rightsquigarrow X_r$ Vektor von Zahlen $> x_j$
        \item Verfahre mit $X_l$ und $X_r$ getrennt ebenso usw.
    \end{enumerate}

    Beispiel. 3 \; 7 \; 2 \; 6 \; 13 \; 1 \\
    \begin{tabular}{lll}
        1. Wahl 7: & $\underset {X_l} {\underbrace {3 \; 2 \; 6 \; 1 \;}} | 7 | \underset {X_r} {\underbrace { 13 }}$ & $\rightsquigarrow$
         5 Vergleiche\\
        2. Wahl 3: & $2 \; 1 | 3 | 6 | 7 | 13$ & $\rightsquigarrow$ 3 Vergleiche\\
         & $1 \; 2 | 3 | 6 | 7 | 13$ & $\rightsquigarrow$ 1 Vergleich\\
         &  & \rule{0.2\textwidth}{0.4pt}\\
         &  & 9 Vergleiche
    \end{tabular}
    \\

    \noindent
    worst case: gewählte Zahl jeweils kleinste oder größte\\
    \indent Anzahl Vergleiche: $(n-1) + (n-2) + ... + 1 = \frac {n \cdot (n-1)}{2}$
    \\

    \noindent
    best case: Speziell $n = 2^k-1$\\
    \indent ausgewählte Zahl jeweils mittlere\\
    \\
    \begin{tabular}{lll}
    1. Schritt & $2^k -2 $ Vergleiche & $\rightsquigarrow$ 2 Blöcke mit Länge $2^{k-1}-1$\\
    2. Schritt & $2 \cdot (2^{k-1} -2) $ Vergleiche & $\rightsquigarrow$ 4 Blöcke mit Länge $2^{k-2}-1$ usw.\\
    \end{tabular}

    $\rightsquigarrow$ Gesamtzahl der Vergleiche:\\
    \indent \qquad $(2^k-2)+2\cdot(2^{k-1} - 2) + ... + 2^{k-2} \cdot (2^2 - 2) = (k-2) \cdot 2^k + 2 \approx n \cdot \log_2 n$\\
    \\
    Später: mittlere Zahl der benötigten Vergleiche $\approx \underset{\approx 2,89} {\underbrace{\frac {2} {\log 2}}} \cdot
     \text{Anzahl der Vergleiche beim best case}$\\
    \\
    Hier: Bestimme die Zähldichte der zufälligen Anzahl von Vergleichen, die zum Sortieren benötigt werden.\\
    \\
    Wird die Zahl jeweils zufällig gleichverteilt gewählt, so hängt die Verteilung der Anzahl von Vergleichen nur von der Anzahl
    $n$ der Daten ab, nicht von deren Reihenfolge.\\

    $Z(X) =$ Zahl der Vergleiche, um Vektor $X$ zu sortieren\\ \indent
    $Z(x_1,...,x_n) = n-1 + Z(X_l) + Z(X_r)$\\
    \\
    Angenommen $k$-te kleinste Zahl ausgewählt: \\ \indent
        Dann hat $X_l$ die Länge $k-1$ und $X_r$ die Länge $n-k$\\
    \\
    Zähldichte von $Z(x_1,...,x_n): f_n(m) := P\embrace{Z(x_1,...,x_n) = m}$ (hängt von n ab, nicht von den genauen Werten $x_1,...,x_n)$\\
    \\
    Dann \\\indent
        $P\embrace{Z(x_1,...,x_n) = l} = P\embrace{Z(X_l) + Z(X_r) = l - (n-1)}$\\
    Bei gegebenem Wert $k$ sind $Z(X_l),Z(X_r)$ stochastisch unabhängig, da die Zahlen jeweils unabhängig gewählt werden.\\
    \\
    Da jeder Wert von $k$ mit Wahrscheinlichkeit $\frac 1 n$ angenommen wird, folgt \\\indent
    \begin{equation*}
    \begin{split}
        f_n(l) & = P\embrace{Z(X_l) + Z(X_r) = l - n + 1} \\
        & = \sumft[k=1]{n} \frac 1 n \cdot f_{k-1} * f_{n - k} (l - n +1)\\
        & = \frac 1 n \sumft[k=1]{n} \sumft[j=0]{\infty} f_{k-1}(j) \cdot f_{n-k}(l - n + 1 - j)
    \end{split}
    \end{equation*}
    \\
    $f_1(0) = 1\\
    f_2(1) = 1\\
    f_n , n \geq 3$ kann wie oben rekursiv berechnet werden.\\
    \\
    -------------- PDF-Scan eines Buches mit Grafen zu berechneten Werten -----------------\\

\end{example}

\begin{definition}[Markov-Kette und -Eigenschaft \& Übergangswahrscheinlichkeit] $\phantom{.}$\\
Eine Folge von Zufallsvariablen $(X_n)_{n \in \mathbb{N}_0}$ von
$S$-wertigen Zufallsvariablen ($S$ höchstens abzählbar) heißt
\underline{Markov-Kette}, falls für alle $n \in \mathbb{N},
s_0,...,s_{n+1} \in S$ mit $P\embrace{X_n = s_n,X_{n-1} = s_{n-1},
... , X_0 = s_0} > 0$\\ \indent $P(X_{n+1} = s_{n+1} \mid X_n =
s_n,X_{n-1} = s_{n-1}, ... , X_0 = s_0) \\ \phantom{.} \qquad  =
P(X_{n+1} = s_{n+1} \mid X_n = s_n) \qquad$
(\underline{Markov-Eigenschaft})\\
\\
Die Markov-Kette heißt \underline{homogen}, falls die
\underline{Übergangswahrscheinlichkeiten} $p_{ts} := P(X_{n+1} = t
\mid X_n = s)$ für alle $n \in \mathbb{N}_0$ mit $P\embrace{X_n = s}
> 0$ gleich sind
\end{definition}

Bei (homogenen) Markov-Ketten hängt das zukünftige Verhalten nur
vom gegenwärtigen Zustand ab, nicht von der echten Vergangenheit.\\
\\
Stochastisches Verhalten einer homogenen Markov-Kette ist eindeutig
bestimmt durch die Startverteilung $P^{X_0}$ (z.B. durch Angabe der
zugehörigen Zähldichte $f_0(s) = P\embrace{X_0 = s}$) und die
Übergangswahrscheinlichkeit $p_{ts}, \; \; s,t \in S$.\\ \pagebreak
\\
Dann z.B.
\begin{equation*}
\begin{split}
P\embrace{X_0 = s_0, X_1 = s_1,X_2 = s_2}& = P(X_2 = s_2 \mid X_1 = s_1, X_0 = s_0) \cdot P\embrace{X_1 = s_1,X_0 = s_0}\\
& = p_{s_2 s_1} \cdot P(X_1 = s_1 \mid X_0 = s_0) \cdot P\embrace{X_0 = s_0} \\
& = p_{s_2 s_1} \cdot p_{s_1 s_0} \cdot f_0(s_0)
\end{split}
\end{equation*} \nopagebreak
Allgemein: $P\embrace{X_i \in A_i \; \forall 0 \leq i \leq n} =
\underset {(0 \leq i \leq n)} {\sumft{s_i \in A_i}} f_0(s_0) \cdot
p_{s_0 s_1} \cdot p_{s_1 s_2} \cdot ... \cdot p_{s_{n-1} s_n}$

\begin{example}
    Spieler $A$ und $B$ spielen das folgende Glücksspiel: Spieler $A$ bestimmt den Einsatz und wirft eine Münze.\\
    Falls Kopf fällt, so zahlt $B$ den Einsatz an $A$, sonst zahlt $A$ den Einsatz  an $B$.\\
    \\
    Spieler $A$ hat 1 \euro\ und benötigt 5 \euro .\\


    Er entschließt sich daher, die folgende ``Kühne Strategie'' anzuwenden:\\
    $A$ setzt jeweils sein gesamtes Kapital, wenn er $\leq \frac 5 2 $\euro\ hat, sonst die Differenz aus 5 \euro\ und seinem
     Kapital
    (so dass er in diesem Fall, die 5 \euro\ zusammen hat, wenn Kopf
    fällt).\\ Das Spiel ist beendet, sobald Spieler $A$ sein
gesamtes Kapital verspielt hat oder aber 5 \euro\ besitzt und das
Spiel beendet.

Die Zufallsvariable $X_n$ bezeichne das Kapital von $A$ nach $n$
Spielen. (Sobald das Spiel beendet ist, soll sich der Wert nicht
mehr ändern.) Die Wahrscheinlichkeit, dass Kopf fällt, betrage
jeweils $p$.

$(X_n)_{n\in\mathbb{N}_0}$ ist dann eine homogene Markov-Kette. Die
folgende Grafik gibt alle möglichen Übergänge von $X_n$ nach
$X_{n+1}$ sowie die zugehörigen Übergangswahrscheinlichkeiten
wieder:
    \\

    \includegraphics[width=.5\textwidth]{3_13_1.jpg}

    Z.B.\ ist von $X_n=4$ nur ein Wechsel nach $X_{n+1}=5$ mit Wahrscheinlichkeit $p$ oder nach
    $X_{n+1}=3$ mit Wahrscheinlichkeit $1-p$ möglich, d.h. $p_{5\,4} = p \;, \; p_{3 \, 4} = 1-p \;,\; p_{i \, 4} = 0 \,
    \forall i \notin \embrace{3,5}$\\
    Die Zustände 1 und 5 heißen absorbierend, da sie nicht wieder verlassen werden können.\\
    \\
    Mit welcher Wahrscheinlichkeit erhält Spieler $A$ schließlich 5 \euro ?

    $p_k = P(X_l = 5 \text{ für ein } l > n \mid X_n = k)$ \quad (hängt nicht von n ab)\\
    Dann:

     \indent
    \begin{equation*}
    \begin{split}
        p_1& = P(X_l = 5 \text{ für ein } l > n | X_n = 1) \\
        & = P(X_{n+1} = 2, X_l = 5 \text{ für ein } l > n | X_n = 1) + \underset {0} {\underbrace{ P(X_{n+1} = 0, X_l=5 \text{ für ein } l > n
        | X_n = 1)}} \\
        & = \dfrac {P\embrace{X_n=1,X_{n+1} = 2 , X_l = 5 \text{ für ein } l > n + 1}} {P\embrace{X_n = 1, X_{n+1} = 2}} \cdot
        \dfrac {P\embrace{X_n =1, X_{n+1} = 2}} {P\embrace{X_n = 1}}\\
        & = P(X_l = 5 \text{ für ein } l > n +1 | X_n = 1, X_{n+1} = 2) \cdot P(X_{n+1} | X_n = 1) \\
        & \eqover{*} P(X_l = 5 \text{ für ein } l > n + 1 | X_{n+1} = 2) \ p_{2 \, 1}\\
        & = p_2 \cdot p
    \end{split}
    \end{equation*}
    * = Markov-Eigenschaft
    \bigskip

    Ebenso erhält man die Beziehungen:\\\indent
    $p_2 = p \cdot p_4$\\\indent
    $p_3 = p + (1-p)\cdot p_1$\\\indent
    $p_4 = p + (1-p)\cdot p_3$

    Diese 4 Gleichungen bilden ein lineares Gleichungssystem, das in Matrixschreibweise wie folgt aussieht:
    \begin{equation*}
        \underset {A} {\underbrace{
            \begin{pmatrix}
            1 & -p & 0 & 0 \\
            0 & 1 & 0 & -p \\
            p-1 & 0 & 1 & 0 \\
            0 & 0 & p-1 & 1
            \end{pmatrix}
        } }
        \cdot
        \begin{pmatrix}
        p_1 \\ p_2 \\ p_3 \\ p_4
        \end{pmatrix}
        =
        \begin{pmatrix}
        0 \\ 0 \\ p \\ p
        \end{pmatrix}
    \end{equation*}\\
    \\
    Da die Matrix $A$ invertierbar ist, existiert eine eindeutige Lösung $p_1,...,p_4$\\

    Es gilt insbesondere $p_1 = \dfrac {(2 - p) \cdot p^3} {1 - p^2 + 2p^3 - p^4}$\\
    \\

    Zum Vergleich betrachten wir einen vorsichtigen Spieler $\tilde A$, der in der Situation von Spieler $A$ immer nur 1 \euro\
     setzt.

    Man erhält dann die folgende Grafik der möglichen Übergänge mit
    den zugehörigen Übergangswahrscheinlichkeiten:
    
    \includegraphics[width=.7\textwidth]{3_13_2.jpg}\\

    Mit analogen überlegungen wie oben erhält man
    \begin{equation*}
        \begin{pmatrix}
        1 & -p & 0 & 0 \\
        p -1 & 1 & -p & 0\\
        0 & p-1 & 1 & -p\\
        0 & 0 & p-1 & 1
        \end{pmatrix}
        \cdot
        \begin{pmatrix}
        p_1 \\ p_2 \\ p_3 \\ p_4
        \end{pmatrix}
        =
        \begin{pmatrix}
        0 \\ 0 \\ 0 \\ p
        \end{pmatrix}
    \end{equation*}\\
    \\
    Dieses System ist ebenfalls eindeutig lösbar und es gilt nun
    $p_1 = \dfrac {4} {1-3p+4p^2-2p^3+p^4}$.
\bigskip

   Der Vergleich der Wahrscheinlichkeiten $p_1$, dass Spieler $A$
   bzw.\ $\tilde A$
   mit der jeweiligen Strategie
   schließlich 5 \euro\ erhält,
   zeigt:
   \begin{itemize}
     \item Ist $p<1/2$, d.h.\ ist die Münze ungünstig für Spieler
     $A$ bzw.\ $\tilde A$, so ist die Erfolgswahrscheinlichkeit
     $p_1$ bei der kühnen Strategie größer als bei der vorsichtigen
     Strategie. (Dies gilt auch für die Wahrscheinlichkeit $p_k$, wenn
     Spieler $A$ zu Beginn $k$ \euro\ besitzt ($1\le k\le 4$).)\\ Man
     kann zeigen: Die kühne Strategie maximiert die
     Erfolgswahrscheinlichkeit $p_k$!
     \item Ist $p>1/2$, d.h.\ ist die Münze günstig für Spieler
     $A$ bzw.\ $\tilde A$, so ist die Erfolgswahrscheinlichkeit
     $p_1$ bei der vorsichtigen Strategie größer als bei der kühnen
     Strategie.
     \item Ist $p=1/2$, d.h.\ ist die Münze fair, so beträgt die
     Erfolgswahrscheinlichkeit $p_k$ bei beiden Strategien
     $p_k=k/5$.\\
     Man kann zeigen: Dies gilt für alle möglichen Strategien, d.h.\
     bei einem fairen Spiel kann man seine Gewinnwahrscheinlichkeit
     nicht durch eine geschickte Spielstrategie verbessern!
   \end{itemize}
\end{example}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%% 08.05.09

\begin{example}[Ranking-Verfahren bei Google]
    Angenommen ein Surfer startet bei einer zufällig ausgewählten Website, wählt dann zufällig gleichverteilt einen Link, der von dieser Seite wegführt und verfährt bei der nächsten Seite wieder genauso.\\
    Die Wahl des Links sei unabhängig von dem Weg, auf dem die Seite erreicht wurde.\\
    \\
    Nach m Schritten (m ``groß'') befindet sich Surfer auf einer zufälligen Website und die Wahrscheinlichkeit, dass er sich auf einer bestimmten Seite befindet, ist Maß für die Relevanz dieser Seite.\\
    \\
    \underline{Modell}\\
    Webseiten durchnummeriert 1,...,N\\
    $X_m = $ Nr der Website, auf der der Surfer nach m Schritten ist.\\ \indent
    S-wertige Zufallsvariable mit $S = \embrace{1,...,N}$\\
    \\
    $L_i $: Menge der Seiten, auf die von Seite i aus ein Link führt (Annahme: $L_i \neq \emptyset$)\\
    \\
    Dann
    
    \begin{equation*}
    \begin{split}
    q_{i\;j} :&= P(X_{m+1} = j \mid X_m = i) = 
        \left \lbrace
            \begin{matrix} 
                0 & \text{ falls }  j \in L_i \\
                \frac {1} {|L_i|} & \text{ falls } i \in L_i
            \end{matrix} \right. \\
    &= P( X_{m+1} = j \mid X_m = i, X_{m-1} = i_{m-1},..., X_0 = i_0) \; \forall (i_0,...,i_{m-1},i,j) \in S^{m+2}\\
    & \qquad \qquad \qquad \text{mit} \;  P\embrace{X_m = i,X_{m-1} = i_{m-1},...,X_0 = i_0} > 0
    \end{split}
    \end{equation*}
    
    Also ist ${(X_m)}_{m \geq 0}$ eine homogene Markovkette\\
    
    Gesucht:  $P\embrace{X_m = i} \; \forall i \in S$ für ``großes m''\\
    \\
    Definierte $p^{(m)} = (p_i^{(m)})_{i \in S}$ mit $p_i^{(m)} = P\embrace{X_m = i}$ \\ \\
    \underline{Übergangsmatrix} $Q = (q_{j i})_{1 \leq i , j \leq N} = (q_{j i})_{i,j \in S}$\\ \\
    Q ist eine \underline{stochastische Matrix}, d.h. alle Spaltensummen sind gleich 1\\
    Denn
    
    $\sumft[j=1]{N} q_{j i} = \sumft{j \in S} P(X_{m+1} = j \mid X_m = i) = P(X_{m+1} \in S \mid X_m = i) = 1$\\
    \\
    Mit dem Satz von der totalen Wahrscheinlichkeit ergibt sich:
    \begin{equation*}
    \begin{split}
        p_j^{(m+1)} & = P\embrace{X_{m+1} = j} = \sumft[i = 1]{N} P(X_{m+1} = j \mid X_m = i) \cdot P(X_m = i) \\
        & = \sumft[i=1]{N} q_{ji} \cdot p_i^{(m)}= (Q \cdot p^{(m)} )_j \qquad \forall j \in S\\
        & \Rightarrow p^{m+1} = Q \cdot p^{(m)} = Q \cdot (Q \cdot p^{(m-1)}) = Q^2 \cdot p^{(m-1)} = ... = Q^{m+1} \cdot p^{0}
    \end{split}
    \end{equation*}
    
    Frage: Wie verhällt sich $p^{m}$ für $m \rightarrow \infty$?
    
    Erinnerung: $\lambda$ \underline{Eigenwert} der Matrix A mit \underline{Eigenvektor} v : $\Leftrightarrow Av = \lambda v$\\
    \\
    \pagebreak\\
    
    \underline{Satz von Perron}:
    
    Ist Matrix A nur mit strikt positiven Einträgen, so existiert ein Eigenwert $\lambda_1 > 0$, der betragsmäßig strikt größer ist als alle anderen Eigenwerte von A ; es existiert ein Eigenvektor $v_1$ zu $\lambda_1$, der strikt positive Einträge hat.\\
    
    Ferner:\\
    $\phantom{.} \qquad \qquad \dfrac {A^k \cdot v} {\lambda_1^k} \longrightarrow c v_1$\\
    für alle Vektoren v mit positiven Einträgen und ein $c > 0$ (das von v abhängt)\\
    \\
    Ist A eine stochastische Matrix und ist die Summe der Einträge von v gleich 1, dann ist auch bei $A \cdot v$ die Summe der Einträge = 1, also auch bei $A^k \cdot v$.\\
    Daher $\lambda_1 = 1$ und Summen der Einträge von $cv_1 = 1$.\\
    
    Annahme (*): Es gibt ein $m_0$, so dass $Q^{m_0}$ nur strikt positive Einträge hat, d.h. man kann in $m_0$ Schritten von jeder Website zu jeder beliebigen Website gelangen.\\
    
    Dann: Satz von Perron mit $A = Q^{m_0}$
    
    \indent $\phantom{x} \qquad p^{(m)} = Q^, \cdot p^{(0)} = A^{\frac {m} {m_0}} \cdot p^{(0)} \xrightarrow[m \rightarrow \infty]{} p_s \qquad $ (m Vielfaches von $m_0$)
    
    wobei $p_s$ ein Eigenvektor mit Einträgen $> 0$ mit Eigenwert 1 und Spaltensumme 1 ist.\\
    \\
    $\Rightarrow (p_s)_i$ ist das gesuchte Maß für die Relevanz der Seite i.\\
    Zugehöriges Wahrscheinlichkeitsmaß $P_s\embrace{i} = (p_s)_i$ heißt \underline{stationäre Verteilung} der Markov-Kette.\\
    Ist $P\embrace{X_0 = i} = (p_s)_i \; \forall i$, \\
    \indent dann $P\embrace{X_{m_0} = i} = (Q^{m_0} \cdot p_i^{(0)}) = (A \cdot p_s)_i = (p_s)_i = P\embrace{X_0 = i}$\\
    \\
    \begin{itemize}
    \item Konvergenz $A^k \cdot v \xrightarrow[k \rightarrow \infty]{} p_s$ erfolgt exponentiell schnell.\\ \indent
        $\rightsquigarrow p_s$ relativ effizent berechenbar
        
    \item Annnahme (*) lässt sich vermeiden durch folgende Modifikation:\\
    Für (kleines) $\alpha \in (0,1)$ wählt der Surfer jeweils gleichverteilt einen Link mit der Wahrscheinlichkeit $1-\alpha$ aus und wählt eine beliebige Website mit Wahrscheinlichkeit $\alpha$ gemäß der Verteilung $\tilde p$ (d.h. Website i mit Wahrscheinlichkeit $\alpha \cdot \tilde p_i$).\\
    
    $\rightsquigarrow$ neue Übergangsmatrix
    \[(1-\alpha) \cdot Q + \alpha \cdot 
    \begin{pmatrix}
        \tilde q_1 & ... & \tilde q_1 \\
        \vdots & & \vdots\\
        \tilde q_N & ... & \tilde q_N
    \end{pmatrix}
    \]
    erfüllt die Annahme (*) falls alle $\tilde p_i > 0$
    \end{itemize}
\end{example}




\chapter{Erwartungswert und Momente von Zufallsvariablen}

\begin{definition}{Erwartungswert \& Mittelwert}
    \begin{enumerate}[(i)]
        \item Der \underline{Erwartungswert} einer $\mathbb{R}$-wertigen Zufallsvariable X auf einem diskreten Wahrscheinlichkeitsraum $(\Omega,P)$ ist def. als $E_P(X) = E(X) := \sumft{x \in X(\Omega)} x \cdot P\embrace{X = x}$, falls $\sumft{x \in X} |x| \cdot P\embrace{X = x} < \infty \quad$ (Andernfalls besitzt X keinen Erwartungswert)
        
        \item Sei $(\mathbb{R},Q)$ ein diskreter Wahrscheinlichkeitsraum, dann heißt $\mu(Q) := \sumft{x \in \mathbb{R}} x \cdot Q(\embrace{x})$ \underline{Mittelwert} von Q, falls $\sumft{x \in X} |x| \cdot Q(\embrace{x}) < \infty$
    \end{enumerate}
\end{definition}

\begin{bemerkung}
    $Id: \mathbb{R} \rightarrow \mathbb{R}, Id(x) := x \qquad$ (Identität auf $\mathbb{R}$)
    
    $\Rightarrow \mu(Q) = E_Q(Id)$\\
    Umgekehrt: $E_P(x) = \mu(P^X)$,\\
    denn 
    
    $\mu(P^X) = \sumft{x \in \mathbb{R}} x \cdot P^X(\embrace{x}) = \sumft{x \in \mathbb{R}} x \cdot P\embrace{X = x} = \sumft{x \in X(\Omega)} x \cdot P\embrace{X = x} = E_P(X)$
\end{bemerkung}

\begin{satz}[Transformationssatz]
    Sei $(\Omega,P)$ ein diskreter Wahrscheinlichkeitsraum, \\$X: \Omega \rightarrow S$ eine Zufallsvariable und $g: S \rightarrow \mathbb{R}$. Dann gilt\\
    \indent
        $E_P( \underset {g \circ X} {\underbrace{ g(X)}}) = E_{P^X}(g)$
\end{satz}

Beweis: 
\[
    \begin{split}
        E_{P^X}(g)& = \sumft{y \in g(S)} y \cdot P^X\embrace{g = y}\\
        & = \sumft{y \in g(S)}\\
        & = \sumft{y \in g(S)} y \cdot P( \underset {\embrace{g(X) = y}} {X^{-1} (\embrace{g=y})}) \\
        & = \sumft{y \in g(X)(\Omega)} y \cdot P \embrace{g(X) = y} = E_P(g(X)) \text{ ,falls alle Summen absolut konvergieren.}
    \end{split}
\] \nopagebreak 

\begin{example} \label{example:4.4} 
	$\phantom{.}$
    \begin{enumerate}[(i)]
        \item $X = 1_A$, d.h. 
        $1_A(\omega) = \left \lbrace
        \begin{matrix}
        1 & falls \omega \in A \\
        0 & falls \omega \notin A
        \end{matrix}
                      \right.$
                      
        $\Rightarrow E(X) = 0 \cdot P\embrace{X = 0} + 1 \cdot P\embrace{X = 1} = P(A)$
        
        \item
        X sei $\mathcal{P}_\lambda$-verteilt, d.h. $P\embrace{X = n} = e^{-\lambda} \cdot \frac {\lambda^n} {n!} \; \forall n \in \mathbb{N}_0$
        
        \[
            \begin{split}
                E(X)& = \sumft[n=0]{\infty} n \cdot P\embrace{X = n} = \sumft[n=0]{\infty} n \cdot e^{-\lambda} \cdot \frac {\lambda^n} {n!} \\
                & = \lambda \sumft[n=1]{\infty} e^{-\lambda} \cdot \frac {\lambda^{n-1}} {(n-1)!} \\
                & \eqover{n-1 = k} \lambda \sumft[k=0]{\infty} e^{-\lambda} \cdot \frac {\lambda} {k!}\\
                & = \lambda \sumft[k=0]{\infty} \mathcal{P}\embrace{k} = \lambda
            \end{split}
        \]
    \end{enumerate}
\end{example}

\begin{satz}
    Seien X,Y Zufallsvariablen auf einem diskreten Wahrscheinlichkeitsraum $(\Omega,P)$, die Erwartungswerte besitzen. Dann gilt:
    \begin{enumerate}[(i)]
        \item $E(aX + Y) = a \cdot E(X) + E(Y) \qquad (\forall a \in \mathbb{R})$
        \item gilt $X(\omega) \leq Y(\omega) \; \forall \omega \in \Omega$, dann $E(X) \leq E(Y)$
    \end{enumerate}
\end{satz}

Beweis: Im Wesentlichen direktes Nachrechnen.

\begin{example}
    Sei Y eine Zufallsvariable auf $(\Omega,P)$ mit $P^X = \mathcal{B}_{(n,p)}$\\
    Gesucht: $E(X)$
    
    \begin{enumerate}[1. Lösung:]
        \item Berechnen nach Definition\\
        \[
        \begin{split}
            E(X)& = \sumft[k=0]{n} k \cdot P\embrace{X = k} = \sumft[k=0]{n} k \cdot {n \choose k} \cdot p^k \cdot (1-p)^{n-k} \qquad (\rightarrow \text{Bsp. \ref{bsp:1.11}})\\
            & = n \cdot p \cdot \sumft[k=1]{n} \dfrac {(n-1)!} {(k-1)!((n-1)-(k-1))!} \cdot p^{k-1} \cdot (1-p)^{(n-1) -(k-1)} \\
            & \underset{j = k-1} {=} n \cdot p \cdot \sumft[j=0]{n-1} \dfrac {(n-1)!} {j! (n-1-j)!} \cdot p^j \cdot (1-p)^{n-1-j} \\
            & = n \cdot p \cdot (p + 1 -p)^{n-1} = n\cdot p
        \end{split}
        \]
        
        \item Bsp \ref{example:3.5}:\\
        $X_i$ seien unabhängige Zufallsvariablen mit\\
        $P\embrace{X_i = 1} = p, P\embrace{X_i = 0} = 1-p$\\
        $\Rightarrow \sumft[n=1]{n} X_i \qquad \text{ist } \mathcal{B}_{(n,p)}$-verteilt, hat also die gleiche Verteilung wie X\\
        $\Rightarrow E(X) = E(\sumft[n=1]{n} X_i) = \sumft[n=1]{n} E(X_i) = \sumft[n=1]{n} (0 \cdot P\embrace{X_i = 0} + 1 \cdot P\embrace{X_i = 1}) = n \cdot p$ 
    \end{enumerate}
    
\end{example}

\begin{example}
    Erwartete Laufzeit von Quicksort ( Fortsetztung von Bsp. \ref{bsp:3.11}) \\
    $Z(x_1,...,x_n) =$ Zufällige Zahl der Vergleiche, die benötigt werden, um $x_1,...,x_n$ zu sortieren.\\
    Mit Wahrscheinlichkeit $\frac 1 n$ wähle eine Zahl $x_j \quad (1 \leq j \leq n)$\\
    Sortiere Zahlen $< x_j$ in Vektor $X_l$ und Zahlen $> x_j$ in Vektor $X_r$\\
    Dann
    
        \begin{align*}
            &Z(x_1,...,x_n) = n-1 + Z(X_l) + Z(X_r)\\
            &\mu_n = E(Z(x_1,...,x_n)) \qquad \text{(hängt nur von n ab!)}
        \end{align*}
    Falls $x_j$ die k kleinste Zahl ist, dann hat $X_l$ die länge k-1 also
    \begin{align*}
        E(Z(X_l))& = \mu_{k-1} \quad \text{und ebenso}\\
        E(Z(X_r))& = \mu_{n-k}
    \end{align*}
    
    Jeder Wert von $k$ tritt mit der Wahrscheinlichkeit $\frac 1 n$ auf.\\
    Also
    \[
        \begin{split}
            \mu_n& = E(Z(x_1,...,x_n)) = n -1 + E(Z(X_l)) + E(Z(X_r)) \\
            & = n - 1 + \sumft[k=1]{n} \frac 1 n \cdot \mu_{k-1} + \sumft[k=1]{n} \frac 1 n \cdot \mu_{n - k} \\
            & =n - 1 +  \frac 1 n  \cdot \sumft[j=0]{n-1} \mu_{j} + \frac 1 n  \cdot \sumft[j=0]{n-1} \mu_{j}\\
            & = n - 1 + \frac 2 n  \cdot \sumft[j=0]{n-1} \mu_{j}
        \end{split}
    \]
    \begin{align*}
    \Rightarrow && n \cdot \mu_n &= n\cdot (n-1) + 2 \cdot \sumft[j=0]{n-1} \mu_{j}\\
    \Rightarrow && n \cdot \mu_n - (n -1)\cdot \mu_{n-1}&= n \cdot (n-1) - ( n-1) \cdot (n-2) + 2\mu_{n-1}\\
    \Rightarrow && n \cdot \mu_n &= (n+1) \cdot \mu_{n-1} + 2(n-1)\\
    \Rightarrow && \mu_n &= \frac {n+1} {n} \cdot \mu_{n-1} + 2 \cdot \frac {n-1} {n}\\
    && &= \frac {n+1} {n} \cdot (\frac n {n-1} \cdot \mu_{n_2} + 2 \cdot \frac {n-2} {n-1}) + 2 \cdot {n-1} n\\
    &&= \overset {Vollst. Induktion} {...} &= 2(n+1) \cdot \sumft[k=2]{n} \dfrac {k-1} {k (k+1)} + \underset {=0} {\underbrace{\frac 4 1 \mu_0}}
    \end{align*}
    
    Umformungen liefern:
    \[
        \mu_n = 2(n+1) \cdot \sumft[j=1]{n+1} \frac 1 j - 4 n -2 
        \quad \left \lbrace 
            \begin{matrix}
                \leq 2n \log n \\
                \geq 2n \log n - 4n
            \end{matrix}
         \right .
    \]
\end{example}

\begin{align*}
    &P(A \cup B) = P(A) + P(B) - P(A \cap B) \\
    &P(A \cup B \cup C) = P(A) + P(B) + P(C) - P(A \cap B) - P(A \cap c) - P(B \cap C) + P(A \cap B \cap C)
\end{align*}

\begin{satz}[Siebformel von Sylvester-Poincaré]
    Seien $A_1,...,A_n \subset \Omega$ Ereignisse in einem diskreten Wahrscheinlichkeitsraum $(\Omega,P)$. Dann gilt:
    \begin{align*}
        &P(\underoverset{i=1}{n}{\bigcup} A_i)\\
        & = \sumft[i=1]{n} P(A_i) - \sumft{1 \leq i < j \leq n} P(A_j \cap A_i) + \sumft{1 \leq i < j < k \leq n} P(A_i \cap A_j \cap A_k) - ... + (-1)^{n-1} P(A_1 \cap A_2 \cap ... \cap A_n)
    \end{align*}
\end{satz}
\pagebreak

Beweis: $1_{A^c} = 1 - 1_A, 1_{A \cap B} = 1_A \cdot 1_B$\\
\[
    \begin{split}
        1_{ \underoverset{i=1}{n}{\bigcup} A_i}& = 1-1_{( \underoverset{i=1}{n}{\bigcup} A_i)^c} = 1 - 1_{ \underoverset{i=1}{n}{\bigcap} A_i^c} = 1 -\underoverset{i=1}{n}{\prod} 1_{A_i^c} = 1 -\underoverset{i=1}{n}{\prod} (1 - 1_{A_i})\\
        & = 1 - (1 - \sumft[i=1]{n}1_{A_i} + \sumft{1 \leq i < j \leq n} 1_{A_i} \cdot 1_{A_j} - ... +(-1)^{n-1} \underoverset{i=1}{n}{\prod} 1_{A_i})\\
        & = \sumft[i=1]{n} 1_{A_i} - \sumft{1 \leq i < j \leq n} 1_{A_i \cap A_j} + ... + (-1)^{n-1} {\underoverset{i=1}{n}{\bigcap} A_i}
    \end{split}
\]
\[
    \Rightarrow P(\underoverset{i=1}{n}{\bigcup} A_1) = E(1_{\underoverset{i=1}{n}{\bigcup} A_1}) = \sumft[i=1]{n} \underset{P(A_i)} {\underbrace{ E(A_i)}} - \sumft{1 \leq i < j \leq n} \underset{P(A_i \cap A_j)} {\underbrace{E(1_{A_i \cap A_j})}} + ... + (-1)^{n-1} \underset{P( \underoverset{i=1}{n}{\bigcap} A_i )} {\underbrace{E(1_{\underoverset{i=1}{n}{\bigcup} A_i})}}
\]

\begin{definition}[Varianz, Standardabweichung \& Moment]
    Sei X eine $\mathbb{R}$-wertige Zufallsvariable auf einem diskreten Wahrscheinlichkeitsraum $(\Omega,P)$.
    \begin{enumerate}[(i)]
        \item Existiert $E(X)$, so wird
        \[
            Var(X) := E \left [ (X - E(X))^2 \right ] = \sumft{x \in X} (x - E(X))^2 \cdot P\embrace{X = x}
        \]
        die \underline{Varianz} von X genannt und $\sqrt{Var(X)}$ heißt \underline{Standardabweichung} von X
        
        \item Für $k\in \mathbb{N}$ heißt $E(X^k)$ (im Falle der Existenz) das \underline{k-te Moment von X}
    \end{enumerate}
\end{definition}

Einschub: \\
$X: \Omega \rightarrow \mathbb{R}$\\
$X^k: \Omega \rightarrow \mathbb{R}$\\
$\phantom{X^k:} \; \omega \rightarrow (X(\omega))^k$


\begin{bemerkung}
    Die Varianz ist die mittlere quadratische Abweichung von X von seinem Erwartungswert, also ein Maß dafür wie stark die Zufälligen Werte um den Erwartungswert streuen.
    
    \[
        \begin{split}
            Var(X)& = E((X- E(X))^2) = E(X^2 - 2X\cdot E(X) + (E(X))^2)\\
            &= E(X^2) - 2E(X)\cdot E(X) + (E(X))^2\\
            &= E(X^2) - (E(X))^2
        \end{split}
    \]
    Insbesondere: $0 \leq Var(X) = E(X^2) - (E(X))^2 \Rightarrow E(X^2) \geq (E(X))^2$
\end{bemerkung}


\begin{example}
    $P^X = \mathcal{P}_\lambda \Rightarrow E(X) = \lambda \qquad $ ($\rightarrow $ \ref{example:4.4}(ii))\\
    \[
        \begin{split}
        E(X \cdot (X-1))& = \sumft[n=0]{\infty} n \cdot (n - 1) \cdot P\embrace{X = n}\\
        & = \sumft[n=2]{\infty} n \cdot (n-1) \cdot e^{-\lambda} \cdot \frac {\lambda^n} {n!}\\
        & = \lambda^2  \underset{= 1 \;\; (\rightarrow \ref{example:4.4}(ii))} {\underbrace{ \sumft[n=2]{\infty} e^{-\lambda} \frac {\lambda^{n-2}} {(n-2)!}}}\\
        & = \lambda^2
        \end{split}
    \]
    $\Rightarrow E(X^2) = E(X \cdot (X - 1)) + E(X) = \lambda^2 + \lambda$\\
    $\Rightarrow Var(X) = E(X^2) - (E(X))^2 = \lambda^2 + \lambda - \lambda^2 = \lambda$
\end{example}

\begin{satz}[Markov- \& und Chebyshev-Ungleichung]
	$X$ sei eine Zufallsvariable mit Erwartungswert $E(X)$
	\begin{enumerate}[(i)]
		\item
		$P\{|X| \geq c\} \leq \dfrac {E(|X|)} {c} \quad \forall c > 0 \qquad $ \underline{Markov-Ungleichung}
		
		\item
		$P\{|X -E(X)| \geq c\} \leq \dfrac {Var(X)} {c^2} \quad \forall c > 0 \qquad $ \underline{Chebyshev-Ungleichung}
	\end{enumerate}
\end{satz}

Beweis:
\begin{enumerate}[(i)]
	\item
	$P\{|X| > c\} \eqover{\ref{example:4.4}(i)} E \left (1_{\{|X| \geq c\}} \right ) \leq E \left (\frac {|X|} {c} \cdot 1_{\{|X| \geq c\}} \right ) \leq E \left ( \frac {|X|} {c} \right ) = \dfrac {E(|X|)} {c}$
	
	\item in den Übungen
\end{enumerate}	

\begin{example}
	$\phantom{.}$
	\item
	\begin{enumerate}[(i)]
		\item
		Sei $X$ $\mathcal{P}_\lambda$-verteilt, $\lambda > 0 \rightarrow E(X) = \lambda = Var(X)$\\
		$\Rightarrow P\{X \geq c\} \leq \dfrac {E(X)} {c} = \dfrac {\lambda} {c} \qquad \forall c > 0 \qquad $ (Markov-Ungleichung)\\
		und für $ c > \lambda$\\
		$P\{X \geq c\} = P \{X - \lambda \geq c - \lambda\} \leq P\{|X -\lambda| \geq c - \lambda\} \leq \dfrac {Var(X)} {(c-\lambda)^2} = \dfrac {\lambda} {(c-\lambda)^2}$\\
		\\
		Für $c < \lambda + \frac 1 2 + \sqrt{\lambda + \frac 1 4}$ ist die Markov-Ungleichung schärfer\\
		und für $c > \lambda + \frac 1 2 + \sqrt{\lambda + \frac 1 4}$ ist die Chebyshev-Ungleichung schärfer\\
		
		Oft sind beide Schranken viel größter als $P\{X > c\}$
		
		\item Quicksort\\
		$Z(x_1,...,x_n)$: Anzahl der Vergleiche, um die Zahlen $x_1,...,x_n$ zu sortieren.\\
		$E(Z(x_1,...,x_n)) \left \lbrace 
			\begin{matrix}
				\leq 2 n \log n\\
				\geq 2 n \log n - 4n
			\end{matrix}
		\right .$\\
		
		Man kann zeigen: $Var(Z(x_1,...,x_n)) \leq 3n(n-1)$
		\[
			\begin{split}
			\Rightarrow & P\{Z(x_1,...,x_n) \geq 2n \log n + a \cdot n\} \\
			& \leq P\{\lvert Z(x_1,...,x_n) - E(Z(x_1,...,x_n))\rvert \geq \underbraceset{\geq 0}{2n \log n - E(Z(x_1,...,x_n)) + a \cdot n} \}\\
			& \leq P\{\lvert Z(x_1,...,x_n) - E(Z(x_1,...,x_n))\rvert \geq a \cdot n\}\\
			& \leq \dfrac {Var(Z(x_1,...,x_n)} {(a \cdot n)^2} \leq \dfrac 3 {a^2}
			\end{split}
		\]
		
		Insbesondere: $a = \epsilon \cdot \log n$\\
		\[ \Rightarrow P\{ Z(x_1,...,x_n ) \geq (2 + \epsilon) n \log n \} \leq \dfrac 3 {\epsilon ^2 (\log n)^2} \; \xrightarrow[n \rightarrow \infty]{} 0 \qquad \forall \epsilon > 0\]
		
		Also ist mit großer Wahrscheinlichkeit die Anzahl der Vergleiche von der Größenordnung $2n \log n$, wenn der Datenumfang $n$ groß ist.
	\end{enumerate}
\end{example}

\begin{bemerkung} \label{bem:4.14}
	Die Varianz ist im gegensatz zum Erwartungwert \underline{nicht} linear im Argument.
	\[
		\begin{split}
			Var(aX + b)& = E( (aX + b - \underbraceset{= a \cdot E(X) + b} {E(aX + b)})^2 )\\
			& = E(a^2 \cdot (X-E(X))^2) \\
			& = a^2 \cdot E((X-E(X))^2)\\
			& = a^2 \cdot Var(X) \qquad \qquad \quad \forall a,b, \in \mathbb{R}
		\end{split}
	\]
	
	\[
		\begin{split}
			Var(X + Y)& = E((X+Y- \underbraceset{= E(X) + E(Y)} {E(X+Y)})^2)\\
			& = E(((X-E(X)) + (Y -E(X)))^2)\\
			& = E((X-E(X))^2 + 2(X-E(X))(Y-E(Y)) + (Y-E(Y))^2\\
			& = Var(X) + 2E((X-E(X))\cdot(Y-E(Y))) + Var(Y)
		\end{split}
	\]
\end{bemerkung}

\pagebreak

\begin{definition}[Kovarianz \& Korrelation] \label{def:4.15}
	 $\phantom{.}$\\
	Sind $X,Y$ Zufallsvariablen mit Erwartungswerten $E(X)$ bzw. $E(Y)$.
	\[
		Cov(X,Y) := E((X-E(X))\cdot(X -E(Y))) = E(XY)-E(X) \cdot E(Y)
	\]
	heißt (im Falle der Existenz) die \underline{Kovarianz von X und Y}.
	\[
		Corr(X,Y) := \dfrac {Cov(X,Y)} {\sqrt{Var(X)\cdot Var{Y}}}
	\]
	heißt dann \underline{Korrelation} von X und Y, falls $Var(X) > 0, Var(Y) > 0$.\\
	X und Y heißen \underline{unkorreliert}, falls $Cov(X,Y) = 0$
\end{definition}

\begin{satz} \label{satz:4.16}
	Sind X und Y stochastisch unabhängige Zufallsvariablen mit Erwartungswerten $E(X)$ bzw $E(Y)$, so gilt
	\[
		E(X\cdot Y) = E(X) \cdot E(Y)
	\]
	, d .h. X und Y sind unkorreliert.
\end{satz}

Beweis:
\[
	\begin{split}
		E(X \cdot Y)& = \underset{y \in Y(\Omega)} {\sumft{x \in X(\Omega)}} x \cdot y \cdot P\{X=x , Y=y\}\\
		& = \underset{y \in Y(\Omega)} {\sumft{x \in X(\Omega)}} x \cdot y \cdot P\{X=x\} \cdot P\{Y=y\} \quad \text{(da stochastisch Unabhängig)}\\
		& = \sumft{x \in X(\Omega)} x \cdot P\{X=x\} \cdot \sumft{y \in Y(\Omega)} y \cdot P\{Y=y\} = E(X) \cdot E(Y)
	\end{split}
\]
	
\begin{korollar}
	Sind $X_1,...,X_n$ Zufallsvariablen mit Erwartungswerten $E(X_1),...,E(X_n)$. Dann gilt:
	\begin{equation} \label{kor:4.17}
		Var(\sumft[i=1]{n}X_i) = \sumft[i=1]{n}Var(X_i) + 2 \cdot \sumft{1 \leq i < j \leq n} Corr(X_1,X_j)
	\end{equation}
	Sind die Zufallsvariablen $X_1,...,X_n$ unabhängig (oder schwächer: unkorreliert), so gilt insbesondere
	\[
		Var(\sumft[i=1]{n} X_i) = \sumft[i=1]{n} Var(X_i)
	\]
\end{korollar}

Beweis:

\ref{kor:4.17} folgt aus Bemerkung \ref{bem:4.14}, der Rest mit Definition \ref{def:4.15} und Satz \ref{satz:4.16}
	
\begin{example}
	X sei eine $\mathcal{B}_{(n,p)}$-verteilte Zufallsvariable.\\
	Bsp. \ref{example:3.5}: X hat die selbe Verteilung wie $\sumft[i=1]{n} X_i$, $X_i$ sind stochastisch unabhängig und $X_i$ ist $\mathcal{B}_{(n,p)}$-verteilt, d.h. $P\{X_i = 1\} = p, P\{X_i = 0\} = (1-p)$
	
	\[
		\begin{split}
			Var(X)& = Var \left (\sumft[i=1]{n} X_i \right) \eqover{(\ref{kor:4.17})} \sumft[n=1]{n} Var(X_i)\\
			& = n\cdot Var(X_1) = n \cdot (E( \underbraceset{= X_1}{X_1^2}) - (E(X_1))^2) \\
			& = n \cdot (p - p^2) = n \cdot p \cdot (1 -p)
		\end{split}
	\]
\end{example}

\begin{bemerkung}
	Der Wert einer Zufallsvariable X wurde beobachtet. Daraus soll der Wert der Zufallsvariable Y vorhergesagt werden.\\
	Dabei sollen zur Approximation von Y nur lineare Funktionen von X verwendet werden.\\
	Als Maß für die Approximationsgüte/Vorhersagegüte verwenden wir\\ \indent
		$E((Y - (aX +b))^2):$ mittlerer quadratischer Vorhersagefehler\\
	
	Wähle a,b, so, dass $E((Y - (aX +b))^2)$ minimal wird.
	\[
		\begin{split}
		E((Y - (aX +b))^2)& = Var(Y-(aX + B)) + (E(X - (aX +b)))^2 \\
		& = Var(Y-aX) + (E(Y) - a(E(X) - b)^2
		\end{split}
	\]
	$E((Y - (aX +b))^2)$ wird als Funktion von $b$ minimiert durch\\ \indent
		\[b = E(Y) - aE(X)\]
	\begin{align*}
		\Rightarrow&& E((Y -(aX +b))^2)& = Var(Y) + a^2 \cdot Var(X) + 2 \cdot \underbraceset{= - a Cov(X,Y)}{Cov(Y , -aX)}\\
		&& & = \left (a \cdot \sqrt{Var(X)} - \dfrac {Cov(X,Y)} {\sqrt{Var(X)}} \right )^2 + Var(Y) - \dfrac {(Cov(X,Y))^2} {Var(X)}\\
	\end{align*}
	$\Rightarrow \text{minimalstelle } a = \dfrac {Cov(X,Y)}{Var(X)} \quad \text{, falls } Var(X) > 0$\\
	
	 \noindent$\Rightarrow $ beste lineare Approximation für $Y$ ist $  \dfrac {Cov(X,Y)} {Var(X)} \cdot (X -E(X)) + E(Y)$\\
	
	 \noindent$\Rightarrow $ beste lineare Approximation für $\tilde Y = \dfrac {Y-E(Y)} {\sqrt{Var(Y)}}$ ist $\underbraceset{Corr(X,Y)}{ \dfrac {Cor(X,Y)} {\sqrt{Var(X) \cdot Var(Y)}}} \cdot \underbraceset{=: \tilde X} {\dfrac {X - E(X)} {\sqrt{Var(X)}}}$ \\
	
	Beobachte: $E(\tilde Y) = 0, Var(\tilde Y) = 1$\\
	
	Der zugehörige mittlere quadratische Approximationsfehler ist
	\[
		\begin{split}
		E \left ((\tilde Y - Corr(X,Y) \cdot \tilde X)^2 \right )& = \frac 1 {Var(Y)} \cdot E \left ((Y -(aX+b))^2 \right)\\
		& \eqover{s.o.} \dfrac 1 {Var(Y)} \cdot \left ( Var \left (Y - \dfrac {(Cov(X,Y))^2} {Var(X)} \right )\right) \\
		& = 1 - (Corr(X,Y))^2 \qquad \quad (\Rightarrow Corr(X,Y) \in [-1,1])
		\end{split}
	\]
	
	\noindent $|Corr(X,Y)| = 1 \Rightarrow $ kein Vorhersagefehler\\
	$\phantom{|} Corr(X,Y) \;  = 0 \Rightarrow $ maximaler Vorhersagefehler\\
	
	Korrelation ist \underline{nur} Maß für Stärke des \underline{linearen} Zusammenhangs zwischen X und Y.\\
	Es ist möglich, dass X,Y unkorreliert sind, aber Y vollständigt durch X bestimmt ist.\\
	
	(Blödes) Beispiel:\\
	Sei $P\{X=1\} = P\{X=-1\} = \frac 1 2$\\
	$Y = X^2 \Rightarrow X \cdot Y = X^3 = X$\\
	$\Rightarrow E(X \cdot Y) = E(X) = E(X) \cdot E(Y)$, d.h. unkorreliert.\\
	(Blödes Beispiel, da Y konstant ist.)
		
	(Besseres) Beispiel:\\
	Sei $P\{X=1\} = P\{X = 0\} = P\{X=-1\} = \frac 1 3$\\
	$Y = X^2$\\
	$E(X) = \sumft[x=-1]{1} x \cdot P\{X=x\} = 0$\\
	$X\cdot Y = X^3 = X \Rightarrow E(X\cdot Y) = 0 = E(X) \cdot E(Y)$
	d.h. unkorreliert, aber X,Y sind \underline{nicht} unabhängig, sondern Y ist durch X vollständig bestimmt\\
	
\end{bemerkung}
	
	\chapter{Grenzwertsätze}
	
	Man betrachtet $\sumft[i=1]{n}X_i$ von Zufallsvariablen $X_i$ für $n \rightarrow \infty$\\
	Für große $n$ ist die Verteilung von $\sumft[i=1]{n}X_i$ in der Regel nicht exakt berechenbar.\\
	
	\underline{Ziel}: Eine gute Approximation für große $n$ zu finden.
	
	\begin{satz}[Schwaches Gesetzt der Großen Zahlen] \label{satz:5.1}
		Seien $X_i, i \in \mathbb{N}$ unkorrilierte Zufallsvariablen mit Erwartungswert $E(X_i)$ und $Var(X_i) \leq M \quad \forall i \in \mathbb{N}$ und ein $M < \infty$. Dann gilt für alle $\epsilon > 0$
		\[
			P\{ \frac 1 n \lvert \sumft[i=1]{n}(X_i - E(X_i)) \rvert > \epsilon)\} \xrightarrow[n \rightarrow \infty]{} 0
		\]
	\end{satz}
	
	Beweis: $E \left ( \sumft[i=1]{n} X_i \right) = \sumft[i=1]{n}E(X_i)$ , $Var \left ( \sumft[i=1]{n} X_i \right) \eqover{(unkorriliert)} \sumft[i=1]{n} Var(X_i)$
	
	\[
		\begin{split}
			& P\{\frac 1 n \lvert \sumft[i=1]{n} \left ( X_i - E(X_i) \right ) \rvert \geq c \} = P\{ \lvert \sumft[i=1]{n} X_i - E \left ( \sumft[i=1]{n} X_i \right ) \rvert \geq n \cdot c \} \\
			& \underset{Chebyshev}{\leq} \dfrac {Var \left ( \sumft[i=1]{n} X_i \right )} {(n \cdot c)^2} \leq \dfrac {n \cdot M} {n \cdot c ^2} \xrightarrow[n \rightarrow 0] {} 0	\Rightarrow Beh.
		\end{split}
	\]
	
	
	\begin{definition}
		Seien $Y, Y_n$ $\mathbb{R}$-wertige Zufallsvariablen. Gilt für \underline{alle} $\epsilon > 0$
		
		$P\{\lvert Y_n - Y \rvert\ \geq 0\} \xrightarrow[n \rightarrow \infty]{} 0$,\\
		so sagt man, dass $Y_n$ (P-)Stochastisch gegen $Y$ konvergiert (in Zeichen $Y_n \xrightarrow{P} Y$ oder $Y_n \rightarrow Y \; \text{P-Stochastisch}$)
	\end{definition}
	
	\begin{bemerkung}
		Unter der Bedingung von Satz \ref{satz:5.1} gilt also 
		
		\[\frac 1 n \sumft[i=1]{n}(X_i - E(X_i)) \overset{P}{\rightarrow} 0\]
		Ist $E(X_i) = \mu$ für alle $i \in \mathbb{N}$, so gilt auch
		\[ \frac 1 n \sumft[i=1]{n} X_i \overset{P}{\rightarrow} \mu \]
	\end{bemerkung}
	
	\begin{example}
		$X_i$ seien unabhängig und $\mathcal{B}_{(1,p)}$-verteilt.\\
		Dann ist $X_n := \sumft[n=1]{n}X_i \quad \mathcal{B}_{(n,p)}$\\
		$E(X_i) = p \underoverset{bzw. 5.3}{5.1}{\Rightarrow} \frac {Y_n} {n} \xrightarrow{\; P \;} p$\\
		
		Möchte man z.B. testen, ob eine Münze fair ist, dann werfe man sie n Mal.
		\[
			X_i \left \lbrace \twolines{1\text{ falls im i-ten Wurf Kopf fällt}}{0\text{ falls im i-ten Wurf Zahl fällt}} \right .
		\]
		Dann $\underbraceset{\text{rel. Häufigkeit}}{\frac 1 n \sumft[i=1]{n}X_i} \rightarrow p$
		
		Falls die Münze fair ist, dann ist die relative Häufigkeit $\approx \frac 1 2$.\\
		
		\hangindent=1.6cm
		Frage: Bei welchen Abweichungen von $\frac 1 2$ kann man dies als deutlichen Hinweis auffassen, dass die Münze unfair ist ( also $p \neq \frac 1 2)?$
		
		Dazu: $Var(X_i) = p \cdot (1-p) \leq \frac 1 4$\\
		Der Beweis von Satz \ref{satz:5.1} zeigt:
		\[
			P\{\frac 1 n \lvert \sumft[i=1]{n}(X_i -p) \rvert \geq \epsilon\} \leq \frac {\frac 1 4}{n \cdot \epsilon^2} = \frac 1 {4n \cdot \epsilon^2}
		\]
		\hangindent=0cm
		Wähle $\epsilon$ so, dass $\frac 1 {4n \cdot \epsilon} = 0,05 \Leftrightarrow \epsilon = \dfrac 1 {\sqrt{4n \cdot 0,05}}$\\
		Dann $P\{\lvert \frac 1 4 \sumft[i=1]{n} X_i - p \rvert \geq \epsilon \} \leq 0,05$\\
		\\
		Ist $n = 500$, s ist also bei einer fairen Münze (d.h. $p= \frac 1 2$)
		\[
			P\{\frac 1 n \sumft[i=1]{n} X_i \notin (0,4;0,6)\} = P\{\lvert \frac 1 4 \sumft[i=1]{n} X_1 - \frac 1 2 \rvert \geq \epsilon = \frac 1 10 \} \leq 0,05
		\]
		, d.h. falls bei 500 Würfen die relative Häufigkeit $\leq 0,4$ oder $\geq 0,6$ ist, dann ist die Münze vermutlich unfair.\\
		
		Das Intervall $(0,4;0,6)$ ist unnötig lang.\\
		Der Zentrale Grenzsatz liefert genauere Abschätzungen.
		
	\end{example}
	
	\begin{example}[Monte-Carlo-Situation]
		Ziel: Berechne für Zufallsvariable Z wahrscheinlichkeit von Typ $P\{Z \in A\}$ oder Erwartungswert $E(Z)$\\
		Problem: Verteilung $P^Z$ ist oft nicht analytisch bestimmbar\\
		Insbesondere ist oft der Fall, wenn $Z= f(Y_1,...,Y_k)$, wobei $Y_i$ ``einfach'' ist.\\
		
		\hangindent=1.2cm
		\noindent Dann: Simuliere ``Pseudozufallszahlen'' $z_i$, die sich Wahrscheinlich so verhalten, als würde man unabhängige Zufallsvariablen $Z_i$ beobachten, die alle die selbse Verteilung wie $Z$ haben.
		
		Gesetz der Großen Zahlen:
		\[
			\frac 1 n \sumft[i=1]{n}Z_i \rightarrow E(Z)
		\]
		\hangindent=0cm
		Daher ist zu hoffen, dass $ \frac 1 n \sumtn Z_i \approx E(Z)$, wenn n hinreichend groß ist.
		
		\underline{Konkretes Beispiel}:\\ \hangindent=1.2cm
		Seien $Y_1, Y_2$ gleichverteilt auf $\{1, \frac 1 L , \frac 2 L ,... 1\} =: S_L \quad (L \in \mathbb{N})$\\
		und $Y_1,Y_2 $ seien unabhängig.\\
		$\Rightarrow (Y_1,Y_2)$ gleichverteilt auf $S_L^2$\\
		\\
		Falls $L$ sehr groß ist, so ist $(Y_1,Y_2)$ näherungsweise gleichverteilt auf $[0,1]^2$\\
		
		-------------------- Zeichnung eines Viertels des Einheitskreises --------------------------\\
		
		$Z= 1_{\{X_1^2 + Y_2^2 \leq 1\}}$ : Indikator, $Y_1,Y_2$ im Viertelkreis liegt.\\
		\\
		$E(Z) = P \{Y_1^2 + Y_2^2 \leq 1\} \approx \frac {\text{Fläche Viertelkreis}} {\text{Fläche Einheitsquadrat}} = \frac \pi 4$\\
		$\Rightarrow \pi = 4 \cdot E(Z)$\\
		\\
		Bestimme Approximation von $\pi$ durch Simulation, in dem n Paare von auf $S_L$ gleichverteilten Pseudozufallszahlen $(Y_1^{(i)},Y_2^{(i)})$ gewählt werden und daraus \\ $z_i := 1_{\{ (Y_1^{(i)})^2 + (Y_2^{(i)})^2 \leq 1 \}}$ berechnet.
		
		\[
			4 \cdot \underbraceset{\approx E(Z)}{ \frac 1 n \sumtn z_i} \approx 4 \cdot E(Z) = \pi
		\]
		
	\end{example}
	\pagebreak
	
	\begin{satzdef}[Zentraler Grenzwertsatz]
		Seien $X_i$, $i \in \mathbb{N}$ unabhängig und identisch verteilte Zufallsvariablen (iid = independend and identially distributed) (d.h. $P^{X_i} = P^{X_1} \forall i$) mit Erwartungswert $\mu = E(X_i)$ und Varianz $\sigma^2 = Var(X_i) \in (0,\infty)$\\
		Dann gilt für alle $x \in \mathbb{R}$
		\[
			P \left \{  \frac 1 {\sqrt{n \cdot \sigma^2}} \sumtn (X_i - \mu) \leq x \right \} \xrightarrow{n \rightarrow \infty}{} \Phi(x) := \frac 1 {\sqrt{2\pi}} \int\limits_{-\infty}^{x} e ^{- \frac {t^2} {2}} dt
		\]
		$\Phi$ heißt \underline{Standardnormalverteilungsfunktion}\\
		$\varphi = \Phi'$ heißt \underline{Standardnormalverteilungsdichte}\\
		\indent \indent d.h. $\varphi(t) = \frac {1} {\sqrt{2\pi}} \cdot e^{- \frac {t^2} 2} , t \in \mathbb{R}$
	\end{satzdef}
	
	Beweis: Ist z.B. im Dübgen zu finden.
	
	Es gilt: \\
	\hangindent=2cm
		$\Phi(-\infty) := \underset{x \rightarrow -\infty}{\lim} \Phi(x) = 0$\\
		$\Phi(\infty) := \underset{x \rightarrow \infty}{\lim} \Phi(x) = 1$\\
		$\varphi(t) = \varphi(-t) \qquad \forall t \in \mathbb{R}$
		
		\[
			\overset{X \geq 0}{\Rightarrow} \Phi(-x) = \int\limits_{-\infty}^{-x} \varphi(t) dt = \int\limits_{x}^{\infty} \underbraceset{=\varphi(t)}{\varphi(-t)} dt = 
			\underbraceset{=\Phi(\infty) = 1}{\int\limits_{-\infty}^{\infty} \varphi(t) dt} - \underbraceset{= \Phi(x)}{\int\limits_{-\infty}^{x} \varphi(t) dt}
		\]
		d.h. $\Phi(-x) = 1 - \Phi(x)$\\
		Insbesondere $\Phi(0) = \frac 1 2$
		
		
    	\includegraphics[width=\textwidth]{standardnormalverteilung.png}
    	
    	\pagebreak
    	
    \begin{example}\label{example:5.7}
    	$X_i$ iid und $\mathcal{P}_\lambda$-verteilt, $\lambda > 0$\\
    	$\Rightarrow \mu = \sigma^2 = \lambda\;, \; S_n ist \mathcal{P}_{n\lambda}$-verteilt ($\rightarrow$ Bsp. \ref{example:3.10}, \ref{example:4.4}, \ref{example:4.11})\\
    	\\
    	Für große $n$
    	\[
    		\begin{split}
    			&P\{ \frac 1 {\sqrt{n\lambda}} \underbraceset{= S_n - n\lambda}{\sumtn (X_i - \lambda)} \leq x\} ( \approx \Phi(x))\\
    			&= P\{S_n \leq n\lambda + \sqrt{n\lambda} x\} = \mathcal{P}_{n\lambda}\{0,...,\lfloor n\lambda + \sqrt{n\lambda}x \rfloor\}\\
    		\end{split}
    	\]
    	\[
    		\begin{split}
    			\Rightarrow & P\left\{\lvert \sumtn(X_i - \lambda) \geq c\right\} = \underbraceset{1- P\{\sumtn (X_i - \lambda) < c\} }{P\left\{\sumtn(X_i - \lambda) \geq c\right\}} + P\left\{\sumtn (X_i - \lambda) \leq -c \right\}\\
    			&=  1 - P\left \{ \frac 1 {\sqrt{n\lambda}} \sumtn (X_i - \lambda) < \frac c {\sqrt{n\lambda}} \right\} + P\left\{ \frac 1 {\sqrt{n\lambda}} \sumtn (x_i - \lambda) \leq \frac c {\sqrt{n\lambda}} \right\}\\
    			&\approx \Phi\left(- \frac c {\sqrt{n\lambda}}\right) + 1 - \Phi\left(\frac c {\sqrt{n\lambda}}\right)\\
    			&= 2 \Phi\left(- \frac c {\sqrt{n \lambda}}\right)
    		\end{split}
    	\]
    	
    	Vergleich mit der Ungleichung von Chebyshev:
    	\[
    		P\left\{ \lvert \sumtn (X_i -\lambda) \rvert \geq c \right\} \leq \frac {Var\left ( \sumtn X_i \right)} {c^2} = \frac {n\lambda} {c^2}
    	\]
    	
    	$n\cdot \lambda = 100$
    	
    	------------------------ Beamervorführung des Vergleiches ----------------------------------
    \end{example}
    
    \begin{korollar}[Zentraler Grenzwertsatz von Moivre-Laplace]
    	Ist $Y_n$ eine $\mathcal{B}_{(n,p)}$-verteilte Zufallsvariable mit $p\in(0,1) \quad (\forall n \in N)$,
    	so gilt
    	\[
    		P\left\{ a < \frac {Y_n - np} {\sqrt{np \cdot (1-p)}} \leq b \right\} \xrightarrow{n \rightarrow \infty}{} \Phi(b) - \Phi(a) \quad (\forall -\infty \leq a \leq b \leq \infty)
    	\]
    \end{korollar}
	
	Beweis:\\
	Ist $X_i \; \mathcal{B}_{(n,p)}$-verteilt und unabhängig,\\
	dann ist $S_n = \sumtn X_i$ genauso verteilt wie $Y_n$ ( $\rightarrow$ Bsp \ref{example:3.5}) \\
	Außerdem $E(X_i) = p, Var(X_i) = p \cdot (1-p) \qquad $(Bsp \ref{example:4.18})
	\[
		\Rightarrow P\left\{ a < \frac {Y_n - np} {\sqrt{np(1-p)}} \leq b \right\} \xrightarrow{n \rightarrow \infty} \Phi(b) -\Phi(a) \qquad \forall -\infty \leq a \leq b \leq \infty
	\]
	
	\begin{example}
		Das Flugzeug eines Fluges kann $n_0 = 200$ Personen befördern.\\
		Mit Wahrscheinlichkeit $p= 0,96$ erscheinen die Ticketinhaber jeweils unabhängig von einander zum Flug.\\
		
		Frage: Wie viele Tickets darf das Unternehmen verkaufen, damit die Wahrscheinlichkeit einer Überbuchung $\leq 0,05$ ist?\\
		$X=$ Anzahl der Personen, die zum Flug erscheinen\\
		$n=$ Anzahl der verkauften Tickets\\
		$\Rightarrow X $ ist $\mathcal{B}_{(n,p)}$-verteilt\\
		\\
		Wähle n maximal, so dass $P\{X > n_0\} \leq 0,05$
		\[
			\begin{split}
			&P\{X > n_0\} = P\left\{ \frac {X-np}{\sqrt{np(1-p)}} > \frac {n_0 - np}{\sqrt{np(1-p)}} \right \} \approx 1 - \Phi\left ( \frac {n_0 - np}{\sqrt{np(1-p)}} \right ) \leq 0,05\\
			&b=\infty\\
			&a= \frac {n_0 - np}{\sqrt{np(1-p)}}\\
			&\\
			&\Leftrightarrow \frac {n_0 - np}{\sqrt{np(1-p)}} \geq \Phi^{-1}(0,95) = Z_{0,95} \approx 1,645\\
			&\Leftrightarrow (n_0 - np)^2 \geq np(1-p)Z_{0,95}^2 \qquad n \geq n_0\\
			&\Leftrightarrow ... \Leftrightarrow n_0 \leq n 
				\leq \dfrac {n_0 + \frac 1 2 (1-p)Z_{0,95}^2}{p}
					 - \sqrt{
					 	\left ( \dfrac {n_0 + \frac 1 2 (1-p) Z_{0,95}^2} {p} \right )^2 - \left( \dfrac {n_0}{p} \right) ^2 
					 	} 
				\approx 203,55
			\end{split}
		\]
		
		Also dürfen maximal 203 Tickets verkauft werden.\\
		\\
		\\
		\underline{Modifikation:} $P\{X > n_0\} = P\{X > t\} \qquad \forall t \in [n_0,n_0+1)$\\
		Genauso wie oben ergiebt sich:
		\[
			P\{X > t\} \approx 1 -\Phi\left ( \frac {t - np}{\sqrt{np(1-p)}} \right )
		\]
		Oft ist die Approximation besonders gut für den mittleren Wert $t=n_0 + \frac 1 2$\\
		Dies nennt man \underline{Stetigkeitskorrektur}\\
		Bei der Wahr $t=n_0 + \frac 1 2$ (statt wie oben $n_0$) erhällt man die Bedingung
		\[
			n \leq 204,06 \rightsquigarrow \text{Der Verkauf von 204 Tickets ist erlaubt}
		\]
		In der Tat ist
		\[
			P\{X > n_0\} = \mathcal{B}_{(n,p)}\{n_0 + 1, ... , n\} \approx 
			\left \{ 
				\begin{matrix}
					0,048 & \text{für} & n=204\\
					0,094 & \text{für} & n=205
				\end{matrix}
			\right.
		\]
		d.h. die Bedingung ist tatsächlich erfüllt für $n=204$
	\end{example}
	
	\begin{example}[Fortsetzung von Beispiel \ref{example:5.4}]
		Eine Münze wird $n=500$ mal geworfen.\\
		$p$ ist die Wahrscheinlichkeit für Kopf.\\
		Gesucht: Ein Test, ob $p=\frac 1 2$ (d.h. die Münze ist fair)
		\[
			X_i = \left \{
				\begin{matrix}
					1 & \text{falls im i-ten Wurf Kopf fällt}\\
					0 & \text{falls im i-ten Wurf Zahl fällt} 
				\end{matrix}
			\right.
		\]
		$\frac 1 n \sumtn X_i = $ relative Häufigkeit, mit der Kopf fällt\\
		Test: Falls $\lvert \frac 1 n \sumtn X_i - \frac 1 2 \rvert \geq \epsilon$, dann wird die Münze als unfair angesehen.\\
		Frage: Wie ist $\epsilon$ zu wählen?\\
		Wähle $\alpha$ (z.B. $\alpha = 0,05$) und dann $\epsilon$ so, dass die Wahrscheinlichkeit $P\{ \lvert \frac 1 n \sumtn X_i - \frac 1 2 \rvert \geq \epsilon \} \leq \alpha$, falls die Münze tatsächlich fair ist.\\
		
		Mittels des Zentralengrenzwertsatzes:
		\[
			\begin{split}
			P\{\lvert \frac 1 n \sumtn X_i - \frac 1 2 \rvert \geq \epsilon\} &= P\{1 n \sumtn X_i - \frac 1 2 \geq \epsilon\} + P\{1 n \sumtn X_i - \frac 1 2 \leq - \epsilon\}\\
			&= 1 - P\{1 n \sumtn X_i - \frac 1 2 < \epsilon\} + p\{1 n \sumtn X_i - \frac 1 2 \leq -\epsilon\}\\
			&= 1 - P \left\{ \frac {\sumtn X_i - \frac n 2}{\sqrt{n \frac 1 2 (1 - \frac 1 2)}} < \frac {n\epsilon}{\sqrt{n \frac 1 4}} \right\} 
				+ P \left \{ \frac {\sumtn X_i - \frac n 2}{\sqrt{\frac n 4}} \leq \frac {n\epsilon}{\sqrt{\frac n 4}} \right \}\\
			&\approx 1 -\Phi(\sqrt n \cdot 2 \epsilon) + \Phi(-\sqrt n \cdot 2 \epsilon) = 2 \Phi(-2\epsilon \sqrt n) \eqover{!} \alpha
			\end{split}
		\]
		$\Rightarrow \epsilon = \dfrac {.\Phi^{-1} \left ( \frac {\alpha}{2} \right)} {2 \sqrt(n)} 
		\underset{
			\begin{matrix}
				_{\alpha = 0,05}\\
				_{n = 500}
			\end{matrix}
		}{\approx} 0,0438$\\
		d.h. die Münze kann als unfair angesehen werden, wenn die relative Häufigkeit mit der Kopf fällt \underline{nicht} in dem Intervall 
		\[ (0,4562; 0,5438) \]
		ist.
		
		Vergleich mit dem Intervall, dass sich aus der Chebyshev'schen Ungleichung ergeben hat ($\rightarrow$ Beispiel \ref{example:5.4}):
		\[ (0,4;0,6) \]
		Bei der Approximation mit dem Zentralengrenzwertsatz werden unfaire Münzen viel eher erkannt.
	\end{example}
	
\chapter{Wahrscheinlichkeitsmaße auf $\mathbb{R}$}

	Kontinuierliche Ergebnisse eines Zufallsexperiments (z.B. Lngen, gewichte, Zeiten) lassen sich nicht auf natürliche Weise durch diskrete Wahrscheinlichkeitsräume bescheiben.\\
	\\
	Im Allgemeinen kann man \underline{nicht} mehr jeder Untermenge des Grundraumes eine Wahrscheinlichkeit zuweisen.\\
	
	Wahrscheinlichkeiten erhalten nur ``gutartige'' Mengen.
	\begin{itemize}
		\item Intervalle sind gutartig
		\item Komplemente gutartiger Mengen sind gutartig
		\item abzählbare Vereinigungen gutartiger Mengen sind gutartig
	\end{itemize}
	(formale Definition später)\\
	\\
	
	$\mathcal{A}:$ System aller gutartigen Mengen.\\
	Wahrscheinlichkeitsmaß \quad $P: \mathcal{A} \rightarrow [0,1]$\\
	mit $P(\mathbb{R}) = 1$, $A_n \in \mathcal{A}$ disjunkt, dann $P(\underset{n \in N}{\bigcup} A_n = \sumft{n\in \mathbb{N}} P(A_n)$\\
	
	Frage: Wie kann man Wahrscheinlichkeitsmaße \underline{einfach} beschreiben?\\
	Es reicht $P(A)$ nur für alle Intervalle anzugeben, genauer $P((a,b])$ für alle $-\infty < a < b < \infty$.\\
	Wegen $P((a,b]) = P((-\infty,b]) - P((-\infty,a])$\\
	denn $(a,b],(-\infty, a]$ sind disjungt und so $(a,b]\cup(-\infty, a] = (-\infty, b]$\\
	\\
	Also reicht es $P((-\infty,x))$ für alle $x\in \mathbb{R}$ festzulegen.
	
	\begin{satzdef}[Verteilungsfunktion]
		Ist P ein Wahrscheinlichkeitsmaß auf $\mathbb{R}$, so gilt für die durch $F: \mathbb{R} \rightarrow [0,1] \; , \; F(x) := P((-\infty,x])$ definierte \underline{Verteilungsfunktion} von P
		\begin{enumerate}[(i)]
			\item $F$ ist monoton Steigend
			\item $F$ ist rechtsseitig stetig
			\item $F(\infty) := \underset{x \rightarrow \infty} {\lim} F(x) = 1 \; , \; F(-\infty) := \underset{x \rightarrow -\infty}{\lim} F(x) = 0$
		\end{enumerate}
		
		Ist umgekehrt $F$ eine Funktion von $\mathbb{R}$ nach $[0,1)$, die die Eigenschaften (i) - (iii) besitzt, so existiert genau ein Wahrscheinlichkeitsmaß auf $\mathbb{R}$, das F als Verteilungsfunktion besitzt.
	\end{satzdef}
	
	Beweis von (i):
	\[
		x \leq y \Rightarrow (-\infty,x ] \subset (-\infty,y] \Rightarrow F(x) = P((-\infty, x]) \leq P((-\infty,y]) = F(y)
	\]
	
	\begin{satzdef}[Dichte]
		Sei P ein Wahrscheinlichkeitsmaß auf $\mathbb{R}$. Existiert eine integrierbare Funktion $f:\mathbb{R}\rightarrow [0,\infty)$, so dass
		\begin{equation} \label{eqn:6.1}
			P((-\infty,x]) = \intft[-\infty]{x} f(t) dt
		\end{equation}
		so heißt $f$ \underline{Dichte} von P.\\
		
		Ist $A \subset \mathbb{R}$ so, dass $f \cdot 1_A $ integrierbar ist, so gilt
		\[
			P(A) = \int f(x) \cdot 1_A(x) dx =: \intft{A} f(x) dx
		\]
		
		Umgekehrt ist jede integrierbare Funktion $f: \mathbb{R} -> [0,\infty)$ mit $\intft{\mathbb{R}} f(t) dt = 1$ Dichte eines Wahrscheinlichkeitsmaßes auf $\mathbb{R}$, das durch (\ref{eqn:6.1}) eindeutig festgelegt ist.
	\end{satzdef}
	
	\begin{example}
		$\phantom{.}$
		\begin{enumerate}[(i)]
			\item 
				Sei $-\infty < a < b < \infty$ und definiere $f: \frac {1_{(1,b]}} {b-a}$ als eine Dichte eines Wahrscheinlichkeitsmaßes $\mathcal{U}_{(a,b]}$ auf $\mathbb{R}$, denn $\intft{\mathbb{R}} f(t) dt = \frac 1 {b-a}$ und $\intft{\mathbb{R}} 1_{(a,b]}t dt = \frac {b-a}{b-a} = 1$\\
			
				$\mathcal{U}_{(a,b]}$ heißt \underline{Gleichverteilung}  auf $(a,b]$\\
				Es gilt $a \leq c < d \leq b$
				\[
					\begin{split}
					\mathcal{U}_{(a,b]}((c,d])& = \int f(x) \cdot 1 _{c,d}(x) dx\\
					& = \int \frac {1_{(a,b]}(x)}{b-a} \cdot 1_{(c,d]}(x) dx\\
					& = \frac {d-c}{b-a}
					\end{split}
				\]
			
				d.h. die Wahrscheinlichkeit von $(a,d]$ hängt nur von der Länge des Intervalls ab, nicht von seiner Lage innerhalb von $(a,b]$\\
			
			\item
				$f_\lambda (x) := \frac 1 \lambda \cdot e^{-\frac x \lambda} \cdot 1_{[0,\infty]} (x) \qquad (\lambda > 0)$ ist Dichte eines Wahrscheinlichkeitsmaßes auf $\mathbb{R}$, denn
				\[
					\intft{\mathbb{R}} f_\lambda (x) dx = \frac 1 \lambda \intft[0]{\infty} e^{- \frac x \lambda} dx = \left . -e^{- \frac x \lambda} \right \rvert_0^{-\infty} = 1 
				\]
				
				Das zugehörige Wahrscheinlichkeitsmaß $E_\lambda$ heißt \underline{Exponentialverteilung} mit Mittelwert $\lambda > 0$. Sie besitzt die Verteilungsfunktion 
				\[
					F_\lambda(x) = \intft[-\infty]{x} f_\lambda(t) dt \eqover{s.o.}  \left . -e^{- \frac t \lambda} \right \rvert_0^x = 1-e^{- \frac x \lambda} \qquad{\forall x \geq 0}
				\]
				und $F_\lambda(x) = 0 \qquad \forall x < 0$\\
		
				Für $x,y \geq 0$ gilt
				\[
					\begin{split}
					E_\lambda((x+y,\infty) \mid (x,\infty)) &= \dfrac {E_\lambda ((x+y,\infty) \cap (x,\infty)}{E_\lambda((x,\infty))} \\
					& = \dfrac {E_\lambda ((x+y,\infty))}{E_\lambda((x,\infty))} = \dfrac {1- E_\lambda((-\infty,x+y))}{1 - E_\lambda((-\infty,x))}\\
					& = \dfrac {1-F_\lambda(x+y)}{1 - F(x)} = \dfrac {e^{- \frac {x+y} {\lambda}}} {e^{- \frac x \lambda}} \\
					& = \dfrac {e^{- x \frac x \lambda}\cdot e^{- \frac y \lambda}} {e^{- \frac x \lambda}} = e^{- \frac y \lambda}
					\end{split}
				\]
		
				Fazit: Exponentialverteilungen beschreiben Lebensdauern von Dingen, die nicht altern, d.h. die Wahrscheinlichkeit noch $y$ Jahre zu überleben, gegeben dass bereits $x$ Jahre überlebt wurden, hängt nicht von $x$ ab.
		
			
			\item
				$\varphi(t) := \frac 1 {\sqrt{2\pi}} \cdot e^{- \frac {t^2} 2} \quad , t\in \mathbb{R}$,\\
				ist die Dichte der sogenannten \underline{Standardnormalverteilung} $\mathcal{N}_{(0,1)}$, denn die zugehörige Verteilungsfunktion $\Phi(x) = \intft[-\infty]{x} \varphi(x) dt$ erfüllt $\Phi(\infty) = 1 \quad $($\rightarrow$ Zentralergrenzwertsatz)
		
		\end{enumerate}
		
	\end{example}
	
	\begin{example}
		Ein Seil der Länge 1 wird so lange an beiden Enden gezogen, bist es reißt.\\
		\\
		Die Wahrscheinlichkeit, dass das Seil in der Umgebung der Stelle $x\in(0,1)$ reißt, sei proportional zum Abstand zum näher gelegenen Ende, also proportional zu $\min(x,1-x)$
		\\
		
		Modell: P sei das Wahrscheinlichkeitsmaß mit Dichte
		\[
			f(x) = \left \lbrace 
			\begin{matrix}
				c \cdot \min(x,1-x) &, x\in (0,1)\\
				0 &  , sonst
			\end{matrix}
			\right .
		\]
		
		Wähle $c > 0$ so, dass $\intft{\mathbb{R}} f(x) \; dx \eqover{!} 1$\\
		d.h.
		\[
			c \cdot \intft[0]{1} \min(x,1-x) dx = 2 \cdot c \intft[0]{\frac 1 2} x \; dx = \left . cx^2 \right \rvert_0^{\frac 1 2} = \frac c 4 \eqover{!} 1
		\]
		$\Rightarrow c=4$, d.h. $f(x)=4 \cdot \min(x,1-x) \cdot 1_{(0,1)}(x)$\\
		\\
		Die Wahrscheinlichkeit, dass das längere Teilstück $\geq \frac 3 4$, ist
		\[
			\begin{split}
			P((0, \frac 1 4) \cup (\frac 3 4,1)) & = \int 1_{(0,\frac 1 4) \cup (\frac 3 4,1)}(x) \cdot f(x) \; dx\\
			& = \intft[0]{\frac 1 4} 4x \; dx + \intft[\frac 3 4]{1} 4 \cdot (1-x) \; dx \eqover{s.o.} = \left. 4 x^2 \right \rvert_0^{\frac 1 4} = \frac 1 4
			\end{split}
		\]
		\\
	\end{example}
	
	
	Beim diskreten Wahrscheinlichkeitsraum $(\Omega,P)$ ist eine Abbildung $X: \Omega \rightarrow S$ eine Zufallsvariable mit der Verteilung von $X$: $P^X(B) = P(X^{-1}(B)) = P\{X \in B\} \quad \forall B \subset S$.
	Dies ist dann ein Wahrscheinlichkeitsmaß auf S.\\
	\\
	Jetzt ist $P: \underline{\underline{\mathcal{A}}} \rightarrow [0,1]$. Daher ist $P(X^{-1}(B))$ nur noch definiert, wenn $X^{-1}(B) \in \mathcal{A}$, d.h. ``gutartig'' ist.\\

	Definiert man $X: \mathbb{R} \rightarrow \mathbb{R}$ so, dass $X^{-1}(B) \in \mathcal{A} \qquad \forall B \in \mathcal{A}$, \\
	dann gilt wie oben $P^X(B) := P(\{B \in B\}) \qquad \forall B \in \mathcal{A}$ definiert ein Wahrscheinlichkeitsmaß $P^X$ auf $\mathbb{R}$.\\
	\\
	Im diskreten Wahrscheinlichkeitsraum gilt:
	\[
		E(X) = \sumft{x\in X(\Omega)} x \cdot \underbraceset{P^X(\{x\})}{P\{X=x\}}
	\]
	\\
	\\
	\underline{Das ist hier unsinnig}:
	
	Wenn z.B. $P^X$ eine Dichte $f$ besitzt, so ist $P^X(\{x\}) = \intft{\mathbb{R}}f(t) \cdot 1_{\{x\}}(t) \; dt = 0 \quad \forall x \in \mathbb{R}$.\\
	Daher ist ein neuer Ansatz nötig.
	
	\pagebreak
	
	\begin{lemma}
		Ist $X$ eine $\mathbb{R}$-wertige diskrete Zufallsvariable, so gilt
		\[
			E(X) = \intft[0]{\infty} P\{x > t\} dt - \intft[-\infty]{0} P\{x < t\} dt \text{,}
		\]
		falls die rechte Seite wohl definiert ist.
	\end{lemma}
	
	Zur Veranschaulichung Skitzen, falls $X$ nur Werte $0 < x_1 < x_2 < ... < x_n < \infty$ annnimmt.\\
	$p_i = P\{X = x_i\}$
	
	---------------------- Skitze zur Veranschaulichung ------------------------- %TODO: Skitze%
	
	\begin{definition}[Erwartungswert]
		Ist X eine $\mathbb{R}$-wertige Zufallsvariable mit der Verteilungsfunktion $F$ (d.h. $P^X$ hat Verteilungsfunktion $F$), so wird der \underline{Erwartungswert} von $X$ definiert als 
		\[
			E(X) = \intft[0]{\infty}1 - F(t) \; dt - \intft[- \infty]{0} F(t) \; dt \text{,}
		\]
		falls die rechte Seite wohl definiert ist (d.h.wenigstens ein Integral endlich ist).
	\end{definition}
	
	\begin{satz}
		Besitzt $X$ eine dichte $f$, so gilt
		\[
			E(X) = \intft[-\infty]{\infty} x f(x) \; dx \text{,}
		\]
		falls das Integral wohl definiert ist.
	\end{satz}
	
	\begin{example}
		$\phantom{.}$\\
		\begin{enumerate}
			\item Sei X eine Zufallsvariable mit der Verteilungsfunktion $\Phi$ (d.h. $P^X = \mathcal{N}_{(0,1)}$) bzw. mit Dichte $\varphi$. Dann gilt
			\[
				E(X) = \intft[-\infty]{\infty} x \varphi(x) \; dx = \intft[-\infty]{\infty} x \frac 1 {\sqrt{2\pi}} \cdot e^{- \frac {x^2} 2} \; dx = 0 \text{,}
			\]
			da es das Intervall einer ungeraden Funktion ist.

			\item Ist $X$ exponential verteilt, d.h. $P^X = E_\lambda$ für ein $\lambda > 0$, mit der Verteilungsfunktion $F_\lambda(X) = (1-e^{\frac x \lambda}) \cdot 1_{(0,\infty)}(x)$, so folgt
			\[
				E(X) \underset{def.}{=} \intft[0]{\infty} \cdot e^{- \frac x \lambda} \; dx =  \left . - \lambda e^{- \frac x \lambda} \right \rvert_0^{\infty} = \lambda
			\]

		\end{enumerate}
	\end{example}
	
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%% 26.05.2009
	
	Wie sehen Systeme ``gutartiker Mengen'' aus?
	
	\begin{definition}[$\sigma$-Algebra,Messraum, Ergebnis, Wahrscheinlichkeitsmaß \& -raum]
		$\phantom{.}$\\
		Sei $\Omega \neq \emptyset$ eine beliebiger Grundraum.
		\begin{enumerate}[(i)]
			\item
			Eine Menge $\mathcal{A} \subset 2^\Omega$ von Untermengen von $\Omega$ heißt \underline{$\sigma$-Algebra auf $\Omega$}, falls folgende bedingungen erfüllt sind:
			\begin{itemize}
				\item $\Omega \in \mathcal{A}$
				\item $A \in \mathcal{A} \Rightarrow A^c \in \mathcal{A}$
				\item $A_n \in \mathcal{A} \quad \forall n \in \mathbb{N} \Rightarrow \underset{n \in N}{\bigcup} A_n \in \mathcal{A}$
			\end{itemize}
			$(\Omega,\mathcal{A})$ heißt dann \underline{Messraum}.\\
			Die Mengen $A \in \mathcal{A}$ heißen dann \underline{Ergebnisse}.
			
			\item Eine Abbildung $P: \A \rightarrow [0,1]$ heißt \underline{Wahrscheinlichkeitsmaß} auf $(\Omega,\A)$, falls
				\begin{itemize}
					\item $P(\Omega)=1$
					\item $A_n \in \A, \; n \in \mathbb{N}, \; \text{disjunkt} \Rightarrow P \left ( \underset{n\in \mathbb{N}}{\bigcup} A_n \right ) = \sumft{n \in N} P(A_n) \qquad$ ($\sigma$-Additivität)
						
				\end{itemize}
				
				$(\Omega,\A,P)$ heißt dann \underline{Wahrscheinlichkeitsraum}.
				
		\end{enumerate}
	\end{definition}
	
	Diskrete Wahrscheinlichkeitsräume sind Spezialfälle mit $\A = 2^\Omega$.\\
	Oft ist $\sigma$-Algebra $2^{\Omega}$ zu groß.\\
	Man kann zeigen: Es gibt kein Wahrscheinlichkeitsmaß P auf $([0,1],2^{[0,1]}$ so dass $P((c,d]) = d - c \qquad \forall 0 \leq c < d \leq 1$.\\
	D.h. es gibt keine Gleichverteilung auf dem Einheitsintervall, die jeder Untermenge eine Wahrscheinlichkeit zuweist.\\
	
	Die Sätze und Definitionen 1.4, 1.9 , 2.1, 2.3, 2.5, 2.6 übertragen sich sinngemäß auf allemeine Wahrscheinlichkeitsräume, wobei stets nur Mengen aus $\A$ (statt beliebige Untermengen von $\Omega$) betrachtet werden.
	
	\pagebreak
	
	\begin{satzdef}[Zufallsvariable, Messbarbeit und Verteilung]
		Seien $(\Omega,\A), (\tilde\Omega,\tilde\A)$ Messräume und $X: \Omega \rightarrow \tilde\Omega$. X heißt $\tilde\Omega$-wertige \underline{Zufallsvariable}, 
		falls $X^{-1}(\tilde A) \in \A \quad \forall \tilde A \in \tilde\A$. 
		\\Man schreibt dann $X: (\Omega,\A) \rightarrow (\tilde\Omega,\tilde\A)$ und sagt, dass X $\A,\tilde\A$-messbar ist.\\
		
		Sei $P$ ein Wahrscheinlichkeitsmaß auf $(\Omega,\A)$. Dann wird durch 
			\[P^X(\tilde A) := P(X^{-1}(\tilde A)) = P\{X \in \tilde A\}, \; \tilde A \in \tilde\A\,\]
		ein Wahrscheinlichkeitsmaß $P^X$ auf $(\tilde\Omega,\tilde\A)$ definiert; die so genannte \underline{Verteilung} von $X$ unter $P$.
	\end{satzdef}
	
	Beweis: wie 3.1
	
	\begin{satzdef}
		$\phantom{.}$
		\begin{enumerate}[(i)]
			\item
				Ist $\Omega \neq \emptyset$ und $\mathcal{C} \subset 2^{\Omega}$, so ist
				\[
					\sigma(\mathcal{C}) := \underset{\mathcal{C} \in \A} {\underset{\A \; \sigma\text{-Algebra auf }\Omega} {\bigcup}} \A
				\]
				die kleinste $\sigma$-Algebra auf $\Omega$, die alle Mengen aus $\mathcal{C}$ enthält. 
				Sie heißt die durch \underline{von $\mathcal{C}$ erzeugte $\sigma$-Algebra}.
				
			\item
				Speziell für $\Omega = \mathbb{R}$ heißt
				\[
					\mathbb{B} := \sigma(\{ (a,b] \mid -\infty < a < b < \infty \}) 
				\]
				\underline{Borel-$\sigma$-Algebra} auf $\mathbb{R}$ und allgemeiner für Intervalle $I$
				\[
					\mathcal{B}(I) := \sigma(\{ (a,b] \mid a < b, \quad a,b \in I \})
				\]
				die \underline{Borel-$\sigma$-Algebra auf $I$}.
				
		\end{enumerate}
	\end{satzdef}
	
	$\mathbb{B}$ enthällt alle ``üblichen'' Untermengen von $\mathbb{R}$, aber man kann zeigen, dass $\mathbb{B} \neq 2^{\mathbb{R}}$.\\
	Im folgenden sollen alle (nicht-diskrete) Wahrscheinlichkeitsmaße auf $\mathbb{R}$ stets auf $(\mathbb{R},\mathbb{B})$ definiert sein.\\
	Jedes Wahrscheinlichkeitsmaß $P$ auf $(\mathbb{R},\mathbb{B})$ ist durch seine Verteilungsfunktion 
	\[ 
		F(X) = P((-\infty,x]), \; x \in \mathbb{R}
	\] 
	eindeutig bestimmt ($\rightarrow$ Satz 6.1).
	
	\begin{lemma}
		Sei $(\Omega,\A,P)$ ein Wahrscheinlichkeitsraum.
		\begin{enumerate}[(i)]
			\item
			Sei $A_n \in \A, \; n \in \mathbb{N}$ eine monoton steigende Folge (d.h. $A_n \subset A_{n+1} \quad \forall n \in \mathbb{N}$).\\
			Dann gilt für $A := \underset{n \in \mathbb{N}}{\bigcup} A_n  \quad $ (kurz $A_n \uparrow A$)
			\[
				P(A) = \underset{n\rightarrow \infty}{\lim} P(A_n)
			\]
			\item
			Ist $B_n \in \A,\; n \in \mathbb{N}$ eine monoton fallende Folge ( d.h. $B_n \subset B_{n+1} \quad \forall n \in \mathbb{N}$) 
			und $B := \underset{n\in \mathbb{N}}{\bigcup} B_n $ (kurz $B_n \downarrow B)$, so gilt
			\[
				P(B) = \underset{n \rightarrow \infty}{\lim} P(B_n)
			\]
		\end{enumerate}
	\end{lemma}
	
	Beweis:
	\begin{enumerate}
		\item
			Definiere $C_1 := A_1, \; C_n := A_n \setminus A_{n-1} \quad \forall n \geq 2 $\\
			$\Rightarrow C_n, \; n \in \mathbb{N}, \text{ disjunkt, } \quad \underoverset{i=1}{n}{\bigcup}C_i = A_n$ 
			und insbesondere $\underset{i \in \mathbb{N}}{\bigcup}C_i = A$
			\[
				\Rightarrow P(A) = \sumft{i \in N} P(C_i) = \underset{n \rightarrow \infty}{\lim} \sumtn P(C_i) = \underset{i \rightarrow \infty}{\lim} P(A_n)
			\]
		\item
			wende (i) auf $A_n := B_n^c \uparrow \underset{k \in \mathbb{N}}{\bigcup} B_k^c = \left (\underset{k \in \mathbb{N}}{\bigcap} B_k \right )^c = B^c =: A$ an.
			\[
				P(B) = 1 - P(A) \eqover{(i)} 1 - \underset{n \rightarrow \infty}{\lim} P(A_n) = \underset{n \rightarrow \infty}{\lim}(1 - P(A_n)) = \underset{n \rightarrow \infty}{\lim} P(B_n)
			\]
	\end{enumerate}
	
	Beweis von 6.1 (ii) \& (iii):
	\begin{enumerate}[(i)]
		\item[(ii)]
			Beh.: $F$ ist rechtsseitig stetig\\
			Beweis: Sei $X_n \downarrow X$. Dann $(-\infty,X_n] \downarrow (-\infty,X]$. Mit 6.12(ii):
			\[
				F(X_n) = P((-\infty,X_n]) \rightarrow P((-\infty,X]) = F(X)
			\]
		\item[(iii)]
			Beh.: $F(\infty) := \underset{x \rightarrow \infty}F(x) = 1, \; F(-\infty) := \underset{x \rightarrow -\infty}{\lim}F(x) = 0$\\
			Beweis: Sei $X_n \uparrow \infty$. Dann $(-\infty,X_n) \uparrow \mathbb{R}$ und 6.12(i) liefert
			\[
				F(\infty) = \underset{n \rightarrow \infty}{\lim}P((-\infty,X_n]) = P(\mathbb{R}) = 1
			\]
			Die zweite Aussage folgt analog.
	\end{enumerate}
	
	
	Analog für $\Omega = \mathbb{R}^n$
	
	\begin{satzdef}
		$\phantom{.}$
		\begin{enumerate}[(i)]
			\item
				Die \underline{Borel-$\sigma$-Algebra auf $\mathbb{R}^n$} wird definiert als
				\[
					\mathbb{B}^n = \sigma(\{ \underoverset{i=1}{n}{X} (a_i,b_i] \mid -\infty < a_i < b_i y \infty \})
				\]
			\item
				Ist $P$ ein Wahrscheinlichkeitsmaß auf $(\mathbb{R}^n,\mathbb{B}^n)$, so wird die zugehörige \underline{multivariante Verteilungsfunktion} $F$ definiert als
				\[
					F(x_1,...,x_n) := P(\underoverset{i=1}{n}{X} (-\infty,x_i]), \qquad (x_1,...,x_n) \in \mathbb{R}^n
				\]
			\item
				Existiert eine Abbildung $f: \mathbb{R}^n \rightarrow [0,\infty$, so dass
				\[
					F(x_1,...x_n) = \intft[-\infty]{x_1}\intft[-\infty]{x_2} \dotsi \intft[-\infty]{x_n} f(t_1,... ,t_n) dt_n \dotsi dt_2 \; dt_1 
					\qquad (x_1,...,x_n) \in \mathbb{R}
				\]
				gilt, so heißt $f$ (multivariante) \underline{Dichte} von $P$ bzw. von $F$.\\
				Es gilt dann für alle Mengen $B \in \mathbb{B}^n$
				\[
					P(B) = \intft[-\infty]{x_1} \dotsi \intft[-\infty]{x_n} 1_B(t_1, ... ,t_n) \cdot f(t_1,... ,t_n) dt_n \dotsi dt_1
				\]
			\item
				Ist $(\Omega,\A)$ ein Messraum und $X_i : \Omega \rightarrow \mathbb{R}, \; 1 \leq i \leq n$, so ist $X = (X_1, ... , X_n): \Omega \rightarrow \mathbb{R}^n\quad $ $\A,\mathbb{B}^n$-messbar genau dann, wenn $X_i \quad \A,\mathbb{B}$-messbar ist $\forall 1 \leq i \leq n$.\\
				\\
				Die multivariante Verteilungsfunktion von $P^X$, d.h.
				\[
					F(x_1,... ,x_n) := P\{ X_1 \leq x_1, X_2 \leq X_2, ... ,X_n \leq x_n \} \quad \forall (x_1,... ,x_n) \in \mathbb{R}^n,
				\] 
				heißt \underline{gemeinsame Verteilungsfunktion} von $X_1,... , X_n$
		\end{enumerate}
	\end{satzdef}
	
	\pagebreak
	
	Gegenstück zu 3.4
	
	\begin{satz}
		Für Zufallsvariablen $X_i : (\Omega,\A) \rightarrow (\mathbb{R},\mathbb{B}),\; 1\leq i \leq n$, sind äquivalent:
		\begin{enumerate}
			\item $X_1,\dotsc,X_n$ sind stochastisch unabhängig (d.h. $\{X_i \in B_i\}, \; 1 \leq i \leq n$ sind stochastisch unabhängig $\forall B_i \in \mathbb{B}$
			
			\item $\forall B_i \in B_i, \; 1 \leq i \leq n$, gilt $P\{ X_i \in B_i \; \forall 1 \leq i \leq n \} = \prodtn P\{ X_i \in B_i \}$
			
			\item
				Es gibt Funktionen $H_i : \mathbb{R} \rightarrow [0,\infty),\; 1 \leq i \leq n$, so dass für die gemeinsame Verteilungsfunktion von $X_1,\dotsc,X_n$ gilt
				\[
					F(x_1,\dotsc,x_n) = \prodtn H_i(x_i) \qquad \forall(x_1,...,x_n) \in \mathbb{R}^n
				\]
				In dem Fall kann man in (iii) $H_i$ gleich der Verteilungsfunktion von $X_i$ wählen.\\
				\\
				
				Besitzen die so genannten \underline{Randverteilungen} $P^{X_i}$, $1 \leq i \leq n$, von $P^{(X_1,\dotsc,X_n)}$ jeweils eine Dichte $f_i$, so ist (i)-(iii) äquivalent zu
			\item $P^{(X_1,\dotsc,X_n)}$ besitzt eine Dichte $f$ der Form
			\[
				f(x_1,\dotsc,x_n) := \prodtn h_i(x_i) \qquad (x_1,\dotsc,x_n) \in \mathbb{R}^n,
			\]
			für geeigenete Funktionen $h_i: \mathbb{R} \rightarrow [0,\infty)$.\\
			In dem Fall kann man $h_i = f_i$ wählen
		\end{enumerate}
	\end{satz}
	
	\begin{satz}
		Besitzt eine $\mathbb{R}^n$-wertige Zufallsvariable $X=(X_1, \dotsc , X_n)$ die gemeinsame Dichte $f: \mathbb{R}^n \rightarrow [0,\infty)$, so hat $(X_1, \dotsc , X_m)$ für $m<n$ die Dichte 
			\[
				g(x_1, \dotsc , x_m) = \intft[-\infty]{\infty} \dotsi \intft[-\infty]{\infty} f(x_1 , \dotsc , x_n) dx_n \dotsi dx_{m+1} \qquad (x_1, \dotsc , x_m) \in \R
			\]
	\end{satz}
	
	Beweis:
	$(X_1, \dotsc, X_m)$ hat die gemeinsame Verteilungsfunktion
	\[
		\begin{split}
		G(x_1, \dotsc , x_m) &= P\{ X_1 \leq x_1 , \dotsc , X_m \leq x_m \}\\
		& = P\{X_1 \leq x_1 , \dotsc , X_m \leq x_m, X_{m+1} < \infty , \dotsc , X_n < \infty\}\\
		& = \intft[-\infty]{x_1} \dotsi \intft[-\infty]{x_m} 
				\underbraceset{g(t_1, \dotsc , t_m)} {\intft[-\infty]{\infty} \dotsi \intft[-\infty]{\infty} f(t_1, \dotsc , t_n) dt_n \dotsi dt_{m+1}} \; dt_m \dotsi dt_1\\
		& = \intft[-\infty]{x_1} \dotsi \intft[-\infty]{x_m} g(t_1, \dotsc , t_m) dt_m \dotsi dt_1
		\end{split} 
	\]
	d.h. $g$ ist die Dichte von $G$ bzw. von $(X_1, \dotsc, X_m)$
	
	\begin{satz}[Transformationssatz von Dichten]
		Ist $(\Omega,\A,P)$ ein Wahrscheinlichkeitsraum, besitzt $X: (\Omega,\A) \rightarrow (\R^n,\mathbb{B}^n)$ die Dichte $f_X$ und gilt $P\{X \in M\} = 1$ für eine offene , zusammenhängende Menge $M \subset \R^n$, ist schließlich $g: M \rightarrow \R^n$ eine injektive, stetige, differenzierbare Abbildung mit Umkehrabbildung $g^{-1}: g(M) \rightarrow M$ und invertierbarer Jacobi-Matrix $Dg(x) = \left ( \dfrac {\sigma \; g_i(x)} {\sigma \; x_j} \right )$. Dann besitzt $g(X): (\Omega, \A) \rightarrow (\R^n,\mathbb{B}^n)$ die Dichte
		\[
			f_{g(x)}(y) = \dfrac {f_X(g^{-1}(y))} {\lvert \det Dg(g^{-1}(y)) \rvert} \cdot 1_{g(M)}(y) \qquad , y\in \R^n
		\]
		wobei $\dfrac 1 {\lvert \det Dg(g^{-1}(y)) \rvert} = \lvert \det Dg^{-1}(y) \rvert$
	\end{satz}
	
	\begin{example}[Wettschießen]
		Der Mittelpunkt einer Zielscheibe sei der Ursprung $(0,0)$.\\
		Die Treffer landen zufällig im Punkt $(X,Y)$, wobei $X,Y$ stochastisch unabhängig und $\mathcal{N}_{(0,1)}$-verteilt sind, d.h. sie besitzen jeweils die Dichte 
		\[
			\varphi(t) = \dfrac 1 {\sqrt{2\pi}} e ^{- \frac {t^2} 2} \quad , t \in \R
		\]
		Gesucht: Die Verteilung der Entfernung zum Mittelpunkt, also $\sqrt{X^2 + Y^2}$\\
		
		Gemäß Satz 6.14 hat $(X,Y)$ die Dichte
		\[
			f(x,y) = \varphi(x) \cdot \varphi(y) = \frac 1 {2 \pi} e^{- \frac {(X^2 + y^2)} {2}} \qquad , (x,y) \in \R^2
		\]
		Transformation in Polarkoordinaten:\\
		$g: \R^2 \setminus \{0\} \rightarrow (0,\infty) x (- \pi, \pi)$
		\[
			\begin{split}
			g(x,y) &= \left \{ \twolines{(\sqrt{x^2 + y^2}, \arccos \frac x {\sqrt{x^2 + y^2}}) \text{, falls } y\geq 0}{(\sqrt{x^2 + y^2}, -\arccos \frac x {\sqrt{x^2 + y^2}}) \text{, falls } y < 0} \right. \\
			:&= (r, \vartheta)
			\end{split}
		\]
		$g$ erfüllt die Vorraussetzung von Satz 6.16\\
		$g^{-1}(r , \vartheta) = (r \cdot \cos \vartheta, r \cdot \sin \vartheta)$\\
		$Dg^{-1}(r, \vartheta) = 
		\begin{pmatrix}
			\cos \vartheta & -r \cdot \sin \vartheta\\
			\sin \vartheta & r \cos \vartheta
		\end{pmatrix}
		$\\
		$\Rightarrow \lvert \det Dg^{-1} (r,0) \rvert = r \cdot (\cos^2 \vartheta + \sin^2 \vartheta) = r$\\
		
		Mittels Satz 6.16 hat $g(X,Y)$ die Dichte
		\[
			\begin{split}
			f_{g(X,Y)}(r, \vartheta) &= \lvert \det Dg^{-1}(r, \vartheta) \rvert \dot f_{(X,Y)}(g^{-1}(r,\vartheta))\\
			&= r \cdot \frac 1 {2\pi} e ^ {- \frac {r^2} 2} \cdot 1_{(0,\infty)}(r) \cdot 1_{(-\pi,\pi)}(\vartheta)\\
			&= \underbraceset{=: h_1(r)}{r \cdot e^{- \frac {r^2} 2} \cdot 1_{(0,\infty)}(r)} \cdot \underbraceset{:= h_2(\vartheta)} { \frac 1 {2\pi} \cdot 1_{(-\pi, \pi)}(\vartheta) }
			\end{split} 
		\] 
		
		Nach Satz 6.14 sind der Abstand vom mittelpunkt und der Winkel zur X-Achse stochastisch unabhängig, da $f_{g(X,Y)}$ Produktgestalt hat.\\
		Dabei ist $h_2$ die Dichte des zufälligen Winkels zur X-Achse, d.h. der Winkel ist gleichverteilt auf $(-\pi,\pi]$.\\
		Der Abstand hat die Dichte $h_1$, die zugehörige Verteilung heißt Rayleight-Verteilung. Der mittlere Abstand beträgt gemäß Satz 6.2
		\[
			\begin{split}
			\intft[0]{\infty} r \cdot h_1(r) \; dr &= \intft[0]{\infty} r \cdot e ^{- \frac {r^2} 2} \; dr = \left. -e^{- \frac {r^2} 2} \right \rvert_0^{\infty} + \intft[0]{\infty} e^{- \frac {r^2} 2} \; dr\\
			 &= \sqrt{2\pi} \intft[0]{\infty} \varphi(r) \; dr \eqover{sym. \varphi} \sqrt{\frac \pi 2} \cdot \intft[-\infty]{\infty} \varphi(r) \; dr = \sqrt{\frac \pi 2}
			\end{split}
		\]
		
	\end{example}
	
	\begin{satzdef}[Faltung]
		Seien $X,Y$ stochastisch unabhängige, $\R$-wertige Zufallsvariablen auf einem Wahrscheinlichkeitsraum $(\Omega,\A,P)$. Dann heißt die Verteilung $P^{X+Y}$ von $X+Y$ die \underline{Faltung} von $P^X$ und $P^Y$. In Zeichen $P^X * P^Y$.\\
		
		Besitzen $X$ und $Y$ Dichten $f_x$ und $f_y$, so besitzt $P^X * P^Y$ die Dichte
		\[
			(f_X * f_y)(t) := \intft{\R} f_x(x) \cdot f_y(t-x) \; dx \qquad , t\in \R
		\]
	\end{satzdef}
	
	Beweis: Nach Satz 6.14 hat $(X,Y)$ die Dichte
	\[
		f(x,y) = f_X(x) \cdot f_Y(y) \qquad \forall (x,y) \in \R^2
	\]
	Die Abbildung $g(x,y) = (x+y,x-y)$ erfüllt die Bedingung von Satz 6.16 mit
	\[
		g^{-1}(u,v) = ( \frac {u+x} 2 , \frac {u - v} 2)
	\]
	und
	\[
		\begin{split}
		&Dg^{-1}(u,v) = \begin{pmatrix}\frac 1 2 & \frac 1 2 \\ \frac 1 2 & - \frac 1 2\end{pmatrix}\\
		&\Rightarrow \lvert \det Dg^{-1}(u,v) \rvert = \frac 1 2
		\end{split}
	\]
	Daher hat $g(X,Y) = (X+Y,X-Y)$ die Dichte
	\[
		\begin{split}
			h(u,v) &= \lvert \det Dg^{-1} (u,v) \rvert \cdot f(y^{-1}(u,v))\\
			&= \frac 1 2 f_X(\frac {u + v} 2) \cdot f_Y(\frac {u+v} 2) 
		\end{split}
	\]
	Nach Satz 6.15 hat schließlich $X+Y$ die Dichte
	\[
		\begin{split}
		f_{X+Y}(u) &= \intft[-\infty]{\infty} h(u,v) \; dv = \frac 1 2 \intft[\infty]{\infty} f_X( \frac {u+v} 2) \cdot f_Y (\frac {u - v} 2) \; dv\\
		& \underset{\underset{dv = 2dx}{x = \frac{u+v} 2}} {=} \intft[-\infty]{\infty} f_X(x) \cdot f_Y(u - x) \; dx
		\end{split}
	\]
	
	\begin{example}
		Sei $X \; \mathcal{N}_{(0,1)}$-verteilt, d.h. mit Dichte $\varphi(x) = \frac 1 {\sqrt{2\pi}} e^{-\frac {x^2} 2}$.\\
		Dann hat $Y = \sigma X + \mu \quad (\mu \in \R, \sigma \neq 0)$ nach Satz 6.16 die Dichte
		\[
			\varphi_{(\mu, \sigma^2)}(y) = \varphi \left (  \frac{y-\mu} \sigma \right ) \cdot \frac 1 {\lvert \sigma \rvert} = \frac 1 {\sqrt{2\pi\sigma^2}} \cdot e^{- \frac {(y-\mu)^2} {2\sigma^2}} \qquad x \in \R
		\]
		
		Die zugehörige Verteilung $P^Y$ heißt \underline{Normalverteilung} mit Mittelwert $\mu$ und Varianz $\sigma^2$; in Zeichen $\mathcal{N}_{(\mu,\sigma^2)}$.\\
		
		Sei nun $Y$ $\mathcal{N}_{(\mu,\sigma^2)}$-verteilt.\\
		Dann gilt $aY+b = a \cdot (\sigma X + \mu) + b = (a\sigma)X + (a \cdot \mu + b)$ ist $\mathcal{N}_{(a\mu + b, a^2\sigma^2)}$-verteilt, falls $a \neq 0$.\\
		
		Sind $Y_i$ $\mathcal{N}_{(\mu_i,\sigma_i^2)}$-verteilt $(i=1,2)$ und stochastisch unabhängig\\
		$\Rightarrow Z_i := Y_i - \mu_i$ sind $\mathcal{N}_{(0,\sigma^2)}$-verteilt und stochastisch unabhängig und $Z_1 + Z_2$ hat gemäß Satz 6.19 die Dichte
		\[
			\begin{split}
			g(z) &= \intft[-\infty]{\infty} \varphi_{(0, \sigma_1^2)}(x) \cdot \varphi_{(0,\sigma_2^2)}(z-x) \; dx\\
			&= \dfrac 1 {2 \pi \sqrt{\sigma_1^2 \sigma_2^2}} \intft[-\infty]{\infty} \underbraceset{*} {\exp \left (- \left (\dfrac{x^2}{2 \sigma_1^2} + \dfrac {(z-x)^2}{2 \sigma_2^2} \right ) \right)} \; dx\\
			&= \dfrac 1 {\sqrt{2 \pi(\sigma_1^2 + \sigma_2^2)}} \intft[-\infty]{\infty} \varphi_{(\mu_2, \frac {\sigma_1^2\sigma_2^2}{\sigma_1^2 + \sigma_2^2})}(x) \; dx
			\cdot \exp \left ( - \dfrac {z^2}{2 \sigma_2^2} \left ( 1 - \dfrac 1 {\frac {\sigma_2^2}{\sigma_1^2} +1} \right ) \right )\\
			&= \varphi_{(0,\sigma_1^2 + \sigma_2^2)}(z)
			\end{split}
		\]
		\[
			\begin{split}
			*: \exp \left (- \left (\dfrac{x^2}{2 \sigma_1^2} + \dfrac {(z-x)^2}{2 \sigma_2^2} \right ) \right) 
			&= \exp \left ( - \frac 1 2 \left ( x^2 \left ( \frac 1 {\sigma_1^2} + \frac 1 {\sigma_2^2} \right ) - 2 \frac 2 {\sigma_2^2} x + \frac {z^2}{\sigma_2^2} \right ) \right )\\
			&= \exp \left ( - \frac 1 2 \left [ \left ( \frac 1 {\sigma_1^2} + \frac 1 {\sigma_2^2} \right ) \left (x - \dfrac {\frac z {\sigma_2^2}} {\frac 1 {\sigma_1^2} + \frac 1 {\sigma_2^2}} \right )^2 + \dfrac {z^2} {\sigma_2^2} - \dfrac {\frac {z^2} {\sigma_2^4}} {\frac 1 {\sigma_1^2} + \frac 1 {\sigma_2^2}} \right ] \right ) 
			\end{split}
		\]
		d.h. $Z_1 + Z_2$ ist $\mathcal{N}_{(0,\sigma_1^2 + \sigma_2^2)}$-verteilt\\
		$\Rightarrow Y_1 + Y_2 = Z_1 +Z_2 + \mu_1 + \mu_2$ ist $\mathcal{N}_{(\mu_1 + \mu_2, \sigma_1^2 + \sigma_1^2)}$-verteilt.\\
		
		Fazit: 
		\[
			\mathcal{N}_{(\mu_1,\sigma_1^2)} * \mathcal{N}_{(\mu_2,\sigma_2^2)} = \mathcal{N}_{(\mu_1 +\mu_2,\sigma_1^2 +\sigma_2^2)}
		\]
	\end{example}
	
	\pagebreak
	
	Beweis von 6.5: Hier nur für den Fall, dass $X$ nur endlich viele Werte annimmt.\\
	Seien $X_0 = 0 < x_1 < x_2 < \dotsb < x_n $ die positiven Werte, die $X$ annehmen kann und\\
	seien $y_m < y_{m-1} < \dotsb < y_1 < 0 = y_0$ die negativen Werte, die $X$ annehmen kann.
	\[
		E(X) = \sumft{x \in X(\Omega)} x \cdot P\{X=x\} = \sumtn x_i \cdot P\{X= x_i\} + \sumft[i=1]{m} y_i \cdot P\{X=y_i\}
	\]
	\[
		\begin{split}
		\sumtn x_i \cdot P\{ X = x_i \} &= \sumtn \sumft[l=1]{i}(x_l - x_{l-1}) \cdot P\{X=x_i\}\\
		&= \sumtn{l=1} (x_l - x_{l-1}) \cdot \underbraceset{= P\{X \geq x_l\} = P\{X > x_{l-1}\}}{\sumtn{i=l} P\{X=x_i\}} \\
		&= \sumtn{l=1} \intft[x_{l-1}]{x_l} \underbraceset{=P\{X > x_{x_l-1}\}}{P\{ x > t \}} dt \\
		&= \intft[0]{\infty} P \{X>t\} dt \\
		\\
		\sumft[i=1]{m} y_i \cdot P\{ X= y_i \} &= \sumft[i=1]{m}\sumft[l=1]{i} (y_l - y_{l-1} \cdot P\{X=y_i\}\\
		&= \sumft[l=1]{m}(y_l-y_{l-1}) \underbraceset{= P\{X \leq y_l\}}{\sumft[i=l]{m} P\{X= y_i\}}\\
		&= - \sumft[l=1]{m} \intft[y_l]{y_{l-1}} P\{ X \leq t \} dt\\
		&= \sumft[\-\infty]{0} P\{ X \leq t \} dt
		\end{split}
	\]
	
	Analog definiert man den Mittelwert eines Wahrscheinlichkeitsmaßes $Q$ auf $\R$
	\[
		\mu(Q) = E_Q(Id) = \intft[0]{\infty} Q((t,\infty)) dt - \intft[-\infty]{0} Q((-\infty,t]) dt
	\]
	
	Die Sätze und Definitionen 4.3, 4.5, 4.9 (bis auf die Summendarstellung), 4.10, 4.12, 4.14-4.17, 4.19, 5.1-5.3 und 5.6 übertragen sich sinngemäß.\\
	
	\pagebreak
	Zum Beispiel die Verallgemeinerung von Satz 4.3 (Transformationssatz)
	\begin{satz}
		Ist $(\Omega,\A,P)$ eine Wahrscheinlichkeitsraum, $X: (\Omega,\A) \rightarrow (\tilde \Omega, \tilde \A)$ eine Zufallsvariable und $g: (\tilde \Omega,\tilde \A) \rightarrow (\R,\mathbb{B})$ eine Abbildung, so gilt
		\[
			E_P(g(X)) = E_{P^X}(g),
		\]
		falls eine der beiden Seiten wohl definiert ist.
	\end{satz}
	
	Beweis: Da $P^X(A) = P(X^{-1}(A))$:
	\[
		\begin{split}
			\intft[0]{\infty} P\underbraceset{= X^{-1}(\{g > t\})} {\{g(X) > t\}} dt &=  \intft[0]{\infty} P^X(\{  g > t\}) dt \\
			-\intft[-\infty]{0} P\{ g(X) \leq t \} dt &= -\intft[-\infty]{0} P^X(\{ g \leq t \}) dt \\
			\hline
			\eqover{6.6} E_P{g(x)} \qquad \qquad & \qquad \eqover{6.6} E_{P^X}(g)\\
		\end{split}
	\]
	$\Rightarrow Behauptung$
	\\
	\\
	
	6.7: Sei $X$ eine $\R$-wertige Zufallsvariable mit Dichte $f$\\
	$\Rightarrow E(X) = \intft[-\infty]{\infty} x \cdot f(x) dx$\\
	
	Verallgemeinerung:
	\begin{satz}
		Besitzt $X= (X_1,...,X_n): (\Omega,\A,P) \rightarrow (\R^n,\mathbb{B}^n)$ eine gemeinsame Dichte $f$ und ist $g: (\R^n,\mathbb{B}^n) \rightarrow (\R,\mathbb{B})$ eine Abbildung, so gilt
		\[
			E(g(X)) = \intMany \R \R g(x_1, \dotsc ,x_n) \cdot f(x_1, \dotsc , x_n) dx_n \dotsi dx_1
		\] 
	\end{satz}
	
	Beweis:
	\[
		\begin{split}
			E(g(X)) &= E_P(g(X)) \eqover{6.20} E_{P^X}(Y) \\
			&= \intft[0]{\infty} P^X \{ g > t \} dt - \intft[-\infty]{0} P^X \{ g\leq t\}dt
		\end{split}
	\]
	Dabei gilt
	\[	\begin{split}
		\intft[0]{\infty}P^X\{ g > t \} dt &= \intft[0]{\infty} \intMany \R \R 1_{\{ g(x_1, \dotsc , x_n) > t \}} f(x_1, \dotsc , x_n) dx_n \dotsi dx_1 \; dt\\
		&= \intMany \R \R \intft[0]{\infty} 1_{[0,g(x_1, \dotsc , x_n]}(t) dt \; f(x_1, \dotsc , x_n) dx_n \dotsi dx_1\\
		&= \intMany \R \R g(x_1, \dotsc , x_n) \cdot 1_{g(x_1, \dotsc , x_n) \geq 0}f(x_1, \dotsc, x_n) dx_n \dotsi dx_1
		\end{split}
	\]
	Ebenso
	\[
		\intft[-\infty]{0} P^X \{ g \leq t \} dt = \intMany \R \R - g(x_1, \dotsc, x_n) \cdot 1_{\{ g(x_1, \dotsc, x_n) < 0 \}}f(x_1, \dotsc , x_n) dx_n \dotsi dx_1
	\]
	Zusammen: $E(g(X)) = \intMany \R \R g(x_1, \dotsc, x_n) \cdot f(x_1, \dotsc, x_n) dx_n \dotsi dx_1$
	
	\begin{example}
		Sei $X$ $\mathcal{N}_{(0,1)}$-verteilt.\\
		Dann ist $Y= \sigma X + \mu \; \; \mathcal{N}_{(\mu,\sigma^2)}$-Verteilt ($\rightarrow$ Bsp 6.19)\\
		(mit Dichte $x \mapsto \frac 1 \sigma \varphi( \frac {x - \mu} \sigma) = \frac 1 {\sqrt{2 \pi \sigma}} \exp(- \frac{(x-\mu)^2}{2\sigma^2}) \; , \sigma > 0, \mu \in \R$)\\
		\\
		\[
			\begin{split}
			E(Y) &= \sigma \cdot E(X) + \mu = \mu\\
			Var(Y) &= Var(\sigma X) = \sigma^2 Var(X)\\
			&= \sigma^2 \cdot (E(X^2) - (E(X))^2) = \sigma^2 \cdot E(X^2)\\
			&\overset{2.61}{=} \sigma^2 \cdot \intft[-\infty]{\infty} x^2 \cdot \varphi(x) dx = \dfrac {\sigma^2}{\sqrt{2\pi}} \intft[-\infty]{\infty} x \cdot xe^{- \frac {x^2}2} dx \\
			&= \dfrac {\sigma^2}{\sqrt{2\pi}} \left [  x \cdot ( \left. -e^{-\frac{x^2}2} \right\rvert_{-\infty}^\infty + \intft[-\infty]{\infty} e^{-\frac {x^2} 2}  dx \right ]\\
			&= \sigma^2 \intft[-\infty]{\infty}\frac 1 {\sqrt{2 \pi}}  e^{-\frac {x^2} 2}  dx\\
			&= \sigma^2 \intft[-\infty]{\infty} \varphi(x) dx = \sigma^2
			\end{split}
		\]
		Dies erklärt den Namen von $\mathcal{N}_{(\mu,\sigma^2)}$: Normalverteilung mit Mittelwert $\mu$ und Varianz $\sigma^2$\\
	\end{example}
	
	\underline{Weitere Kenngrößen von $\R$-wertigen Zufallsvariablen und deren Verteilungen}\\
	\\
	Weiteres Maß für den ``mittleren'' Wert einer Zufallsvariable ist der Median.
	\begin{definition}[Median]
		Sei $X$ eine $\R$-wertige Zufallsvariable mit Verteilungsfunktion $F$.\\
		Dann heißt \underline{jeder} Wert $m\in \R$, so dass
		\[
			F(m) = P\{X \leq m\} \geq \frac 1 2 \; , \; 1- F(m-) = P\{ X \geq m \} \geq \frac 1 2
		\]
		(wobei $F(m-) = \underset{x \uparrow m}F(x)$) \underline{Median} von $X$ bzw. von $P^X$.
	\end{definition}
	
	\begin{example}
		$\phantom .$
		\begin{enumerate}[(i)]
			\item
				Sei $X$ exponentialverteilt mit Mittelwert $\lambda > 0$, d.h. $X$ besitzt die Verteilungsfunktion
				\[
					F_\lambda(x) = P\{X \leq x\} = 1 - e^{-\frac x \lambda} , x \geq 0
				\]
				Dann gilt
				\[
					\begin{split}
					&F\lambda(m) = 1- e^{-\frac m \lambda} \overset{!}{\geq} \frac 1 2 \Leftrightarrow m \geq -\lambda \cdot \log 2 \approx 0,69 \cdot \lambda\\
					&1-F_\lambda(m-) = e^{-\frac m \lambda}\overset{!}{\geq} \frac 1 2 \Leftrightarrow , \leq \lambda \cdot \log 2\\
					&\Rightarrow \text{es existiert genau ein Median, nämlich } m= \lambda \cdot \log 2 \approx 0,69 \cdot \lambda\\
					&\Rightarrow \frac {\text{Median}}{\text{Erwartungswert}} = \log 2 \approx 0,69
					\end{split}
				\]
				Anwendung: $X$: Zeit bis zum Zerfall eines radioaktiven Isotops. Dann ist Median = Halbwertszeit
			\item
				Sei $X$ gleichverteilt auf $\{-1,1\}$, d.h. $P\{X = -1\} = \frac 1 2 = P\{X = 1\}$.\\
				Jedes $m \in [-1,1]$ ist ein Median, denn
				\[
					P\{ X \leq m \} \geq P\{ X \leq -1 \} = \frac 1 2, P\{ X \geq m \} \leq P\{ X \geq 1 \} = \frac 1 2
				\]
		\end{enumerate}
	\end{example}
	
	Es existiert stets wenigstens ein Median.\\
	Der Media ist \underline{nicht} eindeutig, wenn $F$ auf einem echten Intervall den Wert $\frac 1 2$ annimmt.\\
	\\
	
	\pagebreak
	Analog lässt sich zu jeder Wahrscheinlichkeit $p \in (0,1)$ ein ``kleinster'' Wert definieren, der wenigstens mit Wahrscheinlichkeit $p$ unterschritten wird.
	\begin{definition}[Quantilfunktion]
		Zu einer Verteilungsfunktion $F$ wird die zugehörige \underline{Quantilfunktion}(\underline{verallgemeinerte Inverse}) definiert als
		\[
			\begin{split}
				& F^{\leftarrow}: [0,1] \rightarrow [-\infty,\infty]\\
				& F^{\leftarrow}(t) := \left \{ 
					\begin{matrix} 
						\inf \{ x\in \R \mid F(x) \geq t \} &, t \in (0,1]\\
						\sup \{ x \in \R \mid F(x) = 0 \} &, t = 0
					\end{matrix}
				\right.
			\end{split}
		\]
		Dabei wird $\sup \emptyset := -\infty, \; \inf \emptyset := \infty$ definiert.\\
		$F^\leftarrow (p)$ wird als \underline{p-Quantil} bezeichnet.
	\end{definition}
	
	------------------ Zeichnung, um $F^\leftarrow$ zu verdeutlichen ------------ %%%%%%% TODO: Zeichnung
	
	Gibt es genau ein $x$ mit $F(x) = p$, so gilt $F^\leftarrow(p) = x$.\\
	Insbesondere ist $F^\leftarrow$ auf $(0,1)$ gleich der Umkehrfunktion von $F$, wenn $F$ invertierbar ist.
	
	\begin{example}
		$X$ sei exponentialverteilt mit mittelwert $\lambda > 0$, d.h. $F(x) = 1 - e^{-\frac x \lambda}$\\
		$\Rightarrow F^\leftarrow (t) = \left \{
		\begin{matrix}
			-\lambda \log(1-t) & , & t \in (0,1) \\
			0& , & t=0\\
			\infty & , & t = 1
		\end{matrix}
		\right.
		$\\\\
		
		$F^\leftarrow(\frac 1 2)$: Median\\
		
		\underline{Interquartilsabstand} $IQR := F^\leftarrow(\frac 3 4) - F^\leftarrow(\frac 1 4)$\\
		Maß für die Schwankungsbreite von $F$ bzw. $P^X$\\
		Hier $IQR = -\lambda \log \frac 1 4 - (- \lambda \log \frac 3 4) = \lambda \log 3 \approx 1,10 \cdot \lambda$
	\end{example}
	
	\begin{satz}
		Ist $U$ eine auf $(0,1)$ gleichverteilte Zufallsvariable und $F$ eine beliebige Verteilungsfunktion, so besitzt die Zufallsvariable $X = F^\leftarrow(U)$ die Verteilungsfunktion $F$.
	\end{satz}
	
	Beweis: Wir zeigen zunächst
	\[
		F^\leftarrow(t) \leq x \Leftrightarrow t \leq F(x) \qquad \forall t \in (0,1)
	\]
	
	\begin{itemize}
		\item[``$\Leftarrow$'':]
			\[
			\begin{split}
				&F^\leftarrow(t) = inf \underbraceset{x \in \{ x \in \R \mid F(y) \geq t \} \text{, wenn } t\leq t}{\{ x \in \R \mid F(y) \geq t \} \qquad}\\
				& \Rightarrow F^\leftarrow(t) \leq x
			\end{split}
			\]
		\item[``$\Rightarrow$'':]
			Sei $x \geq F^\leftarrow(t)$\\
			Falls $x > F^\leftarrow (t)$, dann gilt wegen der Definition von $F^\leftarrow$ und Monotonie von $F$ sicherlich $F(x) > t$\\
			Falls $x = F^\leftarrow(t)$, dann gilt wegen der rechtsseiten Stetigkeit von $F$ 
			\[
				F(x) = \underset{y \downarrow x} {\lim} \; \underset{\geq t \text{, da } y > F^\leftarrow(t)} {\underbrace{F(y)} \geq t \qquad} 
			\]
	\end{itemize}
	
	Anwendung: Wenn $u$ eine Pseudozufallszahl gemäß Gleichverteilung auf $(0,1)$ ist, so ist $F^\leftarrow(u)$ eine Pseudozufallszahl gemäß der Verteilungsfunktion F.
	
	

\chapter{Bediensysteme und Netzwerke}
	Bediensystem: Ein oder mehrere Bediener (Server) fertigen ankommende Kunden (Aufträge) nach vorgegebenem Schema ab.\\
	Zufällig: Die Ankunft der Kunden, die Bedienzeit, ...\\
	
	Klassifikation von Bediensystemen: $A | B | s | c | R$\\
	
	\noindent
	$
		\left.
		\begin{tabular}{l}
			\text{A: Art des Ankunftprozesses}\\
			\text{B: Art des Bedienprozesses}
		\end{tabular}
		\right \}
		\begin{tabular}{l}
			\text{dabei insbesondere}\\
			\text{M: Markov'sche Prozesse}\\
			\text{D: deterministische Prozesse}\\
			\text{G: allgemeine Prozesse}
		\end{tabular}
	$\\
	$
	\begin{tabular}{l}
		\text{s: Anzahl der Bediener (s: server)}\\
		\text{c: Anzahl der Warteplätze (c: capacity)}\\
	\end{tabular}
	$\\$
	\begin{tabular}{l}
		\text{R: Reihenfolge der Bedienung}\\

	\end{tabular}
	\left \{
		\begin{tabular}{l}
			\text{FCFS: first come first serve}\\
			\text{LCFS: last come first serve}\\
			\text{SIRO: service in random order}
		\end{tabular}
	\right.$
	
	----------------- Skizzen ----------------- % TODO: Skizzen
	\\
	
	Falls $c= \infty$ oder R=FCFS, werden diese Angaben in der Regel weggelassen.
	
	\begin{example}
		Das Bediensystem $M|M|1$ (= $M|M|1|\infty|FCFS$)\\
		
		\begin{itemize}
			\item[Ankunftsprozess:]
				Wir diskretisieren die Zeit in Zeittakte der Länge $h$ ($h$ ``klein'')\\
				Kunden kommen unabhängig von einander mit der mittleren Rate $\lambda > 0$ an, d.h. die erwartete Anzahl von Kunden, die in \underline{einem} Zeittakt ankommen, ist gleich $\lambda \cdot h << 1$.\\
				Es wird vereinfachend angenommen, dass maximal ein Kunde pro Takt ankommt ( realistisch, falls $h$ hinreichend klein).
				\[
					Z_i := \left \{ 
					\begin{tabular}{ll}
						1 &, \text{ falls ein Kunde ankommt im i-ten Takt}\\
						0 &, \text{ falls kein Kunde ankommt im i-ten Takt}
					\end{tabular}
						\right.
				\]
				
				$Z_i\; ; \; i \in \mathbb{N}$ sind unabhängig und $\mathcal{B}_{(1,\lambda \cdot h)}$-verteilt.\\
				\\
				Die Anzahl der Takte, bis der 1. Kunde eintrifft, ist $\mathcal{G}_{\{\lambda h\}}$-verteilt ($\rightarrow$ Bsp. 1.11(i)), wenn man nur die Takte ohne Kundenankunft zählt, d.h. die Wahrscheinlichkeit, dass genau $k$ Takte kein Kunde ankommt ist
				\[
					\mathcal{G}_{\lambda h}\{k\} = (1- \lambda h)^k \cdot \lambda h
				\]
				Für ein \underline{beliebiges} $n\in \mathbb{N}$ ist die Anzahl der Takte bis zur 1. Ankunft eines Kunden nach $n$ ebenfalls $\mathcal{G}_{\lambda h}$-verteilt.\\
				Dies gilt auch für \underline{zufällige} Zeitpunkte $N$, falls $\{N=n\}$ nur von $Z_1, \dotsc , Z_n$ abhängt (und unabhängig von $Z_i$ für $i>n$) für alle $n\in \mathbb{N}$.\\
				
			\item[Bedienprozess:]
				Der einzige Server bedient Kunden in der Reihenfolge der Ankunft. Die Bedienzeiten (in Anzahl von Takten) seien unabhängig von einander und analog zum Ankunftsprozess $\mathcal{G}_{\mu h}$-verteilt; genauer: Anzahl der Takte zwischen 2 Takten, zu denen Kunden fertig bedient werden, sei $\mathcal{G}_{\mu h}$-verteilt für eine Bedienrate $\mu > 0$.\\
				$\rightsquigarrow Y_i, i \in \mathbb{N} \; i.i.d \; \mathcal{B}_{(1,\mu h)}$-verteilt, wobei $\mu h << 1$ (unabhängig von $Z_i$)\\
				
				$Y_i$ seind (fiktive) Zeiten, zu denen Bedienung fertig wird, \underline{falls} ein Kunde im System ist.\\
				
			\item [Zustandsprozess:]
				$X_n$ = Anzahl der Kunden im System im Takt $n$, d.h. zur Zeit $n \cdot h$\\
				Dann ist $\left (X_n \right)_{n\in\mathbb{N}}$ ein homogener Markov-Prozess (mit Zustandsraum $\mathbb{N}_0$) mit Übergangswahrscheinlichkeiten
				\[
					q_{ji} := P(X_{n+1} = j \mid X_n = i) = \left \{
					\begin{tabular}{ll}
						0 &, $|i-j| > 1$\\
						$P\{Z_n = 1, Y_n = 0\} = P\{Z_n = 1\} \cdot P\{Y_n = 0\}$ &, $j = i + 1$ \\
						$= \lambda h \cdot (1- \mu h)$\\
						$P\{Y_n = 1, Z_n = 0\} = \lambda h \cdot (1-\mu h) $&, $j=i-1$\\
						$P\{Y_n = 0, Z_n = 0\} + P\{Y_n = 1, Z_n = 1\} $&, $j = i \neq 0$\\
						$=  (1- \lambda h)(1 - \mu h) + \lambda \cdot h \cdot \mu \cdot h$\\
						$P\{Z_n = 0\} = 1 - \lambda h $& , $j = i =0$
					\end{tabular}
					\right.
				\]
				
				$\lambda \cdot h, \mu \cdot h << 1 \Rightarrow \lambda \cdot h \cdot \mu \cdot h << \lambda h , \mu h$\\
				$\rightsquigarrow$ vernachlässige Terme $\lambda \cdot h \cdot \mu \cdot h$\\
				$\rightsquigarrow$ approximative ``Übergangsmatrix''
				\[
					\widetilde Q = 
						\begin{pmatrix}
							1 - \lambda h 	& \mu h 				& 0 & 0 & \ddots\\
							\lambda h 		& 1 - \lambda h - \mu h & \mu h & \ddots \\
							0				& \lambda h				& 1 - \lambda h - \mu h & \ddots\\
							0				& 0						& \lambda h & \ddots \\
						\end{pmatrix}
				\]
				
				$\widetilde Q$ ist eine stochastische ``Matrix'', d.h. Spaltensumme 1.\\
				
				Im folgenden sei $\left ( X_n \right )_{n\in \mathbb{N}}$ eine Markovkette mit der ``Übergangsmatrix'' $\widetilde Q$.\\
				Gesucht: Gleichgewichtszustand, d.h. stationäre Verteilung, d.h. das Wahrscheinlichkeitsmaß $P_s$ auf dem Zustandsraum $\mathbb{N}_0$, so dass gilt
				\[
					P^{X_n} = P_s \Rightarrow P^{X_{n+1}} = P_s \; ( \Rightarrow P^{X_m} = P_s \; \; \forall m \geq n)
				\]
				Für alle $k \in \mathbb{N}_0$ muss dann gelten
				\[
					\begin{split}
					&P_s\{0, \dotsc , k\} = 
						\underbraceset {
							\begin{split}
							 =&P\{X_n \leq k, X_{n+1} \leq k\}\\
							 &+ P\{X_n \leq k, X_{n+1} > k\}
							 \end{split}
							}{
						P\{0 \leq X_n \leq k\}}
						\eqover{!}
						\underbraceset {
							\begin{split}
							 =&P\{X_n \leq k, X_{n+1} \leq k\}\\
							 &+ P\{X_n > k, X_{n+1} \leq k\}
							 \end{split}
						}{
						 P\{0 \leq X_{n+1} \leq k\}
						 }\\
					\Leftrightarrow & P\{ X_n \leq k, X_{n+1} > k \} = P\{ X_n \geq k, X_{n+1} \leq k \}\\
					\Leftrightarrow & P\{ X_n = k, X_{n+1} = k + 1 \} = P\{ X_n = k + 1, X_{n+1} = k \} \\
					\Leftrightarrow & P(X_{n} = k \mid X_n = k+1) \cdot P\{ X_n = k+1\} = P(X_{n+1} = k \mid X_n = k+1) \cdot P\{ X_n = k + 1\}\\
					\Leftrightarrow &... \\
					\Leftrightarrow & \lambda h \cdot P_s\{k\} = \mu h \cdot P_s \{k+1\}\\
					\Rightarrow & P_s\{k+1\} = \frac \lambda \mu \cdot P_s\{k\} \qquad \forall k \in \mathbb{N}_0
					\end{split}
				\]
				Induktiv folgt
				\[
					\begin{split}
						P_s\{1\} &= \frac \lambda \mu P_s\{0\}\\
						P_s\{2\} &= \frac \lambda \mu P_s\{1\} = (\frac \lambda \mu)^2 P_s\{0\}\\
						P_s\{k\} &= (\frac \lambda \mu)^k P_s\{0\} \qquad \forall k \in \mathbb{N}_0
					\end{split}
				\]
				$P_s$ ist ein Wahrscheinlichkeitsmaß auf $\mathbb{N}_0$
				\[
					\begin{split}
					\Rightarrow 1 &= \sumft[k=0]{\infty} P_s\{k\} = P_s\{0\} \sumft[k=0]{\infty} \left ( \frac \lambda \mu \right )^k\\
					& \underset{\frac \lambda \mu < 1}{=} P_s\{0\} \cdot \frac 1 {1- \frac \lambda \mu}
					\end{split}
				\]
				$\Rightarrow$ einzige mögliche stationäre Verteilung ist gegeben durch
				\[
					P_S\{k\} = (1 - \frac \lambda \mu) \cdot (\frac \lambda \mu)^k \quad , k \in \mathbb{N}_0 = \mathcal{G}_{1- \frac \lambda \mu}\{k\} \text{ falls } \frac \lambda \mu < 1
				\]
				
		\end{itemize}
		
		Für jeden \underline{festen} Zeitpunkt ist die Wahrscheinlichkeit, dass sich genau k Kunden im System befinden gleich $P_s\{k\} = \mathcal{G}_{1- \frac \lambda \mu}\{k\}$.\\
		
		Dies gilt auch für einen Zeitpunkt zu dem ein Kunde das System betritt bzw. für den Zustand, den ein Kunde bei Verlassen des Systems hinterlässt, d.h.
		\[
			\begin{split}
				&P(X_n = k \mid X_{n+1} = X_n + 1) = P_s\{k\} \qquad \forall k \in \N_0, n \in \N\\
				& P(X_n = k \mid X_{n+1} = X_n - 1) = P_s\{k\} \qquad \forall k \in \N_0, n \in \N
			\end{split}
		\]
		Es gilt nämlich z.B.
		\[
			\begin{split}
				P(X_n = k \mid X_n = X_{n-1} -1) &= \dfrac { P\{ X_n = k, X_n = X_n = X_{n-1} - 1 \}} {P\{X_n = X_{n-1} -1\}}\\
				&= \dfrac {P\{X_n = k, X_{n-1} = k - 1\}} { \sumft[j=0]{\infty} P\{ X_n = j, X_{n-1} = j + 1 \} }\\
				&= \dfrac {P(X_n > k \mid X_{n-1} = k + 1) \cdot P\{ X_{n-1} = k + 1 \}} {\sumft[j=0]{\infty} P(X_n = j \mid X_{n-1} = j + 1) \cdot P\{ X_{n-1} = j + 1 \}}\\
				&= \dfrac {\mu h \cdot P_s\{k + 1\}} {\sumft[j= 0]{\infty} \mu h \cdot P_s\{j+1\}} 
				= \dfrac {(1-\frac \mu \lambda) \cdot (\frac \lambda \mu)^{k+1}}{\sumft[j=0]{\infty}(1- \lambda \mu) \cdot (\frac \lambda \mu)^{k+1}}\\
				&= \dfrac {(\frac \lambda \mu)^k} {\frac 1 {1 - \frac \lambda \mu}} = (1 - \frac \lambda \mu) \cdot (\frac \lambda \mu)^k = P_s\{k\}
			\end{split}
		\]
		\\\\
		
		Auslastung $\varrho$ des Systems $:= \dfrac {\text{mittlere nachgefragte Bedienzeit (pro Takt)}}{\text{maximal mögliche Bedienzeit (pro Takt)}} = \dfrac {\lambda \cdot \frac 1 \mu}{1} = \dfrac \lambda \mu$\\
		(denn im Mittel kommen pro Zeitinheit $\lambda$ Kunden an, die jeweils im Mittel $ \frac 1 \mu$ an Bedienzeit in Anspruch nehmen)\\
		
		Der Gleichgewichtszustand ist möglich g.d.w. $\varrho<1$ (gilt auch für allgemeine Bediensysteme).\\
		\\
		Viele Kenngrößen des Systems hängen von $\lambda$ nur über $\varrho$ ab.\\
		z.B. die mittlere Kundenzahl im System
		\[
			\begin{split}
				E(X_n) &= \sumft[k=0]{\infty} k \cdot P\{X_n = k \} = \sumft[k=0]{\infty} k \cdot (1- \varrho) \cdot \varrho^k
				= (1-\varrho) \cdot \varrho \cdot \sumft[k=0]{\infty} k \cdot \varrho^{k-1} \\
				&= (1 - \varrho) \cdot \varrho \cdot \sumft[k=0]{\infty} \frac \partial {\partial \varrho} \varrho^k
				= (1 - \varrho) \cdot \varrho \frac \partial {\partial \varrho} \sumft[k=0]{\infty} \varrho^k \\
				&= (1 - \varrho) \cdot \varrho \frac \partial {\partial \varrho} \frac 1 {1-\varrho}
				= (1 - \varrho) \cdot \varrho \cdot \frac 1 {(1 -\varrho)^2} = \frac \varrho {1-\varrho}
			\end{split}
		\]
		Analog $Var(X_n) = \frac \varrho {(1- \varrho)^2}$\\
		
		Für $\varrho \uparrow 1$ wachsen $E(X_n)$ und $Var(X_n)$ schnell an.\\
		Z.B. wächst $E(X_n)$ um mehr als den Faktor, wenn $\varrho$ von $0,9$ auf $0,95$ erhöht wird.\\
		\\
		
		Weitere Leistungsgröße: mittlere Wartezeit eines Kunden, genauer $E(W)$, wenn $W$ zufällige Zeit ist, die ein Kunde im System zubringt.\\
		Findet der Kunde k Kunden im System vor, die alle im Mittel $\frac 1 \mu$ als Bedienzeit benötigen, so verlässt er im MIttel nach $(k+1)\cdot \frac 1 \mu$ das System.\\
		\[
		\begin{split}
		\Rightarrow E(W) &= \sumft[k= 0]{\infty} (k+1) \cdot \frac 1 \mu \cdot P_s\{k\} = \frac 1 \mu \biggl ( \underbraceset{E(X_n)}{\sumft[k=0]{\infty} k \cdot P_s\{k\}} + \underbrace{=1}{\sumft[k=0]{\infty} P_s\{k\}} \biggr ) \\
		&= \frac 1 \mu \cdot ( \frac \varrho {1- \varrho} + 1) = \frac 1 {\mu (1 - \varrho)} = \frac 1 {\mu - \lambda}
		\end{split}
		\] \\
		\\
		
		Formel von Little: $E(W) = \dfrac {E(X_n)} {\overline\lambda} \quad$ (gilt in viel allgemeineren Bediensystemen)
		
		wobei $\overline{\lambda}$ die mittlere Ankunftsrate ist (hier: $\overline{\lambda} = \lambda$).
	\end{example} 
	
	\begin{example} \underline{$|M|M|s|c$-Systeme}\\
	s: Anzahl der Server\\
	c: Anzahl der Warteplätze\\
	\\
	$X_n$: Anzahl der Kunden im System, Zustandsraum: $\{0, \dotsc,s+c\}$\\
	
	Im Fall $c < \infty$ und $s < \infty$ werden Kunden abgewiesen, wenn sich bereits $s+c$ Kunden im System befinden.\\
	$\lambda_k := \left \{ \begin{tabular}{ll}$\lambda \quad $ & $ 0 \leq k < c + s $\\ 0 &$ k \geq c + s$\end{tabular} \right.$ Ankunftsrate, wenn bereits k Kunden im System sind.\\
	\\
	s Server fertigen jeweils unabhängig voneinander mit Wahrscheinlichkeit $\mu h$ genau einen Kunden in einem Takt ab und mit Wahrscheinlichkeit $1-\mu h$ keinen Kunden.\\
	Befinden sich $k$ Kunden im System, d-h- $\min(k,s)$ Kunden werden gerade bedient, so ist die Zahl der Kunden, die in einem Takt fertig bedient werden, $\mathcal{B}_{(\min(k,s),\mu h))}$-verteilt.
	
	\[
		\begin{split}
		\mathcal{B}_{(\min(k,s),\mu h))}\{l\} &= {\min(s,k) \choose l} \cdot (\mu h)^l \cdot (1 - \mu h)^{\min(s,k) - l}\\
		&\underset{\mu h << 1}{\approx} \left \{
		\begin{tabular}{ll}
			$1- \min(sk) \mu h \qquad $&$ l=0$\\
			$\min(s,k) \mu h$ & $l=1$\\
			$0$&$l=2$ 
		\end{tabular}
		\right .
		\end{split}
	\]
	z.B. 
	\[
		\begin{split}
		(1- \mu h)^{\min(s,k)} &= \sumft[i=0]{\infty} {\min(s,k) \choose i} 1^i \cdot (-\mu h)^{\min(s,k)-i} \\
		&= 1 - \min(s,k) \cdot \mu h + \text{Terme mit Potenzen von h mit Exponenten } \geq 2
		\end{split}
	\]\\
	
	\[
		\mu_k := \left \{ \begin{tabular}{ll}$k \cdot h \quad $&$ k \leq s$\\$ s \cdot h $&$ k > s$\end{tabular} \right . = \min(s,k) \cdot h
	\]
	$\rightsquigarrow$ approximative ``Übergangsmatrix''
	\[
		\widetilde Q = 
		\begin{pmatrix}
			1 - \lambda_0 \cdot h & \mu_1 h & 0 & \dotsi\\
			\lambda_0 h & 1 -\lambda_1 h - \mu_1 h & \mu_2 h & \dotsi\\
			0 & \lambda_2 h & 1 - \lambda_2 h - \mu_2 h & \dotsi\\
			0 & 0 & \lambda_2 h & \dotsi \\
			\vdots & \vdots & \vdots & \ddots
			
		\end{pmatrix}
	\]
	
	Im fall $s+c < \infty$ ist die letze Zeile $(0 \quad \dotsc \quad 0 \quad \lambda_{s+c-1} h \quad 1 - \mu_{s + c} h)$.\\
	
	Zur Bestimmung einer Stationären Verteilung $P_s$ wie in 7.1 erhält man als notwendige Bedingung
	\[
		\begin{split}
		&\mu_{k+1} h P_s\{ k+1 \} = \tilde q_{k,k+1} P_s\{k+1\} = \tilde q_{k+1,k} P_s\{k\} = \lambda_k h \cdot P_s \{k\}\\
		&\Rightarrow P_s\{k+1\} = \dfrac {\lambda_k} {\mu_k+1} P_s\{k\}\\
		&\overset{induktiv}{\Rightarrow \qquad} P_s\{k\} = \dfrac {\lambda_0}{\mu_1} \cdot \dfrac {\lambda_1} {\mu_2} \cdot \; \dotsm \; \cdot \dfrac {\lambda_{k-1}} {\mu_k} P_s\{0\} \qquad \forall n \in \N_0
		\end{split}
	\]\\
	
	Z.B. im Fall: $s< \infty, c=0$\\
	\[
		\begin{split}
		\Rightarrow &\lambda_i = \left \{ \begin{tabular}{ll}$\lambda \quad$ & $c<s$\\$0$&sonst\end{tabular} \right.\\
		&\mu_i = i \mu \qquad \forall 0\leq i \leq s\\
		\Rightarrow & P_s\{k\} = \dfrac {\lambda^k}{k! \mu^k} \cdot P_s\{0\} \qquad 0 \leq k \leq s\\
		& \sumft[k=0]{s} P_s\{k\} \eqover{!} 1 \Rightarrow P_s\{0\} = \dfrac 1 {\sumft[k=0]{s} \dfrac {(\frac \lambda \mu)^k}{k!}}
		\end{split}
	\]
	
	Es existiert \underline{immer} eine so definierte stationäre Verteilung.\\
	
	Die mittlere Ankunftsrate im System ist $\overline{\lambda} = \lambda \cdot (\underbraceset{*}{1- P_s\{s\}}$\\
	*: Wahrscheinlichkeit, dass das System noch Kunden aufnehmen kann.\\
	
	Auslastung: $\varrho = \dfrac {\overset{\lambda} \cdot \frac 1 \mu} s$\\
	Zähler: mittlere Zahl Kunden pro Zeiteinheit $\cdot$ mittlere Bedienzeit pro Kunde\\
	Nenner: maximale Bedienzeit aller $s$ Server pro Zeiteinheit pro Kunde\\
	\\
	
	\underline{mittlere Verbleibsdauer}: $E(W) = \frac 1 \mu$\\
	(da vor Bedienung keine Wartezeit anfallen kann)\\
	
	Formel von Little: $E(W) = \dfrac {E(X_n)}{\overline{\lambda}}$\\
	$\Rightarrow E(X_n) = \overline{\lambda} \cdot E(W) = \lambda \cdot (1- P_s\{s\} \cdot \frac 1 \mu = \varrho \cdot s$
	
	\end{example}
	
	Einfachstes Modell eines Netzwerkes:
	\begin{example}
		Zwei hintereinander geschaltete $M|M|1$-Systeme\\
		Skitze:
		\[
			\underbraceset{Teil1}{\text{Ankunftsrate } \lambda \rightarrow \underline{\overline {\dotsi | \quad | \quad | \quad |}} 
			\rightarrow \overset{\text{Bedienrate} \mu_1}{\underset{\text{Server 1}}{\underline{\overline {|\quad|}}} }\rightarrow}
			\underbraceset{\text{Teil2}}{\rightarrow \underline{\overline {\dotsi | \quad | \quad | \quad |}}
			\rightarrow \overset{\text{Bedienrate} \mu_2}{\underset{\text{Server 2}}{\underline{\overline {|\quad|}}} }
			\rightarrow \text{Abgangsprozess}} 
		\]
		
		Markovkette $(X_{n,1}, X_{n_2})_{n \in \N_0}$\\
		$X_{n,i}$ = Anzahl Kunden im Teil $i$ z.Z $nh, \; \N_0$-wertig\\
		Die (approximativen) Übergangswahrscheinlichkeiten sind\\
		$j_1 \hat=$ Anzahl Kunden im ersten Teil z.Z. $(n+1)h$\\
		$j_2 \hat=$ Anzahl Kunden im zweiten Teil z.Z. $(n+1)h$\\
		$i_1,i_2$ analog z.Z. $nh$\\
		\[
			\begin{split}
			\tilde q_{(j_1,j_2),(i_1,i2)} &= P(X_{n+1,1} = j_1, X_{n+1,2} = j_2 \mid X_{n,1} = i_1, X_{n,2} = i_2)\\
			&= \left \{
				\begin{tabular}{ll}
					$\lambda h$ &$ j_1 = i_1 + 1, j_2 = i_2$\\
					$\mu_1 h$ &$ j_1 = i_1 - 1, j_2 = i_2 + 1$\\
					$\mu_2 h$ &$ j_1 = i_1, j_2 = i_2 -1$\\
					$1 - \lambda h - \mu_1 h - \mu_2 h$ & $j_1 = i_1 , j_2 = i_2$
				\end{tabular}
			\right. \text{ falls } i_1,i_2 > 0
			\end{split}
		\]
		(sonst z.B. im Fall $i_1 = 0$ enfallen die Terme $\mu_1 h$)\\
		\\
		
		Wann existiert ein Gleichgewichtszustand d.h. eine stationäre Verteilung?
		
		Wie sieht sie gegebenenfalls aus?\\
		
		Ist das Gesamtsystem im Gleichgewicht, so ist insbesondere Teil 1 auch im Gleichgewicht..\\
		Daher ist notwendigerweise $\lambda < \mu_1$.\\
		Dann muss (anschaulich gesprochen) der Prozess der Kunden, die Teil 1 verlassen, die gleiche Verteilung haben, wie der Ankunftsprozess.\\
		Da der Abgangsprozess von Teil 1 zugleich der Zugangsprozess von Teil 2 ist, ist Teil 2 genau vom gleichen Typ wie Teil 1, nur mit evtl. anderer Bedienrate $\mu_2$.\\
		Da die zukünftige Entwicklung des ersten Teils unabhängig vom bisherigen Abgangsprozesses ist (``Teil 1 vergisst abgehende Kunden sofort''), sind im Gleichgewichtszustand $X_{n,1}, X_{n_2}$ unabhängig voneinander.\\
		Da nach 7.1 im Gleichgewichtszustand $P^{X_{n,1}} = \mathcal{G}_{1-\frac \lambda {\mu_1}}$ und $P^{X_{n,2}} = \mathcal{G}_{1-\frac \lambda {\mu_2}}$ folgt für die Verteilung des Gesamtsystems
		\[
			\begin{split}
			P_s\{(k_1,k_2)\} &= P^{X_{n,1}} = \mathcal{G}_{1-\frac \lambda {\mu_1}}\{k_1\}P^{X_{n,2}} = \mathcal{G}_{1-\frac \lambda {\mu_2}}\{k_2\}\\
			&= (\frac  \lambda {\mu_1})^{k_1}(1- \frac \lambda {\mu_1}) \cdot (\frac  \lambda {\mu_2})^{k_1}(1- \frac \lambda {\mu_2})
			\end{split}
		\]
		falls $\lambda < \mu_1, \lambda < \mu_2$, sonst existiert keine stationäre Verteilung.
	\end{example}
	
	Nicht-lineare Netzwerke sind sehr komplex zu analysieren.\\
	Z.B. ----------- Skitze eines etwas komplexeren Netzwerkes ----------\\
	\\
	
	Zeitstetige Modelle als Grenzfall $h \rightarrow 0$
	\begin{itemize}
		\item[Im Fall $h > 0$:] Zeit genessen in Anzahl der Takten zwischen zwei Ankunften von Kunden sind unabängig $\mathcal{G}_{\lambda h}$-Verteilt.\\
		Nach Hausaufgabenblatt 8, Aufgabe 2(ii) konvergiert die Verteilung der Zeit (= Anzahl Takte $\cdot h$) gegen die Exponentialverteilung mit dem mittelwert $\frac 1 \lambda$.
		\item[$\rightsquigarrow$ Zeit stetiges Modell:] Dann ist die Zeit zwischen 2 Aufträgen von Kunden unabhängig voneinander, exponential Verteilt mit Mittelwert $\frac 1 \lambda$.
	\end{itemize}
	
	$N_t =$ Anzahl an Kunden, die bis z-Z. $t \geq 0$ angekommen sind. Poissoinscher Grenzwertsatz zeigt: $N_t$ ist Poisson-Verteilt mit Parameter $\lambda$.\\
	$(N_t)_{t \geq 0}$ (homogener) Poisson-Prozess mit Rate $\lambda$.\\
	Stationäre Verteilung: $\mathcal{G}_{1-\frac \lambda \mu}$\\
	(da stationäre Verteilung im Zeitdiskreten Modell gar nicht von h abhängt)\\
	


\chapter{Grundkonzepte der Mathematischen Statistik}
	Gesammelte Daten werden interpretiert als Relation von Zufallsvariablen.:\\
	Gegeben: Daten $x_1 , \dotsc , x_n$\\
	Interpretaion: $x_i = X_i(\omega), 1 \leq i \leq n$ für die Zufallsvariable $X_i: (\Omega, \A, P) \rightarrow (\R,\mathbb{B})$\\
	Gemeinsame Verteilung von $X_1, \dotsc , X_n$ sei teilweise Unbekannt.\\
	Ziel: Gewinne informationen über diese gemeinsame Verteilung also z.B.
	\begin{itemize}
		\item unbekannte Parameter (z.B. Erwartungswerte) schätzen oder
		\item vorgegebene Hypothesen über die Verteilung überprüfen (test)
	\end{itemize}
	
	\begin{example}
		In Bediensystemen werden Ankunftszeiten der ersten $k$ Kunden beobachtet.\\
		$\rightsquigarrow$ Zwischenankunftszeiten $t_1, \dotsc , t_k$ ($t_i$: Ankunftszeit i-ter Kunde - Ankunftszeit (i-1)-ter Kunde)\\
		
		Interpretation: $t_i = T_i(\omega)$ für die ZUfallsvariable $T_i: (\Omega, \A, P) \rightarrow ((0,\infty), \mathcal{B}_{(0,\infty)}$\\
		Mögliche Fragestellungen:
		\[
		\begin{split}
		\begin{tabular}{l}
			Schätz-\\
			Probleme
		\end{tabular}
		&\left \{
			\begin{tabular}{ll}
				$\bullet $& Wie groß ist die erwartete Zeit $E(T_i)$, die zwischen zwei Kundenankünften vergeht,\\
						  & falls diese für alle $i$ gleich ist.\\
				$\bullet $& Was ist die Verteilungsfunktion von $T_i$, wenn alle $T_i$ die selbe Verteilung haben?
			\end{tabular}
		\right. \\
		\begin{tabular}{l}
			Test-\\
			Probleme
		\end{tabular}
		&\left \{
			\begin{tabular}{ll}
				$\bullet $&Sind die $T_i$ exponential Verteilt?\\
				$\bullet $& Haben die $T_i$ alle dieselbe Verteilung?
			\end{tabular}
		\right.
		\end{split}
		\]
		
		In allen Fällen müssen die \underline{genauen Modellannahmen} spezifiziert werden.\\
		
		Diese können bei den ersten drei Fragen z.B. lauten:\\
		\itemizeme[(*)]{Die Zufallsvariable $T_1, \dotsc , T_k$ sind unabhängig voneinander und alle haben dieselbe Verteilung mit $Var(T_i) < \infty$}
		
		\pagebreak
		
		Insbesondere bei der ersten Frage kann man aber auch sinvolle Schätzungen unter schwächeren Modellannahmen herleiten, z.B.\\
		\begin{quote}
			Die Zufallsvariablen $T_1, \dotsc , T_k$ sind unkorreliert mit $E(T_i) = E(T_1), \; Var(T_i) \leq M \quad \forall 1 \leq i \leq k$.\\
			Dann liegt für ein großes $k$ nach dem Gesetz der Großen Zahlen der Folgende Schätze vor
			\[
				\hat \mu := \frac 1 n \sumtn T_i
			\]
		\end{quote}
		
		Evtl können aber auch starke Modellannahmen sinnvoll sein, z.B.
		\itemizeme[(**)]{ Die $T_i$ sind unabhängig und exponential verteilt mit unbekanntem Parameter $\mu$}
		Bei Frage 4 wäre dagegen diese Modellannahme unsinnig.
	\end{example}
	
	\begin{definition}[statistisches Experiment \& Verteilungsannahme]
		Ein \underline{statistisches Experiment} ist ein Tripel $(S,\mathcal{D}, \left ( P_\vartheta \right)_{\vartheta \in \Theta})$ wobei $S \neq \emptyset$ der Stichprobenraum ist, $\mathcal{D}$ eine $\sigma$-Algebra auf $S$ und $P_\vartheta $ ein Wahrscheinlichkeitsmaß auf $(S,\mathcal{D}) \quad \forall \vartheta \in \Theta$.\\
		$\left ( P_\vartheta \right)_{\vartheta \in \Theta}$: \underline{Verteilungsannahme}
	\end{definition}
	
	Interpretation:\\
	\begin{itemize}
		\item[S:] Menge aller möglichen \underline{Gesamtbetrachtungen} (z.B. Beobachtungsvektor $(t_1, \dotsc , t_k)$)
		\item[Anname:] Die Gesamtbeobachtung wurde gemäß einer der Wahrscheinlichkeitsmaße $P_\vartheta$ erzeugt; der zugehörige Parameter $\vartheta$ heißt der \underline{wahre Parameter}.
	\end{itemize}
	
	\begin{example}
		Im Beispiel 8.1 ist $(S = (0,\infty)^n, \mathbb{B}(0,\infty)^n, (E_\lambda^n)_{\lambda > 0})$ eine sinnvolle Wahl.
		\begin{enumerate}[1. {Annahme}:]
		\item Die Zufallsvariablen $T_i$ sind exponential verteilt.\\
			Formal: $T_i^{(\lambda)} \backsim Exp(\frac 1 \lambda) \quad \lambda \in (0, \infty)$\\
			also ist $F_\lambda(x) = 1 - e^{-\frac x \lambda} \quad $ die Verteilungsfunktion von $T_i^{(\lambda)}$\\
			oder äquivalent $\mathcal{G}_\lambda(x_1, \dotsc , x_n) = \prodft[i=1]{n} (1 - e^{- \frac {x_n} \lambda})$ ist die Verteilungsfunktion von $(T_1^{(\lambda)}, \dotsc , T_n^{(\lambda)})$\\
		
		\item
			Die Zufallswahriablen sind i.i.d.\\
			Formal: $T_1^{(F)} \backsim Q_F \quad F \in \mathcal{F}$ mit $Q_F$ als Wahrscheinlichkeitsmaß mit Verteilungsfunktion $G_F = (x_1, \dotsc ,x_n) = \prodft[i=1]{n} F(x_i) \quad x_i \geq 0$ und\\
			$\mathcal{F} := \{F \mid F \text{ist Verteilungsfkn. von Zufallsvariable T mit } Var(T) < \infty\}$
		\end{enumerate}
	
		$\Rightarrow$ Für die 1. Annahme hat man ein Modell mit einem unbekannten Parameter $\lambda > 0$.\\
		Solche Modelle (mit endlich dimensionalem Parameter) heißen \underline{parametrisch}.\\
		
		Für die 2. Annahme ist der Parameterraum die Menge aller Verteilungsfunktionen mit endlicher Varianz. In solchen Fällen (nicht durch endlich dimensinale Parameter darstellbar) spricht man von \underline{nicht parametischen Modellen}.
	
	\end{example}
	
	\textbf{A. \underline{Punkt- und Bereichsschätzer}}\\\\
	Ziel: Anhand von beobachtungen Kenngrößen der wahren Verteilung zu schätzen.
	\begin{definition}
		Sei $(S,\mathcal{D}, (P_\vartheta)_{\vartheta \in \Theta})$ ein statistisches Experiment und $g: \Theta \rightarrow \Gamma$ eine Abbildung. 
		Ist $\mathcal{C}$ eine $\sigma$-Algebra auf $\Gamma$, so heißt jede $\Gamma$-wertige Zufallsvariable \\ $g:(S,\mathcal{D}) \rightarrow (\Gamma, \mathcal{C})$ ein \underline{(Punkt-)Schätzer} von $g(\vartheta)$.\\
		
		Ist $x \in S$ die vorliegende Beobachtung, so wird $\hat g(x)$ auch \underline{Schätzwert} für $g(\vartheta)$ genannt
	\end{definition}
	
	\begin{example}
		Radioaktiver Zerfall mit langer Halbwertszeit.\\
		
		Anzahl der Zerfälle in $n$ auf einanderfolgenden Minuten wird beobachtet.\\
		$\rightarrow$ Modellierung durch stochastisch unabhängige $Poi(\lambda) $ Zufallsvariablen ($\lambda \geq 0$) (Poissonscher Grenzwertsatz 3.7)\\
		$(\N_0^n, \; 2^{\N_0^n}, \; (\mathcal{P}_\lambda^n)_{\lambda \geq 0})$,\\
		wobei $\mathcal{P}_\lambda^n$ das Wahrscheinlichkeitsmaß von $n$ stochastisch unabhängigen $Poi(\lambda)$ Zufallsvariablen ist.\\
		\\
		$\rightarrow$ geschätzt wird $\lambda$ selbst ($g(\lambda) := \lambda$)\\
		$\lambda$ ist der der Erwartungswert $\Rightarrow$ das arithmetische Mittel ist ein sinnvoller Schätzer ((schwaches) Gesetz der Großen Zahlen)\\
		
		\[
			\hat \lambda : \N_0^n \rightarrow [0,\infty) , \hat \lambda(l_1 , \dotsc , l_n) = \frac 1 n \sumtn l_i
		\]
		$L_1, \dotsc , L_n$ stochastisch unabhängig $\backsim Poi (\lambda) \; \lambda \geq 0$\\
		$p(l_1 , \dotsc , l_n) = \mathcal{P}_\lambda^n$\\
		$\hat \lambda(L_1, \dotsc , L_n) = \frac 1 n \sumtn L_i$\\
		$\Rightarrow E_\lambda[ \hat \lambda(L_1 , \dotsc , L_n) ] = \frac 1 n \sumtn E_\lambda[l_i] = E_\lambda[L_i] = \lambda$\\
		$\Rightarrow$ Der Schätzer $\hat \lambda$ ist \underline{erwartungstreu}
		\\
		\\
		
		Maß für die Güte: MSE (mean squared error)
		\[
			\begin{split}
			MSE_\lambda(\hat \lambda) :&= E_\lambda[(\hat \lambda - \lambda)^2]\\
			&= E_\lambda \left [ \left ( \frac 1 n \sumtn L_i - E_\lambda \left [ \frac 1 n \sumtn L_i \right ] \right )^2 \right ] \\
			&= Var_\lambda \left ( \frac 1 n \sumtn L_i  \right ) \\
			&= \frac 1 {n^2} \sumtn Var_\lambda (L_i) = \frac 1 n \cdot Var_\lambda (L_i) = \frac \lambda n
			\end{split} 
		\]
		Man kann zeigen, dass es keinen Schätzer $\lambda^*$ geben kann mit $E_\lambda[\lambda^*] = \lambda $ für $\lambda \geq 0$ und MSE$_\lambda(\lambda^*) < \frac \lambda n$\\
		$\Rightarrow \hat \lambda$ ist optimal.
		
	\end{example}
	
	\begin{definition}[Erwartungstreu \& mittlerer quadratischer Fehler]
		Ist $(S, \mathcal{D}, (P_\vartheta)_{\vartheta \in \Theta})$ ein statistisches Experiment und $g: \Theta \rightarrow \R^n$ eine zu schätzende Abbildung. Dann heißt ein Schätzer $\hat g: (S,\mathcal{D}) \rightarrow (\R^d,\mathbb{B}^d)$ \underline{erwartungstreu} (oder unbiased / unverzert) für $g$ falls $E_\vartheta[\hat g] = g(\vartheta) \quad \forall \vartheta \in \Theta$.\\
		
		Für $d=1$ heißt
		\[
			MSE_\vartheta (\hat g) := E[ (\hat g - g(\vartheta))^2] = Var_\vartheta(\hat g) + \underbraceset{Bias} {(E \vartheta ( \hat g) - g(\vartheta))^2}
		\]
		\underline{mittlerer quadratischer Fehler}.\\
		
		Ein erwartungstreuer Schätzer heißt MVUE (minimum variance unbiased estimater), wenn für alle weiteren erwartungstreuen Schätzer $\tilde g$ gilt
		\[
			MSE_\vartheta(\tilde g) \geq MSE_\vartheta(\hat g) \quad \forall \vartheta \in \Theta
		\]
		
	\end{definition}
	
	\begin{bemerkung}
		Der MSE ist nicht bei jeder Anwendung angemessen.\\
		Er wird jedoch oft verwendet, weil er mathematisch gut berechenbar ist
	\end{bemerkung}
	
	\begin{definition}
		Sei $(\R^n, \mathcal{B}^n, (P_\vartheta^n)_{\vartheta \in \Theta})$ ein statistisches Experiment, wobei $P_\vartheta^n$ die Verteilung von $n$ stochastisch unabhängige Zufallsvariablen $X_1, \dotsc ,X_n$ bezeichne, die alle die gleiche Verteilung $P_\vartheta$ besitzen. Ferner sei für eine messbare Abbildung $f: (\R, \mathbb{B}) \rightarrow (\R,\mathbb{B}) g: \Theta \rightarrow \R, g(\vartheta) := E_\vartheta[ f(X_i)]$ zu schätzen.\\
		
		Dann ist der zugehörige \underline{verallgemeinerte Momentenschätzer} definiert als
		\[
			\hat g(x_i, \dotsc , x_n) := \frac 1 n \sumtn f(x_i) \qquad x_1, \dotsc , x_n \in \R
		\]
	\end{definition}
	
	\begin{example}
		Anzahl der Taxis in einer Stadt soll geschätzt werden.\\
		Vorgehen: Nummer (Taxis seien durchnummeriert) von $n$ Taxis, die zu einer zufälligen Zeit am Hauptbahnhof warten, werden notiert.\\
		
		$\rightarrow$ Die Nummern sind stochastisch unabhängig und gleichverteilt auf $\{1, \dotsc, M\}$ (wobei M der gesuchte Parameter ist)\\
		$(\N^n, 2^{\N^n}, \left ( \mathcal{U}_M^n \right )_{M \geq n})$ ist das statistische Experiment.\\
		Zufallsvariablen $K_1, \dotsc, K_n \backsim \mathcal{U}_M \qquad M \geq 1$\\
		
		Schätzer für M?
		\[
			E_M[K_i] = \sumft[k=1]{M} k \cdot P_M\{K_i = k\} = \sumft[k=1]{M} k \frac 1 M = \frac {M+1}2
		\]
		$\Rightarrow M = E_M[f(K_i)]$ mit $f(k) = 2k - 1$\\
		$( E_m [f(K_i)] = E_M[2K_i - 1] = 2E_M[K_i] -1 = M + 1 -1 = M )$\\
		
		$\rightarrow$ Momentenschätzer
		\[
			\hat M(k_1, \dotsc , k_n) = \frac 1 n \sumtn f(k_i) = \frac 2 n k_i -1
		\]
		$\hat M$ ist erwartungstreu:
		\[
			E_M \left [\hat M(K_1, \dotsc, K_n) \right ] = E_M \left [\frac 2 n \sumtn K_i -1 \right] = \frac 2 n \sumtn E_M [K_i] - 1 = 2 \left ( \frac {M + 1} 2 \right ) - 1 = M
		\]
		und der MSE ist
		\[
			\begin{split}
				MSE_M(\hat M) &= Var_M(\hat M) = Var_M \left ( \frac 2 n \sumtn k_i -1 \right )\\
				&= \frac 4 {n^2} \sumtn Var_M(k_i) = \frac 4 n Var_M(k_i) \\
				&= \frac 4 n \left ( \frac {M^2 -1} {12} \right )= \dfrac {M^2 - 1}{3n}
			\end{split}
		\]
	\end{example}
	
	\begin{satzdef}[Konsistent]
		In der Situation von Definition 8.8 ist $\hat g = \hat g_n$ stets erwartungstreu und es gilt
		\begin{equation}\label{eqn:8.1}
			\hat g_n \xrightarrow[n \rightarrow \infty]{} g(\vartheta) \qquad P_\vartheta^n \text{-Stochastisch} \quad \forall \vartheta \in \Theta
		\end{equation}
		Eine Folge von Schätzern $\hat g_n$, für die die Konvergenz (\ref{eqn:8.1}) gelten heißen (schwach) \underline{konsistent} für $g$
	\end{satzdef}
	
	Beweis:
	\[
		E_\vartheta [\hat g(X_1, \dotsc , X_n)] = E_\vartheta \left [ \frac 1 n \sumtn f(X_i) \right] = \frac 1 n \sumft E[f(X_i)] = \frac 1 n \cdot n \cdot g(\vartheta) = g(\vartheta)
	\]
	(\ref{eqn:8.1}) folgt aus einer Variante des schwachen Gesetzes der Großen Zahlen, gemäß 
	\[
		\frac 1 n \sumtn X_i \rightarrow E_P[X_1] \quad \text{P-stochastisch, falls } X_i \; i.i.d. \text{ mit Erwartungswert } E(X_i)
	\]
	
	\begin{example}
		(Fortsetzung von Beispiel 3.6)\\
		$N$ Anzahl der Fische (unbekannt)\\
		$M$ Anzahl der makierten Fische \\
		$n$ Anzahl gefangener Fische \\
		$m$ Anzahl der makierten gefangen Fische\\
		
		$\mathcal{H}_{(N,M,n)}\{m\} = \dfrac {{M \choose m} {N - M \choose n -m}} {{N \choose n}}$\\
		\\
		$ \left (\N_0,2^{\N_0}), \left ( \mathcal{H}_{(N,M,n)} \right )_{N \geq \max(M,n)} \right)$\\
		
		Vorgehen: $N$ so auswählen, dass die Wahrscheinlichkeit $\mathcal{H}_{(N,M,n)}\{m\}$ möglichst groß ist für das tatsächliche $m$\\
		$\rightarrow$ Ziel: von $\dfrac {{M \choose m} {N - M \choose n -m}} {{N \choose n}}$ als Funktion in $N$ die Maximalstelle finden.\\
		
		Rechung: Für welche N ist
		\[
			\begin{split}
			&\dfrac {{M \choose m} {N + 1 - M \choose n -m}} {{N + 1 \choose n}} \geqq \dfrac {{M \choose m} {N - M \choose n -m}} {{N \choose n}}\\
			\Leftrightarrow & {N + 1 - m \choose n - m} {N \choose n} \geqq {N - M \choose n -m} {N +1 \choose n}\\
			\Leftrightarrow & \frac {(N + 1 - M)!}{(n-m)! \cdot (N+1 -M - n+ m)!} \cdot \frac {N!}{n!(N-n)!}\\ & \qquad \qquad \qquad \qquad \geqq \frac {(N - M)!}{(n-m)! (N-M-n + m)!} \cdot \frac {(N+1)!}{n! (N+1-n)!} \\
			\Leftrightarrow & \frac {(N + 1 -M)!}{(N-M)!} \cdot \frac {(N+1-n)!}{(N-n)!)} \geqq \frac {(N +1 -M -n +m)!}{(N-M-n+m)!} \cdot \frac {(N+1)!}{N!} \\
			\Leftrightarrow & (N + 1 -M) \cdot (N+1 -n) \geqq (N + 1 -M - n +m) \cdot (N+1)\\
			\Leftrightarrow & N^2 + 2N - nN + MN + Mn - M -n \geqq N^2 + 2N - MN - nN + mN - M -n +m \\
			\Leftrightarrow & Mn \geqq mN + m\\
			\Leftrightarrow & N \leqq \frac {M \cdot n}{m} - 1
			\end{split}
		\]\\
			
		\underline{Maximumn-Likelihood-Schätzer}
		\[
			\begin{tabular}{ll}
				$\hat N(m) = \left [ \frac {n \cdot M}{m} \right ] $ & falls $\frac {m \cdot M}{m} \notin \N_0$\\
				$\hat N(m) \in \{ \frac {n \cdot M}{m} -1 , \frac {n \cdot M}{m} \}$ & $\frac {n \cdot M}{m} \in \N_0$
			\end{tabular}
		\]
	\end{example}
	
	\begin{definition}[Maximumn-Likelihood-Schätzer]
		Sei ein statistisches Experiment $(S,\mathcal{D}, \left ( P_\vartheta \right )_{\vartheta \in \Theta} )$ gegeben, bei dem entweder alle Wahrscheinlichkeitsmaße $P_\vartheta$ diskret sind mit Zähldichte $f_\vartheta$ oder $(S,\mathcal{D}) = (\R^n,\mathbb{B}^n)$ und alle Wahrscheinlichkeitsmaße $P_\vartheta$ eine Dichte $f_\vartheta$ besitzen. Dann heißt ein $\hat \vartheta$ für $\vartheta$ \underline{Maximum-Likelihood-Schätzer} (ML-Schätzer) wenn für alle $x \in S$ gilt
		\[
			f_{\hat \vartheta}(x) = \underset{\vartheta \in \Theta}{\sup} f_\vartheta (x)
		\]
		d.h. $\hat \vartheta(x)$ ist eine Maximalstelle der \underline{Likelihoodfunktion} 
		\[
			L_x : \Theta \rightarrow [0,\infty), \; L_x(\vartheta) := f_\vartheta (x) \text{ für alle } x \in S.
		\]
		Ist $\hat \vartheta$ ein ML-Schätzer für $\vartheta$ und $g: \Theta \rightarrow \Gamma$ eine zu schätzende Abbildung, so heißt jeder Schätzer der Form $g(\hat \vartheta)$ auch Maximum-Likelihood-Schätzer für $g(\vartheta)$ (Likelihood $\hat =$ Plausibilität).
	\end{definition}
	
	\pagebreak
	\begin{bemerkung} $\phantom.$
		\begin{itemize}
			\item Es kann mehrere ML-Schätzer geben
			\item Es muss nicht immer ein ML-Schätzer existieren
		\end{itemize}
		
		Seien $X_1, \dotsc , X_n \quad X_i \backsim f_{i,\vartheta}$ stochastisch unabhängige Zufallsvariablen\\
		$\Rightarrow (X_1, \dotsc , X_n) \backsim \prodft[i=1]{n} f_{i,\vartheta}$\\
		In diesem Fall ist es einfacher den logarithmus der Likelihoofunktion zu maximieren.\\
		\[
			\begin{split}
				& LL_x: \Theta \rightarrow [-\infty,\infty)\\
				& LL_x(\vartheta) := \log(f_\vartheta(x))
			\end{split}
		\]
		Da der Logarithmus streng monoton steigend ist, stimmen die Maximalstellen von $L_x$ und $LL_x$ überein.
		
		\[
			\begin{split}
				& L_x(\vartheta) = \prodft[i=1]{n}f_{i,\vartheta}(x_i)\\
				& LL_x(\vartheta) = \sumtn \log ( f_{i,\vartheta}(x_i))
			\end{split}
		\]
	\end{bemerkung}
	
	\begin{example}
		$X_1, \dotsc, X_n \quad i.i.d. \backsim \mathcal{N}_{(\mu, \sigma^2)}$\\
		\\
		1. Experiment \quad $\mu$ unbekannt, $\sigma^2 > 0$ bekannt\\
		2. Experiment \quad $\mu$ unbekannt, $\sigma^2$ unbekannt\\
		\\
		$E_1 = \left ( \R^n, \mathbb{B}^n, \left ( \mathcal{N}^n_{(\mu,\sigma^2)} \right )_{\mu \in \R} \right )$
		$E_2 = \left ( \R^n, \mathbb{B}^n, \left ( \mathcal{N}^n_{(\mu,\sigma^2)} \right )_{(\mu,\sigma^2 \in \R_x^n} \right )$\\
		
		ML-Schätzer für $\mu$:
		\[
			f_{(\mu,\sigma^2)}(x) = \dfrac {1}{\sqrt{2 \pi \sigma^2}} e^{- \dfrac {(x - \mu)^2}{2 \sigma^2}}
		\]
		
		1. Experiment
		\[
			\begin{split}
			Lx(\mu) &= \prodtn \dfrac {1}{\sqrt{2 \pi \sigma^2}} e^{- \dfrac {(x_i - \mu)^2}{2 \sigma^2}}\\
			LL_x(\mu) &= \sumtn \log (\dfrac {1}{\sqrt{2 \pi \sigma^2}} e^{- \dfrac {(x_i - \mu)^2}{2 \sigma^2}})\\
			&= \sumtn \left (- \frac 1 2 \log(2\pi\sigma^2) - \dfrac{(x_i - \mu)^2}{2\sigma^2} \right) \\
			&= - \frac n 2 \log(2 \pi\sigma^2) - \frac 1 {2\sigma^2} \sumtn (x_i - \mu)^2
			\end{split}
		\]
		$\Rightarrow$ maximal, genau dann wenn $- \sumtn (x_i - \mu)^2$ maximal ist
		\[
			\frac \partial {\partial \mu} \left (- \sumtn (x_i - \mu)^2 \right ) = 2 \sumtn (x_i - \mu) \eqover{!} 0 \Leftrightarrow \mu = \frac 1 n \sumtn x_i
		\]
		$\hat \mu(x) := \frac 1 n \sumtn x_i$ ist der eindeutige ML-Schätzer\\
		
		2. Experiment
		\[
			\begin{split}
			Lx(\mu,\sigma^2) &= \prodtn \dfrac {1}{\sqrt{2 \pi \sigma^2}} e^{- \dfrac {(x - \mu)^2}{2 \sigma^2}}\\
			LL_x(\mu) &= - \frac n 2 \log(2 \pi\sigma^2) - \frac 1 {2\sigma^2} \sumtn (x_i - \mu)^2
			\end{split}
		\]
		
		\[
			\begin{split}
			\frac \partial {\partial \mu} LL_x(\mu, \sigma^2) &=  \frac 2 {2 \sigma^2} \sumtn (x_i - \mu) \\
			&= \frac 1 {\sigma^2} \sumtn (x_i - \mu) \eqover{!} 0 \Leftrightarrow \mu = \frac 1 n \sumtn x_i\\
			&\\
			\frac \partial {\partial \sigma} LL_x(\mu, \sigma^2) &= - \frac n 2 \cdot \frac 1 {2\pi \sigma^2} \cdot 2 \pi + \frac 1 {2\sigma^4} \sumtn (x_i - \mu)^2\\
			&= - \frac n {2\sigma^2} + \frac 1 {2 \sigma^4} \sumtn (x_i - \mu)^2 \eqover{!} 0 \Leftrightarrow \sigma^2 = \frac 1 n \sumtn (x_i - \mu)^2\\
			&\\
			L_x(\mu, \sigma^2) & \xrightarrow[\sigma^2 \rightarrow \infty]{} 0\\
			L_x(\mu, \sigma^2) & \xrightarrow[\sigma^2 \rightarrow \; 0 \;]{} 0 \qquad \text{falls } x_i - \mu \neq 0 \; \forall i \\
			\end{split}
		\]
		
		$(\hat \mu(x),\hat \sigma^2(x)) = \left ( \frac 1 n \sumtn x_i, \frac 1 n \sumtn (x_i - \hat \mu(x))^2 \right )$ ist der ML-Schätzer für $(\mu,\sigma^2)$.
	\end{example}
	
	%%%%%%%%%%%%%%%%% 30. Juni
	
	Gesamtbeobachtung habe eine Dichte oder Zähldichte $f_\vartheta$, falls $\vartheta$ der wahre Parameter ist.\\
	Der ML-Schätzer maximiert diese:
	\[
		f_{\hat \vartheta(x)}(x) \geq f_\vartheta(x) \qquad \forall \vartheta \in \Theta
	\]
	
	\begin{example}
		(Fortsetzung von Beispiel 8.9)\\
		Beobachtet werden $n \; i.i.d. $ Zufallsvariablen $K_i$, die gleichverteilt sind auf $\{1, \dotsc , M\}$, wobei M zu schätzen ist.\\
		
		Likelihoodfunktion mit $K = (K_i, \dotsc , K_n) \in \N^n$
		\[
			L_K(M) = \prodtn \frac {1_{\{1, \dotsc , M\}}}{M} (K_i) = \frac {1_{\{1, \dotsc , M\}} \left (\underset{1 \leq i \leq n}{\max} K_i \right )}{M^N}
		\]
		wird maximal für $M = \underset{1 \leq i \leq n}{\max} K_i$\\
		d.h. ML-Schätzer ist eindeutig gegeben durch $M*(K) = \underset{1 \leq 1 \leq n} K_i$.\\
		Beachte: $M*(K) \leq M$ und $M*(K) < M$, wenn nicht das Taxi mit der größten Konzessionsnummer beobachtet wird.\\
		Daher ist $E_M(M*) < M$, d.h. der Schätzer ist \underline{nicht} erwartungstreu.\\
		
		\[
			\begin{tabular}{lll}
				&$P_M\{M*(K) \leq m\} $&$ = P_M\{K_i \leq m \; 1 \leq i \leq n\} = \prodtn P_M\{K_i \leq m\} = \left ( \frac m M \right )^n \qquad 1 \leq m \leq M$\\
				$\Rightarrow$&$ P_M\{M*(K) = m\} $&$= P_M\{M*(K) \leq m\} - P_M\{M*(K) \leq m - 1\} $\\
				&&= $\left ( \frac m M \right )^n - \left ( \frac {m-1} M \right )^n \; 1 \leq m \leq M$\\
				$\Rightarrow$&$ E_M(M*) $&$= \sumft[m=1]{M} m \cdot \left ( \left ( \frac m M \right )^n - \left ( \frac {m-1} M \right )^n \right )$\\
				&&$= M^{-n} \sumft[m=1]{M} ( m^{n+1} - (m - 1 + 1) \cdot (m -1)^n ) $\\
				&&$= M^{-n} \left [ \sumft[m=1]{M} (m^{n+1} - (m-1)^{n+1}) - \sumft[m=1]{M}(m -1)^n \right ]$\\
				&&$= M^n \left [ M^{n+1} - \sumft[k=1]{M-1} k^n \right ] $\\
				&&$= M - M^n \sumft[k=1]{M-1} k ^n$\\
				$\Rightarrow$& Bias &$= E_M(M*) - M = - M ^{-n} \sumft[k=1]{M-1} k^n = b_{n,M}$
			\end{tabular}
		\]
		d.h. $0 > b_{n,M} > - M^n \intft[1]{M} t^n \; dt = \left. -M^{-n} \frac {t^{n+1}} {n+1} \right \rvert_1^M > - \frac M {n+1}$\\
		
		In Beispiel 8.9
		\[
			\begin{split}
				&\hat M (K) = \frac 2 n \sumtn K_i - 1\\
				&MSE_M(\hat M) = E_M((\hat M - M)^2) = \frac 2 n \cdot (M^2 - 1)
			\end{split}
		\]
		
		Frage: Hat der ML-Schätzer $M*$ einen kleineren MSE?\\
		Ähnlich wie oben ergibt sich
		\[
			\begin{split}
		 	E_M((M*)^2) &= \sumft[m=1]{M} m^2 \left ( \left ( \frac m M \right )^n - \left ( \frac {m-1} M \right )^n \right )\\
		 	&= M^{-n} \sumft[m=1]{M} ( m^{n+2} - (m-1)^2 - 2(m - 1)^{n+1} - (m-1)^2 )\\
		 	&= M^2 - 2M^{-n} \sumft[k=1]{M-1} k^{n+1} - M^n \sumft[k=1]{M-1} k^n
		 	\end{split}  
		\]
		\[
			\begin{split}
		 		\Rightarrow MSE_M(M*) &= Var(M*) + b_{b,M}^2 = E((M*)^2)) - (E(M*))^2 + b_{n,M}^2\\
		 		&= M^2 - 2M^{-n} \sumft[k=1]{M-1} k^{n+1} - M^{-n} \sumft[k=1]{M-1} k^n - (M + b_{n,M})^2 + b_{n,M}^2\\
		 		&= -2M^n \sumft[k=1]{M-1}k^{n+1} - M^n \sumft[k=1]{M-1} k^n - 2M \cdot b_{n.M}\\
		 		&= M^{-n} \left [ (2 M -1) \sumft[k=1]{M-1}k^n - 2\sumft[k=1]{M-1}k^{n-1} \right ]
		 	\end{split}  
		\]
		Für großes M verhält sich dies wie
		\[
			M^{-n} \left [ 2M \intft[0]{M} t^n \;dt - 2 \intft[0]{M} t^{n+1} \; dt \right ] = M^2 \left ( \frac 2 {n+1} - \frac 2 {n+2} \right ) = \frac {2 M^2} {(n+1)(n+2)}
		\]
		
		Der MSE des ML-Schätzers ist größenordnungsmaäßig um den Faktor $n$ kleiner als der MSE von $\hat M$!
	\end{example}
	
	
	Punktschätzer liefern keine Angaben zur Genauigkeit.\\
	Daher werden oft zusätzlich datenabhängige Mengen gesucht, die den wahren Wert wenigstens mit einer vorgegebenen Wahrscheinlichkeit enthalten.
	
	$\rightsquigarrow$ Bereichsschätzer
	
	\begin{example}
		(Fortsetzung von Beispiel 8.14)\\
		Gegeben ist ein statistisches Experiment $E_1 = (\R^n,\mathbb{B}^n, \left ( \mathcal{N}^n_{(\mu,\sigma^2)} \right )_{\mu \in \R} )$ ($\sigma^2 > 0$ fest).\\
		Schätzer ist $\hat \mu_n(X) = \frac 1 n \sumtn X_i \qquad X = (X_1, \dotsc, X_n) \in \R^n$\\
		
		Seien $X_1, \dotsc , X_n \; i.i.d \; \mathcal{N}_{(\mu,\sigma^2)}$-verteilt.\\
		Beispiel 6.19 zeigt: $Y_1,Y_2 $ seien unabhängige Zufallsvariablen und $P^{Y_i} = \mathcal{N}_{\mu_i,\sigma^2_i)} \Rightarrow P^{Y_1+Y_2} = \mathcal{N}_{(\mu_1 + \mu_2, \sigma_1^2 + \sigma_2^2)}$\\
		Induktiv folgt: $\sumtn X_i$ ist $\mathcal{N}_{n\mu,n\sigma^2}$-verteilt.\\
		Beispiel 6.19 zeigt auch: $aY_1 + b$ ist $\mathcal{N}_{(a\mu + b,a^2 \sigma^2}$-verteilt\\
		Hier: $\hat \mu(X) = \frac 1 n \sumtn X_i$ ist $\mathcal{N}_{(\mu, \frac {\sigma^2} n}$-verteilt\\
		$\Rightarrow \sqrt{\frac n {\sigma^2}}(\hat \mu_n(X)-\mu$ ist $\mathcal{N}_{(0,1)}$-verteilt.\\
		$\Rightarrow P_\mu \left \{ -t \leq \sqrt{\frac n {\sigma^2}} \left ( \hat \mu_n(X) - \mu \right ) \leq t \right \} = \Phi(t) - \Phi(-t) = 2 \cdot(\Phi(t) - \underbraceset{\Phi(0)}{\frac{1}{2}})$ für $t \geq 0$\\
		
		Zu vorgegebener Wahrscheinlichkeit $\alpha \in (0,1)$ wähle $t$ so, dass
		\[
			2( \Phi(t) - \frac 1 2) = \alpha \Leftrightarrow t = \Phi^{-1}(\frac {1+\alpha}2 =: c_\alpha
		\]
		$\Rightarrow P_\mu \left \{ \mu \in \left [ \hat \mu_n(X)-\sqrt{\frac {\sigma^2}n} c_\alpha, \hat \mu(X) + \sqrt{\frac {\sigma^2}n}c_\alpha \right ] \right \}
		= P_\mu \left \{ -c_\alpha \leq \sqrt{\frac {\sigma^2}n} ( \hat \mu_n(X) -\mu) \leq c_\alpha \right \} = \alpha$\\
		
		Fazit: Bereits \underline{vor} der Beobachtung weiß man wie ein datenabhängiges Intervall zu konstruieren ist, in dem der wahre Wert mit vorgegebener Wahrscheinlichkeit $\alpha$ liegt.
	\end{example}
	
	\begin{definition}[Konfidenzintervall]
		Sei $(S,\mathcal{D}, (P_\vartheta)_{\vartheta \in \Theta}$ ein statistisches Experiment, $g: \Theta \rightarrow \R$ und $\alpha \in [0,1]$.\\
		Sind $X_u,X_o: (S,\mathcal{D}) \rightarrow (\R,\mathbb{B})$ mit $X_u \leq X_o$ so, dass $P_\vartheta \{ g(\vartheta \in [X_u,X_o] \} \geq \alpha \quad \forall \vartheta \in \Theta$ wird $[X_u,X_o]$ \underline{zweiseitiges Konfidenzintervall zum Niveau $\alpha$} von $g(\vartheta)$ genannt.\\
		Gild $P_\vartheta \{ g(\vartheta) \in [X_u,\infty)\} \geq \alpha \quad \forall \vartheta \in \Theta$ bzw. $P_\vartheta \{ g(\vartheta) \in )-\infty,X_o]\} \geq \alpha \quad \forall \vartheta \in \Theta$, so heißt  $[X_i, \infty)$ bzw. $(-\infty,X_o]$ \underline{einseitiges Konfidenzintervall zum Niveau $\alpha$} und $X_u$ heißt \underline{untere Konfidenzschranke} bzw. $X_o$ \underline{obere Konfidenzschranke}
	\end{definition}
	
	Einseitige Konfidenzintervalle werden i.d.R. dann verwendet, wenn eine Unterschätzung (bzw. Überschätzung) des Parameters bei weitem kritischer ist, als eine Überschätzung (bzw. Unterschätzung)\\
	$\rightarrow [X_u,\infty)$ bzw. $(-\infty,X_o]$\\
	
	Oft sind nur approximative Konfidenzintervalle berechenbar, \\also $I$, so dass $P_\vartheta \{ g(\vartheta) \in I \} \approx \alpha$
	
	\begin{example}
		($\rightarrow$ Beispiel 8.5)\\
		Experiment: $(\N_0^n,2^{\N_0^n},( \mathcal{P}_\lambda^n)_{\lambda \geq 0})$\\
		d.h. es werden $n$ i.i.d. $\mathcal{P}_\lambda$ Zufallsvariablen $L_i$ beobachtet ($\mathcal{P}_0 =$ Wahscheinlichkeitsmaß mit Zähldichte $f={\{0\}}$)\\
		In Beispiel 8.5: Schätzer $\hat \lambda_n = \frac 1 n \sumtn L_i$\\
		
		Mit dem zentralen Grenzwertsatz erhält man (wobei $E(L_i) = \lambda, \; Var(L_i) = \lambda$
		\[
			\begin{split}
			&P \left \{ \dfrac {\sumtn (L_i - \lambda)} {\sqrt{n \cdot \lambda}} \leq x \right \} \xrightarrow{}{n\rightarrow \infty} \Phi(x) \qquad \forall x \in \R\\
			& \Rightarrow P \{ \sqrt{\frac n \lambda} (\hat \lambda_n - \lambda) \leq x \} \rightarrow \Phi(x)\\
			& \Rightarrow P\{ -t \leq \sqrt{\frac n \lambda}(\hat \lambda_n - \lambda) \leq t \} \rightarrow \Phi(t) - \Phi(-t) \qquad \forall t \geq 0
			\end{split}
		\]
		
		Wähle $t$ so, dass $\lambda = \Phi(t) - \Phi(-t) = 2(\Phi(t) - \frac 1 2) \Leftrightarrow t = \Phi^{-1} \left ( \frac {1+\alpha}{2} \right ) =: c_\alpha$\\
		Für einen hinreichend großen Stichprobenumfang $n$ gilt
		\[
			\begin{split}
			& P\{ -c_\alpha \leq \sqrt{\frac n \lambda} (\hat \lambda_n - \lambda) \leq c_\lambda \} \approx \alpha\\
			&-c_\alpha \leq \sqrt{\frac n \lambda} (\hat \lambda_n - \lambda) \leq c_\lambda \Leftrightarrow \lambda \in \left [\hat \lambda_n - \sqrt{\frac n \lambda}\cdot c_\lambda, \hat \lambda_n + \sqrt{\frac n \lambda}\cdot c_\lambda \right ]
			\end{split}
		\]
		Ersetze in dem Intervall den unbekannten Parameter $\lambda$ durch den Schätzer $\hat \lambda_n$\\
		$\rightsquigarrow$ approximatives Konfidenzintervall 
		\[
			I_n := \left [\hat \lambda_n - \sqrt{\frac {\hat \lambda_n}n}\cdot c_\alpha,\hat \lambda_n + \sqrt{\frac {\hat \lambda_n}n}\cdot c_\alpha \right]
		\]
		
		Man kann zeigen:
		\[
			\mathcal{P}_\lambda^n\{\lambda \in I_n\} \xrightarrow{}{n} \alpha \qquad \forall \lambda > 0
		\]
		Analog erhält man einseitige approximative Konfidenzintervalle, wie z.B.
		\[
			\begin{split}
				&P \left \{  \sqrt{\frac n \lambda} \cdot (\hat \lambda_n - \lambda) \leq t \right \} \rightarrow \Phi(t) \eqover{!} \alpha\\
				&\Leftrightarrow t = \Phi^{-1}(\alpha)\\
				&\Rightarrow P\{\lambda \geq \hat \lambda_n - \sqrt{\frac n \lambda} \cdot \Phi^{-1}(\lambda) \approx \alpha \\
			\end{split}
		\]
		d.h. $\tilde I_n = \left [ \hat \lambda_n - \sqrt{\frac n \lambda}\Phi^{-1}(\alpha), \infty \right ]$ ist ein einseitiges approximatives Konfidenzintervall
	\end{example}
	
	\pagebreak
	
	\textbf{B. \underline{Statistische Tests}}\\\\
	Ziel: Überprüfe Hypothesen über den zu gundeliegenden Zufallsmechanismus anhand von Daten.\\
	Es treten zwei mögliche Typen von Fehler solcher Tests auf:
	\begin{itemize}
		\item[Fehler 1. Art]: Der Test lehnt fälschlicher WEise die Hypothese ab, obwohl sie zutrifft.
		\item[Fehler 2. Art]: Der Test lehnt die Hypothese nicht ab, obwohl sie falsch ist.
	\end{itemize}
	
	Bei vielen Anwendungen hat Fehler 1. Art deutlich gravierendere Konsequenzen als Fehler 2. Art.\\
	
	Daher: Man gibt sich $\alpha [0,1$ vor und fordert, dass die Wahrscheinlichkeit für Fehler 1. Art $\leq \alpha$ (übliche werte $\alpha = 0,1 ; 0,05 ; 0,01 ; 0,005$). Unter dieser Nebenbedingung soll die Wahrscheinlichkeit für einen Fehler 2.Art möglichst klein werden.
	
	\begin{definition}[Testproblem, Hypothese, Alternative, Ablehnungsbereich, Signifikantsniveal, statistischer Test  \& Gütefunktion]
		Sei $(S,\mathcal{D}, (P_\vartheta)_{\vartheta \in \Theta}$ ein statistisches Experiment.\\
		Ein \underline{Testproblem} ist eine Zerlegung der Parametermenge $\Theta$ in 2 disjunkte Mengen $\Theta_o \neq \emptyset$, die sog. \underline{Hypothese} (oder \underline{Null-Hypothese} und $\Theta_1 = \Theta \setminus \Theta_0 \neq \emptyset$ die sog. \underline{Alternative} (oder \underline{Gegenhypothese}). Ein (nicht-randomisierter) \underline{statististischer Test} ist eine {0,1}-wertive Zufallsvariable $\varphi: (S, \mathcal{D}) \rightarrow ( \{0,1\},2^{\{0,1\}})$.\\
		\\
		$\{ \varphi = 1 \} = \{x \in S \mid \varphi(x) = 1\}$ heißt \underline{Ablehnungsbereich} oder \underline{Verwerfungsbereich} oder \underline{kritischer Bereich} des Tests.\\
		Der Test hat ein \underline{Signifikantsniveau} $\alpha \in [0,1]$, falls $P_\vartheta( \{\varphi = 1\}) \leq \alpha$ für alle $\varphi \in \Theta_0$ gilt.\\
		Die Abbildung $g_\varphi(\vartheta) = P_\vartheta( \{ \varphi = 1 \} ) , \; \vartheta \in \Theta_1$, heißt \underline{Gütefunktion} des Tests.
	\end{definition}
	
	Interpretation:\\
	Annahme: Für ein $\vartheta \in \Theta$ beschreibt $P_\vartheta$ den Zufallsmechanismus.\\
	Hypothese: ``Der wahre Parameter liegt in $\Theta_0$'' soll überprüft werden.\\
	$\varphi(x) = 1$: Test lehnt auf der Basis der Daten $x$ die Hypothese ab.\\
	$\varphi(x) = 0$: Test lehnt auf der Basis der Daten $x$ die Hypothese nich ab.\\
	$g_\varphi(\vartheta)$: Die wahrscheinlichkeit, dass der Test die Hypothese ablehnt, wenn $\vartheta$ der wahre Parameter ist.\\
	Forderung: $g_\varphi \leq \alpha$ auf $\Theta_0$\\
	Ziel: $g_\varphi$ möglichst groß auf $\Theta_1$\\
	Die Forderungen sind gegenläufig.\\
	
	Skitze im Fall $\Theta = \R, \Theta_0 = (-\infty, \vartheta_0], \Theta_1 = (\vartheta_0 , \infty)$\\
	Typische Gütefunktion:
	------------------ Skitze ------------------ %%%%%%%%%%%%%% TODO: Skitze machen
	
	Konseqzenz: 
	\begin{itemize}
		\item Wenn der Test die Hypothese ablehnt, kann man mit hoher Wahrscheinlichkeit davon ausgehen, dass die Hypothese falsch ist.
		\item Wenn der Test die Hypothese \underline{nicht} ablehnt, darf man \underline{nicht} davon ausgehen, dass die Hypothese zutrifft, da es meistens Parameterwerte aus der Hypothese gibt, für die die Ablehnungswahrscheinlichkeit wenig größer ist als $\alpha$.
	\end{itemize}
	
	$\rightsquigarrow$ Möchte man eine Annahme an den Parameter mit hoher Wahrscheinlichkeit nachweisen, so ist die Annahme als Alternative zu wählen (\underline{\underline{nicht}} als Hypothese).
	
	\begin{example}
		Spieler A gewinnt doppelten Einsatz, wenn bei einem Münzwurf Kopf fällt.\\
		Spieler A möchte daher wissen, ob die Wahrscheinlichkeit für Kopf wenigstens $\frac 1 2$ ist.\\
		
		Er wirft die Münze $n$ mal und zählt die Anzahl $X$ der Köpfe $\rightsquigarrow X \; \mathcal{B}_{(n,p)}$-verteilt\\
		Dazugehörig ist das statistische Experiment $(\{ 0, \dotsc , n \}, 2^{\{ 0, \dotsc , n \}}, \left ( \mathcal{B}_{n,p} \right )_{p \in [0,1]} )$\\
		\\
		Hypothese: $\Theta_0 = [0, \frac 1 2)$\\
		Alternative: $\Theta_1 = [\frac 1 2, 1]$\\
		Beachte: Zu überprüfende Annahme ist die \underline{Alternative}\\
		
		naheliegender Test:
		\[
			\varphi(x) = 1_{\{c , \dotsc , n\}}(x)
		\]
		d.h. die Hypothese wird abgelehnt, wenn wenigstens $c$-mal Kopf fällt.\\
		Dabei soll zu vorgegebenem $\alpha \in (0,1)$ $c$ so gewählt werden, dass
		\[
			\mathcal{B}_{(n,p)} \{ \varphi = 1 \} \leq \alpha \qquad \forall p \in \Theta_0 \text{ , d.h. } p < \frac 1 2
		\]
		(je größer $c$ ist, desto größer ist die Fehlerwahrscheinlichkeit 1. Art und desto kleiner Fehlerwahrscheinlichkeit 2. Art)\\
		\[
			\begin{split}
				\rightsquigarrow c_\alpha &= min\{ c \in \{0, \dotsc , n\} \mid \mathcal{B}_{(n,p)}\{c , \dotsc , n\} \leq \alpha \quad \forall p < \frac 1 2\}\\
				&= min \{ c \mid \mathcal{B}_{(n, \frac 1 n)}\{c , \dotsc , n \} \leq \alpha \},  
			\end{split}
		\]%%%%%% TODO: KLÄREN!!
		da $p \mapsto \mathcal{B}_{(n,p)}\{c , \dotsc , n\}$ monoton steigend und stetig ist.\\
		\\
		numerisches Beispiel:\\
		$n = 50, \; \alpha = 0,1$
		\[
			\begin{split}
				\Rightarrow c_\alpha = 30, \text{ denn }& \mathcal{B}_{(n,p)}\{30 , \dotsc , 50\} \approx 0,0595\\
				&= \mathcal{B}_{(n,p)}\{29 , \dotsc , 50\} \approx 0,1013
			\end{split}
		\]
		Die Gütefunktion ist:
		\[
			g_\varphi(p) = \mathcal{B}_{(n,p)}\{c_\alpha , \dotsc , n\} = \sumtn[j=c_\alpha] {n \choose j} p^j(1 - p)^{n-j}
		\]
	\end{example}
	
	\begin{lemma}
		Sei $(S,\mathcal{D}, \left ( P_\vartheta \right )_{\vartheta \in \Theta} )$ ein statistisches Experiment und $g: \Theta \rightarrow \R$ eine nicht-konstante Abbildung.
		\begin{enumerate}[(i)]
			\item Ist $I$ ein (zweiseitiges) Konfidenzintervall für $g(\vartheta)$ zum Niveau $1 - \alpha$, so ist $\varphi = 1_\{ a \notin I\}$ ein Test zum \underline{Signifikantsniveau} $\alpha$ für die Hypothese $\Theta_0 = \{ \varphi \in \Theta \mid g(\vartheta) = a \}  = \hat g (\{a\} $ (für alle $a \in g(\Theta_1)$)
			
			\item Ist $I= [X_u, \infty)$ ein einseitiges Konfidenzintervall zum Niveau $1-\alpha$, so ist \\
			$\varphi = 1_{\{1 \notin I\}}$ ein Test zum Signifikansniveau $\alpha$ für die Hypothese \\
			$\Theta_0 = \{ \vartheta \in \Theta \mid g(\vartheta) \leq a \} = \hat g((-\infty,a])$ für alle $a$ mit $g^{-1}((-\infty,a]) \notin \{ \emptyset, \Theta \}$
			
			\item Ist $I= (-\infty, X_o)$ ein einseitiges Konfidenzintervall zum Niveau $1-\alpha$, so ist \\
			$\varphi = 1_{\{1 \notin I\}}$ ein Test zum Signifikansniveau $\alpha$ für die Hypothese \\
			$\Theta_0 = \{ \vartheta \in \Theta \mid g(\vartheta) \geq a \} = \hat g([a,\infty))$ für alle $a$ mit $g^{-1}([a,\infty)) \notin \{ \emptyset, \Theta \}$
		\end{enumerate}
	\end{lemma}
	
	\begin{example}
		Wie in Beispiel 8.14 und 8.16 betrachte zwei statistische Experimente
		\[
			\begin{split}
				&E_1 = (\R^n,\B^n, (\mathcal{N}_{(\mu,\sigma^2)})_{\mu \in \R} \quad (\sigma^2 \text{fest})\\
				&E_2 = (\R^n,\B^n, (\mathcal{N}_{(\mu,\sigma^2)})_{(\mu,\sigma^2) \in \R x[0,\infty)}
			\end{split}
		\]
		Testproblem: $\Theta_0 = \{\mu_0\}, \; \Theta_1 = \R \setminus \{\mu_0\}$\\
		Zweiseitiges Konfidenzintervall für $\mu$ zum Niveau $1-\alpha$ ist
		\[
			I_{1-\alpha}(x) = \left [ \hat \mu_n(x) - \frac \sigma {\sqrt{n}} \Phi^{-1}\left(\frac {1-\alpha}2 \right ) , \hat \mu_n(x) + \frac \sigma {\sqrt{n}} \Phi^{-1}\left(\frac {1-\alpha}2 \right ) \right] \qquad \text{(Beispiel 8.16)}
		\]
		wobei $\hat \mu(x) = \frac 1 n \sumtn x_i$ ein Schätzer und $x = (x_1, \dotsc , x_n) \in \R^n$ der Beobachtungsvektor ist.\\
		Mit Lemma 8.21(i) erhält man einen Test zum Niveau $\alpha$
		\[
			\varphi(x) = 1_{\{ \mu_0 \notin I(x) \}} = 1_{ \biggl \{ \underbraceset{\underline{Teststatistik}}{ \sqrt{\frac n {\sigma^2}} \lvert \hat\mu_n(x)-\mu_0 \rvert > \Phi^{-1}\left ( 1 - \frac \alpha 2 \right)} \biggr \}}
		\]
		Gütefunktion:
		\[
			\begin{split}
			g_\varphi(\mu) &= \mathcal{N}^n_{(\mu, \sigma^2)} \biggl \{ x \mid \underbraceset{\lvert T_n \rvert}{ \sqrt{\frac n {\sigma^2} \lvert \hat\mu_n(x) - \mu_0} \rvert } > \Phi^{-1} \left ( 1 - \frac \alpha 2 \right ) \biggr \} \\
			&= 1 - \mathcal{N}^n_{(\mu, \sigma^2)} \left \{ - \Phi^{-1} \left ( 1 - \frac \alpha 2 \right ) - \sqrt{\frac n {\sigma^2}} \leq T_n - \sqrt{\frac n {\sigma^2}} (\mu - \mu_0) \leq \Phi^{-1} \left ( 1 - \frac \alpha 2 \right ) - \sqrt{\frac n {\sigma^2}} ( \mu - \mu_0 ) \right \} \\
			&= 1 - \left ( \Phi \left ( \Phi^{-1} \left ( 1 - \frac \alpha 2 \right ) - \sqrt{\frac n {\sigma^2}} (\mu - \mu_0) \right ) \right ) - \Phi \left ( - \Phi^{-1} \left ( 1 - \frac \alpha 2 \right ) - \sqrt{\frac n {\sigma^2}} (\mu - \mu_0) \right )
			\end{split}
		\]
		$T_n := \sqrt{\frac n {\sigma^2}} ( \hat \mu_n - \mu_0)$\\
		Beispiel 8.16: $\hat\mu_n$ ist $\mathcal{N}_{(\mu,\frac {\sigma^2}{n}}$-verteilt, wenn $\mu$ der wahre Mittelwert ist.\\
		$\Rightarrow T_n$ ist $\mathcal{N}_{( \sqrt{\frac n {\sigma ^2}} (\mu - \mu_0, \frac n {\sigma^2} \frac {\sigma^2} n)} = \mathcal{N}_{( \sqrt{\frac n {\sigma ^2}} (\mu - \mu_0,1)}$-verteilt\\
		$\Rightarrow T_n - \sqrt{\frac n {\sigma^2}} (\mu - \mu_0)$ ist $\mathcal{N}_{(0,1)}$-verteilt.\\
		
		Einseitige Test erhält an analog\\
		z.B. $\Theta_0 = (-\infty,\mu_0], \; \Theta_1=(\mu_0, \infty)$
		\[
			\overline{\varphi}(x) = 1_{\{ T_(x) > \overline{c}_\alpha \}} \text{ mit } \overline{c}_alpha = \Phi^{-1}(1 - \alpha)
		\]
		Es gilt dann
		\[
			g_{\overline{\varphi}}(\mu) = \mathcal{N}_{(\mu,\sigma^2)}^n \{ T_n > \Phi^{-1}(1-\alpha) \} = 1 - \Phi( \Phi^{-1}(1-\alpha) - \sqrt{\frac n {\sigma^2}}(\mu - \mu_0)) \quad \forall \mu \in \R
		\]
		Im Experiment $E_2$ ist $\sigma^2$ unbekannt und $\varphi$ (bzw. $\overline{\varphi}$) kein zulässiger Test mehr.\\
		$\rightsquigarrow$ Ersetze $\sigma^2$ durch Schätzer, z.B. $\hat \sigma^2 = \frac 1 {n - 1} \sumtn (x_i - \hat \mu_n(x))^2$\\
		In Präsentzblatt 10 Aufgabe A und B wurde gezeigt, dass $\hat \sigma^2$ ein erwartungstreuer, konsistenter Schätzer für $\sigma^2$ ist.\\
		$\rightsquigarrow \tilde T_n := \sqrt{\frac n {\hat \sigma^2_n}} (\hat \mu_n - \mu_0)$
		\[
			\varphi_2(x) = 1_{\{ \lvert \tilde T_n(x) \rvert  c_\alpha\}}
		\] 
		Wenn $\mu_0$ der wahre Mittelwert ist, so hat $\tilde T_n$ die sogenante (Student'sche) t-Verteilung mit $n-1$ Freiheitsgraden und Dichte 
		\[
			h_{n-1}(t) = \underbraceset{c_\alpha}{\frac {\Gamma( \frac n 2)}{\Gamma( \frac {n-1}2}) \sqrt{\pi(n-1)}}(1 + \frac t {n-1})^{- \frac n 2}, \qquad t \in \R
		\]
		Wähle $c_\alpha$ so, dass 
		\[
			\mathcal{N}^n_{(\mu_0, \sigma^2)} \{T_n > c_\alpha\} = \intft[c_\alpha]{\infty} h_{n-1}(t) dt \eqover{!} \alpha
		\]
		$\Rightarrow \varphi_2$ hat exakt das Niveau $\alpha$\\
		$c_\alpha$ ist größer als der kritische Wert $\Phi^{-1}(1-\frac \alpha 2)$ bei bekanntem $\sigma^2$\\
		$\alpha = 0,08$
		\begin{tabular}{rcccc}
			n= & 10 & 20 & 51 & 101 \\
			$c_\alpha$= & 2,262 & 2,093 & 2,009 & 1,984
		\end{tabular}
		$\Phi^{-1}(1-\frac \alpha 2 = 1,9600$\\
		
		Der Test $\tilde \varphi_2(x) = 1_{\{ \tilde T_n > \Phi^{-1}(1 - \frac \alpha 2 \}}$ hat Niveau $> 0,08$ bei 10
		
	\end{example}
	
	$\phantom .$
	\\
	Manchmal ist zu überprüfen, ob eine bestimmte Verteilung oder ein bestimmter Verteilungstyp vorliegt ( und nicht, ob ein Parameter in einem bestimmten Bereich liegt).\\
	$\rightsquigarrow$ Anpassungstests (goodness of fit test)
	
	\begin{example}
		Beobachtet werden i.i.d. Zufallsvariablen mit Werten $\{0, \dotsc , k\}$\\
		Ziel: Überprüfe, ob die Zufallsvariablen eine vorgegebene Zähldichte haben (z.B. Zufallsvariablen sind gleichverteilt auf $\{0, \dotsc , k\}$).\\
		
		Beobachtungsvektor $x = (x_1,\dotsc,x_n)$
		\[
			\hat f_n(i) = \frac 1 n \sumtn[j=1] 1_{\{i\}}(x_j) \text{ : relative Häufigkeit mit der i auftritt }(0 \leq i \leq k)
		\]
		Wenn $f_0$ die wahre Zähldichte ist, dann $\hat f_n(i) \approx f_0(i)$.\\
		Dann ist $n\cdot \hat f_n(i) \quad \mathcal{B}_{(n,f_0(i))}$-verteilt\\
		Der Zentrale Grenzwertsatz liefert
		\[
			P \left \{ a < \dfrac {n \cdot \hat f_n(i) - n \cdot f_0(i)}{\sqrt{n \cdot f_0(i)(1-f_0(i)}} \leq b \right \} \xrightarrow{n\rightarrow\infty} \Phi(b) - \Phi(a)
		\]
		Ist $\frac { \lvert n \hat f_n(i) - n \cdot f_0(i) \rvert}{\sqrt{n \cdot f_0(i)(1 - f_0(i))}}$ ``groß'', dann ist die Hypothese vermutlich falsch.\\
		Test statistik $\sumft[i=0]{k} \frac {(n \cdot \hat f_n(i) - n \cdot f_0(i))^2}{n \cdot f_0(i)} =: T_n$\\
		
		\underline{$\chi^2$-Test}: $\varphi = 1_{\{ T_n > c_\alpha \}}$ mit $c_\alpha$ so, dass $P\{T_n > c_\alpha\} \approx \alpha$ wenn $f_0$ die wahre Zähldichte ist.\\
		
		Man kann zeigen: $T_n$ hat näherungsweise \underline{$\chi^2$-Verteilung mit k Freiheitsgraden}, d.h. die Dichte
		\[
			g_k(t) = \frac 1 {2^{\frac k 2} \Gamma( \frac k 2)}t^{\frac k 2 - 1}e^{- \frac t 2} 1_{(0,\infty)}(t)
		\]
		$\rightsquigarrow$ Wähle $c_\alpha$ so, dass $\intft[c_\alpha]{\infty}g_k(t) dt = \alpha \Leftrightarrow \intft[0]{c_\alpha} g_k(t) dt = 1 - \alpha$\\
		
		Faustformel: Approximation ist gut, wenn $n \cdot f_0(i) \geq 5 \quad \forall i$ (meist reicht $\geq 1$).\\
		Sonst: Fasse mögliche Werte in Gruppe zusammen, bis erwartete Anzahl der Beobachtungen in jeder Gruppe hinreichen groß ist ($\geq5$ bzw. $\geq 1$)\\
		Beispiel aus Übungsblatt 12, Aufgabe 2(ii)\\
		
		\begin{tabular}{ccc}
			Anzahl & Häufigkeit & Test auf $\mathcal{P}_{0,61}$ ($nf_0(i)$)\\
			\hline\\
			0 & 109 & 108,67\\
			1 & 65 & 66,29\\
			2 & 22 & 20,22\\
			$\geq 3$& 4 & 4,82
		\end{tabular}
		\\
		
		$\rightsquigarrow T_n \approx 0,3235, \quad \alpha = 0,1 \quad c_\alpha \approx 6,25 $ bei 4 Gruppe $\hat=$ 3 Freiheitsgrade\\
		
		Faustregel: Da ein Parameter ($\lambda=0,61$) aus den Daten geschätzt wurde, sollte die Anzahl der Freiheitsgrade um 1 verringert werden, d-h- $c_\alpha$ wird aus $\chi^2$-Verteilung mit 2 Freiheitsgraden berechnet\\
		\indent $\rightsquigarrow c_\alpha = 4,6$\\
		
		Fazit: Der Test lehnt die Hypothese nicht ab. \\
		\\


	\end{example}		

		$\chi^2$-Tests können auch zur Überprüfung von stetigen Verteilungen verwendet werden, indem man Wertebereiche der Beobachtungen in Gruppen einteilt (also diskretisiert).\\
		
		
	\begin{example}
		Beobachtungen: Lebenszeiten/Funktionsdauer $T_i, \; 1 \leq i \leq n$, gleichartiger elektronischer Bauteile.\\
		Modellannahme: $T_i i.i.d.$\\
		Hypothese: $T_i$ sind exponential verteilt mit unbekanntem Mittelwert $\lambda > 0$\\
		Auf Übunbungsblatt 11 Aufgabe 2 wurde gezeigt, dass $\hat \lambda_n = \frac 1 n \sumtn T_i$ ein sinnvoller Schätzer ist für $\lambda$.\\
		
		Der Wertebereich $(0,\infty)$ wird in Gruppen eingeteilt, so dass die erwartete Anzahl von Beobachtungen in jeder Gruppe $\approx 5$ ist.\\
		$\rightsquigarrow$ Definiere $t_j$ so, dass $m \cdot P\{T_1 \in (t_{j-1},t_j]\} \approx 5$ (falls Hypothese richtig ist).\\
		Für eine Exponentialverteilung $E_\lambda$ mit $\lambda = \hat \lambda_n$ wähle
		\[
			t_j = E^\leftarrow_\lambda \left( \frac {5j} n \right ), \quad 0 \leq j \leq \left [ \frac n 5 \right ]
		\]
		wobei $E^\leftarrow_\lambda$ die Quantilfunktion von $E_\lambda$ ist, d.h.
		\[
			E^\leftarrow_\lambda(t) = - \lambda \log(1-t) \qquad \text{(Umkehrfunktion der Verteilungsfunktion }E_\lambda
		\]
		Dann
		\[
			P\{ T_1 \in ( t_{j-1}, t_j ] \} = (1 - e^{- \frac {t_j} \lambda}) - (1 - e^{- \frac {t_{j-1}} \lambda}) = \frac {5j}n - \frac {5 \cdot (j-1)} n = \frac 5 n
		\]
		\\
		
		Für alle $1 \leq j \leq m$
		\[
			\hat c_j = \sumtn 1_{(t_{j-1}, t_j]}(t_i) \text{ : Anzahl der Beobachtungen im j-ten Intervall } (t_{j-1},t_j]
		\]
		sollte $\approx 5$ sein, wenn tatsächlich Exponentialverteilung vorliergt.
		Teststatistik: $\sumtn \frac {(\hat c_j - 5)^2} 5$\\
		Näherungsweise $\chi^2$-Verteilung mit $\underset{Anzahl Gruppen - 1}{ \qquad \qquad \underbrace{m-1}} \; \underset{Anzahl Parameter}{\underbrace{-1} = m-2}$\\
	\end{example}
	
	
\chapter{Pseudozufallszahlen}
	\underline{\textbf{Erzeugung auf einer endlichen Menge oder auf [0,1] gleichverteilter Pseudozahlen}}\\	 
		
	Häufigstes Verfahren:
	\indent \indent \underline{lineare Konvergenzgeneratoren}
	
	\begin{definition}[linearer Konvergenzgenerator]
		Seien $l,n,m \in \N_0$. Wir schreiben $l \equiv n (\mod n)$, falls $l-n$ durch $m$ teilbar ist.\\
		
		Zu vorgegebenen $a,b,m \in \N_0$ erzeugt ein \underline{linearer Konvergenzgenerator} Pseudozufallszahlen $n_i \in \{0, \dotsc , m-1\}$ ausgehend von einem Startwert $n_0$ nach der Regel $n_{j+1} = a \cdot n_j + b (\mod m)$, d.h. $n_{j+1}$ ist der Rest von $a \cdot j_j +b$ bei Division durch $m$.
	\end{definition}
	
	Beachte: Bei gegebenem $n_0$ ist folge $n\; (n_j)$ rein deterministisch und wiederholt sich nach spätestens $m$ Folgegliedern.\\
	$\rightsquigarrow$ wähle $m$ sehr groß und $a,b,m$ so, dass Wiederholungen tatsälich erst wieder nach $m$ Gliedern eintritt.\\
	
	Dies ist der Fall, wenn
	\begin{enumerate}[(i)]
		\item $a,b$ keinen gemeinsamen Teiler haben
		\item Jede Primzahl, die $m$ teilt, auch $a-1$ teilt
		\item Wenn 4 $m$ teilt, dann auch $a-1$
	\end{enumerate}
	
	Das Problem bei den linearen Konvergenzgeneratoren ist:\\
	$(n_j, n_{j+1} , \dotsc , n_{j + k -1})$ liegt bei ungünstiger Wahr auf wenigen $(k-1)$-dimensionalen Hyperräumen in $\R^k$.\\
	\\

	$\rightsquigarrow$ auf $[0,1]$ ``gleichverteilte'' Pseudozufallszahlen 
	\[
		u_j = \frac {n_j} m \in [0,1)
	\]
	Wenn $m$ groß ist, dann gilt für einen linearen Konvergenzgenerator mit maximaler Periode $m$
	\[
		\frac 1 m \sumft[i=1]{m} 1_{[0,1]}(U_i) = \frac {[mt]+1} m \qquad \; \leftarrow (t, t + \frac 1 m]
	\]
	\[
		u_i = \frac k m
	\]
	d.h. Pseudozufallszahlen $u_i \leq t$ treten ungefähr mit der relativen Häufigkeit $t$ auf.\\
	
	
	\underline{\textbf{Erzeugung von Pseudozufallszahlen gemäß weiteren Wahrscheinlichkeitsmaßen auf $\R$}}\\
	
	\begin{enumerate}[a.)]
		\item \underline{Quantiltransformation}\\
		Sei $F^\leftarrow$ die Quantilfunktin von $F$.\\
		Satz 6.27 besagt: Ist $U$ gleichverteilt auf $(0,1)$\\
		$\qquad \Rightarrow F^\leftarrow(U)$ ist eine Zufallsvariable mit Verteilungsfunktion $F$.\\
		
		Also sind $F^\leftarrow(u_j)$ Pseudozufallszahlen gemäß der Verteilungsfunktion $F$.\\
		
		\begin{itemize}
			\item[Speziell:] Sollen Pseudozufallszahlen gemä0 einer diskreten Verteilung mit Werten $x_1 < x_2 < \dotsi < < x_l$ und zugehörigen Wahrscheinlichkeiten $p_1, p_2 , \dotsc , p_l$ erzeugt werden $ ( \sumft[i=1]{l} p_i = 1)$ so kann dies wie folgt geschehen:\\
			Definiere $q_0 = 0, \; q_j := \sumft[i=1]{j} p_i, \; 1 \leq j \leq \R$\\
			Ist $u_j$ eine Pseudozufallszahl gemäß Gleichverteilung $[0,1]$, so definiere $y_i := x_j$ falls $u_j \in (q_{i-1},q_i]$.
		\end{itemize}
		
		\item \underline{Verwerfungsmethode} (rejection sampling)\\
		Besitze $F$ eine Dichte $f$ (f sei gut berechenbar).\\
		Wähle weitere Dichte $g$, so dass für ein $\alpha > 1$
		\[
			f(x) \leq \alpha g(x) \qquad \forall x \in \R
		\]
		Pseudozufallszahlen gemäß der Verteilung mit Dichte $g$ seien leicht zu erzeugen.\\
		Dann liefert folgender Algorithmus Pseudozufallszahlen gemäß der Dichte $f$.
		
		\begin{enumerate}[1. {Schritt}]
			\item Erzeuge Pseudozufallszahl z gemäß Dichte $g$ und unabhängig davon Pseudzufallszahl $u$ gemäß gleichverteilung auf $(0,1)$
			\item Falls $u \leq \frac {f(z)}{\alpha g(z)}$, dann verwende Pseudozufallszahl $z$, anderenfalls gehe zurück zum 1. Schritt.
		\end{enumerate}
		Die so erhaltenen Pseudozufallszahlen verhalten sich wie Realisation einer Zufallsvariable mit Dichte $f$, den die Zufallsvariable $Z$ mit Dichte $g$ und $U$ auf (0,1) gleichverteilt als unabhängige Zufallsvariablen
		\[
			P \left(Z \leq y \mid U \leq \frac {f(Z)}{\alpha g(Z)} \right ) 
			= \frac {P \{ Z \leq y , U \leq \frac {f(Z)}{\alpha g(Z)}  \} }{P \{ U \leq\frac {f(Z)}{\alpha g(Z)} \}}
			= \intft[-\infty]{y} f(z) dz = F(y)
		\]
		wobei
		\[
			P \{ Z \leq y , Z \leq \frac {f(Z)}{\alpha g(Z)} \} = \intft[-\infty]{y} P \{ U \leq \frac {f(Z)}{\alpha g(Z)} \} g(z) \; dz
			= \intft[-\infty]{y} \frac {f(Z)}{\alpha g(Z)} g(z) \; dz = \frac 1 \alpha \intft[-\infty]{y} f(z) \; dz
		\]
		ebenso für den nenner (mit $y = \alpha)$
		\[
			P \{ U \leq \frac {f(Z)}{\alpha g(Z)} \} = \frac 1 \alpha \intft[-\infty]{\infty} = \frac 1 \alpha \text{, da f Dichte ist}
		\]
		
		Die Rechnung zeigt: $\frac 1 \alpha = $ Wahrscheinlichkeit, dass die Pseudozufallszahl akzeptiert wird\\
		$\rightsquigarrow \alpha$ soll möglichst nahe bei 1 sein.\\
		
		Im Mittel werden $2\cdot \alpha$ Pseudozufallszahlen (gemäß $g$ bzw. Gleichverteilung) benötigt, um eine Pseudozufallszahl gemäß $F$ zu erzeugen.
		
		\begin{example}
			Sei $F = \Phi$, d.h. standartnormalverteilte Pseudozufallszahlen sollen erzeugt werden.
			\[
				\begin{split}
					&f(x) = \varphi(x) = \frac 1 {\sqrt{2\pi}} e^{- \frac {x^2} 2} \quad , \; x \in \R\\
					&g(x) = \frac 1 2 e^{- \lvert x \rvert} \qquad , \; x \in \R \quad: \text{Dichte der zweiseitigen Exponentialverteilung}
				\end{split}
			\]
			zugehörige Verteilungsfunktion:
			\[
				\begin{split}
					x \leq 0: & G(x) = \intft[-\infty]{x}g(t) dt = \frac 1 2 \intft[-\infty]{x} e^t dt = \frac 1 2 e^t \mid_{-\infty}^x = \frac 1 2 e^x\\
					x > 0: & G(x) = \intft[-\infty]{0}g(t) dt + \intft[0]{x} g(t) dt = \frac 1 2 + \frac 1 2 \intft[0]{x} e^{-t} dt = 1 - \frac 1 2 e^{-x}
				\end{split}
			\]
			$G$ ist invertierbar mit der Inversen
			\[
				G^\leftarrow (t) = \left \{ 
				\begin{tabular}{ll}
					$\log(2t)$ & $t \leq \frac 1 2$\\
					$- \log(2(1-t)) \quad$ & $ t > \frac 1 2$
				\end{tabular}
				\right .
			\]
			\[
				\begin{split}
				& \frac {\varphi(x)}{g(x)} = \sqrt{\frac 2 \pi} e^{\lvert x \rvert - \frac {x^2} 2} \text{ ist symmetrisch um 0 und für $\lambda \geq 0$ gilt}\\
				& \left ( \frac {\varphi(x)}{g(x)} \right )' = \sqrt{\frac 2 \pi} (1- x) e^{x-\frac {x^2} 2 } \eqover{!} 0 \\
				\Leftrightarrow & x = 1 \text{ und } \underset{x \rightarrow \infty}{\lim} \frac {\varphi(x)} {g(x)} = 0 \text{ und } \frac {\varphi(0)}{g(0)} = \sqrt{ \frac 2 \pi} \\
				\end{split}
			\]
			$\Rightarrow x=1$ ist Maximalstelle von $\frac \varphi g$ mit zugehörigem Maximum :$\sqrt{\frac {2e} \pi} =: \alpha \leq 1,32$\\
			
			Also $f(x) \leq \alpha g(x) \qquad \forall x \in \R$\\
			Erzeuge Pseudozufallszahlen gemäß $\mathcal{N}_{(0,1)}$ wie folgt:
			\begin{enumerate}[1. {Schritt}]
				\item Erzeuge unabhängige auf (0,1) gleichverteilte Pseudozufallszahlen $u, v$ und $z := G^\leftarrow(v)$
				\item Akzeptiere $z$ als Pseudozufallszahl, falls $u \leq \frac {f(z)}{\alpha g(z)} = e^{\lvert z \rvert - \frac {z^2} 2 - \frac 1 2}$, sonst zurück zum 1. Schritt.
			\end{enumerate}
		\end{example}
		
	\end{enumerate}
	
\end{document}

% geometrische Verteilung
% binomial Verteilung
% Poisson-Verteilung
% stationäre Verteilung
% hypergeometrische Verteilung



%\begin{tabular}{ll}
%    hypergeometrische Verteilung &: Ziehen \underline{ohne} Zurücklegen \\
%    Binomialverteilung &: Ziehen \underline{mit} Zurücklegen\\
%    Benoulli-Verteilung &: Spezialfall von Binomialverteilung mit n=1
%\end{tabular}
