\documentclass[english]{scrreprt}
\usepackage[utf8]{inputenc}
\usepackage{graphicx}
\usepackage{tabularx}
\usepackage{multicol}
\usepackage[german]{babel}
\usepackage{bibgerm}
\usepackage{fancyhdr}
\usepackage{lastpage}
\usepackage{color}
\usepackage{framed}
\usepackage{ifthen}
\usepackage{enumerate}
\usepackage{amsmath, amsthm, amssymb}
\usepackage{eurosym}



\selectlanguage{german}

\pagestyle{fancy}
\fancyhf{}

%\fancyhead[L]{Gruppe: Do. 12-14 Uhr \newline \\ Aufgabenblatt 1}
%\fancyhead[R]{Andrej Zieger, Dennis Lutter,
%             \\Denis Graf, Sewan Aleanakian
%             \\Seite {\thepage} von {\pageref{LastPage}}}


\setlength{\headheight}{20mm}


%\newenvironment{definition}[1][Definition]{\begin{trivlist}
%\item[\hskip \labelsep {\bfseries #1}]}{\end{trivlist}}
%\newtheorem{definition}{Definition}[chapter]
\newenvironment{fshaded}{%
\def\FrameCommand{\fcolorbox{framecolor}{shadecolor}}%
\MakeFramed {\FrameRestore}}%
{\endMakeFramed}

\newenvironment{satz}[1][\empty]
{\definecolor{shadecolor}{rgb}{1,.8,.8}
\definecolor{framecolor}{rgb}{1,0,0}
\ifthenelse{\equal{#1}{\empty}}
    {\begin{fshaded}\begin{Satz}}
    {\begin{fshaded}\begin{Satz}[#1]}
}%
{\end{Satz}\end{fshaded}}




\newcommand{\abc}[2][\empty]{%%% \empty: Standardwert des optionalen Parameters
  \ifthenelse{\equal{#1}{\empty}}
    {no opt, mand.: \textbf{#2}}
    {opt: \textbf{#1}, mand.: \textbf{#2}}
}

\newenvironment{definition}[1][]
{
\definecolor{shadecolor}{rgb}{.9,.9,1}%
\definecolor{framecolor}{rgb}{.1,.0,.7}%
\ifthenelse{\equal{#1}{\empty}}
    {\begin{fshaded}\begin{Definition}}
    {\begin{fshaded}\begin{Definition}[#1]}
}
{\end{Definition}\end{fshaded}}


\newenvironment{satzdef}[1][]
{
\definecolor{shadecolor}{rgb}{.9,.7,1}%
\definecolor{framecolor}{rgb}{.1,.0,.7}%
\ifthenelse{\equal{#1}{\empty}}
    {\begin{fshaded}\begin{SatzDef}}
    {\begin{fshaded}\begin{SatzDef}[#1]}
}
{\end{SatzDef}\end{fshaded}}

\newenvironment{korollar}[1][]
{
\definecolor{shadecolor}{rgb}{.6,1,.6}%
\definecolor{framecolor}{rgb}{.0,.1,.7}%
\ifthenelse{\equal{#1}{\empty}}
    {\begin{fshaded}\begin{Korollar}}
    {\begin{fshaded}\begin{Korollar}[#1]}
}
{\end{Korollar}\end{fshaded}}

\newenvironment{lemma}[1][]
{
\definecolor{shadecolor}{rgb}{.9,.9,.5}%
\definecolor{framecolor}{rgb}{.0,.1,.7}%
\ifthenelse{\equal{#1}{\empty}}
    {\begin{fshaded}\begin{Lemma}}
    {\begin{fshaded}\begin{Lemma}[#1]}
}
{\end{Lemma}\end{fshaded}}

\newenvironment{example}[1][]{
\ifthenelse{\equal{#1}{\empty}}
    {\begin{Example} \label{example:\the\value{chapter}.\the\value{Satz}}}
    {\begin{Example}[#1]}
}
{\end{Example}}

%\newtheorem{Satz}{Satz}
\newtheorem{Satz}{Satz}[chapter]
%\newtheorem{Definition}[Satz]{Definition}
%\newtheorem{Definition}{Definition}[section]
%\newtheorem{SatzDef}{Satz \& Definition}[section]
%\newtheorem{example}{Beispiel}[section]

\newtheorem{Definition}[Satz]{Definition}
\newtheorem{SatzDef}[Satz]{Satz \& Definition}
\newtheorem{Example}[Satz]{Beispiel}
\newtheorem{bemerkung}[Satz]{Bemerkung}
\newtheorem{Korollar}[Satz]{Korollar}
\newtheorem{Lemma}[Satz]{Lemma}

\newcommand{\underoverset}[3]{
    \underset {#1} {\overset {#2} {#3}}
}

\newcommand{\underbraceset}[2]{
    \underset {#1} {\underbrace {#2}}
}

\newcommand{\sumft}[2][\empty]{%%% \empty: Standardwert des optionalen Parameters
  \ifthenelse{\equal{#1}{\empty}}
    {\underset {#2} {\sum}}
    {\underset {#1} {\overset {#2} {\sum}}}
}

\newcommand{\sumtn}[1][\empty]{%%% \empty: Standardwert des optionalen Parameters
  \ifthenelse{\equal{#1}{\empty}}
    {\underset {i=1} {\overset {n} {\sum}}}
    {\underset {#1} {\overset {n} {\sum}}}
}

\newcommand{\crossft}[2][\empty]{%%% \empty: Standardwert des optionalen Parameters
  \ifthenelse{\equal{#1}{\empty}}
    {\underset {#2} {X}}
    {\underset {#1} {\overset {#2} {X}}}
}

\newcommand{\prodft}[2][\empty]{%%% \empty: Standardwert des optionalen Parameters
  \ifthenelse{\equal{#1}{\empty}}
    {\underset {#2} {\prod}}
    {\underset {#1} {\overset {#2} {\prod}}}
}

\newcommand{\prodtn}[1][\empty]{%%% \empty: Standardwert des optionalen Parameters
  \ifthenelse{\equal{#1}{\empty}}
    {\underset {i=1} {\overset {n} {\prod}}}
    {\underset {#1} {\overset {n} {\prod}}}
}

\newcommand{\eqover}[1]{
    \overset {#1} {=}
}

\newcommand{\embrace}[1]{
    \lbrace #1 \rbrace
}

\newcommand{\twolines}[2]{
	\begin{matrix}
		#1\\
		#2
	\end{matrix}
}

\newcommand{\intft}[2][\empty]{
\ifthenelse{\equal{#1}{\empty}}
    {\int\limits_{#2}}
    {\int\limits_{#1}^{#2}}
}

\newcommand{\A}[0]{
	\mathcal{A}
}


\begin{document}
\chapter{Mathematische Modelle von Zufallsexperimenten}

\section*{Grundbegriffe}
\begin{tabular} {ll}
    Grundraum:  & nicht leere Menge $\Omega \neq \emptyset$ \\
                & Enthält alle möglichen Ergebnisse eines Zufallsexperimentes. \\
    Ereignis:   & Teilmenge $A \subset \Omega$ \\
                & Nicht immer wird jede Teilmenge als Ereignis bezeichnet,\\
                & sondern nur Mengen aus einem Mengensystem $\mathcal{A} \subset 2^{\Omega}$ \\
                & Sprechweise: Ereignis $A$ tritt ein $\Leftrightarrow$ Ergebnis $\omega$ liegt in $A$ \\
    Elementarereignis: & $\omega \in \Omega$ \\
                & Vorsicht: $\omega$ ist kein Ereignis!\\
                & Aber $\{\omega\}$ ist ein Ereignis, falls $\mathcal{A}$ geeignet gewählt ist.
\end{tabular}

\renewcommand{\labelenumi}{(\roman{enumi})}


\begin{example} \label{bsp_grundbegriffe}
\begin{itemize}\end{itemize}
\begin{enumerate}[(i)]
\item \label{bsp_grundbegriffe_1} Werfen eines Würfels \\
     $\Omega = \{1,...,6\}$ \\
     Ereignis ``Augenzahl ist gerade'': $A = \{2,4,6\}$ \\
\item \label{bsp_grundbegriffe_network}
     In einem Netzwerk werden Längen (in Byte) der ersten $n = 10^5$ Datenpakete beobachtet \\
     $\Omega = \mathbb{N}^n = \lbrace (\omega_1,...,\omega_n) | \omega_i \in \mathbb{N}\;\forall\, 1\le i\le n \rbrace$ \\
     Interpretation: $\omega_i = $ Länge des $i$-ten Paketes \\
     Ereignis ``Das größte Paket umfasst maximal $10^7$ Byte''\\
     $A := \{(\omega_1,...,\omega_n) \mid \omega_i \leq 10^7 \forall  1 \leq i \leq
     n\}$
\end{enumerate}
\end{example}

\subsection*{``Rechnen mit Ereignissen''}
Seien $A,B \subset \Omega$ Ereignisse. Dann ist
\begin{itemize}
\item $A \cup B = \lbrace \omega \in \Omega \mid \omega \in A \text{ oder } \omega \in B \rbrace$\\
      Ereignis, dass $A$ eintritt \underline{oder} $B$ eintritt
\item $A \cap B = \lbrace \omega \in \Omega \mid \omega \in A \text{ und } \omega \in B \rbrace$\\
      Ereignis, dass $A$ \underline{und} $B$ eintritt
\item $A \setminus B =  \lbrace \omega \in \Omega \mid \omega \in A, \omega \notin B \rbrace $
      Ereignis, dass $A$ eintritt, aber nicht $B$ eintritt
\item $A \subset B$ \\
     Wenn $A$ eintritt, dann tritt auch $B$ ein.
\end{itemize}

Im Wahrscheinlichkeitsmodell soll \underline{jedem} Ereignis eine Wahrscheinlichkeit (W.) zugeordnet werden.

Diese müssen ``zueinander passen''.

Z.B. muss bei $A \subset B$ die Wahrscheinlichkeit von A $\leq$ Wahrscheinlichkeit von B sein (Monotonie)\\
\newline

\begin{tabular}{llll}
Mathematisch: & Abbildung       & $P: \mathcal{A} \rightarrow \mathbb{R} $ &\\
              & mit Normierung  & $P(\emptyset) = 0 $ & Ereignis, das \underline{nie} eintritt, hat W. 0 \\
              &                 & $P(\Omega) = 1$ & Ereignis, das \underline{immer} eintritt, hat W. 1 \\
              && $\rightsquigarrow P : \mathcal{A} \rightarrow [0,1]$
\end{tabular}


\section*{Welche Abb. P sind sinnvoll?}
 \begin{tabular}{ll}
 $\rightarrow$ & Folien ''1. Ansatz: Inhaltlicher Zusammenhang''\\
 & bis ''Subjektivistische'' ...
 \end{tabular}

\section*{Axiomatischer Zugang - Kolmogorov (1933)}
Fordere Eigenschaften von P\\ Zur Motivation: Für die relativen
Häufigkeiten (``empirischen Wahrscheinlichkeiten'') $P_n$ gilt\\
$P_n(\Omega) = 1 ,\quad P_n(\emptyset) = 0$\\ $A,B$ disjunkt (d.h.\
$A \cap B
= \emptyset$) $\Rightarrow P_n(A \cup B) = P_n(A) + P_n(B)$ \\
Induktiv folgt: Ereignisse $A_1,...,A_k$ disjunkt $\Rightarrow
P_n(\underset{i=1} {\overset{k}{\bigcup}}A_i) = \underset{i=1}
{\overset{k}{\sum}} P_n(A_i)$

\section*{endl. Wahrscheinlichkeitsraum \& Wahrscheinlichkeitsmaß}
\begin{definition}[endl. Wahrscheinlichkeitsraum \& Wahrscheinlichkeitsmaß]
Ein \underline{endlicher Wahrscheinlichkeitsraum} ist ein Paar $(\Omega,P)$ bestehend aus einem endlichen Grundraum
$\Omega \neq \emptyset$ und einer Abbildung $P: 2^\Omega \rightarrow [0,1]$ mit den Eigenschaften:
\begin{itemize}
\item $P(\Omega) = 1$
\item $A,B \subset \Omega$ disjunkt $\Rightarrow P(A \cup B) = P(A) + P(B)$ (Additivität)
\end{itemize}
P heißt dann \underline{Wahrscheinlichkeitsmaß}.
\end{definition}

\pagebreak
\begin{example}
\begin{itemize}\end{itemize}
\begin{enumerate}
\item vgl. Beispiel
\ref{bsp_grundbegriffe}.(\ref{bsp_grundbegriffe_1}):
 einmaliges Werfen eines fairen Würfels\\
$\Omega = \{1,...,6\}$\\
$A \subset \Omega: P(A) = \frac {\lvert A \rvert} {\lvert \Omega \rvert} = \frac {\lvert A \rvert} {6}$ \\
insbesondere $P(\{\omega\}) = \frac 1 6$

\item Werfen zweier ununterscheidbarer fairer Würfel\\
$\Omega = \lbrace (\omega_1,\omega_2) \mid \omega_1,\omega_2 \in
\lbrace 1,...,6 \rbrace, \omega_1 \leq \omega_2 \rbrace$\\ Hier ist
es \underline{nicht} sinnvoll, jeder Menge $\{(\omega_1,\omega_2)\}$
die gleiche Wahrscheinlichkeit zuzuweisen, denn z.B. gibt es 2
Möglichkeiten (1,2) zu erhalten, aber nur eine für (1,1).

$ \rightsquigarrow P(\lbrace \omega_1,\omega_2 \rbrace) = \Bigl \lbrace {
\begin{matrix}
\frac {1} {36} , \omega_1 = \omega_2 \\ \frac {2} {36} , \omega_1 \neq \omega_2
\end{matrix}
}
$

Für $A \subset \Omega$ folgt

$P(A) = \underset {\omega \in A} \sum P(\lbrace \omega \rbrace)$

\end{enumerate}
\end{example}

\begin{satz} \label{satz_rechnen_wahrscheinlichkeitsraum}
Sei $(\Omega, P)$ ein endlicher Wahrscheinlichkeitsraum, dann gilt
\begin{enumerate}[(i)]
\item $P(\emptyset) = 0$
\item \label{satz_additiv_disjunkter_mengen}
      $A_1,...,A_k \subset \Omega$ disjunkt $\Rightarrow P(\underset {i=1} {\overset {k} {\bigcup}} A_i) =
      \underset {i=1} {\overset {k} {\sum}} P(A_i)$
\item $P(A^c) = 1 - P(A)$  $\forall A \subset \Omega$
\item $A \subset B \subset \Omega \Rightarrow P(B \setminus A) = P(B) - P(A)$
\item $A,B \subset \Omega \Rightarrow P(A \cup B) = P(A) + P(B) - P(A \cap B)$
\item $\forall A_1,...,A_k \subset \Omega \Rightarrow P(\underset {i=1} {\overset {k} {\bigcup}} A_i) \leq \underset {i=1}
{\overset {k} {\sum}} P(A_i)$ \quad (Subadditivität)
\end{enumerate}
\end{satz}
Beweis: (i) - (v) übungen
\begin{enumerate}[(vi)]
\item Def. $B_1 := A_1 , B_i := A_i \setminus \left ( \underset {j=1} {\overset {i-1} {\bigcup}} A_j \right )
\subset A_i$ $ \forall 2 \leq i \leq k$ \\
$\Rightarrow B_1,...,B_2 $ disjunkt (denn für $i < l$ gilt $B_i \subset A_i , A_i \cap B_l=\emptyset$) \\
$\underset {i=1} {\overset {k} {\bigcup}} B_i = \underset {i=1} {\overset {k} {\bigcup}} A_i$\\
\nopagebreak

$\Rightarrow P(\underset {i=1} {\overset {k} {\bigcup}} A_i) =
P(\underset {i=1} {\overset {k} {\bigcup}} B_i) \overset
{(\ref{satz_additiv_disjunkter_mengen})} {=}
\underset {i=1} {\overset {k} {\sum}} P(B_i) \leq \underset {i=1} {\overset {k} {\sum}} P(A_i)$\\
(Ist $\omega \in A_i$ für ein $i$ und ist $i_\omega$ das
\underline{kleinste} solche $i$, dann ist $\omega \in B_{i_\omega}$)
\end{enumerate}

\begin{definition}[Gleichverteilung oder Laplace-Verteilung]
    Ist $\Omega$ endlich, so heißt das durch
    
    $P(A) = \frac {\lvert A \rvert} {\lvert \Omega \rvert} , A \subset \Omega$,\\
    definierte Wahrscheinlichkeitsmaß die \underline{Gleichverteilung} oder \underline{Laplace-Verteilung} auf
    $\Omega$.
\end{definition}


\stepcounter{Satz}
\section*{\the\value{chapter}.\the\value{Satz} Urnenmodelle} \label{section_urnenmodelle}
Wenn Gleichverteilung betrachtet wird, sind nur Mächtigkeiten von Mengen zu bestimmen.

Oft hilfreich sind \underline{Urnenmodelle}

\subsection*{Situation}
Es sind die Kugeln $1,...,n$ in der Urne und es wird $k$-mal aus
 der Urne gezogen.

Es wird unterschieden, ob
\begin{itemize}
\item mit oder ohne Zurücklegen gezogen wird
\item mit oder ohne Berücksichtigung der Reihenfolge gezogen wird
\end{itemize}

\begin{enumerate}[{\the\value{chapter}.\the\value{Satz}} (a)]
\item \textbf{Ziehen \underline{mit} Zurücklegen und \underline{mit} Berücksichtigung der Reihenfolge}\\

\begin{tabular}{lll}
Grundraum & $\Omega_a$ & $= \lbrace 1,...,n \rbrace ^k = \lbrace (\omega_1,...,\omega_k) \mid \omega_i
 \in \lbrace 1,...,n \rbrace \rbrace$\\
Interpretation: & $\omega $& =$ (\omega_1,...,\omega_k) \in \Omega_a $\\
& & $\widehat{=}$  im i-ten Zug werde Kugel $\omega_i$ gezogen \\

 $\lvert \Omega_a \rvert = n^k$
\end{tabular}

\item \label{urnenmodelle_ohne_mit}
\textbf{Ziehen \underline{ohne} Zurücklegen, aber \underline{mit} Berücksichtigung der Reihenfolge}\\
$\Omega_b = \lbrace (\omega_1,...,\omega_n) \in \Omega_a \mid \omega_i \neq \omega_j \forall 1 \leq i < j \leq k \rbrace$\\
Interpretation wie bei (a), $\lvert \Omega_b \rvert = n \cdot
(n-1)\cdot ... \cdot (n-k+1) = \frac {n!} {(n-k)!}$
\\
\begin{tabular}{rl}
Begründung: & n Möglichkeiten für $\omega_1$ \\
dann & $n-1$ Möglichkeiten für $\omega_2$ bei gegebenem $\omega_1$ \\
dann & $n-2$ Möglichkeiten für $\omega_3$ bei gegebenen $\omega_1,\omega_2$\\
... & ... \\

dann & $n-k+1$ Möglichkeiten für $\omega_k$ bei gegebenen $\omega_1,...,\omega_{k-1}$
\end{tabular}
\pagebreak

\item \label{section_item_urnen_ohne_ohne}
\textbf{Ziehen \underline{ohne} Zurücklegen und \underline{ohne} Berücksichtigung der Reihenfolge}\\
Ordne gezogene Kugelnummern nach Größe

$\Omega_c = \lbrace (\omega_1,...,\omega_k) \in \Omega_a \mid \omega_1 < \omega_2 < ... < \omega_k \rbrace$\\

Es gibt zu jedem $(\omega_1,...,\omega_k) \in \Omega$ genau $k!$
verschiedene Möglichkeiten die $k$ verschiedenen Kugelnummern
anzuordnen.

D.h. jedem $\omega \in \Omega_c$ entsprechen $k!$ Elemente aus $\Omega_b$\\

$\Rightarrow \lvert \Omega_c \rvert = \frac {\lvert \Omega_b \rvert} {k!} = \frac {n!} {k!(n-k)!} =: {n \choose k}$

\item \textbf{Ziehen \underline{mit} Zurücklegen und \underline{ohne} Berücksichtigung der Reihenfolge}

$\Omega_d = \lbrace (\omega_1,...,\omega_k) \in \Omega_a \mid \omega_1 \leq \omega_2 \leq ... \leq \omega_k \rbrace$\\
Die Abbildung

 $S: \Omega_d \rightarrow \lbrace (\tilde \omega_1,...,\tilde \omega_k) \in \lbrace 1,...,n+k-1 \rbrace ^k
 \mid \tilde \omega_1 < \tilde \omega_2 < ... < \tilde \omega_k \rbrace =:  \widetilde \Omega_c$

 $S(\omega_1,...,\omega_k) := (\omega_1,\omega_2 + 1, \omega_3 + 2, ... , \omega_k + k + 1)$\\
\\
ist eine Bijektion.\\

$\tilde \Omega_c$ ist vom gleichen Typ wie $\Omega_c$ mit $n$
ersetzt durch $n + k - 1$.

Also $\lvert \Omega_d \rvert = \lvert \tilde \Omega_c \rvert \overset{(\ref{section_item_urnen_ohne_ohne})} {=} {{n+k-1} \choose n}$
\end{enumerate}

\begin{example} \label{bsp_urnen}
\begin{enumerate}[(i)]
\item Lotto 6 aus 49\\
6 Kugeln werden ohne Zurücklegen und ohne Berücksichtigung der Reihenfolge aus 49 Kugeln gezogen

$\overset {1.6(c)} {\Rightarrow} $ Es gibt ${49 \choose 6} =
13.983.816$
Möglichkeiten\\

Alle Möglichkeiten  sind gleich wahrscheinlich

$\Rightarrow $ Gewinnwahrscheinlichkeit für ein Los $\frac {1} {{49
\choose 6}} \approx 7,15 \cdot 10^{-8}$

\item Sucht man bei Yahoo nach Schlagwörtern ``Hausdepp
Kartenspiel'', so gibt es unter den ersten 10 ausgegebenen Links
genau einen, unter dem die Regeln dieses Kartenspiels zu finden
sind. Sei $r\in\{1,\ldots,10\}$ die Nummer dieses Links.

Sie probieren die 10 Links in zufälliger Reihenfolge durch, bis Sie auf den Link mit den Regeln stoßen.\\

Wie groß ist die Wahrscheinlichkeit, dass Sie genau $k$ Versuche brauchen?

$\rightsquigarrow$ Ziehen ohne Zurücklegen und mit Berücksichtigung der Reihenfolge

$\Omega = \lbrace (\omega_1,...,\omega_k) \in \lbrace 1,...,10 \rbrace^k \mid w_i \neq \omega_j \forall i \neq j \rbrace$\\

Ereignis ``Erfolg nach genau k Versuchen''

$A = \lbrace (\omega_1,...,\omega_{k-1}, r) \mid \omega_i \in
\lbrace 1,...,10 \rbrace \setminus \lbrace r
\rbrace \forall 1 \leq i \leq k-1 \rbrace$\\
entspricht 9-maligem Ziehen ohne Zurücklegen aus $\lbrace 1,...,10
\rbrace \setminus \lbrace r \rbrace$

$\Rightarrow \lvert A \rvert = \frac {9!} {(9-(k-1))!}$

$\lvert \Omega \rvert = \frac {10!} {(10-k)!}$\\

Bei Gleichverteilung

$P(A) = \frac {\lvert A \rvert} {\lvert \Omega \rvert} = \frac {9!} {10!} = \frac {1} {10}$\\

Bei 2 richtigen Links erhält man auf ähnliche Weise

$\lvert A \rvert = \frac {8!2} {(8-(k-1))!}$ (da es nun 2
Möglichkeiten für den $k$-ten Versuch gibt)

$\lvert \Omega \rvert = \frac {10!} {(10-k)!}$\\

$P(A) = \frac {\lvert A \rvert} {lvert \Omega \rvert} = \frac {8!2 \cdot (10-k)!} {10!(8-(k-1))!} = \frac {2(10-k)} {10 \cdot 9}
=\frac{10-k}{45}$\\

\end{enumerate}
\end{example}

Liegt wie z.B. im Beispiel
\ref{bsp_grundbegriffe}(\ref{bsp_grundbegriffe_network}) kein
\underline{endlicher}, sondern ein \underline{abzählbarer} Grundraum
vor, dann ist die Additivität nicht mehr ausreichend.

\begin{definition}[diskretes Wahrscheinlichkeitsmaß \& -raum]
    Sei $\Omega \neq \emptyset$ eine beliebige nicht-leere Menge.\\
    Eine Abbildung $P: 2^\Omega \rightarrow [0,1]$ heißt \underline{diskretes Wahrscheinlichkeitsmaß}, falls

    \begin{enumerate}[(i)]
        \item $P(\Omega) = 1$
        \item $\forall A_n \subset \Omega $, $n \in \mathbb{N}$ disjunkt:
        $P(\underset {n \in \mathbb{N}} {\bigcup} A_n) = \underset {n \in \mathbb{N}} {\sum} P(A_n) \qquad$(`` $\sigma$-Additivität '')

        \item Es existiert eine (höchstens) abzählbare Menge $\Omega_0 \subset \Omega$ mit $P(\Omega_0) = 1$.
    \end{enumerate}

    Dann heißt $(\Omega,P)$ \underline{diskreter Wahrscheinlichkeitsraum}.
\end{definition}

Satz \ref{satz_rechnen_wahrscheinlichkeitsraum} gilt völlig analog
auch für diskrete Wahrscheinlichkeitsräume.\\ 
Es gilt sogar in Verallgemeinerung von
\ref{satz_rechnen_wahrscheinlichkeitsraum}{(vi)}

\begin{satz}
Sei $(\Omega,P)$ ein diskreter Wahrscheinlichkeitsraum und $A_n
\subset \Omega \forall n \in \mathbb{N}$\\ Dann gilt \quad
$P(\underset {n\in \mathbb{N}} {\bigcup} A_n) \leq \underset {n \in
\mathbb{N}} {\sum} P(A_n)$ \qquad (``$\sigma$-Subadditivität'')
\end{satz}

\begin{satzdef} \label{satzdef_wahrschfunk}
\begin{itemize}\end{itemize}
\begin{enumerate}
\item \label{satzdef_wahrschfunk_i}
Sei $(\Omega,P)$ ein diskreter Wahrscheinlichkeitsraum.\\
Dann heißt die Funktion $f: \Omega \rightarrow [0,1], f(\omega) = P(\lbrace \omega \rbrace)$ \underline{Zähldichte} oder \underline{Wahrscheinlichkeitsfunktion} von P.\\
Sie besitzt folgende Eigenschaften:
    \begin{enumerate}[(a)]
    \item \label{satzdef_wahrschfunk_a}
        $\Omega_T := \lbrace \omega \in \Omega \mid f(\omega) > 0 \rbrace$ ist abzählbar (und heißt Träger von $P$ bzw. von $f$)
    \item \label{satzdef_wahrschfunk_b}
    $\underset {\omega \in \Omega} {\sum} f(\omega) = 1$
    \end{enumerate}
 Für alle $A \subset \Omega$ gilt dann:
    \begin{equation} \label{satzdef_wahrschfunk_1}
    P(A) = \underset {\omega \in A} {\sum} f(\omega) = \underset {\omega \in A \cap \Omega_T} {\sum} f(\omega)
    \end{equation}
%%%%%%%%%%%%%%%%%%%%%%%%%%% 21.04.09
\item \label{satzdef_wahrschfunk_ii}
Ist umgekehrt $\Omega \neq \emptyset$ und $f: \Omega \rightarrow
[0,1]$ eine Funktion, die (a) und (b) erfüllt, so existiert genau
ein diskretes Wahrscheinlichkeitsmaß auf $\Omega$, das f zur
Zähldichte hat.
\end{enumerate}
\end{satzdef}

Beweis:
\begin{enumerate}[(i)]
\item $\exists \Omega_0 \subset \Omega $ abzählbar, $P(\Omega_0)=1\\
\Rightarrow P({\Omega_0}^c) = 0\\ \Rightarrow
\forall\omega\in{\Omega_0}^c: f(\omega) = P(\{\omega\}) \leq
P({\Omega_0}^c) = 0\\ \Rightarrow \Omega_T \subset \Omega_0
\Rightarrow \Omega_T $ abzählbar, d.h. (a).\\
(b) ist
Spezialfall von \eqref{satzdef_wahrschfunk_1} mit $A=\Omega$\\
(\ref{satzdef_wahrschfunk_1}) folgt aus der $\sigma$-Additivität von
$P$, denn
\begin{equation*}
\begin{split}
P(A)& = P(A \cap \Omega_T) + P(A \cap {\Omega_T}^c) \\
& = P(A \cap \Omega_T) \\
& = P(\underset {\omega \in A \cap \Omega_T} {\bigcup} \{\omega\}) \\
& = \underset {\omega \in A \cap \Omega_T} {\sum} P(\{\omega\}) =
\underset {\omega \in A \cap \Omega_T} {\sum} f(\omega)
 = \underset {\omega \in A} {\sum} f(\omega)
\end{split}
\end{equation*}
da $f(\omega) = 0 \forall \omega \notin \Omega_T$

\item Def. $P(A)$ gemäß (\ref{satzdef_wahrschfunk_1}) für alle $A \subset \Omega$\\
Dann ist $P$ ein diskretes Wahrscheinlichkeitsmaß, denn
\begin{itemize}
\item $P(\Omega) \overset {(\ref{satzdef_wahrschfunk_1})} {=} \underset {\omega \in \Omega} {\sum} f(\omega) \overset
 {(b)} {=} 1$

\item $A_n \subset \Omega, n \in \mathbb{N}$, disjunkt\\
$\Rightarrow P(\underset {n \in \mathbb{N}} {\bigcup} A_n)
=\underset {\omega \in \bigcup_{n\in\mathbb{N}} A_n }
 {\sum} f(\omega) = \underset {n\in \mathbb{N}} {\sum} \underset{\omega \in A_n} {\sum} f(\omega) \overset{(\ref{satzdef_wahrschfunk_1})}
  {=} \underset{n \in \mathbb{N}} {\sum} P(A_n)$

\item $P(\Omega_T) \overset {\eqref{satzdef_wahrschfunk_1}} {=} \underset{\omega \in \Omega_T} {\sum} f(\omega) =
 \underset{\omega \in \Omega} {\sum} f(\omega) \overset {(b)} {=} 1$\\
und $\Omega_T$ ist abzählbar nach (a)
\end{itemize}

Also ist $P$ ein diskretes Wahrscheinlichkeitsmaß mit $P(\lbrace
{\omega} \rbrace) \overset{\eqref{satzdef_wahrschfunk_1}} {=}
f(\omega)$ d.h. $f$ ist Zähl\-dichte von $P$. Dass $P$ das einzige
diskrete Wahrscheinlichkeitsmaß mit diesen Eigenschaften ist, folgt
aus \eqref{satzdef_wahrschfunk_1}.

\end{enumerate}


\begin{example}\label{bsp:1.11}
\begin{itemize}\end{itemize}
\begin{enumerate}[(i)]
\item \label{bsp:1.11.1}
Sei $p \in [0,1]$\\
$1 = (p + (1-p))^n = \sumft[k=0]{n} {n \choose k}p^k \cdot (1-p)^{n-k} =: f(k)$\\

Dies definiert eine Funktion $f: \{0,...,n\} =: \Omega \rightarrow
[0,1]$,  die \ref{satzdef_wahrschfunk}(a) und
\ref{satzdef_wahrschfunk}(b) erfüllt, also die Zähldichte eines
diskreten Wahrscheinlichkeitsmaßes auf
$\Omega$ ist.\\ Dieses Wahrscheinlichkeitsmaß heißt Binomialverteilung $\mathcal{B}_{(n,p)}$\\
d.h. $\mathcal{B}_{(n,p)}(\{k\}) = {n \choose p}p^k \cdot
(1-p)^{n-k} \quad \forall k \in \{0,...,n\}$

Später: $\mathcal{B}_{(n,p)}$ beschreibt zufällige Anzahl der
Erfolge bei n-maliger unabhängiger Durchführung eines
Zufallsexperiments mit Erfolgswahrscheinlichkeit p.

\item Frage : Wie groß ist die Wahrscheinlichkeit, dass man k mal würfeln muss, \underline{bevor} das erste Mal 6 gewürfelt wird?

Bei fairem Würfel: \\
Wahrscheinlichkeit, $k$-mal \underline{keine} 6 zu würfeln = $\left ( \frac 5 6 \right )^k$\\
Wahrscheinlichkeit, beim $(k+1)$-ten Mal 6 zu würfeln = $\left (
\frac 1 6 \right )$

$\Rightarrow gesuchte Wahrscheinlichkeit = \left ( \frac 5 6 \right )^k \cdot \frac 1 6 \qquad \forall k \in \mathbb{N}_0$\\

Allgemein: Für $p \in (0,1]$ definiert

$f(k) = (1-p)^k \cdot p$, \quad $k\in\mathbb{N}_0$,\\

eine Zähldichte auf $\mathbb{N}_0$, denn $\mathbb{N}_0$ ist
abzählbar und

$\sumft{k \in \mathbb{N}_0} f(k) = p \cdot \sumft{n \in \mathbb{N}_0} (1-p)^k \eqover{geometrische Reihe} p \cdot
\frac {1} {1 - (1-p)} = 1$\\

Das zugehörige Wahrscheinlichkeitsmaß heißt geometrische Verteilung
$\mathcal{G}_p$\\  und beschreibt die Anzahl der Misserfolge bis zum
ersten Erfolg bei unabhängiger Durchführung eines Zufallsexperiments
mit Erfolgswahrscheinlichkeit p.
\end{enumerate}
\end{example}

\chapter{Bedingte Wahrscheinlichkeiten und Unabhängigkeit}
Gesucht: Wahrscheinlichkeit, dass Ereignis $A$ eintritt, wenn bekannt ist, dass Ereignis $B$ eintritt/eintreten wird.\\

Ein Experiment wird $n$ mal durchgeführt\\
$n_A=$ Anzahl der Experimente, bei denen $A$ eintritt\\
$n_B=$ Anzahl der Experimente, bei denen $B$ eintritt\\
$n_{A \cap B}=$ Anzahl der Experimente, bei denen $A$ und $B$ eintreten\\

empirisches Gesetzt der großen Zahlen:

Für ``große'' $n$ gilt \quad
$\frac {n_A} {n} \approx P(A), \quad \frac {n_B} {n} \approx P(B),\quad  \frac {n_{A \cap B}} {n} \approx P(A \cap B)$\\

Zur Bestimmung obiger Wahrscheinlichkeit betrachtet man
\underline{nur} Experimente, bei denen $B$ eingetreten ist.

$\rightsquigarrow \frac {n_{A \cap B}} {n_B} = \frac {n_{A \cap
B}/n} {n_B/n} \approx \frac {P(A \cap B)} {P(B)}$ , falls der Nenner
$> 0$.


\begin{definition}[bedingte Wahrscheinlichkeit von A gegeben B] \label{def:bed_w}
Sei $(\Omega, P)$ ein diskreter Wahrscheinlichkeitsraum, $B \subset
\Omega$ mit $P(B) > 0, A \subset \Omega$. Dann heißt

$P(A \mid B) = \frac{P(A \cap B)} {P(B)}$\\
die \underline{bedingte Wahrscheinlichkeit von A gegeben B}
\end{definition}

\begin{example}
(vergleiche Präsenzübungsblatt 2, A3)\\ Beim Skatspiel hat Spieler 1
keinen Buben erhalten.\\ Wie groß ist \underline{dann} die
Wahrscheinlichkeit, dass Spieler 2 oder Spieler 3 alle 4 Buben
erhalten hat?

\underline{Modell}: $\Omega = \lbrace (
     \underset {Karten\, Sp. 1} {\underbrace {\omega_1,...,\omega_{10}}},
     \underset {Karten\,\, Sp. 2} {\underbrace {\omega_{11},...,\omega_{20}}},
     \underset {Karten Sp. 3} {\underbrace {\omega_{21},...,\omega_{30}}},
     \underset {Stock} {\underbrace {\omega_{31},\omega_{32}}},
     ) \in K^{32} \mid \omega_i \neq \omega_j \; \forall i \neq j \rbrace$\\
     mit $K = \lbrace KreuzAs,PikAs,...,Karo7 \rbrace$ Menge aller Karten\\
     $P$ Laplace-Verteilung

     $C = \lbrace \omega \in \Omega \mid \lbrace \omega_1,...,\omega_{10} \rbrace \cap \lbrace KreuzBube,PikBube,HerzBube,KaroBube \rbrace
     = \emptyset \rbrace$\\
     \hspace*{2cm} Ergebnis, dass Spieler 1 keinen Buben erhält.

     $B_2 = \lbrace \omega \in \Omega \mid \lbrace KreuzBube,PikBube,HerzBube,KaroBube \rbrace \subset \lbrace \omega_{11},...,\omega_{20}
      \rbrace \rbrace$\\
     \hspace*{2cm} Ereignis, dass Spieler 2 alle Buben erhält.

     analog: $B_3$ \quad     Ereignis, dass Spieler 3 alle Buben erhält.\\

     $\Rightarrow B_2 \cap B_3 = \emptyset,\quad B_2 \cup B_3 \subset C$\\

     $\lvert C \rvert = \underset {^1} {\underbrace {\frac {28!} {18!} }} \cdot \underset{^2} {\underbrace {22!}}$\\
     $^1$: Anzahl der Möglichkeiten, 10 Karten für Spieler 1 aus 28 ``Nicht-Buben'' zu ziehen
     (siehe 1.6(b)) \\
     $^2$: Anzahl  der Möglichkeiten, die restlichen 22 Karten zu verteilen.\\

     $\lvert B_2 \rvert $ \& $\lvert B_3 \rvert $ in Präsenzaufgabe.\\

     Gesuchte Wahrscheinlichkeit:
     \begin{equation*}
     \begin{split}
         P(B_2 \cup B_3 \mid C)& \eqover {\ref{def:bed_w}} \frac {P((B_2 \cup B_3) \cap C)} {P(C)}\\
         & = \frac {P(B_2) + P(B_3)} {P(C)}\\
         & = \frac {\frac {\lvert B_2 \rvert} {\lvert \Omega \rvert} + \frac {\lvert B_3 \rvert} { \lvert \Omega \rvert}}
          {\frac { \lvert C \rvert} {\lvert \Omega \rvert}} = \frac {\lvert B_2 \rvert+ \lvert B_3 \rvert} {\lvert C \rvert}
          = \frac {2 \cdot \lvert B_2 \rvert} {\lvert C \rvert} = \overset {\text{Präsenzaufg.}} {...} = \frac {12} {209} \approx 0,057
     \end{split}
     \end{equation*}
\end{example}

\begin{satz}[totale Wahrscheinlichkeit \& Bayes]
Sei $(\Omega,P)$ ein diskreter Wahrscheinlichkeitsraum, $B_i \subset
\Omega (i \in I)$ disjunkt, $\underset {i \in I} \bigcup B_i =
\Omega$, I (höchstens) abzählbar und $P(B_i) > 0, A \subset \Omega$

\begin{enumerate}[(i)]
\item \label{satz:total_w}
\underline{Satz von der totalen Wahrscheinlichkeit}

$P(A) = \sumft {i \in I} P(A \mid B_i) \cdot P(B_i)$

\item \underline{Satz von Bayes}\\

Falls $P(A) > 0, k \in I$, dann

$P(B_k \mid A) = \dfrac {P(A \mid B_k) \cdot P(B_k)} {\sumft {i \in I} P(A \mid B_i) \cdot P(B_i)}$
\end{enumerate}

\end{satz}

Beweis:
\begin{enumerate}[(i)]
\item $\sumft {i \in I} P(A \mid B_i) \cdot P(B_i) = \sumft {i \in I} \dfrac {P(A \cap B)} {P(B_i)} \cdot P(B_i)
= P(\underset {i \in I} {\bigcup} (A \cap B_i)) = P(A),$\\
da $A \cap B_i$ disjunkt.

\item $P(B_k \mid A) = \dfrac {P(A \cap B_k)} {P(A)} = \dfrac {P(A \mid B_k) \cdot P(B_k)} {P(A)} \Rightarrow $
Beh. mit (\ref{satz:total_w})
\end{enumerate}

\begin{example}
Trisomie 21: genetischer Defekt, verursacht Down-Syndrom\\
Der Defekt kann schon bei Föten durch eine Fruchtwasseruntersuchung
erkannt werden.

In 99\% der Fälle, in denen Trisomie 21 vorliegt, ist der Test
positiv;

in 98\% der Fälle, in denen Trisomie 21 nicht vorliegt, fällt der
Test negativ aus.\\
\\
Betrachte die Ereignisse:

D: Trisomie 21 liegt vor

T: Test positiv

Dann gilt

\begin{tabular}{ll}
$P(T \mid D) = 0,99$ & Sensitivität des Tests\\ $P(T^c \mid D^c) =
0,98$ & Spezifität des Tests\\

$\Rightarrow P(T \mid D^c) = 0,02$\\

\end{tabular}
$\phantom{x}$\\
\\
Was bedeutet es, wenn der Test positiv ist?\\

$P(D \mid T) \eqover {Bayes} \dfrac {P(T \mid D) \cdot P(D)} {P(T
\mid D) \cdot P(D) + P(T \mid D^c) \cdot P(D^c)} =
\dfrac {1} {1 + \frac {P(T \mid D^c) \cdot P(D^c)} {P(T \mid D) \cdot P(D)}  }$\\

$P(D) $ entspricht der relativen Häufigkeit, mit der Trisomie 21 in
der betrachteten Bevölkerungsgruppe auftritt.\\

\begin{tabular}{lll}
25 jährige Schwangere: & $P(D) \approx \frac {1} {1250}$ &
$\Rightarrow P(D \mid T) \approx 0,035$\\ 43 jährige Schwangere: &
$P(D) \approx \frac
{1} {50}$ & $\Rightarrow P(D \mid T) \approx 0,503$\\
\end{tabular}\\
\\
Während das Baby einer 45jährigen Schwangeren also etwa mit
Wahrscheinlichkeit $1/2$ tatsächlich Trisomie 21 aufweist, wenn der
Test positiv ausfällt, ist dies bei 25jährigen Schwangeren dennoch
nur mit einer Wahrscheinlichkeit von unter $4\%$ der Fall.

Generell ist die Aussagekraft von derartigen medizinischen Tests
selbst bei hoher Sensitivität und Spezifität sehr beschränkt, wenn
die Erkrankungswahrscheinlichkeit sehr gering ist. Daher ist in
einem solchen Fall ein allgemeines Screening sinnlos.
\end{example}

%%%%%%%%%%%%%%%%%%%%%%%% 24.09.2009

Wird $A$ nicht von $B$ beeinflusst, so sollte $P(A \mid B) = P(A)$
gelten.

\begin{definition}[(P-)stochastisch unabhängig] \label{def:sto_unab}
Sei $(\Omega, P)$ ein diskreter Wahrscheinlichkeitsraum. Ereignisse
$A,B \subset \Omega$ heißen \underline{(P-)stochastisch unabhängig},
falls

$P( A \cap B) = P(A) \cdot P(B)$
\end{definition}

\begin{definition}[(P-)stochastisch unabhängig allgemein] \label{def:sto_unab_allg}
Ereignisse $A_1,...,A_n \subset \Omega$ in einem diskreten
Wahrscheinlichkeitsraum $(\Omega,P)$ heißen
\underline{(P-)stochastisch unabhängig}, wenn für jede Indexmenge $I
\subset \lbrace 1,...,n \rbrace, I \neq \emptyset$, gilt

$P(\underset {i \in I} {\bigcap} A_i) = \underset {i \in I} {\prod} P(A_i)$
\end{definition}

\pagebreak
\begin{bemerkung}
$\phantom x$ \\
\begin{enumerate}
\item Definition \ref{def:sto_unab_allg} stellt sicher, dass jede beliebige Auswahl $A_i, i \in I \subset \lbrace 1,...,n \rbrace$
aus unabhängigen Ereignissen $A_1,...,A_n$ auch wieder unabhängig sind.

\item Mehr als 2 Ereignisse $A_1,...,A_n$ sind im allgemeinen \underline{nicht} stochastisch unabhängig, wenn nur $P(\underoverset{i=1}{n}
{\bigcup} A_i) = \underoverset{i=1}{n}{\prod} P(A_i)$\\

Ist z.B. $A_1 = \emptyset$, so gilt $P(\underoverset{i=1}{n}{\bigcap} {A_i}) = P(\emptyset) = 0 = \underoverset{i=1}{n}{\prod} P(A_i)$\\

Ist $A_2 = A_3 = A$ mit $P(A) \in (0,1)$, so gilt

$P(A_2 \cap A_3) = P(A) \neq P(A_2) \cdot P(A_3) = (P(A))^2$

$\Rightarrow A,A_2,A_3$ sind \underline{nicht} stochastisch
unabhängig

\item
Ebenso sind mehr als 2 Ereignisse i.d.R. \underline{nicht}
stochastisch unabhängig, wenn jeweils 2 der Ereignisse stochastisch
unabhängig sind.\\

Bsp.: 2 maliges Werfen eines fairen Würfels\\
$\Omega = \embrace{1,...,6} $, P Laplace-Verteilung\\
$A_1 = \embrace{1,3,5}\times\embrace{1,...,6}$ \quad (Erste Augenzahl ist ungerade)\\
$A_2 = \embrace{1,...,6}\times\embrace{1,3,5}$ \quad (Zweite Augenzahl ist ungerade)\\
$A_3 = \embrace{(\omega_1,\omega_2) \in \Omega \mid \omega_1 + \omega_2 \text{ ungerade}}$ (Summe ist ungerade)\\
$\phantom{A_3} = (\embrace{1,3,5}\times\embrace{2,4,6}) \cup (\embrace{2,4,6}\times\embrace{1,3,5})$\\

$A_1,A_2$ sind stochastisch unabhängig\\ $A_1,A_3$ sind stochastisch
unabhängig\\ $A_2,A_3$ sind stochastisch unabhängig\\

z.B. $P(A_2 \cap A_3) = P(\embrace{2,4,6}\times\embrace{1,3,5}) =
\dfrac {\lvert \embrace{2,4,6}\times\embrace{1,3,5} \rvert} {\lvert
\Omega \rvert} = \frac {9} {36} = \frac 1 4$\\ $\phantom{z.B. P(A_2
\cap B_3} = \frac 1 2 \cdot \frac 1 2 = P(A_2) \cdot P(A_3)$,\\ d.h.
$A_2,A_3$ sind stochastisch unabhängig.\\

Aber $A_1,A_2,A_3$ sind \underline{nicht} stochastisch unabhängig,
denn \\ $A_1 \cap A_2 \cap A_3 = \emptyset \Rightarrow P(A_1 \cap
A_2 \cap A_3) = 0 \neq P(A_1) \cdot P(A_2) \cdot P(A_3) = \frac 1 8$
\end{enumerate}
\end{bemerkung}

\chapter{Zufallsvariablen und ihre Verteilungen}

Oft ist nicht das genaue Ergebnis eines Zufallsexperiments von
Interesse, sondern nur eine summarische Größe, die einen gewissen
Aspekt des Ergebnisses widerspiegelt

$\rightsquigarrow$ Abbildung $X: \Omega \rightarrow S,   S\ne
\emptyset$ beliebige Menge.

----------- Zeichnung ---------------\\

Urbild von $B$ unter $X: X^{-1}(B) = \embrace{\omega \in \Omega \mid
X(\omega) \in B} =: \embrace{X \in B}$\\
 Erinnerung:

$X^{-1}(A \cup B) = X^{-1}(A) \cup X^{-1}(B)$

$X^{-1}(A \cap B) = X^{-1}(A) \cap X^{-1}(B)$

$X^{-1}(A \setminus B) = X^{-1}(A) \setminus X^{-1}(B)$

\begin{satzdef}[Zufallsvariable]
Ist $(\Omega,P)$ ein diskreter Wahrscheinlichkeitsraum und $S \neq
\emptyset$ eine beliebige Menge, so wird eine Abbildung $X:
\Omega \rightarrow S$ auch $S$-wertige \underline{Zufallsvariable} genannt.\\

Durch $P^X(B) := P(X^{-1}(B)) \; \forall B \subset S$ wird ein
Wahrscheinlichkeitsmaß $P^X$ auf $S$ definiert, die sogenannte
Verteilung von $X$.

 $(S,P^X)$ ist ein diskreter Wahrscheinlichkeitsraum
\end{satzdef}

Beweis: Offensichtlich $P^X(B) = P(X^{-1}(B)) \in [0,1]$

$P^X(S) = P(X^{-1}(S)) = P(\Omega) = 1$

$B_i \subset S $ disjunkt $(i \in \mathbb{N})$

$\Rightarrow\; P^X(\underset{i\in \mathbb{N}} {\bigcup} B_i) =
P(X^{-1}(\underset{i \in \mathbb{N}} {\bigcup} B_i)) = P(\underset{i
\in \mathbb{N}} {\bigcup} \underset{disjunkt} { \underbrace{
X^{-1}(B_i)}}) = \sumft {i \in \mathbb{N}} P(X^{-1}(B_i)) =
\sumft{i \in \mathbb{N}} P^X(B_i)$,\\
d.h. $P^X$ ist $\sigma$-additiv\\

$(\Omega,P)$ diskreter Wahrscheinlichkeitsraum $\Rightarrow \exists
\Omega_0 \subset \Omega$ abzählbar mit $P(\Omega_0) = 1$

$S_0 := X(\Omega_0) = \embrace{X(\omega) \mid \omega \in \Omega_0}
\subset S $ abzählbar.

$P^X(S_0) = P(X^{-1}(X(\Omega_0)) \geq P(\Omega_0) = 1$

d.h. $P^X(S_0) = 1$


\begin{example}
2 maliges Werfen eines fairen Würfels\\

Es interessiere nur die Augensumme\\
\\
Modell: $\Omega = \embrace{1,...,6}^2$, P Laplace-Verteilung

$X: \Omega \rightarrow \embrace{2,...,12} =: S$

$X(\omega_1,\omega_2) :=  \omega_1 + \omega_2$\\
\\
Verteilung von $P^X$ von X hat Zähldichte $f_X$ gegeben durch

\begin{equation*}
\begin{split}
k\in S: f_X(k)& = P^X(\embrace{k}) = P\embrace{X = k}\\
& = P\embrace{(\omega_1,\omega_2) \in \Omega \mid X(\omega_1,\omega_2) = \omega_1 + \omega_2 = k} \\
& = P\embrace{(\omega_1,k - \omega_1) \mid 1 \leq \omega_1 \leq 6, 1 \leq k - \omega_1 \leq 6} \\
& = P\embrace{(\omega_1,k - \omega_1) \mid \max(1,k-6) \leq \omega_1 \leq \min(6,k-1)} \\
& = \left \lbrace
\begin{matrix}
\frac {k-1} {36} & \text{falls } 2 \leq k \leq 7 \\
\frac {13-k} {36} & \text{falls } 7 < k \leq 12
\end{matrix}
\right. \\
& = \dfrac {6- \lvert k - 7 \rvert} {36} \quad \forall k \in S
\end{split}
\end{equation*}
\end{example}

Zufallsvariablen sollen als unabhängig angesehen werden, wenn alle
durch sie ausdrückbaren Ereignisse stochastisch unabhängig sind.

\begin{definition}[(P-)stochastische Unabhängigkeit bei Zufallsvariablen] \label{def:sto_abh_zv}
Sei $(\Omega,P)$ ein diskreter Wahrscheinlichkeitsraum.\\
Dann heißen Zufallsvariablen $X_i:\Omega \rightarrow S_i, 1 \leq i
\leq n$ \underline{(P-)stochastisch unabhängig}, wenn für beliebige
$B_i \subset S_i, 1 \leq i \leq n$, die Ereignisse $\embrace{X_1 \in
B_1},...,\embrace{X_n \in B_n}$ stochastisch unabhängig sind.
\end{definition}

Man beachte: $(X_1,...,X_n): \Omega \rightarrow S_1 \times
\cdots\times S_n$ ist eine Zufallsvariable.

\begin{satz}
In der Situation von Definition \ref{def:sto_abh_zv} sind
äquivalent:
\begin{enumerate}[(i)]
\item \label{satz:sto_abh_1}
$X_1,...,X_n$ sind stochastisch unabhängig

\item \label{satz:sto_abh_2}
 $\forall B_i \subset S_i (1 \leq i \leq n): P\embrace{X_i \in B_i \; \forall 1 \leq i \leq n} = \underoverset{i=1}{n}{\prod}
 P\embrace{X_i \in B_i}$

\item \label{satz:sto_abh_3}
Die Zähldichte $f_{(X_1,...,X_n)}$ von $P^{(X_1,...,X_n)}$ hat die
Form

 $f_{(X_1,...,X_n)}(t_1,...,t_n) = \underoverset{i=1}{n}{\prod} h_i(t_i) \quad \forall t_i \in S_i (1 \leq i \leq n)$\\
 \\
 für geeignete Funktionen $h_i:S_i \rightarrow [0,\infty)$

 In dem Fall hat $P^{X_i}$ die Zähldichte
 \begin{equation}\label{eqn:3_1}
 f_{X_i}(t_i) = c_i \cdot h_i(t_i) \; \forall t_i \in S_i \; \text{mit} \; c_i = \dfrac {1} {\sumft{t \in S_i} h_i(t)}
 \end{equation}
\end{enumerate}
\end{satz}


Beweis: \\ 
(\ref{satz:sto_abh_1}) $\Rightarrow$
(\ref{satz:sto_abh_2}) ist klar, da $\embrace{X_i \in  B_i}, 1 \leq
i \leq n$, stochastisch unabhängig.

$\Rightarrow P(\underoverset{i=1}{n}{\bigcap} \embrace{X_i \in B_i}) = P\embrace{X_i \in B_i \; \forall 1 \leq i \leq n} =
\underoverset{i=1}{n}{\prod} P\embrace{X_i \in B_i}$\\
\\
(\ref{satz:sto_abh_2}) $\Rightarrow$ (\ref{satz:sto_abh_3}) Speziell
für  $B_i = \embrace{t_i}$
\begin{equation*}
\begin{split}
P\embrace{X_i = t_i \, \forall 1 \leq i \leq n}& =  P\embrace{X_i \in B_i \, \forall 1 \leq i \leq n}\\
& \eqover{(\ref{satz:sto_abh_2})} \underoverset{i = 1}{n}{\prod} P\embrace{X_i \in B_i}\\
& = \underoverset{i=1}{n}{\prod} P\embrace{X_i = t_i}
\end{split}
\end{equation*}
d.h. $f_{(X_1,...,X_n)} (t_1,...,t_n) = P\embrace{(X_i,...,X_n) = (t_1,...,t_n)} = \underoverset{i=1}{n}{\prod} P\embrace{X_i = t_i} =
 \underoverset{i=1}{n}{\prod} f_{X_i}(t_i)$\\
d.h. (\ref{satz:sto_abh_3})\\
\\
(\ref{satz:sto_abh_3}) $\Rightarrow$ (\ref{eqn:3_1})
\begin{equation*}
\begin{split}
f_{X_i}(t_i)& = P\embrace{X_i = t_i} \\
& = P\embrace{X_i = t_i, X_j \in S_j \forall j \neq i}\\
& = \underset{j \neq i} {\sumft{t_j \in S_j}} f_{(X_1,...,X_n)}(t_1,...,t_n)\\
& \eqover{(\ref{satz:sto_abh_3})} \underset{j \neq i} {\sumft{t_j \in S_j}} \underoverset{k=1}{n}{\prod} h_k (t_k)\\
& = \sumft{t_1 \in S_1} \sumft{t_2 \in S_2}...\sumft{t_{i-1} \in S_{i-1}} \sumft{t_{i+1} \in S_{i+1}}...\sumft{t_n \in S_n}
\underoverset{k=1}{n}{\prod} h_k(t_k) \\
& = h_i(t_i) \cdot \underset{i \neq j} {\underoverset{j=1}{n}{\prod}} \left (\sumft{t_j \in S_j} h_j(t_j) \right ) =:
 c_i \qquad \text{(Distributivgesetz)}
\end{split}
\end{equation*}

Die Darstellung für $c_i$ folgt aus der Bedingung $\sumft{t \in S_i}
f_{X_i}(t) = 1$ an Zähldichten\\
\\
(\ref{satz:sto_abh_3})$\Rightarrow$(\ref{satz:sto_abh_2}) O.E. $h_i = f_{X_i}$

$\forall B_i \in S_i$
\begin{equation*}
\begin{split}
P\embrace{X_i \in B_i \; \forall 1 \leq i \leq n}& = P\embrace{(X_1,...,X_n) \in B_1\times ...\times B_n}\\
& = \sumft{(t_1,...,t_n) \in B_1\times...\times B_n} f_{(X_1,...,X_n)}(t_1,...,t_n)\\
& = \underoverset{i=1}{n}{\prod} \sumft{t_i \in B_i} f_{X_i} (t_i) \qquad \text{(Distributivgesetz)}\\
& = \underoverset{i=1}{n}{\prod} P\embrace{X_i \in B_i}
\end{split}
\end{equation*}\\
\\
(\ref{satz:sto_abh_2})$\Rightarrow$(\ref{satz:sto_abh_1}) \; z.Z.
$\forall J \subset \embrace{1,...,n}, J \neq \emptyset:\quad
\embrace{X_j \in B_j \; \forall j \in J} = \underset{j \in J}
{\prod}P\embrace{X_j \in B_j}$

Dies folgt sofort aus (\ref{satz:sto_abh_2}) mit $B_i := S_i \;
\forall i  \not\in J$, denn dann $P\embrace{X_i \in B_i} = P(\Omega)
= 1$ und

$\embrace{X_j \in B_j \; \forall j \in J} = \embrace{X_i \in B_i \; \forall 1 \leq i \leq n}$

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%% 27.04.09

\begin{example} \label{example:3.5}
Zufallsexperiment mit Erfolgswahrscheinlichkeit $p \in [0,1]$ werde
$n$-mal unabhängig durchgeführt.\\

\underline{Modell:} $\Omega = \embrace{0,1}^n$,\\
 wobei 0 einem Misserfolg und 1 einem Erfolg entspricht.\\

Def. Wahrscheinlichkeitsmaß auf $\Omega$ mit Zähldichte

$f(\omega) = P\embrace{(\omega_1,...\omega_n)} = p^{\sum[i=1]{n} \omega_i} \cdot (1-p)^{\sum_{i=1}^{n} (1-\omega_i)}$\\
(denn bei jeder Durchführung Erfolgswahrscheinlichkeit $p$

$\rightsquigarrow$ Faktor $p$, wenn $\omega_i = 1$, d.h. $i$-tes
Experiment erfolgreich

$\phantom{\rightsquigarrow}$ Faktor $(1-p)$, wenn $\omega_i = 0$, d.h. $i$-tes Experiment Misserfolg )\\
\\
Zufallsvariable $X_i: \Omega \rightarrow \embrace {0,1}, X_i(\omega)
= \omega_i$, d.h.

$X_i = \left \lbrace
\begin{matrix}
0, & \text{ falls $i$-tes Experiment Misserfolg} \\
1, & \text{falls $i$-tes Experiment Erfolg}
\end{matrix}
\right. \\$\\
\\
Beh.: $X_1,...,X_n$ sind stochastisch unabhängig.\\
Denn: Zähldichte
von $P^{(X_1,...,X_n)}$

\begin{equation*}
\begin{split}
f_{(X_1,...,X_n)}(t_1,...,t_n)& = P\embrace{(X_1,...,X_n) = (t_1,...,t_n)}\\
& = P\embrace{\omega \in \Omega \mid X_i (\omega) = \omega_i = t_i \; \forall 1 \leq i \leq n}\\
& = P\embrace{(t_1,...,t_n)} = p^{\sum[i=1]{n} t_i} \cdot (1-p)^{\sum_{i=1}^{n}(1-t_i)}\\
& = \underoverset{i=1}{n}{\prod} \left ( p^{t_i} \cdot
(1-p)^{(1-t_i)} \right )
\end{split}
\end{equation*} \nopagebreak
hat Produktgestalt.\\
\\
Betrachte die Zufallsvariable $Y := \sum[i=1]{n} X_i$, also die
Anzahl der Erfolge in $n$ Experimenten.\\ $P^Y$ hat Zähldichte
\begin{equation*}
\begin{split}
f_Y(k)& = P\embrace{Y = k} = P\embrace{(\omega_1,...,\omega_n) \in \Omega \mid Y(\omega_1,...\omega_n) = \sumft[i=1]{n}X_i(\omega)
= \sumft[i=1]{n}\omega_i = k}\\
& = \underset{\sumft[i=1]{n}\omega_i = k}{\sumft{(\omega_1,...,\omega_n) \in \Omega}} p^k \cdot (1-p)^{n-k} \\
& = {n \choose k} \cdot p^k \cdot (1-p)^{n-k}
\end{split}
\end{equation*}
denn es gibt genau ${n \choose k}$ Möglichkeiten, die $k$ Stellen im
Vektor $(\omega_1,...,\omega_n)$ auszuwählen, an denen eine 1
steht.\\ Daher: $P^Y = \mathcal{B}_{(n,p)} \quad $:
Binomialverteilung ($\rightarrow$ Bsp
\ref{bsp:1.11}.(\ref{bsp:1.11.1}))\\ Speziell
$n=1$: $\mathcal{B}_{(1,p)}: \quad $ \underline{Bernoulli-Verteilung}\\
Also sind $X_1,...,X_n$ stochastisch unabhängig mit $P^{X_i} =
\mathcal{B}_{(1,p)}$

\end{example}

\begin{example} \underline{Capture-Recapture-Verfahren}\\
Ziel: Schätze Anzahl $N$ der Fische in einem See\\ Dazu:
\begin{enumerate}[1.]
\item Fange $M$ Fische, markiere sie und lasse sie wieder frei.
\item Fange wieder $n$ Fische, darunter seien $m$ markierte.\\
\end{enumerate}
Annahme: Fangwahrscheinlichkeit unter 2. sei für markierte und unmarkierte Fische gleich\\
\\
\underline{Modell:} n-mal Ziehen \underline{ohne} Zurücklegen aus N
Fischen und \underline{ohne} Berücksichtigung der Reihenfolge.

$\Omega = \embrace{(\omega_1,...,\omega_n) \in \embrace{1,...,N}^n \mid \omega_1 < \omega_2 < ... < \omega_n}$

markierte Fische entsprechen den Nummern $1,...,M$

$P$ Laplace-Verteilung

$X(\omega) = \sum[i=1]{n} 1_{\embrace{1,...,M}}(\omega_i) \;$: Anzahl der markierten Fische\\
Erinnerung: $1_{\embrace{1,...,M}}(\omega_1) = \left \lbrace
\begin{matrix}
1 & \text{falls } \omega_i \in \embrace{1,...,M}\\
0 & \text{falls } \omega_i \notin \embrace{1,...,M}
\end{matrix} \right .$\\
\\
mögliche Werte von $X(\omega): 0 \leq X(\omega) \leq \min(M,n),
n-X(\omega) \leq N - M$

$\Rightarrow $ Wertebereich von $X: S := \embrace{\max(0,n+M-N),...,\min(n,M)}$\\
\\
Berechne: $P\embrace{X = m} = \dfrac {\lvert \embrace{\omega \in \Omega \mid X(\omega) = m} \rvert}{\lvert \Omega \rvert}$\\
\\
Es gibt genau ${M \choose m}$ Möglichkeiten, $m$ markierte Fische
aus $M$ markierten Fischen zu ziehen.\\ Es gibt genau ${N-M \choose
n-m }$ Möglichkeiten, $n-m$ nicht markierte Fische aus allen $N-M$
nicht
markierten Fischen zu ziehen.\\

$\Rightarrow P\embrace{X=m} = \dfrac { {M \choose m} \cdot {N-M \choose n-m} } { {N \choose n} } =: \mathcal{H}_{(N,M,n)}(\embrace{m})
 \; \forall m \in S$\\
 Die rechte Seite gibt die Zähldichte eines Wahrscheinlichkeitsmaßes
 auf $S$ an, der so genannten \underline{hypergeometrische
 Verteilung} $\mathcal{H}_{(N,M,n)}$.\\
Es gilt also $P^X = \mathcal{H}_{(N,M,n)} \quad$

Die hypergeometrische Verteilung beschreibt also die Anzahl der
``Erfolge'' beim Ziehen \underline{ohne} Zurücklegen, während die
Binomialverteilung die Anzahl beim Ziehen \underline{mit}
Zurücklegen beschreibt.


Falls $n\ll N$, dann ist Ziehen mit oder ohne Zurücklegen fast
identisch und daher

 $\mathcal{H}_{(N,M,m)}\embrace{m} \approx \mathcal{B}_{(n, \frac M N)}\embrace{m} \; \forall 0 \leq m \leq n$\\
\\
Wir werden sehen: erwartete Anzahl markierter Fische $= n \cdot \frac{M} {N}$,\\
wobei $N$ unbekannt ist.\\
Einen Schätzer für $N$ kann man so motivieren, dass die tatsächlich
beobachtete Zahl $X(\omega)$ markierter Fische in etwa gleich der
erwarteten Anzahl gesetzt wird:\\ $X(\omega) \approx n \cdot \dfrac
M N \rightsquigarrow \hat N := \left [ n \cdot \dfrac M {X(\omega)}
\right ]$

\end{example}

Im Fall, dass die Anzahl der Experimente $n$ groß und die
Erfolgswahrscheinlichkeit $p$ klein ist, kann $\mathcal{B}_{(n,p)}$
approximiert werden durch eine einfachere Verteilung.

\begin{satzdef}[Poisson'scher Grenzwertsatz, ``Gesetz der kleinen Zahlen'']
    Ist $p_n \in (0,1), n \in \mathbb{N}$, so dass $\underset{n \rightarrow \infty}{\lim} n \cdot p_n = \lambda > 0$,
    so gilt für $k \in \mathbb{N}_0$

    $\underset{n \rightarrow \infty} {\lim} \mathcal{B}_{(n,p_n)}(\embrace{k}) = e^{-\lambda} \cdot \frac {\lambda ^k} {k!} =:
     f_\lambda(k)$\\
    $f_\lambda: \mathbb{N}_0 \rightarrow [0,1]$ ist eine Zähldichte.\\
    Das zugehörige Wahrscheinlichkeitsmaß $\mathcal{P}_\lambda$ heißt \underline{Poisson-Verteilung} mit Parameter $\lambda$.
\end{satzdef}

Beweis: $(1- \frac {x_n} {n})^n \rightarrow e^{-x}$ falls $x_n \rightarrow x$\\
\\
$\mathcal{B}_{(n,p_n)}\embrace{k} = {n \choose k} \cdot p_n^k \cdot (1 - p_n)^{n-k} = \frac {n \cdot (n-1) \cdot ... \cdot (n - k + 1)}
 {n \cdot n \cdot ... \cdot n} \cdot (n \cdot p_n)^k \cdot (1 - \frac {n \cdot p_n} {n})^n \cdot (1 - p_n)^{-k} \cdot \frac 1 {k!}$
\\$\underset {n \rightarrow \infty}\longrightarrow \dfrac {\lambda^k \cdot e^{-\lambda}}
{k!}$,\\
da $(n-i)/n\to 1 \; \forall\, 0\le i\le k-1$, $(1-np_n/n)^n\to
e^{-\lambda}$ und wegen $n p_n\to\lambda\Rightarrow p_n\to 0$
schließlich $(1-p_n)^{-k}\to 1$.

\pagebreak

\section*{Summen unabhängiger Zufallsvariablen}

\begin{definition}[Faltung] \label{def:faltung}
    Sind X,Y stochastisch unabhängige $\mathbb{R}$-wertige Zufallsvariablen auf einem diskreten Wahrscheinlichkeitsraum $(\Omega,P)$,
    so heißt die Verteilung $P^{X+Y}$ der Summe X+Y die \underline{Faltung} von $P^X$ und $P^Y$, in Zeichen $P^X * P^Y$\\
    \\Ebenso wird die Zähldichte $f_{X+Y}$ von $P^{X+Y}$ die \underline{Faltung} der Zähldichten $f_X$ von $P^X$ und $f_Y$ von $P^Y$ genannt,
    i. Z. $f_X * f_Y$
\end{definition}

\begin{satz}
    Sind in der Situation von Def. \ref{def:faltung} X und Y $\mathbb{Z}$-wertig, so gilt

    $f_X * f_Y (n) = \sumft{k \in \mathbb{Z}} f_X(k) \cdot f_Y(n-k) \; \forall n \in \mathbb{Z}$
\end{satz}

Beweis:
\begin{equation*}
\begin{split}
    f_X * f_Y (n)& = P\embrace{X + Y = n} \\
&   = \sumft {k \in \mathbb{Z}} P\embrace{X=k, Y= n-k}\\
&   = \sumft {k \in \mathbb{Z}} P\embrace{X=k} \cdot P\embrace{Y=n-k} \\
&   = \sumft {k \in \mathbb{Z}} f_X(k) \cdot f_Y(n-k)
\end{split}
\end{equation*}


\begin{example}
    Seien $\lambda_1,\lambda_2 > 0$. Dann hat $\mathcal{P}_{\lambda_1}*\mathcal{P}_{\lambda_2}$ die Zähldichte
    \begin{equation*}
    \begin{split}
        f_{\lambda_1}*f_{\lambda_2}(n)& = \sumft[k=0]{\infty} f_{\lambda_1}(k) \cdot f_{\lambda_2}(n-k) \\
        & = \sumft[k=0]{n} e ^ {-\lambda_1} \cdot \frac {\lambda_1^k} {k!} \cdot e ^ {-\lambda_2} \cdot \frac {\lambda_2^{(n-k)}} {(n-k)!} \\
        & = e^{-(\lambda_1 + \lambda_2)} \cdot \frac 1 {n!} \sumft[k=0]{n} \frac {n!} {k! (n-k)!} \cdot \lambda_1^k \cdot \lambda_2^{n-k} \\
        & =  e^{-(\lambda_1 + \lambda_2)} \cdot \frac 1 {n!} \cdot (\lambda_1 + \lambda_2)^n = f_{\lambda_1 + \lambda_2}(n) \; \forall n
        \in \mathbb{N}_0
    \end{split}
    \end{equation*}
    
    Also $\mathcal{P}_{\lambda_1} * \mathcal{P}_{\lambda_2} = \mathcal{P}_{\lambda_1 + \lambda_2}$
\end{example}

\begin{example}[Quicksort] \label{bsp:3.11}

    Die Zahlen $x_1,...,x_n$, die alle als verschieden angenommen werden, sollen sortiert
    werden.

    Der Algorithmus Quicksort erledigt diese Aufgabe wie folgt:
    \begin{enumerate}[1.]
        \item Wähle zufällig gleichverteilt ein $x_j$ aus
        \item Ordne Zahlen $x_i < x_j$ links von $x_j \rightsquigarrow X_l$ Vektor von Zahlen $< x_j$
        \item Ordne Zahlen $x_i > x_j$ rechts von $x_j \rightsquigarrow X_r$ Vektor von Zahlen $> x_j$
        \item Verfahre mit $X_l$ und $X_r$ getrennt ebenso usw.
    \end{enumerate}

    Beispiel. 3 \; 7 \; 2 \; 6 \; 13 \; 1 \\
    \begin{tabular}{lll}
        1. Wahl 7: & $\underset {X_l} {\underbrace {3 \; 2 \; 6 \; 1 \;}} | 7 | \underset {X_r} {\underbrace { 13 }}$ & $\rightsquigarrow$
         5 Vergleiche\\
        2. Wahl 3: & $2 \; 1 | 3 | 6 | 7 | 13$ & $\rightsquigarrow$ 3 Vergleiche\\
         & $1 \; 2 | 3 | 6 | 7 | 13$ & $\rightsquigarrow$ 1 Vergleich\\
         &  & \rule{0.2\textwidth}{0.4pt}\\
         &  & 9 Vergleiche
    \end{tabular}
    \\

    \noindent
    worst case: gewählte Zahl jeweils kleinste oder größte\\
    \indent Anzahl Vergleiche: $(n-1) + (n-2) + ... + 1 = \frac {n \cdot (n-1)}{2}$
    \\

    \noindent
    best case: Speziell $n = 2^k-1$\\
    \indent ausgewählte Zahl jeweils mittlere\\
    \\
    \begin{tabular}{lll}
    1. Schritt & $2^k -2 $ Vergleiche & $\rightsquigarrow$ 2 Blöcke mit Länge $2^{k-1}-1$\\
    2. Schritt & $2 \cdot (2^{k-1} -2) $ Vergleiche & $\rightsquigarrow$ 4 Blöcke mit Länge $2^{k-2}-1$ usw.\\
    \end{tabular}

    $\rightsquigarrow$ Gesamtzahl der Vergleiche:\\
    \indent \qquad $(2^k-2)+2\cdot(2^{k-1} - 2) + ... + 2^{k-2} \cdot (2^2 - 2) = (k-2) \cdot 2^k + 2 \approx n \cdot \log_2 n$\\
    \\
    Später: mittlere Zahl der benötigten Vergleiche $\approx \underset{\approx 2,89} {\underbrace{\frac {2} {\log 2}}} \cdot
     \text{Anzahl der Vergleiche beim best case}$\\
    \\
    Hier: Bestimme die Zähldichte der zufälligen Anzahl von Vergleichen, die zum Sortieren benötigt werden.\\
    \\
    Wird die Zahl jeweils zufällig gleichverteilt gewählt, so hängt die Verteilung der Anzahl von Vergleichen nur von der Anzahl
    $n$ der Daten ab, nicht von deren Reihenfolge.\\

    $Z(X) =$ Zahl der Vergleiche, um Vektor $X$ zu sortieren\\ \indent
    $Z(x_1,...,x_n) = n-1 + Z(X_l) + Z(X_r)$\\
    \\
    Angenommen $k$-te kleinste Zahl ausgewählt: \\ \indent
        Dann hat $X_l$ die Länge $k-1$ und $X_r$ die Länge $n-k$\\
    \\
    Zähldichte von $Z(x_1,...,x_n): f_n(m) := P\embrace{Z(x_1,...,x_n) = m}$ (hängt von n ab, nicht von den genauen Werten $x_1,...,x_n)$\\
    \\
    Dann \\\indent
        $P\embrace{Z(x_1,...,x_n) = l} = P\embrace{Z(X_l) + Z(X_r) = l - (n-1)}$\\
    Bei gegebenem Wert $k$ sind $Z(X_l),Z(X_r)$ stochastisch unabhängig, da die Zahlen jeweils unabhängig gewählt werden.\\
    \\
    Da jeder Wert von $k$ mit Wahrscheinlichkeit $\frac 1 n$ angenommen wird, folgt \\\indent
    \begin{equation*}
    \begin{split}
        f_n(l) & = P\embrace{Z(X_l) + Z(X_r) = l - n + 1} \\
        & = \sumft[k=1]{n} \frac 1 n \cdot f_{k-1} * f_{n - k} (l - n +1)\\
        & = \frac 1 n \sumft[k=1]{n} \sumft[j=0]{\infty} f_{k-1}(j) \cdot f_{n-k}(l - n + 1 - j)
    \end{split}
    \end{equation*}
    \\
    $f_1(0) = 1\\
    f_2(1) = 1\\
    f_n , n \geq 3$ kann wie oben rekursiv berechnet werden.\\
    \\
    -------------- PDF-Scan eines Buches mit Grafen zu berechneten Werten -----------------\\

\end{example}

\begin{definition}[Markov-Kette und -Eigenschaft \& Übergangswahrscheinlichkeit] $\phantom{.}$\\
Eine Folge von Zufallsvariablen $(X_n)_{n \in \mathbb{N}_0}$ von
$S$-wertigen Zufallsvariablen ($S$ höchstens abzählbar) heißt
\underline{Markov-Kette}, falls für alle $n \in \mathbb{N},
s_0,...,s_{n+1} \in S$ mit $P\embrace{X_n = s_n,X_{n-1} = s_{n-1},
... , X_0 = s_0} > 0$\\ \indent $P(X_{n+1} = s_{n+1} \mid X_n =
s_n,X_{n-1} = s_{n-1}, ... , X_0 = s_0) \\ \phantom{.} \qquad  =
P(X_{n+1} = s_{n+1} \mid X_n = s_n) \qquad$
(\underline{Markov-Eigenschaft})\\
\\
Die Markov-Kette heißt \underline{homogen}, falls die
\underline{Übergangswahrscheinlichkeiten} $p_{ts} := P(X_{n+1} = t
\mid X_n = s)$ für alle $n \in \mathbb{N}_0$ mit $P\embrace{X_n = s}
> 0$ gleich sind
\end{definition}

Bei (homogenen) Markov-Ketten hängt das zukünftige Verhalten nur
vom gegenwärtigen Zustand ab, nicht von der echten Vergangenheit.\\
\\
Stochastisches Verhalten einer homogenen Markov-Kette ist eindeutig
bestimmt durch die Startverteilung $P^{X_0}$ (z.B. durch Angabe der
zugehörigen Zähldichte $f_0(s) = P\embrace{X_0 = s}$) und die
Übergangswahrscheinlichkeit $p_{ts}, \; \; s,t \in S$.\\ \pagebreak
\\
Dann z.B.
\begin{equation*}
\begin{split}
P\embrace{X_0 = s_0, X_1 = s_1,X_2 = s_2}& = P(X_2 = s_2 \mid X_1 = s_1, X_0 = s_0) \cdot P\embrace{X_1 = s_1,X_0 = s_0}\\
& = p_{s_2 s_1} \cdot P(X_1 = s_1 \mid X_0 = s_0) \cdot P\embrace{X_0 = s_0} \\
& = p_{s_2 s_1} \cdot p_{s_1 s_0} \cdot f_0(s_0)
\end{split}
\end{equation*} \nopagebreak
Allgemein: $P\embrace{X_i \in A_i \; \forall 0 \leq i \leq n} =
\underset {(0 \leq i \leq n)} {\sumft{s_i \in A_i}} f_0(s_0) \cdot
p_{s_0 s_1} \cdot p_{s_1 s_2} \cdot ... \cdot p_{s_{n-1} s_n}$

\begin{example}
    Spieler $A$ und $B$ spielen das folgende Glücksspiel: Spieler $A$ bestimmt den Einsatz und wirft eine Münze.\\
    Falls Kopf fällt, so zahlt $B$ den Einsatz an $A$, sonst zahlt $A$ den Einsatz  an $B$.\\
    \\
    Spieler $A$ hat 1 \euro\ und benötigt 5 \euro .\\


    Er entschließt sich daher, die folgende ``Kühne Strategie'' anzuwenden:\\
    $A$ setzt jeweils sein gesamtes Kapital, wenn er $\leq \frac 5 2 $\euro\ hat, sonst die Differenz aus 5 \euro\ und seinem
     Kapital
    (so dass er in diesem Fall, die 5 \euro\ zusammen hat, wenn Kopf
    fällt).\\ Das Spiel ist beendet, sobald Spieler $A$ sein
gesamtes Kapital verspielt hat oder aber 5 \euro\ besitzt und das
Spiel beendet.

Die Zufallsvariable $X_n$ bezeichne das Kapital von $A$ nach $n$
Spielen. (Sobald das Spiel beendet ist, soll sich der Wert nicht
mehr ändern.) Die Wahrscheinlichkeit, dass Kopf fällt, betrage
jeweils $p$.

$(X_n)_{n\in\mathbb{N}_0}$ ist dann eine homogene Markov-Kette. Die
folgende Grafik gibt alle möglichen Übergänge von $X_n$ nach
$X_{n+1}$ sowie die zugehörigen Übergangswahrscheinlichkeiten
wieder:
    \\

    \includegraphics[width=.5\textwidth]{3_13_1.jpg}

    Z.B.\ ist von $X_n=4$ nur ein Wechsel nach $X_{n+1}=5$ mit Wahrscheinlichkeit $p$ oder nach
    $X_{n+1}=3$ mit Wahrscheinlichkeit $1-p$ möglich, d.h. $p_{5\,4} = p \;, \; p_{3 \, 4} = 1-p \;,\; p_{i \, 4} = 0 \,
    \forall i \notin \embrace{3,5}$\\
    Die Zustände 1 und 5 heißen absorbierend, da sie nicht wieder verlassen werden können.\\
    \\
    Mit welcher Wahrscheinlichkeit erhält Spieler $A$ schließlich 5 \euro ?

    $p_k = P(X_l = 5 \text{ für ein } l > n \mid X_n = k)$ \quad (hängt nicht von n ab)\\
    Dann:

     \indent
    \begin{equation*}
    \begin{split}
        p_1& = P(X_l = 5 \text{ für ein } l > n | X_n = 1) \\
        & = P(X_{n+1} = 2, X_l = 5 \text{ für ein } l > n | X_n = 1) + \underset {0} {\underbrace{ P(X_{n+1} = 0, X_l=5 \text{ für ein } l > n
        | X_n = 1)}} \\
        & = \dfrac {P\embrace{X_n=1,X_{n+1} = 2 , X_l = 5 \text{ für ein } l > n + 1}} {P\embrace{X_n = 1, X_{n+1} = 2}} \cdot
        \dfrac {P\embrace{X_n =1, X_{n+1} = 2}} {P\embrace{X_n = 1}}\\
        & = P(X_l = 5 \text{ für ein } l > n +1 | X_n = 1, X_{n+1} = 2) \cdot P(X_{n+1} | X_n = 1) \\
        & \eqover{*} P(X_l = 5 \text{ für ein } l > n + 1 | X_{n+1} = 2) \ p_{2 \, 1}\\
        & = p_2 \cdot p
    \end{split}
    \end{equation*}
    * = Markov-Eigenschaft
    \bigskip

    Ebenso erhält man die Beziehungen:\\\indent
    $p_2 = p \cdot p_4$\\\indent
    $p_3 = p + (1-p)\cdot p_1$\\\indent
    $p_4 = p + (1-p)\cdot p_3$

    Diese 4 Gleichungen bilden ein lineares Gleichungssystem, das in Matrixschreibweise wie folgt aussieht:
    \begin{equation*}
        \underset {A} {\underbrace{
            \begin{pmatrix}
            1 & -p & 0 & 0 \\
            0 & 1 & 0 & -p \\
            p-1 & 0 & 1 & 0 \\
            0 & 0 & p-1 & 1
            \end{pmatrix}
        } }
        \cdot
        \begin{pmatrix}
        p_1 \\ p_2 \\ p_3 \\ p_4
        \end{pmatrix}
        =
        \begin{pmatrix}
        0 \\ 0 \\ p \\ p
        \end{pmatrix}
    \end{equation*}\\
    \\
    Da die Matrix $A$ invertierbar ist, existiert eine eindeutige Lösung $p_1,...,p_4$\\

    Es gilt insbesondere $p_1 = \dfrac {(2 - p) \cdot p^3} {1 - p^2 + 2p^3 - p^4}$\\
    \\

    Zum Vergleich betrachten wir einen vorsichtigen Spieler $\tilde A$, der in der Situation von Spieler $A$ immer nur 1 \euro\
     setzt.

    Man erhält dann die folgende Grafik der möglichen Übergänge mit
    den zugehörigen Übergangswahrscheinlichkeiten:
    
    \includegraphics[width=.7\textwidth]{3_13_2.jpg}\\

    Mit analogen überlegungen wie oben erhält man
    \begin{equation*}
        \begin{pmatrix}
        1 & -p & 0 & 0 \\
        p -1 & 1 & -p & 0\\
        0 & p-1 & 1 & -p\\
        0 & 0 & p-1 & 1
        \end{pmatrix}
        \cdot
        \begin{pmatrix}
        p_1 \\ p_2 \\ p_3 \\ p_4
        \end{pmatrix}
        =
        \begin{pmatrix}
        0 \\ 0 \\ 0 \\ p
        \end{pmatrix}
    \end{equation*}\\
    \\
    Dieses System ist ebenfalls eindeutig lösbar und es gilt nun
    $p_1 = \dfrac {4} {1-3p+4p^2-2p^3+p^4}$.
\bigskip

   Der Vergleich der Wahrscheinlichkeiten $p_1$, dass Spieler $A$
   bzw.\ $\tilde A$
   mit der jeweiligen Strategie
   schließlich 5 \euro\ erhält,
   zeigt:
   \begin{itemize}
     \item Ist $p<1/2$, d.h.\ ist die Münze ungünstig für Spieler
     $A$ bzw.\ $\tilde A$, so ist die Erfolgswahrscheinlichkeit
     $p_1$ bei der kühnen Strategie größer als bei der vorsichtigen
     Strategie. (Dies gilt auch für die Wahrscheinlichkeit $p_k$, wenn
     Spieler $A$ zu Beginn $k$ \euro\ besitzt ($1\le k\le 4$).)\\ Man
     kann zeigen: Die kühne Strategie maximiert die
     Erfolgswahrscheinlichkeit $p_k$!
     \item Ist $p>1/2$, d.h.\ ist die Münze günstig für Spieler
     $A$ bzw.\ $\tilde A$, so ist die Erfolgswahrscheinlichkeit
     $p_1$ bei der vorsichtigen Strategie größer als bei der kühnen
     Strategie.
     \item Ist $p=1/2$, d.h.\ ist die Münze fair, so beträgt die
     Erfolgswahrscheinlichkeit $p_k$ bei beiden Strategien
     $p_k=k/5$.\\
     Man kann zeigen: Dies gilt für alle möglichen Strategien, d.h.\
     bei einem fairen Spiel kann man seine Gewinnwahrscheinlichkeit
     nicht durch eine geschickte Spielstrategie verbessern!
   \end{itemize}
\end{example}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%% 08.05.09

\begin{example}[Ranking-Verfahren bei Google]
    Angenommen ein Surfer startet bei einer zufällig ausgewählten Website, wählt dann zufällig gleichverteilt einen Link, der von dieser Seite wegführt und verfährt bei der nächsten Seite wieder genauso.\\
    Die Wahl des LInks sei unabhängig von dem Weg, auf dem die Seite erreicht wurde.\\
    \\
    Nach m Schritten (m ``groß'') befindet sich Surfer auf einer zufälligen Website und die Wahrscheinlichkeit, dass er sich auf einer bestimmten Seite befindet, ist Maß für die Relevanz dieser Seite.\\
    \\
    \underline{Modell}\\
    Webseiten durchnummeriert 1,...,N\\
    $X_m = $ Nr der Website, auf der der Surfer nach m Schritten ist.\\ \indent
    S-wertige Zufallsvariable mit $S = \embrace{1,...,N}$\\
    \\
    $L_i $: Menge der Seiten, auf die von Seite i aus ein Link führt (Annahme: $L_i \neq \emptyset$)\\
    \\
    Dann
    
    \begin{equation*}
    \begin{split}
    q_{i\;j} :&= P(X_{m+1} = j \mid X_m = i) = 
        \left \lbrace
            \begin{matrix} 
                0 & falls  j \in L_i \\
                \frac {1} {|L_i|} & falls i \in L_i
            \end{matrix} \right. \\
    &= P( X_{m+1} = j \mid X_m = i, X_{m-1} = i_{m-1},..., X_0 = i_0) \; \forall (i_0,...,i_{m-1},i,j) \in S^{m+2}\\
    & \qquad \qquad \qquad \text{mit} \;  P\embrace{X_m = i,X_{m-1} = i_{m-1},...,X_0 = i_0} > 0
    \end{split}
    \end{equation*}
    
    Also ist ${(X_m)}_{m \geq 0}$ eine homogene Markovkette\\
    
    Gesucht:  $P\embrace{X_m = i} \; \forall i \in S$ für ``großes m''\\
    \\
    Definierte $p^{(m)} = (p_i^{(m)})_{i \in S}$ mit $p_i^{(m)} = P\embrace{X_m = i}$ \\ \\
    \underline{Übergangsmatrix} $Q = (q_{j i})_{1 \leq i , j \leq N} = (q_{j i})_{i,j \in S}$\\ \\
    Q ist eine \underline{stochastische Matrix}, d.h. alle Spaltensummen sind gleich 1\\
    Denn
    
    $\sumft[j=1]{N} q_{j i} = \sumft{j \in S} P(X_{m+1} = j \mid X_m = i) = P(X_{m+1} \in S \mid X_m = i) = 1$\\
    \\
    Mit dem Satz von der totalen Wahrscheinlichkeit ergibt sich:
    \begin{equation*}
    \begin{split}
        p_j^{(m+1)} & = P\embrace{X_{m+1} = j} = \sumft[i = 1]{N} P(X_{m+1} = j \mid X_m = i) \cdot P(X_m = i) \\
        & = \sumft[i=1]{N} q_{ji} \cdot p_i^{(m)}= (Q \cdot p^{(m)} )_j \qquad \forall j \in S\\
        & \Rightarrow p^{m+1} = Q \cdot p^{(m)} = Q \cdot (Q \cdot p^{(m-1)}) = Q^2 \cdot p^{(m-1)} = ... = Q^{m+1} \cdot p^{0}
    \end{split}
    \end{equation*}
    
    Frage: Wie verhällt sich $p^(m)$ für $m \rightarrow \infty$?
    
    Erinnerung: $\lambda$ \underline{Eigenwert} der Matrix A mit \underline{Eigenvektor} v : $\Leftrightarrow Av = \lambda v$\\
    \\
    \pagebreak\\
    
    \underline{Satz von Perron}:
    
    Ist Matrix A nur mit strikt positiven Einträgen, so existiert ein Eigenwert $\lambda_1 > 0$, der betragsmäßig strikt größer ist als alle anderen Eigenwerte von A ; es existiert ein Eigenvektor $v_1$ zu $\lambda_1$, der strikt positive Einträge hat.\\
    
    Ferner:\\
    $\phantom{.} \qquad \qquad \dfrac {A^k \cdot v} {\lambda_1^k} \longrightarrow c v_1$\\
    für alle Vektoren v mit positiven Einträgen und ein $c > 0$ (das von v abhängt)\\
    \\
    Ist A eine stochastische Matrix und ist die Summe der Einträge von v gleich 1, dann ist auch bei $A \cdot v$ die Summe der Einträge = 1, also auch bei $A^k \cdot v$.\\
    Daher $\lambda_1 = 1$ und Summen der Einträge von $cv_1 = 1$.\\
    
    Annahme (*): Es gibt ein $m_0$, so dass $Q^{m_0}$ nur strikt positive Einträge hat, d.h. man kann in $m_0$ Schritten von jeder Website zu jeder beliebigen Website gelangen.\\
    
    Dann: Satz von Perron mit $A = Q^{m_0}$
    
    \indent $\phantom{x} \qquad p^{(m)} = Q^, \cdot p^{(0)} = A^{\frac {m} {m_0}} \cdot p^{(0)} \xrightarrow[m \rightarrow \infty]{} p_s \qquad $ (m Vielfaches von $m_0$)
    
    wobei $p_s$ ein Eigenvektor mit Einträgen $> 0$ mit Eigenwert 1 und Spaltensumme 1 ist.\\
    \\
    $\Rightarrow (p_s)_i$ ist das gesuchte Maß für die Relevanz der Seite i.\\
    Zugehöriges Wahrscheinlichkeitsmaß $P_s\embrace{i} = (p_s)_i$ heißt \underline{stationäre Verteilung} der Markov-Kette.\\
    Ist $P\embrace{X_0 = i} = (p_s)_i \; \forall i$, \\
    \indent dann $P\embrace{X_{m_0} = i} = (Q^{m_0} \cdot p_i^{(0)}) = (A \cdot p_s)_i = (p_s)_i = P\embrace{X_0 = i}$\\
    \\
    \begin{itemize}
    \item Konvergenz $A^k \cdot v \xrightarrow[k \rightarrow \infty]{} p_s$ erfolgt exponentiell schnell.\\ \indent
        $\rightsquigarrow p_s$ relativ effizent berechenbar
        
    \item Annnahme (*) lässt sich vermeiden durch folgende Modifikation:\\
    Für (kleines) $\alpha \in (0,1)$ wählt der Surfer jeweils gleichverteilt einen Link mit der Wahrscheinlichkeit $1-\alpha$ aus und wählt eine beliebige Website mit Wahrscheinlichkeit $\alpha$ gemäß der Verteilung $\tilde p$ (d.h. Website i mit Wahrscheinlichkeit $\alpha \cdot \tilde p_i$).\\
    
    $\rightsquigarrow$ neue Übergangsmatrix
    \[(1-\alpha) \cdot Q + \alpha \cdot 
    \begin{pmatrix}
        \tilde q_1 & ... & \tilde q_1 \\
        \vdots & & \vdots\\
        \tilde q_N & ... & \tilde q_N
    \end{pmatrix}
    \]
    erfüllt die Annahme (*) falls alle $\tilde p_i > 0$
    \end{itemize}
\end{example}




\chapter{Erwartungswert und Momente von Zufallsvariablen}

\begin{definition}{Erwartungswert \& Mittelwert}
    \begin{enumerate}[(i)]
        \item Der \underline{Erwartungswert} einer $\mathbb{R}$-wertigen Zufallsvariable X auf einem diskreten Wahrscheinlichkeitsraum $(\Omega,P)$ ist def. als $E_P(X) = E(X) := \sumft{x \in X(\Omega)} x \cdot P\embrace{X = x}$, falls $\sumft{x \in X} |x| \cdot P\embrace{X = x} < \infty \quad$ (Andernfalls besitzt X keinen Erwartungswert)
        
        \item Sei $(\mathbb{R},Q)$ ein diskreter Wahrscheinlichkeitsraum, dann heißt $\mu(Q) := \sumft{x \in \mathbb{R}} x \cdot Q(\embrace{x})$ \underline{Mittelwert} von Q, falls $\sumft{x \in X} |x| \cdot Q(\embrace{x}) < \infty$
    \end{enumerate}
\end{definition}

\begin{bemerkung}
    $Id: \mathbb{R} \rightarrow \mathbb{R}, Id(x) := x \qquad$ (Identität auf $\mathbb{R}$)
    
    $\Rightarrow \mu(Q) = E_Q(Id)$\\
    Umgekehrt: $E_P(x) = \mu(P^X)$,\\
    denn 
    
    $\mu(P^X) = \sumft{x \in \mathbb{R}} x \cdot P^X(\embrace{x}) = \sumft{x \in \mathbb{R}} x \cdot P\embrace{X = x} = \sumft{x \in X(\Omega)} x \cdot P\embrace{X = x} = E_P(X)$
\end{bemerkung}

\begin{satz}{Transformationssatz}
    Sei $(\Omega,P)$ ein diskreter Wahrscheinlichkeitsraum, \\$X: \Omega \rightarrow S$ eine Zufallswariable und $g: S \rightarrow \mathbb{R}$. Dann gilt\\
    \indent
        $E_P( \underset {g \circ X} {\underbrace{ g(X)}}) = E_{P^X}(g)$
\end{satz}

Beweis: 
\[
    \begin{split}
        E_{P^X}(g)& = \sumft{y \in g(S)} y \cdot P^X\embrace{g = y}\\
        & = \sumft{y \in g(S)}\\
        & = \sumft{y \in g(S)} y \cdot P( \underset {\embrace{g(X) = y}} {X^{-1} (\embrace{g=y})}) \\
        & = \sumft{y \in g(X)(\Omega)} y \cdot P \embrace{g(X) = y} = E_P(g(X)) \text{ ,falls alle Summen absolut konvergieren.}
    \end{split}
\] \nopagebreak 

\begin{example} \label{example:4.4} 
	$\phantom{.}$
    \begin{enumerate}[(i)]
        \item $X = 1_A$, d.h. 
        $1_A(\omega) = \left \lbrace
        \begin{matrix}
        1 & falls \omega \in A \\
        0 & falls \omega \notin A
        \end{matrix}
                      \right.$
                      
        $\Rightarrow E(X) = 0 \cdot P\embrace{X = 0} + 1 \cdot P\embrace{X = 1} = P(A)$
        
        \item
        X sei $\mathcal{P}_\lambda$-verteilt, d.h. $P\embrace{X = n} = e^{-\lambda} \cdot \frac {\lambda^n} {n!} \; \forall n \in \mathbb{N}_0$
        
        \[
            \begin{split}
                E(X)& = \sumft[n=0]{\infty} n \cdot P\embrace{X = n} = \sumft[n=0]{\infty} n \cdot e^{-\lambda} \cdot \frac {\lambda^n} {n!} \\
                & = \lambda \sumft[n=1]{\infty} e^{-\lambda} \cdot \frac {\lambda^{n-1}} {(n-1)!} \\
                & \eqover{n-1 = k} \lambda \sumft[k=0]{\infty} e^{-\lambda} \cdot \frac {\lambda} {k!}\\
                & = \lambda \sumft[k=0]{\infty} \mathcal{P}\embrace{k} = \lambda
            \end{split}
        \]
    \end{enumerate}
\end{example}

\begin{satz}
    Seien X,Y Zufallsvariablen auf einem diskreten Wahrscheinlichkeitsraum $(\Omega,P)$, die Erwartungswerte besitzen. Dann gilt:
    \begin{enumerate}[(i)]
        \item $E(aX + Y) = a \cdot E(X) + E(Y) \qquad (\forall a \in \mathbb{R})$
        \item gilt $X(\omega) \leq Y(\omega) \; \forall \omega \in \Omega$, dann $E(X) \leq E(Y)$
    \end{enumerate}
\end{satz}

Beweis: Im Wesentlichen direktes Nachrechnen.

\begin{example}
    Sei Y eine Zufallsvariable auf $(\Omega,P)$ mit $P^X = \mathcal{B}_{(n,p)}$\\
    Gesucht: $E(X)$
    
    \begin{enumerate}[1. Lösung:]
        \item Berechnen nach Definition\\
        \[
        \begin{split}
            E(X)& = \sumft[k=0]{n} k \cdot P\embrace{X = k} = \sumft[k=0]{n} k \cdot {n \choose k} \cdot p^k \cdot (1-p)^{n-k} \qquad (\rightarrow \text{Bsp. \ref{bsp:1.11}})\\
            & = n \cdot p \cdot \sumft[k=1]{n} \dfrac {(n-1)!} {(k-1)!((n-1)-(k-1))!} \cdot p^{k-1} \cdot (1-p)^{(n-1) -(k-1)} \\
            & \underset{j = k-1} {=} n \cdot p \cdot \sumft[j=0]{n-1} \dfrac {(n-1)!} {j! (n-1-j)!} \cdot p^j \cdot (1-p)^{n-1-j} \\
            & = n \cdot p \cdot (p + 1 -p)^{n-1} = n\cdot p
        \end{split}
        \]
        
        \item Bsp \ref{example:3.5}:\\
        $X_i$ seien unabhängige Zufallsvariablen mit\\
        $P\embrace{X_i = 1} = p, P\embrace{X_i = 0} = 1-p$\\
        $\Rightarrow \sumft[n=1]{n} X_i \qquad \text{ist} \mathcal{B}_{(n,p)}$-verteilt, hat also die gleiche Verteilung wie X\\
        $\Rightarrow E(X) = E(\sumft[n=1]{n} X_i) = \sumft[n=1]{n} E(X_i) = \sumft[n=1]{n} (0 \cdot P\embrace{X_i = 0} + 1 \cdot P\embrace{X_i = 1}) = n \cdot p$ 
    \end{enumerate}
    
\end{example}

\begin{example}
    Erwartete Laufzeit von Quicksort ( Fortsetztung von Bsp. \ref{bsp:3.11}) \\
    $Z(x_1,...,x_n) =$ Zufällige Zahl der Vergleiche, die benötigt werden, um $x_1,...,x_n$ zu sortieren.\\
    Mit Wahrscheinlichkeit $\frac 1 n$ wähle eine Zahl $x_j \quad (1 \leq j \leq n)$\\
    Sortiere Zahlen $< x_j$ in Vektor $X_l$ und Zahlen $> x_j$ in Vektor $X_r$\\
    Dann
    
        \begin{align*}
            &Z(x_1,...,x_n) = n-1 + Z(X_l) + Z(X_r)\\
            &\mu_n = E(Z(x_1,...,x_n)) \qquad \text{(hängt nur von n ab!)}
        \end{align*}
    Falls $x_j$ die k kleinste Zahl ist, dann hat $X_l$ die länge k-1 also
    \begin{align*}
        E(Z(X_l))& = \mu_{k-1} \quad \text{und ebenso}\\
        E(Z(X_r))& = \mu_{n-k}
    \end{align*}
    
    Jeder Wert von $k$ tritt mit der Wahrscheinlichkeit $\frac 1 n$ auf.\\
    Also
    \[
        \begin{split}
            \mu_n& = E(Z(x_1,...,x_n)) = n -1 + E(Z(X_l)) + E(Z(X_r)) \\
            & = n - 1 + \sumft[k=1]{n} \frac 1 n \cdot \mu_{k-1} + \sumft[k=1]{n} \frac 1 n \cdot \mu_{n - k} \\
            & =n - 1 +  \frac 1 n  \cdot \sumft[j=0]{n-1} \mu_{j} + \frac 1 n  \cdot \sumft[j=0]{n-1} \mu_{j}\\
            & = n - 1 + \frac 2 n  \cdot \sumft[j=0]{n-1} \mu_{j}
        \end{split}
    \]
    \begin{align*}
    \Rightarrow && n \cdot \mu_n &= n\cdot (n-1) + 2 \cdot \sumft[j=0]{n-1} \mu_{j}\\
    \Rightarrow && n \cdot \mu_n - (n -1)\cdot \mu_{n-1}&= n \cdot (n-1) - ( n-1) \cdot (n-2) + 2\mu_{n-1}\\
    \Rightarrow && n \cdot \mu_n &= (n+1) \cdot \mu_{n-1} + 2(n-1)\\
    \Rightarrow && \mu_n &= \frac {n+1} {n} \cdot \mu_{n-1} + 2 \cdot \frac {n-1} {n}\\
    && &= \frac {n+1} {n} \cdot (\frac n {n-1} \cdot \mu_{n_2} + 2 \cdot \frac {n-2} {n-1}) + 2 \cdot {n-1} n\\
    &&= \overset {Vollst. Induktion} {...} &= 2(n+1) \cdot \sumft[k=2]{n} \dfrac {k-1} {k (k+1)} + \underset {=0} {\underbrace{\frac 4 1 \mu_0}}
    \end{align*}
    
    Umformungen liefern:
    \[
        \mu_n = 2(n+1) \cdot \sumft[j=1]{n+1} \frac 1 j - 4 n -2 
        \quad \left \lbrace 
            \begin{matrix}
                \leq 2n \log n \\
                \geq 2n \log n - 4n
            \end{matrix}
         \right .
    \]
\end{example}

\begin{align*}
    &P(A \cup B) = P(A) + P(B) - P(A \cap B) \\
    &P(A \cup B \cup C) = P(A) + P(B) + P(C) - P(A \cap B) - P(A \cap c) - P(B \cap C) + P(A \cap B \cap C)
\end{align*}

\begin{satz}[Siebformel von Sylvester-Poincaré]
    Seien $A_1,...,A_n \subset \Omega$ Ereignisse in einem diskreten Wahrscheinlichkeitsraum $(\Omega,P)$. Dann gilt:
    \begin{align*}
        &P(\underoverset{i=1}{n}{\bigcup} A_i)\\
        & = \sumft[i=1]{n} P(A_i) - \sumft{1 \leq i < j \leq n} P(A_j \cap A_i) + \sumft{1 \leq i < j < k \leq n} P(A_i \cap A_j \cap A_k) - ... + (-1)^{n-1} P(A_1 \cap A_2 \cap ... \cap A_n)
    \end{align*}
\end{satz}
\pagebreak

Beweis: $1_{A^c} = 1 - 1_A, 1_{A \cap B} = 1_A \cdot 1_B$\\
\[
    \begin{split}
        1_{ \underoverset{i=1}{n}{\bigcup} A_i}& = 1-1_{( \underoverset{i=1}{n}{\bigcup} A_i)^c} = 1 - 1_{ \underoverset{i=1}{n}{\bigcap} A_i^c} = 1 -\underoverset{i=1}{n}{\prod} 1_{A_i^c} = 1 -\underoverset{i=1}{n}{\prod} (1 - 1_{A_i})\\
        & = 1 - (1 - \sumft[i=1]{n}1_{A_i} + \sumft{1 \leq i < j \leq n} 1_{A_i} \cdot 1_{A_j} - ... +(-1)^{n-1} \underoverset{i=1}{n}{\prod} 1_{A_i})\\
        & = \sumft[i=1]{n} 1_{A_i} - \sumft{1 \leq i < j \leq n} 1_{A_i \cap A_j} + ... + (-1)^{n-1} {\underoverset{i=1}{n}{\bigcap} A_i}
    \end{split}
\]
\[
    \Rightarrow P(\underoverset{i=1}{n}{\bigcup} A_1) = E(1_{\underoverset{i=1}{n}{\bigcup} A_1}) = \sumft[i=1]{n} \underset{P(A_i)} {\underbrace{ E(A_i)}} - \sumft{1 \leq i < j \leq n} \underset{P(A_i \cap A_j)} {\underbrace{E(1_{A_i \cap A_j})}} + ... + (-1)^{n-1} \underset{P( \underoverset{i=1}{n}{\bigcap} A_i )} {\underbrace{E(1_{\underoverset{i=1}{n}{\bigcup} A_i})}}
\]

\begin{definition}[Varianz, Standardabweichung \& Moment]
    Sei X eine $\mathbb{R}$-wertige Zufallsvariable auf einem diskreten Wahrscheinlichkeitsraum $(\Omega,P)$.
    \begin{enumerate}[(i)]
        \item Existiert $E(X)$, so wird
        \[
            Var(X) := E \left [ (X - E(X))^2 \right ] = \sumft{x \in X} (x - E(X))^2 \cdot P\embrace{X = x}
        \]
        die \underline{Varianz} von X genannt und $\sqrt{Var(X)}$ heißt \underline{Standardabweichung} von X
        
        \item Für $k\in \mathbb{N}$ heißt $E(X^k)$ (im Falle der Existenz) das \underline{k-te Moment von X}
    \end{enumerate}
\end{definition}

Einschub: \\
$X: \Omega \rightarrow \mathbb{R}$\\
$X^k: \Omega \rightarrow \mathbb{R}$\\
$\phantom{X^k:} \; \omega \rightarrow (X(\omega))^k$


\begin{bemerkung}
    Die Varianz ist die mittlere quadratische Abweichung von X von seinem Erwartungswert, also ein Maß dafür wie stark die Zufälligen Werte um den Erwartungswert streuen.
    
    \[
        \begin{split}
            Var(X)& = E((X- E(X))^2) = E(X^2 - 2X\cdot E(X) + (E(X))^2)\\
            &= E(X^2) - 2E(X)\cdot E(X) + (E(X))^2\\
            &= E(X^2) - (E(X))^2
        \end{split}
    \]
    Insbesondere: $0 \leq Var(X) = E(X^2) - (E(X))^2 \Rightarrow E(X^2) \geq (E(X))^2$
\end{bemerkung}


\begin{example}
    $P^X = \mathcal{P}_\lambda \Rightarrow E(X) = \lambda \qquad $ ($\rightarrow $ \ref{example:4.4}(ii))\\
    \[
        \begin{split}
        E(X \cdot (X-1))& = \sumft[n=0]{\infty} n \cdot (n - 1) \cdot P\embrace{X = n}\\
        & = \sumft[n=2]{\infty} n \cdot (n-1) \cdot e^{-\lambda} \cdot \frac {\lambda^n} {n!}\\
        & = \lambda^2  \underset{= 1 \;\; (\rightarrow \ref{example:4.4}(ii))} {\underbrace{ \sumft[n=2]{\infty} e^{-\lambda} \frac {\lambda^{n-2}} {(n-2)!}}}\\
        & = \lambda^2
        \end{split}
    \]
    $\Rightarrow E(X^2) = E(X \cdot (X - 1)) + E(X) = \lambda^2 + \lambda$\\
    $\Rightarrow Var(X) = E(X^2) - (E(X))^2 = \lambda^2 + \lambda - \lambda^2 = \lambda$
\end{example}

\begin{satz}[Markov- \& und Chebyshev-Ungleichung]
	$X$ sei eine Zufallsvariable mit Erwartungswert $E(X)$
	\begin{enumerate}[(i)]
		\item
		$P\{|X| \geq c\} \leq \dfrac {E(|X|)} {c} \quad \forall c > 0 \qquad $ \underline{Markov-Ungleichung}
		
		\item
		$P\{|X -E(X)| \geq c\} \leq \dfrac {Var(X)} {c^2} \quad \forall c > 0 \qquad $ \underline{Chebyshev-Ungleichung}
	\end{enumerate}
\end{satz}

Beweis:
\begin{enumerate}[(i)]
	\item
	$P\{|X| > c\} \eqover{\ref{example:4.4}(i)} E \left (1_{\{|X| \geq c\}} \right ) \leq E \left (\frac {|X|} {c} \cdot 1_{\{|X| \geq c\}} \right ) \leq E \left ( \frac {|X|} {c} \right ) = \dfrac {E(|X|)} {c}$
	
	\item in den Übungen
\end{enumerate}	

\begin{example}
	$\phantom{.}$
	\item
	\begin{enumerate}[(i)]
		\item
		Sei $X$ $\mathcal{P}_\lambda$-verteilt, $\lambda > 0 \rightarrow E(X) = \lambda = Var(X)$\\
		$\Rightarrow P\{X \geq c\} \leq \dfrac {E(X)} {c} = \dfrac {\lambda} {c} \qquad \forall c > 0 \qquad $ (Markov-Ungleichung)\\
		und für $ c > \lambda$\\
		$P\{X \geq c\} = P \{X - \lambda \geq c - \lambda\} \leq P\{|X -\lambda| \geq c - \lambda\} \leq \dfrac {Var(X)} {(c-\lambda)^2} = \dfrac {\lambda} {(c-\lambda)^2}$\\
		\\
		Für $c < \lambda + \frac 1 2 + \sqrt{\lambda + \frac 1 4}$ ist die Markov-Ungleichung schärfer\\
		und für $c > \lambda + \frac 1 2 + \sqrt{\lambda + \frac 1 4}$ ist die Chebyshev-Ungleichung schärfer\\
		
		Oft sind beide Schranken viel größter als $P\{X > c\}$
		
		\item Quicksort\\
		$Z(x_1,...,x_n)$: Anzahl der Vergleiche, um die Zahlen $x_1,...,x_n$ zu sortieren.\\
		$E(Z(x_1,...,x_n)) \left \lbrace 
			\begin{matrix}
				\leq 2 n \log n\\
				\geq 2 n \log n - 4n
			\end{matrix}
		\right .$\\
		
		Man kann zeigen: $Var(Z(x_1,...,x_n)) \leq 3n(n-1)$
		\[
			\begin{split}
			\Rightarrow & P\{Z(x_1,...,x_n) \geq 2n \log n + a \cdot n\} \\
			& \leq P\{\lvert Z(x_1,...,x_n) - E(Z(x_1,...,x_n))\rvert \geq \underbraceset{\geq 0}{2n \log n - E(Z(x_1,...,x_n)) + a \cdot n} \}\\
			& \leq P\{\lvert Z(x_1,...,x_n) - E(Z(x_1,...,x_n))\rvert \geq a \cdot n\}\\
			& \leq \dfrac {Var(Z(x_1,...,x_n)} {(a \cdot n)^2} \leq \dfrac 3 {a^2}
			\end{split}
		\]
		
		Insbesondere: $a = \epsilon \cdot \log n$\\
		\[ \Rightarrow P\{ Z(x_1,...,x_n ) \geq (2 + \epsilon) n \log n \} \leq \dfrac 3 {\epsilon ^2 (\log n)^2} \; \xrightarrow[n \rightarrow \infty]{} 0 \qquad \forall \epsilon > 0\]
		
		Also ist mit großer Wahrscheinlichkeit die Anzahl der Vergleiche von der Größenordnung $2n \log n$, wenn der Datenumfang $n$ groß ist.
	\end{enumerate}
\end{example}

\begin{bemerkung} \label{bem:4.14}
	Die Varianz ist im gegensatz zum Erwartungwert \underline{nicht} linear im Argument.
	\[
		\begin{split}
			Var(aX + b)& = E( (aX + b - \underbraceset{= a \cdot E(X) + b} {E(aX + b)})^2 )\\
			& = E(a^2 \cdot (X-E(X))^2) \\
			& = a^2 \cdot E((X-E(X))^2)\\
			& = a^2 \cdot Var(X) \qquad \qquad \quad \forall a,b, \in \mathbb{R}
		\end{split}
	\]
	
	\[
		\begin{split}
			Var(X + Y)& = E((X+Y- \underbraceset{= E(X) + E(Y)} {E(X+Y)})^2)\\
			& = E(((X-E(X)) + (Y -E(X)))^2)\\
			& = E((X-E(X))^2 + 2(X-E(X))(Y-E(Y)) + (Y-E(Y))^2\\
			& = Var(X) + 2E((X-E(X))\cdot(Y-E(Y))) + Var(Y)
		\end{split}
	\]
\end{bemerkung}

\pagebreak

\begin{definition}[Kovarianz \& Korrelation] \label{def:4.15}
	 $\phantom{.}$\\
	Sind $X,Y$ Zufallsvariablen mit Erwartungswerten $E(X)$ bzw. $E(Y)$.
	\[
		Cov(X,Y) := E((X-E(X))\cdot(X -E(Y))) = E(XY)-E(X) \cdot E(Y)
	\]
	heißt (im Falle der Existenz) die \underline{Kovarianz von X und Y}.
	\[
		Corr(X,Y) := \dfrac {Cov(X,Y)} {\sqrt{Var(X)\cdot Var{Y}}}
	\]
	heißt dann \underline{Korrelation} von X und Y, falls $Var(X) > 0, Var(Y) > 0$.\\
	X und Y heißen \underline{unkorreliert}, falls $Cov(X,Y) = 0$
\end{definition}

\begin{satz} \label{satz:4.16}
	Sind X und Y stochastisch unabhängige Zufallsvariablen mit Erwartungswerten $E(X)$ bzw $E(Y)$, so gilt
	\[
		E(X\cdot Y) = E(X) \cdot E(Y)
	\]
	, d .h. Y und Y sind unkorreliert.
\end{satz}

Beweis:
\[
	\begin{split}
		E(X \cdot Y)& = \underset{y \in Y(\Omega)} {\sumft{x \in X(\Omega)}} x \cdot y \cdot P\{X=x , Y=y\}\\
		& = \underset{y \in Y(\Omega)} {\sumft{x \in X(\Omega)}} x \cdot y \cdot P\{X=x\} \cdot P\{Y=y\} \quad \text{(da stochastisch Unabhängig)}\\
		& = \sumft{x \in X(\Omega)} x \cdot P\{X=x\} \cdot \sumft{y \in Y(\Omega)} y \cdot P\{Y=y\} = E(X) \cdot E(Y)
	\end{split}
\]
	
\begin{korollar}
	Sind $X_1,...,X_n$ Zufallsvariablen mit Erwartungswerten $E(X_1),...,E(X_n)$. Dann gilt:
	\begin{equation} \label{kor:4.17}
		Var(\sumft[i=1]{n}X_i) = \sumft[i=1]{n}Var(X_i) + 2 \cdot \sumft{1 \leq i < j \leq n} Corr(X_1,X_j)
	\end{equation}
	Sind die Zufallsvariablen $X_1,...,X_n$ unabhängig (oder schwächer: unkorreliert), so gilt insbesondere
	\[
		Var(\sumft[i=1]{n} X_i) = \sumft[i=1]{n} Var(X_i)
	\]
\end{korollar}

Beweis:

\ref{kor:4.17} folgt aus Bemerkung \ref{bem:4.14}, der Rest mit Definition \ref{def:4.15} und Satz \ref{satz:4.16}
	
\begin{example}
	X sei eine $\mathcal{B}_{(n,p)}$-verteilte Zufallsvariable.\\
	Bsp. \ref{example:3.5}: X hat die selbe Verteilung wie $\sumft[i=1]{n} X_i$, $X_i$ sind stochastisch unabhängig und $X_i$ ist $\mathcal{B}_{(n,p)}$-verteilt, d.h. $P\{X_i = 1\} = p, P\{X_i = 0\} = (1-p)$
	
	\[
		\begin{split}
			Var(X)& = Var \left (\sumft[i=1]{n} X_i \right) \eqover{(\ref{kor:4.17})} \sumft[n=1]{n} Var(X_i)\\
			& = n\cdot Var(X_1) = n \cdot (E( \underbraceset{= X_1}{X_1^2}) - (E(X_1))^2) \\
			& = n \cdot (p - p^2) = n \cdot p \cdot (1 -p)
		\end{split}
	\]
\end{example}

\begin{bemerkung}
	Der Wert einer Zufallsvariable X wurde beobachtet. Daraus soll der Wert der Zufallsvariable Y vorhergesagt werden.\\
	Dabei sollen zur Approximation von Y nur lineare Funktionen von X verwendet werden.\\
	Als Maß für die Approximationsgüte/Vorhersagegüte verwenden wir\\ \indent
		$E((Y - (aX +b))^2):$ mittlerer quadratischer Vorhersagefehler\\
	
	Wähle a,b, so, dass $E((Y - (aX +b))^2)$ minimal wird.
	\[
		\begin{split}
		E((Y - (aX +b))^2)& = Var(Y-(aX + B)) + (E(X - (aX +b)))^2 \\
		& = Var(Y-aX) + (E(Y) - a(E(X) - b)^2
		\end{split}
	\]
	$E((Y - (aX +b))^2)$ wird als Funktion von $b$ minimiert durch\\ \indent
		\[b = E(Y) - aE(X)\]
	\begin{align*}
		\Rightarrow&& E((Y -(aX +b))^2)& = Var(Y) + a^2 \cdot Var(X) + 2 \cdot \underbraceset{= - a Cov(X,Y)}{Cov(Y , -aX)}\\
		&& & = \left (a \cdot \sqrt{Var(X)} - \dfrac {Cov(X,Y)} {\sqrt{Var(X)}} \right )^2 + Var(Y) - \dfrac {(Cov(X,Y))^2} {Var(X)}\\
	\end{align*}
	$\Rightarrow \text{minimalstelle } a = \dfrac {Cov(X,Y)}{Var(X)} \quad \text{, falls } Var(X) > 0$\\
	
	 \noindent$\Rightarrow $ beste lineare Approximation für $Y$ ist $  \dfrac {Cov(X,Y)} {Var(X)} \cdot (X -E(X)) + E(Y)$\\
	
	 \noindent$\Rightarrow $ beste lineare Approximation für $\tilde Y = \dfrac {Y-E(Y)} {\sqrt{Var(Y)}}$ ist $\underbraceset{Corr(X,Y)}{ \dfrac {Cor(X,Y)} {\sqrt{Var(X) \cdot Var(Y)}}} \cdot \underbraceset{=: \tilde X} {\dfrac {X - E(X)} {\sqrt{Var(X)}}}$ \\
	
	Beobachte: $E(\tilde Y) = 0, Var(\tilde Y) = 1$\\
	
	Der zugehörige mittlere quadratische Approximationsfehler ist
	\[
		\begin{split}
		E \left ((\tilde Y - Corr(X,Y) \cdot \tilde X)^2 \right )& = \frac 1 {Var(Y)} \cdot E \left ((Y -(aX+b))^2 \right)\\
		& \eqover{s.o.} \dfrac 1 {Var(Y)} \cdot \left ( Var \left (Y - \dfrac {(Cov(X,Y))^2} {Var(X)} \right )\right) \\
		& = 1 - (Corr(X,Y))^2 \qquad \quad (\Rightarrow Corr(X,Y) \in [-1,1])
		\end{split}
	\]
	
	\noindent $|Corr(X,Y)| = 1 \Rightarrow $ kein Vorhersagefehler\\
	$\phantom{|} Corr(X,Y) \;  = 0 \Rightarrow $ maximaler Vorhersagefehler\\
	
	Korrelation ist \underline{nur} Maß für Stärke des \underline{linearen} Zusammenhangs zwischen X und Y.\\
	Es ist möglich, dass X,Y unkorreliert sind, aber Y vollständigt durch X bestimmt ist.\\
	
	(Blödes) Beispiel:\\
	Sei $P\{X=1\} = P\{X=-1\} = \frac 1 2$\\
	$Y = X^2 \Rightarrow X \cdot Y = X^3 = X$\\
	$\Rightarrow E(X \cdot Y) = E(X) = E(X) \cdot E(Y)$, d.h. unkorreliert.\\
	(Blödes Beispiel, da Y konstant ist.)
		
	(Besseres) Beispiel:\\
	Sei $P\{X=1\} = P\{X = 0\} = P\{X=-1\} = \frac 1 3$\\
	$Y = X^2$\\
	$E(X) = \sumft[x=-1]{1} x \cdot P\{X=x\} = 0$\\
	$X\cdot Y = X^3 = X \Rightarrow E(X\cdot Y) = 0 = E(X) \cdot E(Y)$
	d.h. unkorreliert, aber X,Y sind \underline{nicht} unabhängig, sondern Y ist durch X vollständig bestimmt\\
	
\end{bemerkung}
	
	\chapter{Grenzwertsätze}
	
	Man betrachtet $\sumft[i=1]{n}X_i$ von Zufallsvariablen $X_i$ für $n \rightarrow \infty$\\
	Für große $n$ ist die Verteilung von $\sumft[i=1]{n}X_i$ in der Regel nicht exakt berechenbar.\\
	
	\underline{Ziel}: Eine gute Approximation für große $n$ zu finden.
	
	\begin{satz}[Schwaches Gesetzt der Großen Zahlen] \label{satz:5.1}
		Seien $X_i, i \in \mathbb{N}$ unkorrilierte Zufallsvariablen mit Erwartungswert $E(X_i)$ und $Var(X_i) \leq M \quad \forall i \in \mathbb{N}$ und ein $M < \infty$. Dann gilt für alle $\epsilon > 0$
		\[
			P\{ \frac 1 n \lvert \sumft[i=1]{n}(X_i - E(X_i)) \rvert > \epsilon)\} \xrightarrow[n \rightarrow \infty]{} 0
		\]
	\end{satz}
	
	Beweis: $E \left ( \sumft[i=1]{n} X_i \right) = \sumft[i=1]{n}E(X_i)$ , $Var \left ( \sumft[i=1]{n} X_i \right) \eqover{(unkorriliert)} \sumft[i=1]{n} Var(X_i)$
	
	\[
		\begin{split}
			& P\{\frac 1 n \lvert \sumft[i=1]{n} \left ( X_i - E(X_i) \right ) \rvert \geq c \} = P\{ \lvert \sumft[i=1]{n} X_i - E \left ( \sumft[i=1]{n} X_i \right ) \rvert \geq n \cdot c \} \\
			& \underset{Chebyshev}{\leq} \dfrac {Var \left ( \sumft[i=1]{n} X_i \right )} {(n \cdot c)^2} \leq \dfrac {n \cdot M} {n \cdot c ^2} \xrightarrow[n \rightarrow 0] {} 0	\Rightarrow Beh.
		\end{split}
	\]
	
	
	\begin{definition}
		Seien $Y, Y_n$ $\mathbb{R}$-wertige Zufallsvariablen. Gilt für \underline{alle} $\epsilon > 0$
		
		$P\{\lvert Y_n - Y \rvert\ \geq 0\} \xrightarrow[n \rightarrow \infty]{} 0$,\\
		so sagt man, dass $Y_n$ (P-)Stochastisch gegen $Y$ konvergiert (in Zeichen $Y_n \xrightarrow{P} Y$ oder $Y_n \rightarrow Y \; \text{P-Stochastisch}$)
	\end{definition}
	
	\begin{bemerkung}
		Unter der Bedingung von Satz \ref{satz:5.1} gilt also 
		
		\[\frac 1 n \sumft[i=1]{n}(X_i - E(X_i)) \overset{P}{\rightarrow} 0\]
		Ist $E(X_i) = \mu$ für alle $i \in \mathbb{N}$, so gilt auch
		\[ \frac 1 n \sumft[i=1]{n} X_i \overset{P}{\rightarrow} \mu \]
	\end{bemerkung}
	
	\begin{example}
		$X_i$ seien unabhängig und $\mathcal{B}_{(1,p)}$-verteilt.\\
		Dann ist $X_n := \sumft[n=1]{n}X_i \quad \mathcal{B}_{(n,p)}$\\
		$E(X_i) = p \underoverset{bzw. 5.3}{5.1}{\Rightarrow} \frac {Y_n} {n} \xrightarrow{\; P \;} p$\\
		
		Möchte man z.B. testen, ob eine Münze fair ist, dann werfe man sie n Mal.
		\[
			X_i \left \lbrace \twolines{1\text{ falls im i-ten Wurf Kopf fällt}}{0\text{ falls im i-ten Wurf Zahl fällt}} \right .
		\]
		Dann $\underbraceset{\text{rel. Häufigkeit}}{\frac 1 n \sumft[i=1]{n}X_i} \rightarrow p$
		
		Falls die Münze fair ist, dann ist die relative Häufigkeit $\approx \frac 1 2$.\\
		
		\hangindent=1.6cm
		Frage: Bei welchen Abweichungen von $\frac 1 2$ kann man dies als deutlichen Hinweis auffassen, dass die Münze unfair ist ( also $p \neq \frac 1 2)?$
		
		Dazu: $Var(X_i) = p \cdot (1-p) \leq \frac 1 4$\\
		Der Beweis von Satz \ref{satz:5.1} zeigt:
		\[
			P\{\frac 1 n \lvert \sumft[i=1]{n}(X_i -p) \rvert \geq \epsilon\} \leq \frac {\frac 1 4}{n \cdot \epsilon^2} = \frac 1 {4n \cdot \epsilon^2}
		\]
		\hangindent=0cm
		Wähle $\epsilon$ so, dass $\frac 1 {4n \cdot \epsilon} = 0,05 \Leftrightarrow \epsilon = \dfrac 1 {\sqrt{4n \cdot 0,05}}$\\
		Dann $P\{\lvert \frac 1 4 \sumft[i=1]{n} X_i - p \rvert \geq \epsilon \} \leq 0,05$\\
		\\
		Ist $n = 500$, s ist also bei einer fairen Münze (d.h. $p= \frac 1 2$)
		\[
			P\{\frac 1 n \sumft[i=1]{n} X_i \notin (0,4;0,6)\} = P\{\lvert \frac 1 4 \sumft[i=1]{n} X_1 - \frac 1 2 \rvert \geq \epsilon = \frac 1 10 \} \leq 0,05
		\]
		, d.h. falls bei 500 Würfen die relative Häufigkeit $\leq 0,4$ oder $\geq 0,6$ ist, dann ist die Münze vermutlich unfair.\\
		
		Das Intervall $(0,4;0,6)$ ist unnötig lang.\\
		Der Zentrale Grenzsatz liefert genauere Abschätzungen.
		
	\end{example}
	
	\begin{example}[Monte-Carlo-Situation]
		Ziel: Berechne für Zufallsvariable Z wahrscheinlichkeit von Typ $P\{Z \in A\}$ oder Erwartungswert $E(Z)$\\
		Problem: Verteilung $P^Z$ ist oft nicht analytisch bestimmbar\\
		Insbesondere ist oft der Fall, wenn $Z= f(Y_1,...,Y_k)$, wobei $Y_i$ ``einfach'' ist.\\
		
		\hangindent=1.2cm
		\noindent Dann: Simuliere ``Pseudozufallszahlen'' $z_i$, die sich Wahrscheinlich so verhalten, als würde man unabhängige Zufallsvariablen $Z_i$ beobachten, die alle die selbse Verteilung wie $Z$ haben.
		
		Gesetz der Großen Zahlen:
		\[
			\frac 1 n \sumft[i=1]{n}Z_i \rightarrow E(Z)
		\]
		\hangindent=0cm
		Daher ist zu hoffen, dass $ \frac 1 n \sumtn Z_i \approx E(Z)$, wenn n hinreichend groß ist.
		
		\underline{Konkretes Beispiel}:\\ \hangindent=1.2cm
		Seien $Y_1, Y_2$ gleichverteilt auf $\{1, \frac 1 L , \frac 2 L ,... 1\} =: S_L \quad (L \in \mathbb{N})$\\
		und $Y_1,Y_2 $ seien unabhängig.\\
		$\Rightarrow (Y_1,Y_2)$ gleichverteilt auf $S_L^2$\\
		\\
		Falls $L$ sehr groß ist, so ist $(Y_1,Y_2)$ näherungsweise gleichverteilt auf $[0,1]^2$\\
		
		-------------------- Zeichnung eines Viertels des Einheitskreises --------------------------\\
		
		$Z= 1_{\{X_1^2 + Y_2^2 \leq 1\}}$ : Indikator, $Y_1,Y_2$ im Viertelkreis liegt.\\
		\\
		$E(Z) = P \{Y_1^2 + Y_2^2 \leq 1\} \approx \frac {\text{Fläche Viertelkreis}} {\text{Fläche Einheitsquadrat}} = \frac \pi 4$\\
		$\Rightarrow \pi = 4 \cdot E(Z)$\\
		\\
		Bestimme Approximation von $\pi$ durch Simulation, in dem n Paare von auf $S_L$ gleichverteilten Pseudozufallszahlen $(Y_1^{(i)},Y_2^{(i)})$ gewählt werden und daraus \\ $z_i := 1_{\{ (Y_1^{(i)})^2 + (Y_2^{(i)})^2 \leq 1 \}}$ berechnet.
		
		\[
			4 \cdot \underbraceset{\approx E(Z)}{ \frac 1 n \sumtn z_i} \approx 4 \cdot E(Z) = \pi
		\]
		
	\end{example}
	\pagebreak
	
	\begin{satzdef}[Zentraler Grenzwertsatz]
		Seien $X_i$, $i \in \mathbb{N}$ unabhängig und identisch verteilte Zufallsvariablen (iid = independend and identially distributed) (d.h. $P^{X_i} = P^{X_1} \forall i$) mit Erwartungswert $\mu = E(X_i)$ und Varianz $\sigma^2 = Var(X_i) \in (0,\infty)$\\
		Dann gilt für alle $x \in \mathbb{R}$
		\[
			P \left \{  \frac 1 {\sqrt{n \cdot \sigma^2}} \sumtn (X_i - \mu) \leq x \right \} \xrightarrow{n \rightarrow \infty}{} \Phi(x) := \frac 1 {\sqrt{2\pi}} \int\limits_{-\infty}^{x} e ^{- \frac {t^2} {2}} dt
		\]
		$\Phi$ heißt \underline{Standartnormalverteilungsfunktion}\\
		$\varphi = \Phi'$ heißt \underline{Standartnormalverteilungsdichte}\\
		\indent \indent d.h. $\varphi(t) = \frac {1} {\sqrt{2\pi}} \cdot e^{- \frac {t^2} 2} , t \in \mathbb{R}$
	\end{satzdef}
	
	Beweis: Ist z.B. im Dübgen zu finden.
	
	Es gilt: \\
	\hangindent=2cm
		$\Phi(-\infty) := \underset{x \rightarrow -\infty}{\lim} \Phi(x) = 0$\\
		$\Phi(\infty) := \underset{x \rightarrow \infty}{\lim} \Phi(x) = 1$\\
		$\varphi(t) = \varphi(-t) \qquad \forall t \in \mathbb{R}$
		
		\[
			\overset{X \geq 0}{\Rightarrow} \Phi(-x) = \int\limits_{-\infty}^{-x} \varphi(t) dt = \int\limits_{x}^{\infty} \underbraceset{=\varphi(t)}{\varphi(-t)} dt = 
			\underbraceset{=\Phi(\infty) = 1}{\int\limits_{-\infty}^{\infty} \varphi(t) dt} - \underbraceset{= \Phi(x)}{\int\limits_{-\infty}^{x} \varphi(t) dt}
		\]
		d.h. $\Phi(-x) = 1 - \Phi(x)$\\
		Insbesondere $\Phi(0) = \frac 1 2$
		
		
    	\includegraphics[width=\textwidth]{standartnormalverteilung.png}
    	
    	\pagebreak
    	
    \begin{example}\label{example:5.7}
    	$X_i$ iid und $\mathcal{P}_\lambda$-verteilt, $\lambda > 0$\\
    	$\Rightarrow \mu = \sigma^2 = \lambda\;, \; S_n ist \mathcal{P}_{n\lambda}$-verteilt ($\rightarrow$ Bsp. \ref{example:3.10}, \ref{example:4.4}, \ref{example:4.11})\\
    	\\
    	Für große $n$
    	\[
    		\begin{split}
    			&P\{ \frac 1 {\sqrt{n\lambda}} \underbraceset{= S_n - n\lambda}{\sumtn (X_i - \lambda)} \leq x\} ( \approx \Phi(x))\\
    			&= P\{S_n \leq n\lambda + \sqrt{n\lambda} x\} = \mathcal{P}_{n\lambda}\{0,...,\lfloor n\lambda + \sqrt{n\lambda}x \rfloor\}\\
    		\end{split}
    	\]
    	\[
    		\begin{split}
    			\Rightarrow & P\left\{\lvert \sumtn(X_i - \lambda) \geq c\right\} = \underbraceset{1- P\{\sumtn (X_i - \lambda) < c\} }{P\left\{\sumtn(X_i - \lambda) \geq c\right\}} + P\left\{\sumtn (X_i - \lambda) \leq -c \right\}\\
    			&=  1 - P\left \{ \frac 1 {\sqrt{n\lambda}} \sumtn (X_i - \lambda) < \frac c {\sqrt{n\lambda}} \right\} + P\left\{ \frac 1 {\sqrt{n\lambda}} \sumtn (x_i - \lambda) \leq \frac c {\sqrt{n\lambda}} \right\}\\
    			&\approx \Phi\left(- \frac c {\sqrt{n\lambda}}\right) + 1 - \Phi\left(\frac c {\sqrt{n\lambda}}\right)\\
    			&= 2 \Phi\left(- \frac c {\sqrt{n \lambda}}\right)
    		\end{split}
    	\]
    	
    	Vergleich mit der Ungleichung von Chebyshev:
    	\[
    		P\left\{ \lvert \sumtn (X_i -\lambda) \rvert \geq c \right\} \leq \frac {Var\left ( \sumtn X_i \right)} {c^2} = \frac {n\lambda} {c^2}
    	\]
    	
    	$n\cdot \lambda = 100$
    	
    	------------------------ Beamervorführung des Vergleiches ----------------------------------
    \end{example}
    
    \begin{korollar}[Zentraler Grenzwertsatz von Moivre-Laplace]
    	Ist $Y_n$ eine $\mathcal{B}_{(n,p)}$-verteilte Zufallsvariable mit $p\in(0,1) \quad (\forall n \in N)$,
    	so gilt
    	\[
    		P\left\{ a < \frac {Y_n - np} {\sqrt{np \cdot (1-p)}} \leq b \right\} \xrightarrow{n \rightarrow \infty}{} \Phi(b) - \Phi(a) \quad (\forall -\infty \leq a \leq b \leq \infty)
    	\]
    \end{korollar}
	
	Beweis:\\
	Ist $X_i \; \mathcal{B}_{(n,p)}$-verteilt und unabhängig,\\
	dann ist $S_n = \sumtn X_i$ genauso verteilt wie $Y_n$ ( $\rightarrow$ Bsp \ref{example:3.5}) \\
	Außerdem $E(X_i) = p, Var(X_i) = p \cdot (1-p) \qquad $(Bsp \ref{example:4.18})
	\[
		\Rightarrow P\left\{ a < \frac {Y_n - np} {\sqrt{np(1-p)}} \leq b \right\} \xrightarrow{n \rightarrow \infty} \Phi(b) -\Phi(a) \qquad \forall -\infty \leq a \leq b \leq \infty
	\]
	
	\begin{example}
		Das Flugzeug eines Fluges kann $n_0 = 200$ Personen befördern.\\
		Mit Wahrscheinlichkeit $p= 0,96$ erscheinen die Ticketinhaber jeweils unabhängig von einander zum Flug.\\
		
		Frage: Wie viele Tickets darf das Unternehmen verkaufen, damit die Wahrscheinlichkeit einer Überbuchung $\leq 0,05$ ist?\\
		$X=$ Anzahl der Personen, die zum Flug erscheinen\\
		$n=$ Anzahl der verkauften Tickets\\
		$\Rightarrow X $ ist $\mathcal{B}_{(n,p)}$-verteilt\\
		\\
		Wähle n maximal, so dass $P\{X > n_0\} \leq 0,05$
		\[
			\begin{split}
			&P\{X > n_0\} = P\left\{ \frac {X-np}{\sqrt{np(1-p)}} > \frac {n_0 - np}{\sqrt{np(1-p)}} \right \} \approx 1 - \Phi\left ( \frac {n_0 - np}{\sqrt{np(1-p)}} \right ) \leq 0,05\\
			&b=\infty\\
			&a= \frac {n_0 - np}{\sqrt{np(1-p)}}\\
			&\\
			&\Leftrightarrow \frac {n_0 - np}{\sqrt{np(1-p)}} \geq \Phi^{-1}(0,95) = Z_{0,95} \approx 1,645\\
			&\Leftrightarrow (n_0 - np)^2 \geq np(1-p)Z_{0,95}^2 \qquad n \geq n_0\\
			&\Leftrightarrow ... \Leftrightarrow n_0 \leq n 
				\leq \dfrac {n_0 + \frac 1 2 (1-p)Z_{0,95}^2}{p}
					 - \sqrt{
					 	\left ( \dfrac {n_0 + \frac 1 2 (1-p) Z_{0,95}^2} {p} \right )^2 - \left( \dfrac {n_0}{p} \right) ^2 
					 	} 
				\approx 203,55
			\end{split}
		\]
		
		Also dürfen maximal 203 Tickets verkauft werden.\\
		\\
		\\
		\underline{Modifikation:} $P\{X > n_0\} = P\{X > t\} \qquad \forall t \in [n_0,n_0+1)$\\
		Genauso wie oben ergiebt sich:
		\[
			P\{X > t\} \approx 1 -\Phi\left ( \frac {t - np}{\sqrt{np(1-p)}} \right )
		\]
		Oft ist die Approximation besonders gut für den mittleren Wert $t=n_0 + \frac 1 2$\\
		Dies nennt man \underline{Stetigkeitskorrektur}\\
		Bei der Wahr $t=n_0 + \frac 1 2$ (statt wie oben $n_0$) erhällt man die Bedingung
		\[
			n \leq 204,06 \rightsquigarrow \text{Der Verkauf von 204 Tickets ist erlaubt}
		\]
		In der Tat ist
		\[
			P\{X > n_0\} = \mathcal{B}_{(n,p)}\{n_0 + 1, ... , n\} \approx 
			\left \{ 
				\begin{matrix}
					0,048 & \text{für} & n=204\\
					0,094 & \text{für} & n=205
				\end{matrix}
			\right.
		\]
		d.h. die Bedingung ist tatsächlich erfüllt für $n=204$
	\end{example}
	
	\begin{example}[Fortsetzung von Beispiel \ref{example:5.4}]
		Eine Münze wird $n=500$ mal geworfen.\\
		$p$ ist die Wahrscheinlichkeit für Kopf.\\
		Gesucht: Ein Test, ob $p=\frac 1 2$ (d.h. die Münze ist fair)
		\[
			X_i = \left \{
				\begin{matrix}
					1 & \text{falls im i-ten Wurf Kopf fällt}\\
					0 & \text{falls im i-ten Wurf Zahl fällt} 
				\end{matrix}
			\right.
		\]
		$\frac 1 n \sumtn X_i = $ relative Häufigkeit, mit der Kopf fällt\\
		Test: Falls $\lvert \frac 1 n \sumtn X_i - \frac 1 2 \rvert \geq \epsilon$, dann wird die Münze als unfair angesehen.\\
		Frage: Wie ist $\epsilon$ zu wählen?\\
		Wähle $\alpha$ (z.B. $\alpha = 0,05$) und dann $\epsilon$ so, dass die Wahrscheinlichkeit $P\{ \lvert \frac 1 n \sumtn X_i - \frac 1 2 \rvert \geq \epsilon \} \leq \alpha$, falls die Münze tatsächlich fair ist.\\
		
		Mittels des Zentralengrenzwertsatzes:
		\[
			\begin{split}
			P\{\lvert \frac 1 n \sumtn X_i - \frac 1 2 \rvert \geq \epsilon\} &= P\{1 n \sumtn X_i - \frac 1 2 \geq \epsilon\} + P\{1 n \sumtn X_i - \frac 1 2 \leq - \epsilon\}\\
			&= 1 - P\{1 n \sumtn X_i - \frac 1 2 < \epsilon\} + p\{1 n \sumtn X_i - \frac 1 2 \leq -\epsilon\}\\
			&= 1 - P \left\{ \frac {\sumtn X_i - \frac n 2}{\sqrt{n \frac 1 2 (1 - \frac 1 2)}} < \frac {n\epsilon}{\sqrt{n \frac 1 4}} \right\} 
				+ P \left \{ \frac {\sumtn X_i - \frac n 2}{\sqrt{\frac n 4}} \leq \frac {n\epsilon}{\sqrt{\frac n 4}} \right \}\\
			&\approx 1 -\Phi(\sqrt n \cdot 2 \epsilon) + \Phi(-\sqrt n \cdot 2 \epsilon) = 2 \Phi(-2\epsilon \sqrt n) \eqover{!} \alpha
			\end{split}
		\]
		$\Rightarrow \epsilon = \dfrac {.\Phi^{-1} \left ( \frac {\alpha}{2} \right)} {2 \sqrt(n)} 
		\underset{
			\begin{matrix}
				_{\alpha = 0,05}\\
				_{n = 500}
			\end{matrix}
		}{\approx} 0,0438$\\
		d.h. die Münze kann als unfair angesehen werden, wenn die relative Häufigkeit mit der Kopf fällt \underline{nicht} in dem Intervall 
		\[ (0,4562; 0,5438) \]
		ist.
		
		Vergleich mit dem Intervall, dass sich aus der Chebyshev'schen Ungleichung ergeben hat ($\rightarrow$ Beispiel \ref{example:5.4}):
		\[ (0,4;0,6) \]
		Bei der Approximation mit dem Zentralengrenzwertsatz werden unfaire Münzen viel eher erkannt.
	\end{example}
	
\chapter{Wahrscheinlichkeitsmaße auf $\mathbb{R}$}

	Kontinuierliche Ergebnisse eines Zufallsexperiments (z.B. Lngen, gewichte, Zeiten) lassen sich nicht auf natürliche Weise durch diskrete Wahrscheinlichkeitsräume bescheiben.\\
	\\
	Im Allgemeinen kann man \underline{nicht} mehr jeder Untermenge des Grundraumes eine Wahrscheinlichkeit zuweisen.\\
	
	Wahrscheinlichkeiten erhalten nur ``gutartige'' Mengen.
	\begin{itemize}
		\item Intervalle sind gutartig
		\item Komplemente gutartiger Mengen sind gutartig
		\item abzählbare Vereinigungen gutartiger Mengen sind gutartig
	\end{itemize}
	(formale Definition später)\\
	\\
	
	$\mathcal{A}:$ System aller gutartigen Mengen.\\
	Wahrscheinlichkeitsmaß \quad $P: \mathcal{A} \rightarrow [0,1]$\\
	mit $P(\mathbb{R}) = 1$, $A_n \in \mathcal{A}$ disjunkt, dann $P(\underset{n \in N}{\bigcup} A_n = \sumft{n\in \mathbb{N}} P(A_n)$\\
	
	Frage: Wie kann man Wahrscheinlichkeitsmaße \underline{einfach} beschreiben?\\
	Es reicht $P(A)$ nur für alle Intervalle anzugeben, genauer $P((a,b])$ für alle $-\infty < a < b < \infty$.\\
	Wegen $P((a,b]) = P((-\infty,b]) - P((-\infty,a])$\\
	denn $(a,b],(-\infty, a]$ sind disjungt und so $(a,b]\cup(-\infty, a] = (-\infty, b]$\\
	\\
	Also reicht es $P((-\infty,x))$ für alle $x\in \mathbb{R}$ festzulegen.
	
	\begin{satzdef}[Verteilungsfunktion]
		Ist P ein Wahrscheinlichkeitsmaß auf $\mathbb{R}$, so gilt für die durch $F: \mathbb{R} \rightarrow [0,1] \; , \; F(x) := P((-\infty,x])$ definierte \underline{Verteilungsfunktion} von P
		\begin{enumerate}[(i)]
			\item $F$ ist monoton Steigend
			\item $F$ ist rechtsseitig stetig
			\item $F(\infty) := \underset{x \rightarrow \infty} {\lim} F(x) = 1 \; , \; F(-\infty) := \underset{x \rightarrow -\infty}{\lim} F(x) = 0$
		\end{enumerate}
		
		Ist umgekehrt $F$ eine Funktion von $\mathbb{R}$ nach $[0,1)$, die die Eigenschaften (i) - (iii) besitzt, so existiert genau ein Wahrscheinlichkeitsmaß auf $\mathbb{R}$, das F als Verteilungsfunktion besitzt.
	\end{satzdef}
	
	Beweis von (i):
	\[
		x \leq y \Rightarrow (-\infty,x ] \subset (-\infty,y] \Rightarrow F(x) = P((-\infty, x]) \leq P((-\infty,y]) = F(y)
	\]
	
	\begin{satzdef}[Dichte]
		Sei P ein Wahrscheinlichkeitsmaß auf $\mathbb{R}$. Existiert eine integrierbare Funktion $f:\mathbb{R}\rightarrow [0,\infty)$, so dass
		\begin{equation} \label{eqn:6.1}
			P((-\infty,x]) = \intft[-\infty]{x} f(t) dt
		\end{equation}
		so heißt $f$ \underline{Dichte} von P.\\
		
		Ist $A \subset \mathbb{R}$ so, dass $f \cdot 1_A $ integrierbar ist, so gilt
		\[
			P(A) = \int f(x) \cdot 1_A(x) dx =: \intft{A} f(x) dx
		\]
		
		Umgekehrt ist jede integrierbare Funktion $f: \mathbb{R} -> [0,\infty)$ mit $\intft{\mathbb{R}} f(t) dt = 1$ Dichte eines Wahrscheinlichkeitsmaßes auf $\mathbb{R}$, das durch (\ref{eqn:6.1}) eindeutig festgelegt ist.
	\end{satzdef}
	
	\begin{example}
		$\phantom{.}$
		\begin{enumerate}[(i)]
			\item 
				Sei $-\infty < a < b < \infty$ und definiere $f: \frac {1_{(1,b]}} {b-a}$ als eine Dichte eines Wahrscheinlichkeitsmaßes $\mathcal{U}_{(a,b]}$ auf $\mathbb{R}$, denn $\intft{\mathbb{R}} f(t) dt = \frac 1 {b-a}$ und $\intft{\mathbb{R}} 1_{(a,b]}t dt = \frac {b-a}{b-a} = 1$\\
			
				$\mathcal{U}_{(a,b]}$ heißt \underline{Gleichverteilung}  auf $(a,b]$\\
				Es gilt $a \leq c < d \leq b$
				\[
					\begin{split}
					\mathcal{U}_{(a,b]}((c,d])& = \int f(x) \cdot 1 _{c,d}(x) dx\\
					& = \int \frac {1_{(a,b]}(x)}{b-a} \cdot 1_{(c,d]}(x) dx\\
					& = \frac {d-c}{b-a}
					\end{split}
				\]
			
				d.h. die Wahrscheinlichkeit von $(a,d]$ hängt nur von der Länge des Intervalls ab, nicht von seiner Lage innerhalb von $(a,b]$\\
			
			\item
				$f_\lambda (x) := \frac 1 \lambda \cdot e^{-\frac x \lambda} \cdot 1_{[0,\infty]} (x) \qquad (\lambda > 0)$ ist Dichte eines Wahrscheinlichkeitsmaßes auf $\mathbb{R}$, denn
				\[
					\intft{\mathbb{R}} f_\lambda (x) dx = \frac 1 \lambda \intft[0]{\infty} e^{- \frac x \lambda} dx = \left . -e^{- \frac x \lambda} \right \rvert_0^{-\infty} = 1 
				\]
				
				Das zugehörige Wahrscheinlichkeitsmaß $E_\lambda$ heißt \underline{Exponentialverteilung} mit Mittelwert $\lambda > 0$. Sie besitzt die Verteilungsfunktion 
				\[
					F_\lambda(x) = \intft[-\infty]{x} f_\lambda(t) dt \eqover{s.o.}  \left . -e^{- \frac t \lambda} \right \rvert_0^x = 1-e^{- \frac x \lambda} \qquad{\forall x \geq 0}
				\]
				und $F_\lambda(x) = 0 \qquad \forall x < 0$\\
		
				Für $x,y \geq 0$ gilt
				\[
					\begin{split}
					E_\lambda((x+y,\infty) \mid (x,\infty)) &= \dfrac {E_\lambda ((x+y,\infty) \cap (x,\infty)}{E_\lambda((x,\infty))} \\
					& = \dfrac {E_\lambda ((x+y,\infty))}{E_\lambda((x,\infty))} = \dfrac {1- E_\lambda((-\infty,x+y))}{1 - E_\lambda((-\infty,x))}\\
					& = \dfrac {1-F_\lambda(x+y)}{1 - F(x)} = \dfrac {e^{- \frac {x+y} {\lambda}}} {e^{- \frac x \lambda}} \\
					& = \dfrac {e^{- x \frac x \lambda}\cdot e^{- \frac y \lambda}} {e^{- \frac x \lambda}} = e^{- \frac y \lambda}
					\end{split}
				\]
		
				Fazit: Exponentialverteilungen beschreiben Lebensdauern von Dingen, die nicht altern, d.h. die Wahrscheinlichkeit noch $y$ Jahre zu überleben, gegeben dass bereits $x$ Jahre überlebt wurden, hängt nicht von $x$ ab.
		
			
			\item
				$\varphi(t) := \frac 1 {\sqrt{2\phi}} \cdot e^{- \frac {t^2} 2} \quad , t\in \mathbb{R}$,\\
				ist die Dichte der sogenannten \underline{Standartnormalverteilung} $\mathcal{N}_{(0,1)}$, denn die zugehörige Verteilungsfunktion $\Phi(x) = \intft[-\infty]{x} \varphi(x) dt$ erfüllt $\Phi(\infty) = 1 \quad $($\rightarrow$ Zentralergrenzwertsatz)
		
		\end{enumerate}
		
	\end{example}
	
	\begin{example}
		Ein Seil der Länge 1 wird so lange an beiden Enden gezogen, bist es reißt.\\
		\\
		Die Wahrscheinlichkeit, dass das Seil in der Umgebung der Stelle $x\in(0,1)$ reißt, sei proportional zum Abstand zum näher gelegenen Ende, also proportional zu $\min(x,1-x)$
		\\
		
		Modell: P sei das Wahrscheinlichkeitsmaß mit Dichte
		\[
			f(x) = \left \lbrace 
			\begin{matrix}
				c \cdot \min(x,1-x) &, x\in (0,1)\\
				0 &  , sonst
			\end{matrix}
			\right .
		\]
		
		Wähle $c > 0$ so, dass $\intft{\mathbb{R}} f(x) \; dx \eqover{!} 1$\\
		d.h.
		\[
			c \cdot \intft[0]{1} \min(x,1-x) dx = 2 \cdot c \intft[0]{\frac 1 2} x \; dx = \left . cx^2 \right \rvert_0^{\frac 1 2} = \frac c 4 \eqover{!} 1
		\]
		$\Rightarrow c=4$, d.h. $f(x)=4 \cdot \min(x,1-x) \cdot 1_{(0,1)}(x)$\\
		\\
		Die Wahrscheinlichkeit, dass das längere Teilstück $\geq \frac 3 4$, ist
		\[
			\begin{split}
			P((0, \frac 1 4) \cup (\frac 3 4,1)) & = \int 1_{(0,\frac 1 4) \cup (\frac 3 4,1)}(x) \cdot f(x) \; dx\\
			& = \intft[0]{\frac 1 4} 4x \; dx + \intft[\frac 3 4]{1} 4 \cdot (1-x) \; dx \eqover{s.o.} = \left. 4 x^2 \right \rvert_0^{\frac 1 4} = \frac 1 4
			\end{split}
		\]
		\\
	\end{example}
	
	
	Beim diskreten Wahrscheinlichkeitsraum $(\Omega,P)$ ist eine Abbildung $X: \Omega \rightarrow S$ eine Zufallsvariable mit der Verteilung von $X$: $P^X(B) = P(X^{-1}(B)) = P\{X \in B\} \quad \forall B \subset S$.
	Dies ist dann ein Wahrscheinlichkeitsmaß auf S.\\
	\\
	Jetzt ist $P: \underline{\underline{\mathcal{A}}} \rightarrow [0,1]$. Daher ist $P(X^{-1}(B))$ nur noch definiert, wenn $X^{-1}(B) \in \mathcal{A}$, d.h. ``gutartig'' ist.\\

	Definiert man $X: \mathbb{R} \rightarrow \mathbb{R}$ so, dass $X^{-1}(B) \in \mathcal{A} \qquad \forall B \in \mathcal{A}$, \\
	dann gilt wie oben $P^X(B) := P(\{B \in B\}) \qquad \forall B \in \mathcal{A}$ definiert ein Wahrscheinlichkeitsmaß $P^X$ auf $\mathbb{R}$.\\
	\\
	Im diskreten Wahrscheinlichkeitsraum gilt:
	\[
		E(X) = \sumft{x\in X(\Omega)} x \cdot \underbraceset{P^X(\{x\})}{P\{X=x\}}
	\]
	\\
	\\
	\underline{Das ist hier unsinnig}:
	
	Wenn z.B. $P^X$ eine Dichte $f$ besitzt, so ist $P^X(\{x\}) = \intft{\mathbb{R}}f(t) \cdot 1_{\{x\}}(t) \; dt = 0 \quad \forall x \in \mathbb{R}$.\\
	Daher ist ein neuer Ansatz nötig.
	
	\pagebreak
	
	\begin{lemma}
		Ist $X$ eine $\mathbb{R}$-wertige diskrete Zufallsvariable, so gilt
		\[
			E(X) = \intft[0]{\infty} P\{x > t\} dt - \intft[-\infty]{0} P\{x < t\} dt \text{,}
		\]
		falls die rechte Seite wohl definiert ist.
	\end{lemma}
	
	Zur Veranschaulichung Skitzen, falls $X$ nur Werte $0 < x_1 < x_2 < ... < x_n < \infty$ annnimmt.\\
	$p_i = P\{X = x_i\}$
	
	---------------------- Skitze zur Veranschaulichung ------------------------- %TODO: Skitze%
	
	\begin{definition}[Erwartungswert]
		Ist X eine $\mathbb{R}$-wertive Zufallsvariable mit der Verteilungsfunktion $F$ (d.h. $P^X$ hat Verteilungsfunktion $F$), so wird der \underline{Erwartungswert} von $X$ definiert als 
		\[
			E(X) = \intft[0]{\infty}1 - F(t) \; dt - \intft[- \infty]{0} F(t) \; dt \text{,}
		\]
		falls die rechte Seite wohl definiert ist (d.h.wenigstens ein Integral endlich ist).
	\end{definition}
	
	\begin{satz}
		Besitzt $X$ eine dichte $f$, so gilt
		\[
			E(X) = \intft[-\infty]{\infty} x f(x) \; dx \text{,}
		\]
		falls das Integral wohl definiert ist.
	\end{satz}
	
	\begin{example}
		$\phantom{.}$\\
		\begin{enumerate}
			\item Sei X eine Zufallsvariable mit der Verteilungsfunktion $\Phi$ (d.h. $P^X = \mathcal{N}_{(0,1)}$) bzw. mit Dichte $\varphi$. Dann gilt
			\[
				E(X) = \intft[-\infty]{\infty} x \varphi(x) \; dx = \intft[-\infty]{\infty} x \frac 1 {\sqrt{2\pi}} \cdot e^{- \frac {x^2} 2} \; dx = 0 \text{,}
			\]
			da es das Intervall einer ungeraden Funktion ist.

			\item Ist $X$ exponential verteilt, d.h. $P^X = E_\lambda$ für ein $\lambda > 0$, mit der Verteilungsfunktion $F_\lambda(X) = (1-e^{\frac x \lambda}) \cdot 1_{(0,\infty)}(x)$, so folgt
			\[
				E(X) \underset{def.}{=} \intft[0]{\infty} \cdot e^{- \frac x \lambda} \; dx =  \left . - \lambda e^{- \frac x \lambda} \right \rvert_0^{\infty} = \lambda
			\]

		\end{enumerate}
	\end{example}
	
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%% 26.05.2009
	
	Wie sehen Systeme ``gutartiker Mengen'' aus?
	
	\begin{definition}[$\sigma$-Algebra,Messraum, Ergebnis, Wahrscheinlichkeitsmaß \& -raum]
		$\phantom{.}$\\
		Sei $\Omega \neq \emptyset$ eine beliebiger Grundraum.
		\begin{enumerate}[(i)]
			\item
			Eine Menge $\mathcal{A} \subset 2^\Omega$ von Untermengen von $\Omega$ heißt \underline{$\sigma$-Algebra auf $\Omega$}, falls folgende bedingungen erfüllt sind:
			\begin{itemize}
				\item $\Omega \in \mathcal{A}$
				\item $A \in \mathcal{A} \Rightarrow A^c \in \mathcal{A}$
				\item $A_n \in \mathcal{A} \quad \forall n \in \mathbb{N} \Rightarrow \underset{n \in N}{\bigcup} A_n \in \mathcal{A}$
			\end{itemize}
			$(\Omega,\mathcal{A})$ heißt dann \underline{Messraum}.\\
			Die Mengen $A \in \mathcal{A}$ heißen dann \underline{Ergebnisse}.
			
			\item Eine Abbildung $P: \A \rightarrow [0,1]$ heißt \underline{Wahrscheinlichkeitsmaß} auf $(\Omega,\A)$, falls
				\begin{itemize}
					\item $P(\Omega)=1$
					\item $A_n \in \A, \; n \in \mathbb{N}, \; \text{disjunkt} \Rightarrow P \left ( \underset{n\in \mathbb{N}}{\bigcup} A_n \right ) = \sumft{n \in N} P(A_n) \qquad$ ($\sigma$-Additivität)
						
				\end{itemize}
				
				$(\Omega,\A,P)$ heißt dann \underline{Wahrscheinlichkeitsraum}.
				
		\end{enumerate}
	\end{definition}
	
	Diskrete Wahrscheinlichkeitsräume sind Spezialfälle mit $\A = 2^\Omega$.\\
	Oft ist $\sigma$-Algebra $2^{\Omega}$ zu groß.\\
	Man kann zeigen: Es gibt kein Wahrscheinlichkeitsmaß P auf $([0,1],2^{[0,1]}$ so dass $P((c,d]) = d - c \qquad \forall 0 \leq c < d \leq 1$.\\
	D.h. es gibt keine Gleichverteilung auf dem Einheitsintervall, die jeder Untermenge eine Wahrscheinlichkeit zuweist.\\
	
	Die Sätze und Definitionen 1.4, 1.9 , 2.1, 2.3, 2.5, 2.6 übertragen sich sinngemäß auf allemeine Wahrscheinlichkeitsräume, wobei stets nur Mengen aus $\A$ (statt beliebige Untermengen von $\Omega$) betrachtet werden.
	
	\pagebreak
	
	\begin{satzdef}[Zufallsvariable, Messbarbeit und Verteilung]
		Seien $(\Omega,\A), (\tilde\Omega,\tilde\A)$ Messräume und $X: \Omega \rightarrow \tilde\Omega$. X heißt $\tilde\Omega$-wertige \underline{Zufallsvariable}, 
		falls $X^{-1}(\tilde A) \in \A \quad \forall \tilde A \in \tilde\A$. 
		\\Man schreibt dann $X: (\Omega,\A) \rightarrow (\tilde\Omega,\tilde\A)$ und sagt, dass X $\A,\tilde\A$-messbar ist.\\
		
		Sei $P$ ein Wahrscheinlichkeitsmaß auf $(\Omega,\A)$. Dann wird durch 
			\[P^X(\tilde A) := P(X^{-1}(\tilde A)) = P\{X \in \tilde A\}, \; \tilde A \in \tilde\A\,\]
		ein Wahrscheinlichkeitsmaß $P^X$ auf $(\tilde\Omega,\tilde\A)$ definiert; die so genannte \underline{Verteilung} von $X$ unter $P$.
	\end{satzdef}
	
	Beweis: wie 3.1
	
	\begin{satzdef}
		$\phantom{.}$
		\begin{enumerate}[(i)]
			\item
				Ist $\Omega \neq \emptyset$ und $\mathcal{C} \subset 2^{\Omega}$, so ist
				\[
					\sigma(\mathcal{C}) := \underset{\mathcal{C} \in \A} {\underset{\A \; \sigma\text{-Algebra auf }\Omega} {\bigcup}} \A
				\]
				die kleinste $\sigma$-Algebra auf $\Omega$, die alle Mengen aus $\mathcal{C}$ enthält. 
				Sie heißt die durch \underline{von $\mathcal{C}$ erzeugte $\sigma$-Algebra}.
				
			\item
				Speziell für $\Omega = \mathbb{R}$ heißt
				\[
					\mathbb{B} := \sigma(\{ (a,b] \mid -\infty < a < b < \infty \}) 
				\]
				\underline{Borel-$\sigma$-Algebra} auf $\mathbb{R}$ und allgemeiner für Intervalle $I$
				\[
					\mathcal{B}(I) := \sigma(\{ (a,b] \mid a < b, \quad a,b \in I \})
				\]
				die \underline{Borel-$\sigma$-Algebra auf $I$}.
				
		\end{enumerate}
	\end{satzdef}
	
	$\mathbb{B}$ enthällt alle ``üblichen'' Untermengen von $\mathbb{R}$, aber man kann zeigen, dass $\mathbb{B} \neq 2^{\mathbb{R}}$.\\
	Im folgenden sollen alle (nicht-diskrete) Wahrscheinlichkeitsmaße auf $\mathbb{R}$ stets auf $(\mathbb{R},\mathbb{B})$ definiert sein.\\
	Jedes Wahrscheinlichkeitsmaß $P$ auf $(\mathbb{R},\mathbb{B})$ ist durch seine Verteilungsfunktion 
	\[ 
		F(X) = P((-\infty,x]), \; x \in \mathbb{R}
	\] 
	eindeutig bestimmt ($\rightarrow$ Satz 6.1).
	
	\begin{lemma}
		Sei $(\Omega,\A,P)$ ein Wahrscheinlichkeitsraum.
		\begin{enumerate}[(i)]
			\item
			Sei $A_n \in \A, \; n \in \mathbb{N}$ eine monoton steigende Folge (d.h. $A_n \subset A_{n+1} \quad \forall n \in \mathbb{N}$).\\
			Dann gilt für $A := \underset{n \in \mathbb{N}}{\bigcup} A_n  \quad $ (kurz $A_n \uparrow A$)
			\[
				P(A) = \underset{n\rightarrow \infty}{\lim} P(A_n)
			\]
			\item
			Ist $B_n \in \A,\; n \in \mathbb{N}$ eine monoton fallende Folge ( d.h. $B_n \subset B_{n+1} \quad \forall n \in \mathbb{N}$) 
			und $B := \underset{n\in \mathbb{N}}{\bigcup} B_n $ (kurz $B_n \downarrow B)$, so gilt
			\[
				P(B) = \underset{n \rightarrow \infty}{\lim} P(B_n)
			\]
		\end{enumerate}
	\end{lemma}
	
	Beweis:
	\begin{enumerate}
		\item
			Definiere $C_1 := A_1, \; C_n := A_n \setminus A_{n-1} \quad \forall n \geq 2 $\\
			$\Rightarrow C_n, \; n \in \mathbb{N}, \text{ disjunkt, } \quad \underoverset{i=1}{n}{\bigcup}C_i = A_n$ 
			und insbesondere $\underset{i \in \mathbb{N}}{\bigcup}C_i = A$
			\[
				\Rightarrow P(A) = \sumft{i \in N} P(C_i) = \underset{n \rightarrow \infty}{\lim} \sumtn P(C_i) = \underset{i \rightarrow \infty}{\lim} P(A_n)
			\]
		\item
			wende (i) auf $A_n := B_n^c \uparrow \underset{k \in \mathbb{N}}{\bigcup} B_k^c = \left (\underset{k \in \mathbb{N}}{\bigcap} B_k \right )^c = B^c =: A$ an.
			\[
				P(B) = 1 - P(A) \eqover{(i)} 1 - \underset{n \rightarrow \infty}{\lim} P(A_n) = \underset{n \rightarrow \infty}{\lim}(1 - P(A_n)) = \underset{n \rightarrow \infty}{\lim} P(B_n)
			\]
	\end{enumerate}
	
	Beweis von 6.1 (ii) \& (iii):
	\begin{enumerate}[(i)]
		\item[(ii)]
			Beh.: $F$ ist rechtsseitig stetig\\
			Beweis: Sei $X_n \downarrow X$. Dann $(-\infty,X_n] \downarrow (-\infty,X]$. Mit 6.12(ii):
			\[
				F(X_n) = P((-\infty,X_n]) \rightarrow P((-\infty,X]) = F(X)
			\]
		\item[(iii)]
			Beh.: $F(\infty) := \underset{x \rightarrow \infty}F(x) = 1, \; F(-\infty) := \underset{x \rightarrow -\infty}{\lim}F(x) = 0$\\
			Beweis: Sei $X_n \uparrow \infty$. Dann $(-\infty,X_n) \uparrow \mathbb{R}$ und 6.12(i) liefert
			\[
				F(\infty) = \underset{n \rightarrow \infty}{\lim}P((-\infty,X_n]) = P(\mathbb{R}) = 1
			\]
			Die zweite Aussage folgt analog.
	\end{enumerate}
	
	
	Analog für $\Omega = \mathbb{R}^n$
	
	\begin{satzdef}
		$\phantom{.}$
		\begin{enumerate}[(i)]
			\item
				Die \underline{Borel-$\sigma$-Algebra auf $\mathbb{R}^n$} wird definiert als
				\[
					\mathbb{B}^n = \sigma(\{ \underoverset{i=1}{n}{X} (a_i,b_i] \mid -\infty < a_i < b_i y \infty \})
				\]
			\item
				Ist $P$ ein Wahrscheinlichkeitsmaß auf $(\mathbb{R}^n,\mathbb{B}^n)$, so wird die zugehörige \underline{multivariante Verteilungsfunktion} $F$ definiert als
				\[
					F(x_1,...,x_n) := P(\underoverset{i=1}{n}{X} (-\infty,x_i]), \qquad (x_1,...,x_n) \in \mathbb{R}^n
				\]
			\item
				Existiert eine Abbildung $f: \mathbb{R}^n \rightarrow [0,\infty$, so dass
				\[
					F(x_1,...x_n) = \intft[-\infty]{x_1}\intft[-\infty]{x_2} \dotsi \intft[-\infty]{x_n} f(t_1,... ,t_n) dt_n \dotsi dt_2 \; dt_1 
					\qquad (x_1,...,x_n) \in \mathbb{R}
				\]
				gilt, so heißt $f$ (multivariante) \underline{Dichte} von $P$ bzw. von $F$.\\
				Es gilt dann für alle Mengen $B \in \mathbb{B}^n$
				\[
					P(B) = \intft[-\infty]{x_1} \dotsi \intft[-\infty]{x_n} 1_B(t_1, ... ,t_n) \cdot f(t_1,... ,t_n) dt_n \dotsi dt_1
				\]
			\item
				Ist $(\Omega,\A)$ ein Messraum und $X_i : \Omega \rightarrow \mathbb{R}, \; 1 \leq i \leq n$, so ist $X = (X_1, ... , X_n): \Omega \rightarrow \mathbb{R}^n\quad $ $\A,\mathbb{B}^n$-messbar genau dann, wenn $X_i \quad \A,\mathbb{B}$-messbar ist $\forall 1 \leq i \leq n$.\\
				\\
				Die multivariante Verteilungsfunktion von $P^X$, d.h.
				\[
					F(x_1,... ,x_n) := P\{ X_1 \leq x_1, X_2 \leq X_2, ... ,X_n \leq x_n \} \quad \forall (x_1,... ,x_n) \in \mathbb{R}^n,
				\] 
				heißt \underline{gemeinsame Verteilungsfunktion} von $X_1,... , X_n$
		\end{enumerate}
	\end{satzdef}
	
	\pagebreak
	
	Gegenstück zu 3.4
	
	\begin{satz}
		Für Zufallsvariablen $X_i : (\Omega,\A) \rightarrow (\mathbb{R},\mathbb{B}),\; 1\leq i \leq n$, sind äquivalent:
		\begin{enumerate}
			\item $X_1,\dotsc,X_n$ sind stochastisch unabhängig (d.h. $\{X_i \in B_i\}, \; 1 \leq i \leq n$ sind stochastisch unabhängig $\forall B_i \in \mathbb{B}$
			
			\item $\forall B_i \in B_i, \; 1 \leq i \leq n$, gilt $P\{ X_i \in B_i \; \forall 1 \leq i \leq n \} = \prodtn P\{ X_i \in B_i \}$
			
			\item
				Es gibt Funktionen $H_i : \mathbb{R} \rightarrow [0,\infty),\; 1 \leq i \leq n$, so dass für die gemeinsame Verteilungsfunktion von $X_1,\dotsc,X_n$ gilt
				\[
					F(x_1,\dotsc,x_n) = \prodtn H_i(x_i) \qquad \forall(x_1,...,x_n) \in \mathbb{R}^n
				\]
				In dem Fall kann man in (iii) $H_i$ gleich der Verteilungsfunktion von $X_i$ wählen.\\
				\\
				
				Besitzen die so genannten \underline{Randverteilungen} $P^{X_i}$, $1 \leq i \leq n$, von $P^{(X_1,\dotsc,X_n)}$ jeweils eine Dichte $f_i$, so ist (i)-(iii) äquivalent zu
			\item $P^{(X_1,\dotsc,X_n)}$ besitzt eine Dichte $f$ der Form
			\[
				f(x_1,\dotsc,x_n) := \prodtn h_i(x_i) \qquad (x_1,\dotsc,x_n) \in \mathbb{R}^n,
			\]
			für geeigenete Funktionen $h_i: \mathbb{R} \rightarrow [0,\infty)$.\\
			In dem Fall kann man $h_i = f_i$ wählen
		\end{enumerate}
	\end{satz}
	
\end{document}

% geometrische Verteilung
% binomial Verteilung
% Poisson-Verteilung
% stationäre Verteilung
% hypergeometrische Verteilung



%\begin{tabular}{ll}
%    hypergeometrische Verteilung &: Ziehen \underline{ohne} Zurücklegen \\
%    Binomialverteilung &: Ziehen \underline{mit} Zurücklegen\\
%    Benoulli-Verteilung &: Spezialfall von Binomialverteilung mit n=1
%\end{tabular}
