1. Die Definition stochastischer Prozesse.- 1.1 Einige Grundbegriffe der Wahrscheinlichkeitstheorie.- 1.2 Einführende Beispiele für stochastische Prozesse.- 1.3 Definition des stochastischen Prozesses.- 1.4 Die Charakterisierung eines stochastischen Prozesses durch seine endlich-dimensionalen Verteilungen.- 1.5 Einige ergänzende Bemerkungen zur Wahrscheinlichkeitstheorie.- 2. Die Definition von Markovketten; Übergangswahrscheinlichkeiten.- 2.1 Stochastische Ketten und Markov-Ketten.- 2.2 Diskussion der Markov-Eigenschaft.- 2.3 Übergangswahrscheinlichkeiten; Zustandswahrscheinlichkeiten.- 2.3.1 Definition der Übergangswahrscheinlichkeiten.- 2.3.2 Die Gleichungen von Chapman - Kolmogorov.- 2.3.3 Homogene Markovketten.- 2.3.4 Zustandswahrscheinlichkeiten.- 2.4 Beispiele für Markovketten.- 3. Die graphentheoretische Analyse von Markovketten.- 3.1 Grundbegriffe aus der Theorie der Graphen und Relationen.- 3.2 Ordnungs- und Äquivalenzrelationen.- 3.3 Graphen, die einer Markovkette zugeordnet werden können.- 3.4 Zusammenhangsrelationen für Markovketten.- 3.5 Periodische Zustände.- 4. Das Rückkehrverhalten von Markovketten.- 4.1 Einige spezifische Hilfsmittel aus der Analysis.- 4.1.1 Begriffe und Sätze aus der Polgen- und Reihenlehre.- 4.1.2 Die Satzgruppe um das Erneuerungstheorem.- 4.2 Rekurrenzzeiten (Rückkehrzeiten).- 4.3 Der Zusammenhang zwischen Übergangswahrscheinlichkeiten und der Verteilung der Rückkehr- (Übergangs-) zeiten.- 4.4 Das Grenzverhalten der Übergangswahrscheinlichkeiten.- 4.4.1 Ein Klassifikationstheorem für transiente und rekurrente Zustände.- 4.4.2 Grenzwertsätze für die Übergangswahrscheinlichkeiten pij(n).- 4.4.3 Über die relativen Häufigkeiten von Zuständen in Realisationen von Markovketten.- 4.4.4 Der Zusammenhang zwischen Rückkehrverhalten und Struktur des Erreichbarkeitsgraphen einer Markovkette.- 4.5 Die Berechnung der Größen fij
* und ?ij.- 4.5.1 Vorbereitende Sätze.- 4.5.2 Absorptionswahrscheinlichkeiten.- 4.5.3 Gewinnwahrscheinlichkeiten in Spielen mit begrenztem Spielkapital (Ruin-Probleme).- 4.5.4 Mittlere Übergangszeiten.- 4.5.4.1 Mittlere Absorptionszeiten.- 4.5.4.2 Übergangszeiten in positiv rekurrenten Markovketten.- 5. Stationäre- und Gleichgewichtsverteilungen; Transienz- und Rekurrenzkriterien.- 5.1 Zwei Hilfssätze aus der Reihenlehre.- 5.2 Stationäre Verteilungen.- 5.3 Grenzvert eilungen.- 5.4 Rekurrenz- und Transienzkriterien.- 6. Algebraische Methoden zur Berechnung der Übergangswahrscheinlichkeiten.- 6.1 Potenzen von endlichen Matrizen.- 6.1.1 Einige Vorbemerkungen zur Matrizenrechnung.- 6.1.2 Matrizenpotenzen bei verschiedenen Eigenwerten.- 6.1.3 Matrizenpotenzen: Der allgemeine Fall.- 6.2 Potenzen von stochastischen Matrizen.- Anstelle eines Literaturverzeichnisses.