Einführung.- 1 Das biologische Paradigma.- 1.1 Neuronale Netze als Berechnungsmodell.- 1.1.1 Natürliche und künstliche neuronale Netze.- 1.1.2 Entstehung der Berechenbarkeitsmodelle.- 1.1.3 Elemente eines Berechnungsmodells.- 1.2 Biologische neuronale Netze.- 1.2.1 Aufbau der Nervenzellen.- 1.2.2 Informationsübertragung in Neuronennetzen.- 1.2.3 Informationsverarbeitung an Membran und Synapse.- 1.2.4 Speicherung von Information - Lernen.- 1.3 Künstliche neuronale Netze als Funktionennetze.- 1.3.1 Atomare Bestandteile der Informationsverarbeitung.- 1.3.2 Neuronale versus Funktionennetze.- 1.4 Historische Anmerkungen.- I: Vorwärtsgerichtete Netze.- 2 Das Modell von McCulloch und Pitts.- 2.1 Netze von Funktionen.- 2.1.1 Vorwärtsgerichtete und rekursive Netze.- 2.1.2 Ein abstraktes Neuronenmodell.- 2.2 Aufbau von logischen Funktionen.- 2.2.1 Konjunktion und Disjunktion.- 2.2.2 Nichtmonotone Funktionen und die Negation.- 2.2.3 Geometrische Interpretation.- 2.3 Netze für beliebige logische Funktionen.- 2.3.1 Konstruktive Methode.- 2.3.2 Verknüpfungsbasen.- 2.4 Äquivalente Netze.- 2.4.1 Gewichtete und ungewichtete Netze.- 2.4.2 Absolute und relative Hemmung.- 2.4.3 Binäre Information.- 2.5 Rekursive Netze.- 2.5.1 Netze mit "Erinnerung".- 2.5.2 Endliche Automaten.- 2.5.3 Äquivalenz endlicher Automaten und neuronaler Netze.- 2.5.4 Erste Klassifizierung von neuronalen Netzen.- 2.6 Historische Anmerkungen.- 3 Gewichtete Netze - Das Perzeptron.- 3.1 Perzeptronen und parallele Datenverarbeitung.- 3.1.1 Das Modell von Rosenblatt.- 3.1.2 Das klassische und das Minsky-Papert-Perzeptron.- 3.1.3 Parallele Algorithmen und unlösbare Probleme.- 3.2 Realisierung logischer Funktionen mit Perzeptronen.- 3.2.1 Einfaches Perzeptron und geometrische Interpretation.- 3.2.2 Gewichtete Netze mit einem kanonischen Baustein.- 3.2.3 Logische Funktionen und das XOR-Problem.- 3.3 Lineare Entscheidungsfunktionen.- 3.3.1 Lineare Trennbarkeit.- 3.3.2 Eingabe- und Gewichteraum - Dualität.- 3.3.3 Fehlerfunktion im Gewichteraum.- 3.3.4 Allgemeine Entscheidungskurven.- 3.4 Anwendungen und biologische Analogie.- 3.4.1 Kantenerkennung mit Perzeptronen.- 3.4.2 Die Verschaltung der Netzhaut.- 3.4.3 Die "Silicon-Retina" von Carver Mead.- 3.5 Historische Anmerkungen.- 4 Der Perzeptron-Lernalgorithmus.- 4.1 Lernalgorithmen für neuronale Netze.- 4.1.1 Lernen in parametrischen Systemen.- 4.1.2 Klassen von Lernalgorithmen.- 4.2 Lineare Trennbarkeit.- 4.2.1 Vektornotation.- 4.2.2 Absolute lineare Trennbarkeit.- 4.2.3 Fehlerflächen und Suchvorgang.- 4.3 Perzeptron-Lernen.- 4.3.1 Definition des Lernalgorithmus.- 4.3.2 Geometrische Visualisierung.- 4.3.3 Konvergenz des Algorithmus.- 4.3.4 Beschleunigung der Konvergenz - Delta-Regel.- 4.3.5 Komplexität des Perzeptron-Lernalgorithmus.- 4.4 Perzeptron-Lernen als lineares Programm.- 4.4.1 Lineare Optimierung und innere Punkte.- 4.4.2 Lineare Trennbarkeit als lineares Programm.- 4.4.3 Der Algorithmus von Karmarkar.- 4.5 Historische Anmerkungen.- 5 Unüberwachtes Lernen.- 5.1 Lernen durch Konkurrenz.- 5.1.1 Klassen von unüberwachtem Lernen.- 5.1.2 Verallgemeinerung des Perzeptron-Problems.- 5.1.3 Unüberwachtes Lernen durch Konkurrenz.- 5.2 Konvergenzanalyse.- 5.2.1 Der eindimensionale Fall - Energiefunktion.- 5.2.2 Mehrdimensionaler Fall.- 5.2.3 Unüberwachtes Lernen als Minimierungsaufgabe.- 5.2.4 Beziehung zum Perzeptron-Lernen.- 5.2.5 Stabilität der Lösungen.- 5.3 Hauptkomponentenanalyse.- 5.3.1 Unüberwachtes Lernen mit Verstärkung.- 5.3.2 Konvergenz des Lernalgorithmus.- 5.3.3 Bestimmung zusätzlicher Hauptkomponenten.- 5.4 Beispiele.- 5.4.1 Mustererkennung.- 5.4.2 Selbstorganisation im menschlichen Gehirn.- 5.5 Historische Anmerkungen.- 6 Netze mit mehreren Schichten.- 6.1 Struktur und geometrische Visualisierung.- 6.1.1 Netzarchitekturen.- 6.1.2 Das XOR-Problem.- 6.1.3 Geometrische Visualisierung.- 6.2 Regionen im Eingabe- und Gewichteraum.- 6.2.1 Gewichteraumregionen für das XOR-Problem.- 6.2.2 Bipolarvektoren.- 6.2.3 Projektion der Lösungsregionen auf die Ebene.- 6.2.4 Geometrische Interpretation.- 6.3 Regionen für komplexere Netze.- 6.3.1 Regionen im Gewichteraum des XOR-Problems.- 6.3.2 Anzahl der Regionen im Allgemeinen.- 6.3.3 Konsequenzen.- 6.3.4 Die Vapnik-Chervonenkis-Dimension.- 6.3.5 Die Frage der lokalen Minima.- 6.4 Historische Anmerkungen.- 7 Der Backpropagation-Algorithmus.- 7.1 Lernen in Backpropagation-Netzen.- 7.1.1 Gradientenabstiegsverfahren.- 7.1.2 Differenzierbare Aktivierungsfunktionen.- 7.1.3 Regionen im Eingaberaum.- 7.1.4 Entstehung von lokalen Minima.- 7.2 Backpropagation in Funktionennetzen.- 7.2.1 Das Lernproblem.- 7.2.2 Berechnungen in einem Backpropagation-Netz.- 7.2.3 Die Kettenregel.- 7.2.4 Parallelschaltungen.- 7.2.5 Gewichtete Kanten.- 7.2.6 Die Fehlerfunktion.- 7.3 Lernen mit Backpropagation.- 7.3.1 Schritte des Algorithmus.- 7.3.2 Backpropagation in Matrixform.- 7.3.3 Backpropagation als lokale Informationsverarbeitung.- 7.3.4 Die Form der Fehlerfunktion für das XOR-Problem.- 7.3.5 Varianten des Backpropagation-Verfahrens.- 7.4 Historische Anmerkungen.- II: Theoretische Analyse.- 8 Backpropagation und statistische Regression.- 8.1 Statistische Funktionsanpassung.- 8.1.1 Annäherung versus Verallgemeinerung.- 8.1.2 Der lineare Assoziator.- 8.1.3 Lineare Regression.- 8.2 Nichtlineare Regression.- 8.2.1 Form der Ausgabefunktion.- 8.2.2 Die Logit-Transformation.- 8.2.3 Logistische Regression.- 8.3 Backpropagation in komplexen Netzen.- 8.3.1 Regression in einem Backpropagation-Netzwerk.- 8.3.2 Visualisierung der Lösungs-Regionen.- 8.3.3 Form der Fehlerfunktion.- 8.4 Regression in mehrschichtigen Netzen.- 8.4.1 Die Rolle der verborgenen Schicht.- 8.4.2 Tragweite der Nichtlinearität.- 8.4.3 Matrixinversion durch Backpropagation.- 8.5 Anwendungen.- 8.5.1 Die Lernmatrix.- 8.5.2 Datencodierung und Datenkompression.- 8.5.3 NETtalk.- 8.5.4 Prognose von Zeitreihen.- 8.6 Historische Anmerkungen.- 9 Die Komplexität des Lernens.- 9.1 Funktionen als Netze.- 9.1.1 Lernalgorithmen für mehrschichtige Netze.- 9.1.2 Hilberts Dreizehntes Problem.- 9.1.3 Der Satz von Kolmogorov.- 9.2 Funktionsannäherung.- 9.2.1 Der eindimensionale Fall.- 9.2.2 Der mehrdimensionale Fall.- 9.3 Komplexität von Lernproblemen.- 9.3.1 Das Lernproblem für neuronale Netze.- 9.3.2 Komplexitätsklassen.- 9.3.3 NP-vollständige Lernprobleme.- 9.3.4 Komplexität des Lernens bei AND-OR-Netzen.- 9.3.5 Vereinfachungen der Netzarchitektur - der Kortex.- 9.3.6 Lernen mit Hinweisen.- 9.4 Historische Anmerkungen.- 10 Fuzzy-Logik und neuronale Netze.- 10.1 Fuzzy-Mengen und Fuzzy-Logik.- 10.1.1 Unscharfe Daten und Regeln.- 10.1.2 Der Begriff der unscharfen Mengen.- 10.1.3 Geometrische Darstellung von unscharfen Mengen.- 10.1.4 Mengenlehre, logische Operatoren und Geometrie.- 10.1.5 Familien von Fuzzy-Operatoren.- 10.2 Berechnung von Fuzzy-Inferenzen.- 10.2.1 Unscharfes Schließen.- 10.2.2 Unscharfe Zahlen und inverse Operation.- 10.3 Kontrolle mit Fuzzy-Systemen.- 10.3.1 Fuzzy-Regler.- 10.3.2 Fuzzy-Netze.- 10.3.3 Funktionsapproximation mit Fuzzy-Methoden.- 10.3.4 Das Auge als fuzzifier - Farbensehen..- 10.4 Historische Anmerkungen.- III: Rekursive Netze.- 11 Assoziativspeicher.- 11.1 Grundlagen der assoziativen Speicherung.- 11.1.1 Rekursive Netze.- 11.1.2 Klassen von Assoziativspeichern.- 11.1.3 Struktur des Assoziativspeichers.- 11.1.4 Die Eigenvektorenmaschine.- 11.1.5 Bipolarvektoren und die Vorzeichen-Funktion.- 11.2 Lernen in Assoziativspeichern.- 11.2.1 Hebbian-Learning - Die Korrelationsmatrix.- 11.2.2 Geometrische Deutung der Hebb-Regel.- 11.2.3 Netze als dynamische Systeme - Resultate.- 11.3 Die Pseudoinverse.- 11.3.1 Orthogonale Projektionen.- 11.3.2 Eigenschaften der Pseudoinversen - Berechnung.- 11.3.3 Holographische Speicher.- 11.4 Historische Anmerkungen.- 12 Das Hopfield-Modell.- 12.1 Synchrone und asynchrone Netze.- 12.1.1 Rekursive Netze mit stochastischer Aktivierung.- 12.1.2 Der bidirektionale Assoziativspeicher.- 12.1.3 Definition der Energiefunktion.- 12.2 Definition der Hopfield-Netze.- 12.2.1 Asynchrone Netze.- 12.2.2 Der Ansatz von Hopfield.- 12.2.3 Isomorphie zwischen Hopfield- und Ising-Modell.- 12.3 Konvergenz des Modells.- 12.3.1 Dynamik des Hopfield-Netzes.- 12.3.2 Konvergenzanalyse.- 12.3.3 Die Hebb-Regel.- 12.4 Äquivalenz des Lernverfahrens mit Perzeptron-Lernen.- 12.4.1 Perzeptron-Lernen bei Hopfield-Netzen.- 12.4.2 Komplexität des Lernens bei Hopfield-Modellen.- 12.5 Historische Anmerkungen.- 13 Kombinatorische Optimierung und Parallelität.- 13.1 Parallele Algorithmen.- 13.1.1 NP-vollständige Probleme.- 13.1.2 Das Multi-Flop-Problem.- 13.1.3 Das Acht-Türme-Problem.- 13.1.4 Das Acht-Damen-Problem.- 13.1.5 Das Problem des Handlungsreisenden.- 13.2 Theoretische Betrachtungen.- 13.2.1 Die Klasse co-NP.- 13.2.2 Die Grenzen von Hopfield-Netzen.- 13.3 Implementierung des Hopfield-Netzes.- 13.3.1 Elektrische Realisierung.- 13.3.2 Optische Realisierung.- 13.4 Historische Anmerkungen.- 14 Stochastische Netze.- 14.1 Varianten des Hopfield-Modells.- 14.1.1 Beschränkungen des Standardmodells.- 14.1.2 Das Hopfield-Modell mit stetiger Aktivierungsfunktion.- 14.2 Stochastische Algorithmen und Systeme.- 14.2.1 Simulated Annealing.- 14.2.2 Stochastische neuronale Netze.- 14.2.3 Markov-Ketten.- 14.2.4 Die Boltzmann-Verteilung.- 14.2.5 Physikalische Bedeutung der Boltzmann-Verteilung.- 14.3 Lernverfahren und Anwendungen.- 14.3.1 Lernen in Boltzmann-Maschinen.- 14.3.2 Anwendungen in der kombinatorischen Optimierung.- 14.4 Historische Anmerkungen.- IV: Selbstorganisation und Neurohardware.- 15 Kohonens topologieerhaltende Abbildungen.- 15.1 Selbstorganisation.- 15.1.1 Kartierung des Eingaberaums.- 15.1.2 Sensorische Karten im Gehirn.- 15.2 Kohonens Modell.- 15.2.1 Der Lernalgorithmus.- 15.2.2 Projektion auf niedrigere Dimensionen.- 15.3 Konvergenzanalyse.- 15.3.1 Potentialfunktion - Eindimensionaler Fall.- 15.3.2 Zweidimensionaler Fall.- 15.3.3 Auswirkung der Nachbarschaft eines Neurons.- 15.4 Anwendungen.- 15.4.1 Kartierung von Funktionen.- 15.4.2 Kartierung von Räumen.- 15.4.3 Automatische Anpassung an Hindernisse.- 15.5 Historische Anmerkungen.- 16 Hybride Modelle.- 16.1 Netzkombinationen.- 16.1.1 Die Grossberg-Schicht.- 16.1.2 ART-Architekturen.- 16.2 Netze mit einer Kohonen-Schicht.- 16.2.1 Counterpropagation-Netz.- 16.2.2 Kohonen-Schicht und lineare Assoziatoren.- 16.2.3 Radiale Funktionen.- 16.2.4 Wechselwirkung zwischen Schichten.- 16.3 Historische Anmerkungen.- 17 Genetische Algorithmen.- 17.1 Codierung und Operatoren.- 17.1.1 Optimierung durch Evolutionsstrategien.- 17.1.2 Methoden der stochastischen Optimierung.- 17.1.3 Genetische Codierung.- 17.1.4 Informationsaustausch durch genetische Operatoren.- 17.2 Eigenschaften von genetischen Algorithmen.- 17.2.1 Konvergenzanalyse.- 17.2.2 Genetisches Driften.- 17.2.3 Gradientenmethoden versus genetische Algorithmen.- 17.3 Optimierung von Funktionen.- 17.3.1 Genetische Algorithmen für neuronale Netze.- 17.3.2 Andere Anwendungen von genetischen Algorithmen.- 17.4 Historische Anmerkungen.- 18 Hardware für neuronale Netze.- 18.1 Klassen von Neurohardware.- 18.1.1 Implementierung künstlicher neuronaler Netze.- 18.1.2 Taxonomie der Hardwarearchitekturen.- 18.2 Neuronale Netze in Analog-Technik.- 18.2.1 Codierung der Signale.- 18.2.2 VLSI-Transistor-Schaltungen.- 18.2.3 Transistoren mit eingebautem Ladungsspeicher.- 18.2.4 Pulsierende CCD-Schaltungen.- 18.3 Der digitale Ansatz.- 18.3.1 Analog versus Digital.- 18.3.2 Numerische Darstellung der Netzparameter und Signale.- 18.3.3 Vektor- und Signalprozessoren.- 18.3.4 Systolische Felder.- 18.3.5 Eindimensionale Strukturen.- 18.4 Innovative Rechnerarchitekturen.- 18.4.1 VLSI-Mikroprozessoren für neuronale Netze.- 18.4.2 Optische Rechner.- 18.4.3 Pulscodierte Netze.- 18.5 Historische Anmerkungen.