Sieci neuronowe do przetwarzania informacji

Sieci neuronowe do przetwarzania informacji

rok wydania: 2020, wydanie 4. rozszerzone
ISBN: 978-83-7814-923-1
stron: 490
oprawa: miękka

Opis
Podręcznik „Sieci neuronowe do przetwarzania informacji” stanowi oryginalne ujęcie najnowszych osiągnięć w dziedzinie sztucznych sieci neuronowych oraz ich zastosowań. Jest rozszerzoną i znacznie zmodyfikowaną wersją wcześniejszego wydania podręcznika pod tym samym tytułem. W stosunku do poprzedniego wydania zawiera dodatkowo omówienie sieci typu Support Vector Machine (SVM), znacznie rozbudowaną część dotyczącą sieci rozmytych oraz przedstawienie wielu nowych zastosowań. W pracy przedstawiono najważniejsze rodzaje sieci neuronowych, kładąc nacisk na algorytmy uczące oraz ich praktyczne zastosowania w przetwarzaniu danych pomiarowych. Stanowi wyselekcjonowany przegląd i omówienie najważniejszych metod uczenia sieci o różnej strukturze, zilustrowany wynikami wielu eksperymentów numerycznych i poparty zastosowaniami praktycznymi.

Podręcznik jest przeznaczony dla słuchaczy wyższych lat studiów oraz doktorantów zainteresowanych tematyką sztucznej inteligencji. Ze względu na interdyscyplinarny charakter tematyki może być wykorzystany zarówno w naukach technicznych, informatyce, fizyce, jak i naukach biomedycznych. Wprowadzając zarówno podstawowe, jak i zaawansowane pojęcia sieci neuronowych książka może być użyteczna zarówno dla początkujących, jak i zaawansowanych w uprawianiu tej dyscypliny.

Spis treści
Przedmowa / 11

1. Wstęp / 13
1.1. Podstawy biologiczne działania neuronu / 13
1.2. Pierwsze modele sieci neuronowej / 16
1.3. Przegląd zastosowań sieci neuronowych / 18

2. Modele neuronów i metody ich uczenia / 21
2.1. Perceptron / 22
2.2. Neuron sigmoidalny / 23
2.3. Neuron radialny / 28
2.4. Neuron typu adaline / 29
2.5. Instar i outstar Grossberga / 31
2.6. Neurony typu WTA / 34
2.7. Model neuronu Hebba / 38
2.8. Model stochastyczny neuronu / 41
2.9. Zadania i problemy / 43

3. Sieci jednokierunkowe wielowarstwowe typu sigmoidalnego / 44
3.1. Sieć jednowarstwowa / 45
3.2. Sieć wielowarstwowa perceptronowa / 48
3.2.1. Struktura sieci perceptronowej / 48
3.2.2. Algorytm propagacji wstecznej / 49
3.3. Grafy przepływowe w zastosowaniu do generacji gradientu / 53
3.4. Algorytmy gradientowe uczenia sieci / 58
3.4.1. Zależności podstawowe / 58
3.4.2. Algorytm największego spadku / 60
3.4.3. Algorytm zmiennej metryki / 61
3.4.4. Algorytm Levenberga-Marquardta / 63
3.4.5. Algorytm gradientów sprzężonych / 65
3.5. Dobór współczynnika uczenia / 66
3.6. Metody heurystyczne uczenia sieci / 69
3.6.1. Algorytm Quickprop / 70
3.6.2. Algorytm RPROP / 71
3.7. Program komputerowy MLP do uczenia sieci perceptronowej / 72
3.8. Porównanie efektywności algorytmów uczących / 73
3.9. Elementy optymalizacji globalnej / 78
3.9.1. Algorytm symulowanego wyżarzania / 81
3.9.2. Elementy algorytmów genetycznych / 84
3.10. Metody inicjalizacji wag / 89
3.11. Zadania i problemy / 91

4. Problemy praktycznego wykorzystania sieci neuronowych / 93
4.1. Zdolności generalizacyjne sieci neuronowych / 93
4.1.1. Zależności podstawowe / 93
4.1.2. Miara VCdim / 94
4.1.3. Zależności między błędem generalizacji i miarą VCdim / 95
4.1.4. Przegląd metod zwiększania zdolności generalizacyjnych sieci neuronowej / 97
4.2. Wstępny dobór architektury sieci / 102
4.3. Dobór optymalnej architektury sieci pod względem generalizacji 105
4.3.1. Metody wrażliwościowe redukcji sieci / 106
4.3.2. Metody redukcji sieci z zastosowaniem funkcji kary / 110
4.4. Wtrącanie szumu do próbek uczących / 112
4.5. Zwiększanie zdolności generalizacyjnych przez użycie wielu sieci 115
4.6. Przykłady zastosowań sieci perceptronowej / 117
4.6.1. Rozpoznawanie i klasyfikacja wzorców binarnych / 117
4.6.2. Rozpoznawanie wzorców na podstawie obrysu zewnętrznego / 126
4.6.3. Sieć neuronowa do kompresji danych / 132
4.6.4. Identyfikacja obiektów dynamicznych / 136
4.6.5. Predykcja obciążeń systemu elektroenergetycznego 139
4.7. Zadania i problemy / 143

5. Sieci neuronowe radialne / 144
5.1. Podstawy matematyczne / 145
5.2. Sieć neuronowa radialna / 147
5.3. Metody uczenia sieci neuronowych radialnych / 153
5.3.1. Proces samoorganizacji w zastosowaniu do adaptacji parametrów funkcji radialnych / 154
5.3.2. Algorytm probabilistyczny doboru parametrów funkcji radialnych / 157
5.3.3. Algorytm hybrydowy uczenia sieci radialnych / 159
5.3.4. Algorytmy uczące oparte na propagacji wstecznej / 161
5.4. Metody doboru liczby funkcji bazowych / 164
5.4.1. Metody heurystyczne / 164
5.4.2. Metoda ortogonalizacji Grama-Schmidta / 165
5.5. Program komputerowy uczenia sieci radialnych / 170
5.6. Przykład zastosowania sieci radialnej w aproksymacji / 172
5.7. Porównanie sieci radialnych z sieciami sigmoidalnymi / 174
5.8. Zadania i problemy / 176

6. Sieci SVM / 177
6.1. Sieć liniowa SVM w zadaniu klasyfikacji / 178
6.2. Sieć nieliniowa SVM w zadaniu klasyfikacji / 184
6.3. Interpretacja mnożników Lagrange’a w rozwiązaniu sieci / 192
6.4. Problem klasyfikacji przy wielu klasach / 193
6.5. Sieci SVM do zadań regresji / 194
6.6. Przegląd algorytmów rozwiązania zadania dualnego / 197
6.7. Program komputerowy uczenia sieci SVM / 201
6.8. Przykłady zastosowania sieci SVM / 204
6.8.1. Problem klasyfikacyjny dwu spiral / 204
6.8.2. Rozpoznawanie tekstur / 205
6.8.3. Wykrywanie uszkodzeń elementów w obwodzie filtru elektrycznego / 207
6.9. Porównanie sieci SVM z innymi rozwiązaniami neuronowymi / 209
6.10. Zadania i problemy / 214

7. Specjalizowane struktury sieci neuronowych / 215
7.1. Sieć kaskadowej korelacji Fahlmana / 215
7.2. Sieć Volterry / 221
7.2.1. Struktura i zależności uczące sieci / 222
7.2.2. Przykłady zastosowań sieci Volterry / 225
7.3. Zadania i problemy / 232

8. Sieci rekurencyjne jako pamięci asocjacyjne / 233
8.1. Wprowadzenie / 233
8.2. Sieć autoasocjacyjna Hopfielda / 235
8.2.1. Zależności podstawowe / 235
8.2.2. Tryb uczenia sieci Hopfielda / 238
8.2.3. Tryb odtworzeniowy sieci Hopfielda / 239
8.2.4. Program Hop win / 240
8.3. Sieć Hamminga / 243
8.3.1. Struktura sieci i algorytm doboru wag / 243
8.3.2. Działanie sieci Hamminga / 245
8.3.3. Program Shamming uczenia sieci / 246
8.4. Sieć typu BAM / 249
8.4.1. Opis działania sieci / 249
8.4.2. Zmodyfikowany algorytm uczący sieci BAM / 252
8.4.3. Zmodyfikowana struktura sieci BAM / 253
8.5. Zadania i problemy / 259

9. Sieci rekurencyjne tworzone na bazie perceptronu / 261
9.1. Wprowadzenie / 261
9.2. Sieć perceptronowa ze sprzężeniem zwrotnym / 261
9.2.1. Struktura sieci RMLP / 261
9.2.2. Algorytm uczenia sieci RMLP / 263
9.2.3. Dobór współczynnika uczenia / 265
9.2.4. Współczynnik wzmocnienia sygnału / 266
9.2.5. Wyniki symulacji komputerowych / 266
9.3. Sieć rekurencyjna Elmana / 271
9.3.1. Struktura sieci / 271
9.3.2. Algorytm uczenia sieci Elmana / 273
9.3.3. Uczenie z wykorzystaniem momentu / 275
9.3.4. Przykładowe wyniki symulacji komputerowych sieci Elmana / 276
9.4. Sieć RTRN / 280
9.4.1. Struktura sieci i algorytm uczący / 280
9.4.2. Wyniki eksperymentów numerycznych / 282
9.5. Zadania i problemy / 286

10. Sieci samoorganizujące się na zasadzie współzawodnictwa / 287
10.1. Zależności podstawowe sieci samoorganizujących się przez współzawodnictwo / 287
10.1.1. Miary odległości między wektorami / 289
10.1.2. Normalizacja wektorów / 290
10.1.3. Problem neuronów martwych / 291
10.2. Algorytmy uczące sieci samoorganizujących / 292
10.2.1. Algorytm Kohonena / 293
10.2.2. Algorytm gazu neuronowego / 294
10.2.3. Program Kohon / 296
10.2.4. Porównanie algorytmów samoorganizacji / 298
10.3. Sieć odwzorowań jedno- i dwuwymiarowych / 300
10.4. Odwzorowanie Sammona / 303
10.5. Zastosowania sieci samoorganizujących / 305
10.5.1. Kompresja danych / 305
10.5.2. Wykrywanie uszkodzeń w urządzeniach / 308
10.5.3. Krótkoterminowe prognozowanie obciążeń systemu elektroenergetycznego / 311
10.6. Sieć hybrydowa / 315
10.7. Zadania i problemy / 319

11. Sieci samoorganizujące typu korelacyjnego / 321
11.1. Funkcja energetyczna sieci korelacyjnych / 321
11.2. Sieci neuronowe PCA / 323
11.2.1. Wprowadzenie matematyczne / 323
11.2.2. Relacja między przekształceniami PCA i SVD / 326
11.2.3. Estymacja pierwszego składnika głównego / 327
11.2.4. Algorytmy estymacji wielu składników głównych / 328
11.3. Sieci neuronowe do ślepej separacji sygnałów / 331
11.3.1. Zależności wstępne / 331
11.3.2. Niezależność statystyczna sygnałów / 332
11.3.3. Struktura rekurencyjna sieci separującej / 333
11.3.4. Algorytm Heraulta-Juttena dla sieci rekurencyjnej / 335
11.3.5. Algorytm Cichockiego uczenia sieci rekurencyjnej / 336
11.3.6. Program ślepej separacji BS / 337
11.3.7. Sieć jednokierunkowa do separacji sygnałów / 340
11.3.8. Toolbox ICALAB / 346
11.4. Zadania i problemy / 347

12. Podstawy matematyczne systemów rozmytych / 348
12.1. Operacje na zbiorach rozmytych / 350
12.2. Miary rozmytości zbiorów rozmytych / 352
12.3. Rozmytość a prawdopodobieństwo / 353
12.4. Reguły rozmyte wnioskowania / 354
12.5. Systemy wnioskowania rozmytego Mamdaniego-Zadeha / 356
12.5.1. Fuzyfikator / 358
12.5.2. Defuzyfikator / 362
12.5.3. Model Mamdaniego-Zadeha jako układ uniwersalnego aproksymatora / 363
12.6. Model wnioskowania Takagi-Sugeno-Kanga / 364
12.7. Zadania i problemy / 367

13. Sieci neuronowe rozmyte / 369
13.1. Struktura sieci rozmytej TSK / 369
13.2. Struktura sieci Wanga-Mendela / 373
13.3. Algorytmy samoorganizacji w zastosowaniu do uczenia sieci rozmytej / 374
13.3.1. Algorytm grupowania górskiego / 375
13.3.2. Algorytm C-means / 378
13.3.3. Algorytm Gustafsona-Kessela samoorganizacji rozmytej / 380
13.4. Generacja reguł wnioskowania sieci rozmytej / 385
13.5. Algorytm hybrydowy uczenia sieci rozmytej TSK / 388
13.6. Modyfikacje sieci TSK / 392
13.6.1. Algorytm wyznaczania liczby reguł wnioskowania / 393
13.6.2. Przykład numeryczny / 395
13.6.3. Uproszczona sieć TSK / 398
13.7. Sieć hybrydowa rozmyta / 400
13.8. Przykłady zastosowań sieci rozmytych / 402
13.8.1. Estymacja stężenia składników mieszaniny gazowej / 403
13.8.2. Rozpoznawanie składników mieszanin gazowych / 404
13.8.3. Rozpoznawanie gatunków piwa na podstawie zapachu / 407
13.9. Adaptacyjny algorytm samoorganizacji dla sieci rozmytej / 409
13.10. Zadania i problemy / 412

14. Głębokie sieci neuronowe / 414
14.1. Autoenkoder / 415
14.2. Sieć o ekstremalnym uczeniu / 424
14.3. Sieci konwolucyjne (CNN) / 426
14.3.1. Opis struktury sieci CNN / 427
14.3.2. Dobór struktury CNN / 434
14.3.3. Uczenie sieci CNN / 438
14.3.4. Przykłady zastosowania sieci CNN w Matlabie / 442
14.4. Ograniczona maszyna Boltzmanna / 451
14.4.1. Pojęcia wstępne / 451
14.4.2. Algorytm uczenia sieci RBM / 453
14.5. Sieć DBN / 458
14.5.1. Struktura sieci DBN / 458
14.5.2. Algorytm uczenia sieci DBN / 459
14.6. Głębokie sieci rekurencyjne LSTM / 459
14.6.1. Wprowadzenie / 459
14.6.2. Zasada działania sieci LSTM / 461
14.7. Przykłady praktycznych zastosowań sieci głębokich / 465
14.8. Podsumowanie / 473

Bibliografia / 475
Skorowidz / 487