Rekurencyjne sieci neuronoweRekurencyjne sieci neuronoweRekurencyjne sieci neuronoweRekurencyjne sieci neuronowe
  • Produkty
  • Jak działa Dature
  • O nas
  • Baza wiedzy
  • Współpraca
  • Wsparcie
  • UE Flaga
  • Polski
    • Angielski
Polski
  • Angielski
✕
            Brak wyników wyszukiwania Zobacz wszystkie wyniki
            Jak rewolucja AI zmienia biznes
            19 stycznia 2022
            Przedziały predykcji jako kwantyfikacja prognoz z wykorzystaniem sieci neuronowej
            15 lutego 2022
            Aktualności

            Rekurencyjne sieci neuronowe

            Rekurencyjne sieci neuronowe (Recursive Neural Networks, RNN) wykorzystywane są do modelowania i prognozowania zmiennych ewoluujących w czasie. W odróżnieniu od standardowych sieci neuronowych mają zdolność zapamiętania kontekstu, w którym się znajdują. W  przypadku tradycyjnej sieci neuronowej zakłada się, że wszystkie wejścia (i wyjścia) są niezależne od siebie, natomiast sieci RNN wykonują to samo zadanie dla każdego elementu sekwencji, a dane wyjściowe zależą od poprzednich obliczeń. Wiele praktycznych problemów, takich jak rozpoznawanie i przetwarzanie tekstu, mowy, obrazów, są rozwiązywane efektywniej jeśli uwzględniają poprzednie stany  zmiennych. Właśnie taką zależność stanu obecnego od stanów poprzednich próbują odtworzyć sieci rekurencyjne. W tym celu  w ich strukturę wprowadza się pętle. Tym samym pewne fragmenty sieci się powtarzają. Innymi słowy sieci RNN zawierają sprzężenia zwrotne, czyli połączenia dostarczające sygnały wyjściowe znajdujące się w dalszych warstwach sieci neuronowej do neuronów położonych w warstwie wejściowej lub w bliższych warstwach ukrytych. Umożliwia to wykonywanie bardziej złożonych obliczeń niż w przypadku sieci posiadających jedynie jednokierunkowy przesył informacji.

            Rekurencyjność sieci RNN sprowadza się do  wykonywania tego samo zadanie dla każdego elementu sekwencji. Odwołując się do intuicji, można myśleć o sieci RNN jako o bycie mającym pamięć przechowującą informację o dotychczasowych obliczeniach.

            Rysunek 1. Schemat sieci neuronowej Hopfielda

            Źródło: Podstawowe modele sieci neuronowych
            http://books.icse.us.edu.pl/runestone/static/ai/SztuczneSieciNeuronowe/PodstawoweModeleSieciNeuronowych.html

            Koncepcja sieci RNN nie jest nowa, rekurencyjna architektura została już zaproponowana w latach 80  ubiegłego wieku przez Hopfielda (schemat jej budowy został przedstawiony na rysunku 1).  Strukturę sieci Hopfielda można opisać jako układ wielu identycznych elementów połączonych ze sobą na zasadzie każdy z każdym.  Wprowadzenie pętli sprzężenia zwrotnego powoduje wielokrotne pobudzanie neuronów w jednym cyklu. Praca Hopfielda przyczyniła się do odrodzenia badań nad sieciami neuronowymi, które po okresie burzliwego rozwoju w latach 50 i 60 zostały gwałtownie zahamowane na początku lat 70. Wspomniane odrodzenie wiązało się z przyspieszeniem badań i rozwojem sieci typu RNN.

            Okazało się, że o ile sieci RNN posiadają pamięć, to jest to pamięć dość krótka. Teoretycznie neurony z połączeniami rekurencyjnymi potencjalnie są w stanie modelować relacje występujące z dowolnie długim odstępem czasowym, ale praktyka tego nie potwierdza. Krótka pamięć sieci RNN jest skutkiem stopniowego zanikania pierwszych wejść, w efekcie czego, po pewnym czasie stan RNN nie zawiera praktycznie żadnych śladów początkowych wejść. Z formalnego punktu widzenia krótka pamięć sieci RNN jest związana z zanikającym gradientem dla odległych w czasie relacji, przy czym zanikanie odbywa się wykładniczo wraz z czasem. Nie jest to jedyny problem, bo sieci RNN często zmagają się z niestabilnością uczenia, utożsamianego często z przetrenowniem, a określane również jako eksplodujący gradient. Ten ostatni problem można rozwiązać stosując przycinanie gradientu, czyli ograniczenie wartości gradientu, oraz regularyzację, która jest karą za nadmierne skomplikowanie estymowanego modelu. Natomiast problem zanikania gradientu jest na ogół rozwiązywany przez wprowadzenie różnego rodzaju komórek z długoterminową pamięcią.

            Właśnie na takim rozwiązaniu bazuje sieć  Long short-term memory (LSTM). Zostały one zaproponowane przez Hochreitera i Schimdhubera w 1997 roku. LSTM oprócz jednostek standardowych posiada również trzy typy specjalnych bramek, których zadaniem jest kontrola zapamiętywanych danych (rysunek 2):

            • bramka wejściowa, odnajdująca, którą wartość z wejścia wykorzystać do modyfikacji pamięci.
            • bramka zapominania, której zadaniem jest ustalenie, jakie szczegóły należy usunąć z bloku,
            • bramka wyjściowa kontroluje, które części stanu długoterminowego powinny być odczytywane i wyprowadzane w danym momencie.

            Rysunek 2. Architektura neuronu LSTM

            Źródło: https://colah.github.io/posts/2015-08-Understanding-LSTMs/

            Dodanie bramek znacząco poprawiło skuteczność sieci rekurencyjnych. Sieci RNN z jednostkami LSTM pozwoliły między innymi na:

            • zautomatyzowanie przez Facebook tłumaczeń (FB wykonuje dziennie kilka miliardów takich tłumaczeń),
            • przeszkolenie sieci neuronowej kontrolującej rękę robota podobną do ludzkiej, która manipuluje obiektami z dużą precyzją,
            • napisanie programu AlphaStar rywalizującego w skomplikowanej grze strategii czasu rzeczywistego StarCraft II.

            Obszary dalszych zastosowań ograniczone są wyłącznie ludzką wyobraźnią.

            Niniejszy artykuł powstał dzięki środkom pochodzącym ze współfinansowania przez Unię Europejską Programu Operacyjnego Inteligentny Rozwój 2014-2020, projektu realizowanego w ramach konkursu Narodowego Centrum Badań i Rozwoju: w ramach konkursu „Szybka Ścieżka” dla mikro-, małych i średnich przedsiębiorców – konkurs dla projektów z regionów słabiej rozwiniętych w ramach Działania 1.1: Projekty B+R przedsiębiorstw Poddziałanie 1.1.1 Badania przemysłowe i prace rozwojowe realizowane przez przedsiębiorstwa. Tytuł projektu: „Stworzenie oprogramowania do poprawy trafności prognoz i optymalizacji zapasów z perspektywy odbiorcy i dostawcy współpracujących w ramach łańcucha dostaw przy zastosowaniu rozmytych, głębokich sieci neuronowych.

            Udostępnij
            OSTATNIE WPISY
            • Zarządzanie zapasami w branży farmaceutycznej przy zastosowaniu AI
            • Zarządzanie zapasami w branży farmaceutycznej przy zastosowaniu AI
            • Quick Response jako szybka reakcja na potrzeby klienta w kontekście zarządzania zapasami
            • Optymalizacja łańcucha dostaw
            TAGI
            • #AI
            • #bullwhip-effect
            • #covid19
            • #łańcuch-dostaw
            • #NCBiR
            • #optymalizacja-zapasów
            • #out-of-stock
            • #outllier
            • #overstock
            • #prognozowanie
            • #prognozowanie-popytu
            • #Program-Operacyjny-Inteligentny-Rozwój-2014-2020
            • #projekcja-zapasów
            • #projekcja-zapasów-w-czasie
            • #service-level-dostawcy
            • #sieci-neuronowe
            • #supplychain
            • #zapas-bezpieczeństwa
            • #zapas-sezonowy
            • #zapas-zabezpieczający
            • #zarządzanie-zapasem

            Powiązane wpisy

            7 marca 2023

            Zarządzanie zapasami w branży farmaceutycznej przy zastosowaniu AI


            PRZECZYTAJ

            Część I – prognozowanie popytu Żyjemy w czasach rewolucji informacyjnej. Często słyszymy terminy Machine Learning (ML, uczenie maszynowe) czy Artificial Intelligence (AI, sztuczna inteligencja). Pojęcia stają […]

            9 stycznia 2023

            Quick Response jako szybka reakcja na potrzeby klienta w kontekście zarządzania zapasami


            PRZECZYTAJ

            QR (Quick Response) oznacza współpracę dostawcy i sprzedawcy nastawioną na jak najszybszą reakcję na potrzeby klienta, na wymianę informacji w czasie rzeczywistym  oraz ograniczenie nakładów na […]

            9 stycznia 2023

            Optymalizacja łańcucha dostaw


            PRZECZYTAJ

            Wybuch pandemii COVID-19 w 2020 roku istotnie wpłynął na przepływ towarów i usług. Wiele krajów zamknęło swoje granice, doszło do zaburzeń w łańcuchach dostaw, często do […]

            Już teraz

            Zapisz się do newslettera

              Podanie danych w formularzu jest niezbędne do subskrypcji newslettera. Dane z formularza przetwarzane będą na podstawie udzielonej zgody art. 6 ust. 1 lit. a) RODO. Administratorem Twoich danych jest Smartstock Sp. z o.o. z Poznania (ul. Królowej Jadwigi 43, 61-871 Poznań, biuro@smartstock.cloud). Wszelkie informacje w zakresie przetwarzania danych podanych w formularzu oraz posiadanych uprawnieniach znajdziesz w Polityce Prywatności.


              TEL. +48 534 288 279
              biuro@dature.cloud

              Smartstock Sp z o.o.
              ul. Królowej Jadwigi 43
              61-871 Poznań

              Zapisz się do newslettera

              NIP: 7812000413
              REGON: 384284847
              KRS: 0000802331

              • LinkedIn
              • Facebook

              Polityka prywatności i cookies   Regulamin aplikacji   Wsparcie techniczne   Zmiana decyzji co do cookies

              Wszelkie prawa zastrzeżone. © SMARTSTOCK Sp. z o.o.
              Polski
                        Brak wyników wyszukiwania Zobacz wszystkie wyniki
                        • Polski
                        • Angielski