Regularyzacja Janusa

Początkowo zauważyliśmy istnienie pewnego obiektu w układzie, którego nie mogliśmy usunąć - oznaczałoby to bowiem konieczność ponownego przeszkolenia sieci na badanych "osobach", co mogłoby je narazić na dodatkowy, wprowadzający zakłócenia stres. To, co mogliśmy jednak zrobić, to uzupełnić warunki brzegowe o dodatkowe zasady, które określiliśmy zbiorczo, "metodami regularyzacji Janusa".

— prof. Doktor, Sieci rekonwolucyjne

Wstęp

Regularyzacja Janusa odnosi się do dodatkowych wymagań nałożonych na wagi modelu rekonwolucyjnego, mających na celu "rozplatanie" osobliwości powstających w wyniku uczenia. Początkowo zaproponowana przez doktoranta Mieszka Januszewskiego w projekcie poświęconym mapowaniu kociej sieci neurokognitywnej, spowolniała rozwój anomalii osobliwych w modelach rekonwolucyjnych kosztem rozkładania wartości wag na pozostałe parametry. Powodowała tym samym przyswojenie przybliżonych schematów rozumowania przy jednoczesnym braku skoordynowanej aktywności neuronalnej w skanowanych blokach.

Jako model uczenia, regularyzacja Janusa nie jest szeroko stosowana, stanowi jednak przykład szybkiej odpowiedzi na żwawo rozwijające się modele głębokiego uczenia z wykorzystaniem sieci neuronowych a także wyraz paniki jaki odczuwa doktorant, któremu kończy się czas na sformułowanie tezy doktoratu.

Zasada działania

Podobnie jak w przypadku regularyzacji typu L1 i L2, regularyzacja Janusa wprowadzała macierz wag, która uzależniała wielkość wagi, wyrażoną w potędze od istotności konkretnej zmiennej w całkowitym modelu sieci. Dla czynników nieistotnych przyjmowała ona wartość 0, dla mało istotnych liniową zależność od oryginalnej wagi modelu, natomiast dla czynników bardziej istotnych wyliczała macierz logarytmów istotności, która stanowiła bazę potęg stosowanych do kolejnych iteracji modelu. Przy zastosowaniu sprzężenia zwrotnego powodowało to, że ścieżki bardziej aktywne znacząco traciły na znaczeniu aż ostatecznie rozpływały się po sieci i był wchłaniane przez model. Zapobiegało to tym samym rozwojowi osobliwości, które w modelach animocentrycznych stanowiły powazne wyzwanie.

Skutki dla Krainy Pish-Posh

Odwrotnie do zamierzonego efektu regularyzacja Janusa była głównym motorem stabilizacji niektórych osobliwości, m.in. Trójkąta Sierpińskiego. Powodem było zastosowanie rozproszenia wag, które w przypadku modeli fraktalnych osiągają stan dynamicznej równowagi. Pośrednim skutkiem była stabilizacja modeli powiązanych z trójkątem Sierpińskiego.