УДК 512.577+519.68:007.5
MSC: 08A35, 08A62, 68Q06, 94C11
DOI: 10.21538/0134-4889-2021-27-1-130-145
Полный текст статьи (Full text)
Работа поддержана Красноярским математическим центром, финансируемым Минобрнауки РФ в рамках мероприятий по созданию и развитию региональных НОМЦ (Соглашение 075-02-2020-1534/1).
В данной работе вводятся коммутативные, но в общем случае не ассоциативные группоиды $\mathrm{AGS}(\mathcal{N})$, состоящие из идемпотентов. Группоид $(\mathrm{AGS}(\mathcal{N}),+)$ тесно связан с многослойной нейронной сетью $\mathcal{N}$ прямого распределения сигнала (далее - просто нейронная сеть). Выяснилось, что в таких нейронных сетях задание подсети фиксированной нейронной сети равносильно заданию некоторого специального кортежа, составленного из конечных множеств нейронов исходной сети. Все специальные кортежи, задающие подсеть нейронной сети $\mathcal{N}$, содержатся в множестве $\mathrm{AGS}(\mathcal{N})$. Остальные кортежи из $\mathrm{AGS}(\mathcal{N})$ также имеют нейросетевую интерпретацию. Таким образом, $\mathrm{AGS}(\mathcal{N})=F_1\cup F_2$, где $F_1$ - множество кортежей, индуцирующих подсети, и $F_2$ - множество остальных кортежей. Если заданы две подсети нейронной сети, то возникают два случая. В первом случае из данных подсетей можно получить новую подсеть путем объединения множеств всех нейронов этих подсетей. Во втором случае такое объединение невозможно по нейросетевым соображениям. Операция $(+)$ для любых кортежей из $\mathrm{AGS}(\mathcal{N})$, индуцирующих подсети, возвращает кортеж, индуцирующий некоторую подсеть, либо возвращает нейтральный элемент, который не индуцирует подсети. Если для двух элементов из $F_1$ операция $(+)$ возвращает нейтральный элемент, то подсети, индуцированные этими элементами, не могут быть объединены в одну подсеть. Для любых двух элементов из $\mathrm{AGS}(\mathcal{N})$ операция имеет нейросетевую интерпретацию. В работе изучаются алгебраические свойства группоидов $\mathrm{AGS}(\mathcal{N})$ и строятся некоторые классы эндоморфизмов таких группоидов. Показано, что всякая подсеть $\mathcal{N}'$ сети $\mathcal{N}$ задает подгруппоид $T$ в группоиде $\mathrm{AGS}(\mathcal{N})$, изоморфный $\mathrm{AGS}(\mathcal{N}')$. Доказывается, что для всякого конечного моноида $G$ будет существовать нейронная сеть $\mathcal{N}$ такая, что $G$ изоморфно вкладывается в моноид всех эндоморфизмов группоида $\mathrm{AGS}(\mathcal{N})$.
Ключевые слова: эндоморфизм группоида, многослойная нейронная сеть прямого распределения, подсеть многослойной нейронной сети
СПИСОК ЛИТЕРАТУРЫ
1. Головко В. А., Краснопрошин В. В. Нейросетевые технологии обработки данных: уч. пособие. Минск : Изд-во Беларус. гос. ун-та, 2017. 263 с.
2. Горбань А. Н. Обобщенная аппроксимационная теорема и вычислительные возможности нейронных сетей // Сиб. журн. вычисл. математики. 1998. Т. 1, № 1. С. 11–24.
3. McСulloh W., Pitts W. A logical calculus of the ideas immanent in nervous activity // Bulletin Math. Biophysics. 1943. № 5. P. 115–133.
4. Розенблатт Ф. Принципы нейродинамики: персептрон и теория механизмов мозга : пер. с англ. Mосква: Мир, 1965. 478 c.
5. Litavrin A. V. Endomorphisms of Some Groupoids of Order $k + k^2$ // Bulletin Irkutsk State University. Ser. Mathematics. 2020. Vol. 32. P. 64–78. doi: 10.26516/1997-7670.2020.32.64
6. Tsarkov O. I. Endomorphisms of the semigroup $G_2(r)$ over partially ordered commutative rings without zero divisors and with 1/2 // J. Math. Sc. (N Y). 2014. Vol. 201, no. 4. P. 534–551.
7. Zhuchok Yu. V. Endomorphism semigroups of some free products // J. Math. Sc. (N Y). 2012. Vol. 187, no. 2. P. 146–152.
8. Слеповичев И. И. Алгебраические свойства абстрактных нейронных сетей // Изв. Сарат. ун-та. Нов. сер. Математика. Механика. Информатика. 2016. Т. 16, № 1. С. 96–103. doi: 10.18500/1816-9791-2016-16-1-96-103
9. Плоткин Б.И., Гринглаз Л.Я., Гварамия А.А. Элементы алгебраической теории автоматов. М.: Высшая школа, 1994. 192 с.
10. Молчанов В. А., Хворостухина Е. В. Об абстрактной определяемости универсальных гиперграфических автоматов полугруппами входных сигналов // Чебыш. сб. 2019. Т. 20, № 2. С. 259–272. doi: 10.22405/2226-8383-2018-20-2-259-272
11. Литинский Л. Б. О задаче декомпозиции нейронной сети на несколько подсетей // Мат. моделирование. 1996. Т. 8, № 11. С. 119–127.
12. Тимофеев А. В., Дерин О. А. Принципы построения иерархических нейронных сетей для анализа мультиизображений // Тр. СПИИРАН. 2009. Т. 10. С. 160–166.
13. Курош А. Г. Лекции по общей алгебре. СПб.: Изд. дом “Лань”, 2007. 560 с.
Поступила 11.01.2021
После доработки 14.02.2021
Принята к публикации 24.02.2021
Литаврин Андрей Викторович
канд. физ.-мат. наук, доцент каф. высш. математики № 2
Института математики и фундаментальной информатики,
Сибирский федеральный университет
г. Красноярск
e-mail: anm11@rambler.ru
Ссылка на статью: А.В. Литаврин. Эндоморфизмы конечных коммутативных группоидов, связанных с многослойными нейронными сетями прямого распределения // Тр. Ин-та математики и механики УрО РАН. 2021. Т. 27, № 1. С. 130-145.
English
A.V. Litavrin. Endomorphisms of finite commutative groupoids related with multilayer feedforward neural networks
In this paper, we introduce commutative, but generally not associative, groupoids $\mathrm{AGS}(\mathcal{N})$ consisting of idempotents. The groupoid $ (\mathrm{AGS}(\mathcal{N}),+)$ is closely related to the multilayer feedforward neural networks $\mathcal{N}$ (hereinafter just a neural network). It turned out that in such neural networks, specifying a subnet of a fixed neural network is tantamount to specifying some special tuple composed of finite sets of neurons in the original network. All special tuples defining some subnet of the neural network $\mathcal{N}$ are contained in the set $\mathrm{AGS}(\mathcal{N})$. The rest of the tuples from $\mathrm{AGS}(\mathcal{N})$ also have a neural network interpretation. Thus, $\mathrm{AGS}(\mathcal{N})=F_1\cup F_2$, where $F_1$ is the set of tuples that induce subnets and $F_2$ is the set of other tuples. If two subnets of a neural network are specified, then two cases arise. In the first case, a new subnet can be obtained from these subnets by merging the sets of all neurons of these subnets. In the second case, such a merger is impossible due to neural network reasons. The operation $(+)$ for any tuples from $\mathrm{AGS}(\mathcal{N})$ returns a tuple that induces a subnet or returns a neutral element that does not induce subnets. In particular, if for two elements from $F_1$ the operation $(+)$ returns a neutral element, then the subnets induced by these elements cannot be combined into one subnet. For any two elements from $\mathrm{AGS}(\mathcal{N})$, the operation has a neural network interpretation. In this paper, we study the algebraic properties of the groupoids $\mathrm{AGS}(\mathcal{N})$ and construct some classes of endomorphisms of such groupoids. It is shown that every subnet $\mathcal{N}'$ of the net $\mathcal{N}$ defines a subgroupoid $T$ in the groupoid $\mathrm{AGS}(\mathcal{N})$ isomorphic to $\mathrm{AGS}(\mathcal{N}')$. It is proved that for every finite monoid $G$ there is a neural network $\mathcal{N}$ such that $G$ is isomorphically embeddable into the monoid of all endomorphisms $\mathrm {End}(\mathrm{AGS}(\mathcal{N}))$. This statement is the main result of the work.
Keywords: groupoid endomorphism, multilayer feedforward neural networks, multilayer neural network subnet
Received January 11, 2021
Revised February 14, 2021
Accepted February 24, 2021
Funding Agency: This work is supported by the Krasnoyarsk Mathematical Center and financed by the Ministry of Science and Higher Education of the Russian Federation in the framework of the establishment and development of regional Centers for Mathematics Research and Education (Agreement No. 075-02-2020-1534/1).
Andrey Viktorovich Litavrin, Cand. Sci. (Phys.-Math.), Siberian Federal University, Krasnoyarsk, 660041 Russia, e-mail: anm11@rambler.ru
Cite this article as: A.V. Litavrin. Endomorphisms of finite commutative groupoids related with multilayer feedforward neural networks, Trudy Instituta Matematiki i Mekhaniki UrO RAN, 2021, vol. 27, no. 1, pp. 130–145.
[References -> on the "English" button bottom right]
