Где не используются нейронные сети
Перейти к содержимому

Где не используются нейронные сети

  • автор:

Область применения искусственных нейронных сетей и перспективы их развития Текст научной статьи по специальности «Компьютерные и информационные науки»

Аннотация научной статьи по компьютерным и информационным наукам, автор научной работы — Богославский Станислав Николаевич

В статье рассмотрены различные области применения и использования искусственных нейронных сетей, а также их способность к обучению (к процессу настройки архитектуры сети и весов синаптических связей ) для эффективного решения поставленной задачи

i Надоели баннеры? Вы всегда можете отключить рекламу.

Похожие темы научных работ по компьютерным и информационным наукам , автор научной работы — Богославский Станислав Николаевич

Эффективные алгоритмы построения нейронной сети на основании оценки входных параметров (глубокое машинное обучение)

Классификация нейронных сетей
История нейрокомпьютинга и его применение в бизнесе
Верификация и тестирование сложных программных продуктов на основе нейросетевых моделей
Алгоритм обучения формального нейрона с полиномиальной активационной функцией
i Не можете найти то, что вам нужно? Попробуйте сервис подбора литературы.
i Надоели баннеры? Вы всегда можете отключить рекламу.

SCOPE OF ARTIFICIAL NEURAL NETWORKS AND PROSPECT OF THEIR DEVELOPMENT

In the article various scopes and uses of artificial neural networks , and also their ability to training (to process of adjustment of architecture of a network and scales of synaptic communications ) for the effective decisions of a task are considered

Текст научной работы на тему «Область применения искусственных нейронных сетей и перспективы их развития»

ОБЛАСТЬ ПРИМЕНЕНИЯ ИСКУССТВЕННЫХ НЕЙРОННЫХ СЕТЕЙ И ПЕРСПЕКТИВЫ ИХ РАЗВИТИЯ

Богославский Станислав Николаевич аспирант

Кубанский государственный аграрный университет, Краснодар, Россия

В статье рассмотрены различные области применения и использования искусственных нейронных сетей, а также их способность к

SCOPE OF ARTIFICIAL NEURAL NETWORKS AND PROSPECT OF THEIR DEVELOPMENT

Bogoslavsky Stanislav Nikolaevich post-graduate student

Kuban State Agrarian University, Krasnodar, Russia

In the article various scopes and uses of artificial neural networks, and also their ability to training (to process of adjustment of architecture of a network and

обучению (к процессу настройки архитектуры сети scales of synaptic communications) for the effective

и весов синаптических связей) для эффективного решения поставленной задачи

Ключевые слова: ИСКУССТВЕННЫЕ НЕЙРОННЫЕ СЕТИ, СПОСОБНОСТЬ К ОБУЧЕНИЮ, СИНАПТИЧЕСКИЕ СВЯЗИ

decisions of a task are considered

Keywords: ARTIFICIAL NEURAL NETWORKS, ABILITY TO TRAINING, SYNAPTIC COMMUNICATIONS

Искусственные нейронные сети прочно вошли в нашу жизнь и в настоящее время широко используются при решении самых разных задач и активно применяются там, где обычные алгоритмические решения оказываются неэффективными или вовсе невозможными. В числе задач, решение которых доверяют искусственным нейронным сетям, можно назвать следующие: распознавание текстов, игра на бирже, контекстная реклама в Интернете, фильтрация спама, проверка проведения подозрительных операций по банковским картам, системы безопасности и видеонаблюдения — и это далеко не все.

Нейронные сети. Искусственные нейронные сети, подобно биологическим, являются вычислительной системой с огромным числом параллельно функционирующих простых процессоров с множеством связей. Несмотря на то, что при построении таких сетей обычно делается ряд допущений и значительных упрощений, отличающих их от биологических аналогов, искусственные нейронные сети демонстрируют удивительное число свойств, присущих мозгу, — это обучение на основе

опыта, обобщение, извлечение существенных данных из избыточной информации.

Нейронные сети могут менять свое поведение в зависимости от состояния окружающей их среды. После анализа входных сигналов они самонастраиваются и обучаются, чтобы обеспечить правильную реакцию. Обученная сеть может быть устойчивой к некоторым отклонениям входных данных, что позволяет ей правильно «видеть» образ, содержащий различные помехи и искажения.

Сегодня существует большое число различных конфигураций нейронных сетей с различными принципами функционирования, которые ориентированы на решение самых разных задач. В качестве примера рассмотрим многослойную полносвязанную нейронную сеть прямого распространения, которая широко используется для поиска закономерностей и классификации образов. Полносвязанной нейронной сетью называется многослойная структура, в которой каждый нейрон произвольного слоя связан со всеми нейронами предыдущего слоя, а в случае первого слоя — со всеми входами нейронной сети. Прямое распространение сигнала означает, что такая нейронная сеть не содержит петель.

Обучение. Способность к обучению является основным свойством мозга. Для искусственных нейронных сетей под обучением понимается процесс настройки архитектуры сети (структуры связей между нейронами) и весов синаптических связей (влияющих на сигналы коэффициентов) для эффективного решения поставленной задачи. Обычно обучение нейронной сети осуществляется на некоторой выборке [3]. По мере процесса обучения, который происходит по некоторому алгоритму, сеть должна все лучше и правильнее реагировать на входные сигналы.

Выделяют три парадигмы обучения: с учителем, самообучение и смешанная. В первом способе известны правильные ответы к каждому входному примеру, а веса подстраиваются так, чтобы минимизировать ошибку [5]. Обучение без учителя позволяет распределить образцы по категориям за счет раскрытия внутренней структуры и природы данных. При смешанном обучении комбинируются два вышеизложенных подхода.

Существует большое число алгоритмов обучения, ориентированных на решение разных задач [4]. Среди них выделяет алгоритм обратного распространения ошибки, который является одним из наиболее успешных современных алгоритмов. Его основная идея заключается в том, что изменение весов синапсов происходит с учетом локального градиента функции ошибки. Разница между реальными и правильными ответами нейронной сети, определяемыми на выходном слое, распространяется в обратном направлении — навстречу потоку сигналов. В итоге каждый нейрон способен определить вклад каждого своего веса в суммарную ошибку сети. Простейшее правило обучения соответствует методу наискорейшего спуска, то есть изменения синаптических весов пропорционально их вкладу в общую ошибку.

Конечно, при таком обучении нейронной сети нет уверенности, что она обучилась наилучшим образом, поскольку всегда существует возможность попадания алгоритма в локальный минимум. Для этого используются специальные приемы, позволяющие «выбить» найденное решение из локального экстремума. Если после нескольких таких действий нейронная сеть сходится к тому же решению, то можно сделать вывод о том, что найденное решение, скорее всего, оптимально.

Использование. Уже сегодня искусственные нейронные сети используются во многих областях, но прежде чем их можно будет

применять там, где на карту поставлены человеческие жизни или значительные материальные ресурсы, должны быть решены важные вопросы, касающиеся надежности их работы. Поэтому уровень допустимых ошибок следует определять исходя из природы самой задачи. Некоторые проблемы с анализом вопросов надежности возникают из-за допущения полной безошибочности компьютеров, тогда как искусственные нейронные сети могут быть неточны даже при их правильном функционировании. На самом же деле компьютеры, как и люди, тоже могут ошибаться. Первые — в силу различных технических проблем или ошибок в программах, вторые — из-за невнимательности, усталости или непрофессионализма. Следовательно, для особо критических задач необходимо, чтобы эти системы дублировали и страховали друг друга. А это значит, при решении таких задач нейронные сети должны выступать не в качестве единственных средств, а в качестве дополнительных, предупреждающих особые ситуации или берущих на себя управление, когда проблема не решается стандартным образом и какие-либо задержки могут привести к катастрофе.

Другая трудность использования нейронных сетей состоит в том, что традиционные нейронные сети неспособны объяснить, каким образом они решают задачу. Внутреннее представление результатов обучения зачастую настолько сложно, что его невозможно проанализировать, за исключением некоторых простейших случаев, обычно не представляющих интереса.

В последнее время предпринимаются активные попытки объединения искусственных нейронных сетей и экспертных систем. В такой системе искусственная нейронная сеть может реагировать на большинство относительно простых случаев, а все остальные передаются для рассмотрения экспертной системе. В результате сложные случаи

принимаются на более высоком уровне, при этом, возможно, со сбором дополнительных данных или даже с привлечением экспертов.

Нейросетевые прикладные пакеты, разрабатываемые рядом компаний, позволяют пользователям работать с разными видами нейронных сетей и с различными способами их обучения. Они могут быть как специализированными (например, для предсказания курса акций), так и достаточно универсальными.

Области применения нейронных сетей весьма разнообразны — это распознавание текста и речи, семантический поиск, экспертные системы и системы поддержки принятия решений, предсказание курсов акций, системы безопасности, анализ текстов. Рассмотрим несколько особенно ярких и интересных примеров использования нейронных сетей в разных областях. Необходимо отметить, что мы старались по возможности выбирать наиболее ранние случаи применения нейронных сетей при решении соответствующей задачи.

Техника и телекоммуникации. В 1996 году фирмой «Accurate Automation Corp» [6], Chattanooga, TN по заказу NASA и «Air Force» был разработан экспериментальный автопилотируемый гиперзвуковой самолет-разведчик LoFLYTE (Low-Observable Flight Test Experiment). Самолет имел длину всего 2,5 м. и вес 32 кг., и был предназначен для исследования новых принципов пилотирования. LoFLYTE использовал нейронные сети, позволяющие автопилоту обучаться, копируя приемы пилотирования летчика. Поскольку самолет был предназначен для полетов со скоростью 4-5 махов, то быстрота реакции пилота-человека могла быть недостаточной для адекватного отклика на изменение режима полета. В этом случае на помощь приходили нейронные сети, которые перенимали опыт управления у летчика и за счет высокой скорости обработки

информации позволяли быстро находить выход в аварийных и экстремальных ситуациях [6,7].

Одна из важнейших задач в области телекоммуникаций, которая заключается в нахождении оптимального пути пересылки трафика между узлами, может быть успешно решена с помощью нейронных сетей. В данном случае необходимо принимать во внимание то, что, во-первых, предложенное решение должно учитывать текущее состояние сети, качество связи и наличие сбойных участков, а во-вторых, поиск оптимального решения должен осуществляться в реальном времени. Нейронные сети хорошо подходят для решения задач такого рода. Кроме управления маршрутизацией потоков, нейронные сети могут использоваться и при проектировании новых телекоммуникационных сетей, позволяя получать весьма эффективные решения.

Информационные технологии. Определение тематики текстовых сообщений — еще один пример успешного использования искусственных нейронных сетей. Так, сервер новостей Convectis (продукт компании «Aptex Software, Inc.») был выбран в 1997 году компанией «PointCast, Inc.», являвшейся лидером персонализированной доставки новостей в Интернете, для автоматической рубрикации сообщений по категориям. Определяя значения ключевых слов по контексту, сервер Convectis был способен в реальном времени распознавать тематику и автоматически рубрицировать огромные потоки текстовых сообщений, передаваемых по таким информационным сетям, как Reuters, NBC и CBS [2].

Нейросетевой продукт «SelectCast» от «Aptex Software, Inc.» позволял определять область интересов пользователей Интернета и предлагал им рекламу соответствующей тематики. Летом 1997 года компания «Excite, Inc.» лицензировала эту разработку для использования на своих поисковых

серверах. После установки на серверах Excite и Infoseek нейросетевой рекламой было охвачено около трети всех пользователей сети на тот момент. Проведенные исследования установили, что отклик на такую тематическую рекламу была в среднем в два раза выше, чем на обычную, а для отдельных ее видов эффективность увеличивалась до пяти раз.

Экономика и финансы. Нейронные сети активно применяются на финансовых рынках. Например, американский Citybank использует нейросетевые предсказания с 199G года, и уже через два года после их внедрения, по свидетельству журнала «The Economist», автоматический дилинг показывал доходность 25% годовых. Chemical Bank применяет нейросетевую систему фирмы «Neural Data» для предварительной обработки транзакций на валютных биржах ряда стран, отслеживая подозрительные сделки. Автоматизированные системы ведения портфелей с использованием нейросетей имеются на вооружении и у «Deere & Co LBS Capital», причем экспертная система объединяется примерно с 9GG нейронными сетями.

Несколько лет назад крупный канадский банк CIBC для управления рисками и идентификации злоумышленников установил программу «KnowledgeSeeker» фирмы «Angoss» [1]. С ее помощью специалисты банка решили выяснить, кто из их клиентов в будущем будет с высокой долей вероятности задерживать выплаты по закладным. Сначала предполагалось, что в первую очередь ими окажутся те, кто и прежде задерживал свои выплаты на несколько дней. Однако исследования показали, что в будущем проблемы с платежами возникнут у тех клиентов банка, которые на фоне регулярных выплат иногда якобы забывали заплатить. Как выяснилось, подобная «забывчивость» была связана с серьезными финансовыми трудностями.

Реклама и маркетинг. Компания «Neural Innovation Ltd» использовала при работе с маркетинговыми компаниями стратегию прямой рассылки. Вначале она осуществляла рассылку всего 25% от общего числа предложений и собирала информацию об откликах и реакциях потребителей. Затем эти данные поступали на вход нейронной сети, с помощью которой осуществлялся поиск оптимального сегмента потребительского рынка для каждого товара. После этого остальные 75% предложений рассылались уже с учетом найденных закономерностей в указанный сегмент, и эффективность второй рассылки значительно возрастала по сравнению с первоначальной.

При ведении бизнеса в условиях конкуренции компаниям необходимо поддерживать постоянный контакт с потребителями, обеспечивая обратную связь. Для этого некоторые компании проводят опросы потребителей, позволяющие выяснить, какие факторы являются решающими при покупке данного товара или услуги. Анализ результатов подобного опроса — непростая задача, поскольку необходимо исследовать большое количество связанных между собой параметров и выявить факторы, оказывающие наибольшее влияние на спрос. Существующие нейросетевые методы позволяют выяснить это и прогнозировать поведение потребителей при изменении маркетинговой политики, а значит, находить оптимальные стратегии работы компании.

Здравоохранение. В медицинской диагностике нейронные сети нередко используются вместе с экспертными системами. Компанией «НейроПроект» была создана система объективной диагностики слуха у грудных детей. Общепринятая методика диагностики состоит в том, что в процессе обследования регистрируются отклики мозга в ответ на звуковой раздражитель, проявляющиеся в виде всплесков на

электроэнцефалограмме. Для диагностики слуха ребенка опытному

эксперту-аудиологу необходимо провести около 2 тыс. тестов, нейронная сеть способна с той же достоверностью определить уровень слуха уже по 200 наблюдениям в течение всего нескольких минут, причем без участия специалиста.

Приведенные примеры показывают, что технологии нейронных сетей применимы практически в любой области, а в таких задачах, как распознавание образов и прогнозирование котировок акций, они стали уже привычным и широко используемым инструментом. Повсеместное проникновение нейронных технологий в другие области — только вопрос времени. Конечно, внедрение новых наукоемких технологий — процесс сложный, однако практика показывает, что инвестиции не только окупаются и приносят выгоду, но и дают тем, кто их использует, ощутимые преимущества.

Перспективы. В настоящее время искусственные нейронные сети являются важным расширением понятия вычисления. Они уже позволили справиться с рядом непростых проблем и обещают создание новых программ и устройств, способных решать задачи, которые пока под силу только человеку. Современные нейрокомпьютеры используются в основном в программных продуктах и поэтому редко задействуют свой потенциал «параллелизма». Эпоха настоящих параллельных нейровычислений начнется с появлением на рынке большого числа аппаратных реализаций — специализированных нейрочипов и плат расширений, предназначенных для обработки речи, видео, статических изображений и других типов образной информации.

Множество надежд в отношении нейронных сетей сегодня связывают именно с аппаратными реализациями, но пока время их массового выхода на рынок, видимо, еще не пришло. Они или выпускаются в составе

специализированных устройств, или достаточно дороги, а зачастую и то и другое. На их разработку тратится значительное время, за которое программные реализации на самых последних компьютерах оказываются лишь на порядок менее производительными, что делает использование нейропроцессоров нерентабельным. Но все это только вопрос времени -нейронным сетям предстоит пройти тот же путь, по которому еще совсем недавно развивались компьютеры, увеличивая свои возможности и производительность, захватывая новые сферы применения по мере возникновения новых задач и развития технической основы для их разработки.

Должен измениться и интерфейс взаимодействия пользователя с сетью, который будет основываться на интеллектуальных агентах (см. статью «Интеллектуальные агенты семантического Web,а» в № 10 за прошлый год) — новом виде программного обеспечения, получившем название «Agentware». Агенты будут взаимодействовать не только со своим пользователем, но и с другими такими же агентами и со специальными сервисами. Вследствие этого в сети появится своего рода новый социум с самообучающимися агентами, которые будут принимать решения от имени пользователя, и пока еще трудно сказать, к чему это приведет.

Заключение. В качестве подведения итогов хотелось бы сказать, что сегодня нейронные сети уже не являются уделом небольшой группы теоретиков. К нейросетевым приложениям подключаются инженеры и исследователи разных специальностей. Особенно радует прогресс в построении удачных нейросетевых моделей исследуемых явлений, полностью базирующихся на экспериментальных данных. Здесь наиболее полно проявляются замечательные свойства искусственных нейронных систем: массивная параллельность обработки информации,

ассоциативность памяти и способность к обучению на опыте. Это открывает новые перспективы для систематизации многочисленной экспериментальной информации в таких областях знаний, где традиционно трудно приживается математический формализм, например, в медицине, психологии и истории.

1. Крисилов В. А., Олешко Д.Н., Трутнев А.В.. Применение нейронных сетей в задачах интеллектуального анализа информации.// Труды Одесского политехнического университета, Вып.2 (8). 1999, с. 134.

2. Нейронные сети. STATISTICA Neural Networks.// М.: Горячая линия-Телеком, 2000 г. с.182.

3. Джеффри Е. Хинтон. Как обучаются нейронные сети.// В мире науки — 1992 — N 11 — N 12 — c. 103-107.

4. Садовой А. В., Сотник С. Л. Алгоритмы обучения нейронных сетей будущего. // http ://www.alicetele. com/~sergei/articles/al go/al go. htm

5. Rumelhart B.E., Minton G.E., Williams R.J. Learning representations by back propagating error.// Wature, 1986. V. 323. p. 1016-1028.

Области практического применения искусственных нейронных сетей

Следующий текст (с небольшими изменениями и осовременивающими дополнениями) воспроизведен из книги: Ежов А.А, Шумский С.А. Нейрокомпьютинг и его применение в экономике и бизнесе. М.: МИФИ, 1998. — 224с.

  • Экономика и бизнес: прогнозирование временных рядов (курсов валют, цен на сырьё, спроса, объемов продаж. ), автоматический трейдинг (торговля на валютной, фондовой или товарной бирже), оценка рисков невозврата кредитов, предсказание банкротств, оценка стоимости недвижимости, выявление переоцененных и недооцененных компаний, рейтингование, оптимизация товарных и денежных потоков, считывание и распознавание чеков и документов, безопасность транзакций по пластиковым картам.
  • Медицина и здравоохранение: постановка диагноза больному (диагностика заболеваний), обработка и распознавание медицинских изображений (рентгеновских снимков, томограмм и т.д.), очистка показаний приборов от шумов, мониторинг состояния пациента, прогнозирование результатов применения разных методов лечения, анализ эффективности проведённого лечения.
  • Авионика: обучаемые автопилоты, распознавание сигналов радаров, адаптивное пилотирование сильно поврежденного самолета, беспилотные летательные аппараты (дроны), распознавание/детекция объектов на фото/видеосъёмке с дрона.
  • Связь: сжатие видеоинформации, быстрое кодирование-декодирование, оптимизация сотовых сетей и схем маршрутизации пакетов.
  • Интернет: ассоциативный поиск информации, электронные секретари и автономные агенты в интернете, фильтрация и блокировка спама, автоматическая рубрикация сообщений из новостевых лент, адресные (персонализированные) реклама и маркетинг для электронной торговли, чат-боты, автоматизация распознавания captcha.
  • Автоматизация производства: оптимизация режимов производственного процесса, контроль качества продукции, мониторинг и визуализация многомерной диспетчерской информации, предупреждение аварийных ситуаций.
  • Робототехника: распознавание сцены, объектов и препятствий перед роботом, прокладка маршрута движения, управление манипуляторами (например, решение обратной задачи кинематики), поддержание равновесия.
  • Политологические и социологические исследования: предсказание результатов выборов, анализ опросов, предсказание динамики рейтингов, выявление значимых факторов, кластеризация электората, изучение и визуализация социальной динамики населения.
  • Безопасность, охранные системы: распознавание лиц; идентификация личности по отпечаткам пальцев, голосу или подписи; распознавание автомобильных номеров; мониторинг пакетов информации и информационных потоков в компьютерной сети для обнаружения вторжений; обнаружение подделок; анализ данных с видеокамер и разнообразных сенсоров; анализ аэрокосмических снимков (обнаружение лесных пожаров, незаконных вырубок леса и т.д.).
  • Ввод и обработка информации: распознавание рукописных текстов, отсканированных почтовых, платежных, финансовых и бухгалтерских документов; распознавание речевых команд, речевой ввод текста в компьютер.
  • Геологоразведка: анализ сейсмических данных, ассоциативные методики поиска полезных ископаемых, оценка ресурсов месторождений.
  • Компьютерные и настольные игры: создание нейроигроков в шашки и шахматы (подтверждённые игрой с людьми рейтинги — на уровне мастеров и международных мастеров); выигрыш в Го у чемпионов Европы и мира; в среднем лучшее, чем у человека, прохождение почти полусотни старых классических игр с Атари (всякие там Понги, Пакманы. ).

Обилие приведенных выше областей применения нейронных сетей — не рекламный трюк. Просто нейросети — это гибкий и мощный набор инструментов решения разнообразных задач обработки и анализа данных.

У Вас есть подобные задачи? Давайте обсудим по электронной почте tsar@neuropro.ru возможности их решения.

нейронные сети,
методы анализа данных:
от исследований до разработок и внедрений

© 2003-23 Царегородцев В.Г.

Нейросети
Нейронные сети
Нейротехнологии

Нейросети – одно из направлений искусственного интеллекта, цель которого – смоделировать аналитические механизмы, осуществляемые человеческим мозгом. Задачи, которые решает типичная нейросеть – классификация, предсказание и распознавание.

Нейросети способны самостоятельно обучаться и развиваться, строя свой опыт на совершенных ошибках. Анализируя и обрабатывая информацию из какого-то конкретного источника, либо из сети Интернет в целом, самоорганизующаяся система способна создавать новые продукты, не только воспроизводя и структурируя вводные данные, но и формируя качественно иной результат, ранее недоступный искусственному интеллекту.

Нейронет (NeuroNet) – один из предполагаемых и наиболее вероятных этапов развития Интернета. На новом этапе развития всемирной паутины взаимодействие участников будет осуществляться на принципах нейрокоммуникаций, т.е. на основе передачи информации об активности головного мозга. Ученые прогнозируют формирование рынка Нейронета к 2030-2040 г. Причем, ожидается, что в это время на рынке уже будут функционировать не менее 10 российских компаний с общей капитализацией около 700 млрд рублей.

Безопасность нейросетей

2022: ИИ может ошибаться даже при незаметных модификациях данных

Специалисты компании «Криптонит» провели масштабное исследование безопасности искусственных нейросетей, повсеместно применяемых в системах компьютерного зрения, распознавания речи и глубокого анализа различных данных, включая финансовые и медицинские. Об этом компания сообщила 29 ноября 2022 года.

Эксперты сравнили описанные в научных статьях атаки на модели машинного обучения (ML), построенные на основе искусственных нейронных сетей (ИНС), воспроизвели разные реализации атак и рассказали про 10 самых наглядных. «ВК» планирует перевести учёт и казначейство с импортных решений на «1С». Бюджет проекта — 1 млрд рублей

В своём исследовании авторы использовали три общепринятых в информационной безопасности сценария:

  • атака типа white-box предполагает наличие полного доступа к ресурсам сети и наборам данных: знание архитектуры сети, знание всего набора параметров сети, полного доступа к обучающим и тестовым данным;
  • атака типа gray-box характеризуется наличием у атакующего информации об архитектуре сети. Дополнительно он может обладать ограниченным доступом к данным. Именно атаки по типу «серого ящика» чаще всего встречаются на практике.
  • атака типа black-box характеризуется полным отсутствием информации об устройстве сети или наборе обучающих данных. При этом, как правило, неявно предполагается наличие неограниченного доступа к модели, то есть имеется доступ к неограниченному количеству пар «исследуемая модель» + «произвольный набор входных данных».

Были протестированы различные библиотеки для создания вредоносных примеров. Изначально были отобраны AdvBox, ART, Foolbox, DeepRobust. Производительность AdvBox оказалась очень низкой, а DeepRobust на момент исследования была очень сырой, поэтому в сухом остатке оказались ART и Foolbox. Эксперименты проводились на различных типах моделей ML. В своем отчете «Криптонит» поделился самыми наглядными результатами, полученными с использованием одной фиксированной модели на основе свёрточной нейронной сети и пяти различных атак. Их реализации взяты из двух библиотек.

Для демонстрации использовалась база данных MNIST, которая содержит 60 000 образцов рукописных цифр, и отобрали самые наглядные вредоносные примеры.

Число сверху – абсолютная величина максимального отклонения возмущения от оригинала. Под изображением три числа: максимальное отклонение, минимальное и среднее. В нижней строке – метка и вероятность.

Исследование показало, что проблема с безопасностью моделей ML, основанных на нейросетях, действительно есть. Нейросеть может «с уверенностью» выдать некорректный результат при совсем небольших изменениях в картинке или других входных данных — настолько незначительных, что человек их вряд ли заметит.

Так, картинка слева — исходный пример, в котором нейросеть уверенно распознаёт цифру «4». Посередине — неудачный вредоносный пример. Изображение заметно искажено, однако нейросеть всё равно распознаёт четвёрку. Справа — работающий вредоносный пример. Он визуально неотличим от предыдущего, но здесь уже преодолён порог возмущений, за которым нейросеть теряется и выдаёт неверный результат распознавания. В данном случае вместо «4» она распознаёт «7». В примере выше человек уверенно различает цифру «4» на любой из трёх картинок, но исходные изображения не всегда бывают достаточно чёткими.

Например, на следующей картинке недописанный ноль может зрительно восприниматься как цифра «6» — вопрос в том, куда мысленно продолжить линию. Нейросеть тоже не уверена: она показывает низкую вероятность, но правильно распознаёт ноль на изображении. Чтобы заставить ИНС ошибиться, нужно изменить всего несколько пикселей. При этом величина вносимого возмущения будет порядка 1/256, что соответствует величине цветового разрешения.

Нейросеть далеко не всегда удаётся обмануть так просто. В случае уверенного распознавания объекта придётся сгенерировать и проверить множество вредоносных примеров, прежде чем удастся найти рабочий. При этом он может быть практически бесполезным, так как вносит слишком сильные возмущения, заметные невооружённым глазом.

Для иллюстрации в «Криптонит» взали наиболее легко распознаваемую цифру «9» из тестового набора и показали некоторые получившиеся вредоносные примеры. На иллюстрации видно, что в 8 случаях из 12 построить вредоносные примеры не удалось. В остальных четырёх случаях исследователи обманули нейросеть, но эти примеры получились слишком зашумлёнными. Такой результат связан с уверенностью модели в классификации исходного примера и со значениями параметров различных методов.

В целом эксперимент показал ожидаемые результаты [1] : чем проще изменения, которые вносятся в изображение, тем меньше они влияют на работу ИНС. Следует подчеркнуть, что «простота» вносимых изменений относительна: это может быть и десяток пикселей, но вот догадаться, каких именно, и как их нужно изменить — сложная задача. Нет такого гвоздя, на котором полностью держится результат классификации CNN: в общем случае нельзя изменить один пиксель так, чтобы ИНС ошиблась.

Методы PGD, BIM, FGSM, CW, DeepFool оказались самыми эффективными для сценария «белый ящик». Вне зависимости от реализации, они позволяют провести удачную атаку с вероятностью 100%, однако их применение подразумевает наличие полной информации о модели ML.

Методы Square Attack, HopSkipJump, Few-Pixel, Spatial Transformation предполагают наличие информации об архитектуре модели. Были получены единичные удачные примеры атак, но практическое использование этих методов не представляется возможным. Возможно, ситуация изменится в будущем, если появятся достаточно эффективные реализации, стимулирующие интерес исследователей к этим методам.

Все рассмотренные методы «чёрного ящика» используют уровень достоверности, возвращаемый нейронной сетью. Если хотя бы немного понизить точность возвращаемого уровня достоверности, то (и без того невысокая) эффективность методов упадёт многократно.

Нейронные сети и байесовские модели

Две популярные парадигмы в области машинного обучения. Первые совершили настоящую революцию в области обработки больших объемов данных, дав начало новому направлению, получившему название глубинное обучение. Вторые традиционно применялись для обработки малых данных. Математический аппарат, разработанный в 2010 годы, позволяет конструировать масштабируемые байесовские модели. Это дает возможность применить механизмы байесовского вывода в современных нейронных сетях. Даже первые попытки построения гибридных нейробайесовских моделей приводят к неожиданным и интересным результатам. Например, благодаря использованию байесовского вывода в нейронных сетях удается сжать сеть приблизительно в 100 раз без потери точности ее работы.

Нейробайесовский подход потенциально может решить ряд открытых проблем в глубинном обучении: возможность катастрофического переобучения на шумы в данных, самоуверенность нейронной сети даже в ошибочных предсказаниях, неинтерпретируемость процесса принятия решения, уязвимость к враждебным атакам (adversarial attacks). Все эти проблемы осознаются научным сообществом, над их решением работают многие коллективы по всей планете, но готовых ответов пока нет.

Нейросети для создания картинок

Как использовать нейросети

В мире созданы нейронные сети, способные рисовать картины в любом существующем художественном стиле, уверенно обыгрывать чемпиона мира в самую сложную логическую игру на планете, записывать музыкальные альбомы и подражать поведению человека в электронной переписке. Всё перечисленное – пока лишь демонстрация части возможностей технологии, реальное применение которой как в бизнесе, так и в быту, мы увидим в ближайшем будущем.

Другими словами, нейронные сети позволят не только и не столько заменить человеческий труд в более сложных трудовых активностях, сколько стать полезным инструментом для специалистов и управленцев множества областей.

Влад Шершульский, Директор по перспективным технологиям, Microsoft Rus комментирует: «Эта область окончательно стала в 2016 году «горячей»: примерно с 2009 года наблюдается быстрый прогресс в создании все более сложных, и при этом все более эффективных, глубоких нейронных сетей, а в самое последнее время мы увидели впечатляю щие приложения и стали свидетелями создания целого ряда успешных стартапов. Порог входа на рынок нейросетевых сервисов существенно снизился, а проекты, построенные вокруг идеи одного интересного приложения, реализуются за считаные месяцы. Все это породило бум нейросетевых стартапов, вызвало интерес крупных корпораций и способствовало росту спроса на специалистов в этой области, в том числе и в России. Приятно отметить, что важнейший вклад в создание нового поколения технологий работы с естественными языками внесли специалисты компании Microsoft. В известном телевизионном сериале «Звездный путь» создание онлайнового перевод чика устной речи прогнозировали в XXII веке, а он у нас уже есть сегодня. Конечно, другие применения – от прогнозирования поломок автомобилей и банкротства контрагентов до новых средств кибербезопасности – тоже развиваются весьма успешно».

Нейросети в радиологии

Нейросети в СМИ

2023: Какие нейросети уже сегодня можно использовать в СМИ

Сегодня все больше людей понимают, что за нейросетями будущее, и что на них можно делать вещи, которые раньше были невозможны. Как и любой инновационный продукт — широкой аудитории нейросети кажутся чем-то малоприменимым, но любопытным. Они умеют писать музыку, обрабатывать и генерировать изображения, выделять главное, озвучивать текст, поддерживать несложный диалог. Но после первого восторга все наиграются, и новинка станет рабочей обыденностью во всех сферах. Например, специально для СМИ было отобрано несколько способов потенциального применения нейросетей для решения реальных задач.

В статье «Медиа будущего: какие нейросети уже сегодня можно использовать в СМИ» представлены результаты исследования экспертов, которые, опираясь на свой многолетний опыт работы в онлайн-СМИ, проанализировали: что могло бы упростить журналистам работу, улучшить качество материалов и повысить эффективность бизнеса. Подробнее здесь.

Нейросети в России

В России разработками в области нейросетевого программирования занимаются крупнейшие интернет-холдинги, в частности, VK (ранее Mail.ru Group) и Яндекс, используя нейросети для анализа изображений и обработки текстов в поисковике. Самыми знаменитыми примерами стали технологии компаний Microsoft, Google, IBM и Facebook, а также стартапы MSQRD, Prisma [2] .

2024

Российские ученые нашли способ ускорить обучение нейросетей ориентироваться в пространстве

Исследователи из НИУ ВШЭ, НИТУ МИСИС и AIRI нашли способ эффективнее проводить обучение с подкреплением для нейросетей, заточенных на ориентацию в пространстве. С помощью механизма внимания эффективность работы графовой нейросети увеличилась на 15%. Результаты исследования опубликованы в журнале IEEE Access. Об этом 23 января 2024 года сообщили представители НИУ ВШЭ. Подробнее здесь.

Российские ученые научили нейросети распознавать юмор по-человечески

Группа ученых факультета компьютерных наук НИУ ВШЭ провела исследование способности нейросетей распознавать юмор. Выяснилось, что для более надежного распознавания следует изменить подход к созданию наборов данных, на которых обучаются нейросети. Такой информацией с TAdviser поделились представители НИУ ВШЭ 11 января 2024 года.

Как известно, голосовые помощники могут только рассказать готовый анекдот, придумать же свой или распознать шутливый тон они не в состоянии. При этом пользователи голосовых помощников, созданных на основе технологии искусственного интеллекта, хотят от них большей человечности — способности распознать шутку и пошутить.

С середины 2000-х годов ученые занимаются распознаванием юмора как задачей классификации «смешно — не смешно», в этой же рамке собираются и размечаются датасеты (набор данных). Группа ученых из ВШЭ предложила изменить подходы к формированию таких датасетов — сделать их более разнообразными, причем наборы данных не обязательно должны быть очень большими.

Как пояснили представители НИУ ВШЭ, задача распознавания юмора сложна еще и потому, что отсутствуют формальные критерии для определения того, что смешно, а что нет. Большинство существующих датасетов для обучения и оценки моделей распознавания юмора содержат каламбуры (puns). Сарказм и ирония еще более сложны, как и ситуативный юмор, требующий знания контекста или культурного кода.

Устойчивость же ученые проверяли «состязательными атаками» — попытками заставить нейросеть увидеть юмор там, где его нет. Нейросеть получала несмешной, но формально похожий на юмористический текст — вместо каламбура в диалоге использовалось «неправильное» созвучное слово. Чем меньше сеть попадается в такие ловушки, тем она более устойчива.

Исследователи обучали модели на стандартных датасетах для распознавания юмора и на их смесях. Кроме того, модели проходили проверку диалогами из «Алисы в Стране чудес» Льюиса Кэрролла, «Лавки древностей» Чарльза Диккенса, «Троих в лодке, не считая собаки» Джерома К. Джерома, сериалов «Ходячие мертвецы», «Друзья» и коллекцией ироничных твитов.

Оказалось, что некоторые модели переобучаются и считают все смешным.

Модели, натренированные на каламбурах, чаще ошибаются, если в несмешном тексте одно слово заменено на созвучное. Также выяснилось, что нейросети, натренированные на небольших частях разных датасетов, распознают юмор лучше, чем обученные на большом объеме однотипных данных. Авторы делают вывод, что существующие датасеты слишком узкие, юмор в каждом из них сильно ограничен, и это снижает качество распознавания шуток.

Исследователи предложили изменить подход к обучению и оценке моделей распознавания юмора. Нужны новые датасеты, более разнообразные и близкие к обычным разговорам, естественному общению. Большие языковые модели, например ChatGPT, обученные на огромных массивах данных разных типов, в среднем хорошо справляются с распознаванием юмора, и ученые предполагают, что дело именно в разнообразии данных, на которых они учились.

Исследование выполнено в рамках проекта Научно-учебной лаборатории моделей и методов вычислительной прагматики. [3]

2022: Российские ученые представили метод классификации фотографий на базе квантовой нейросети

Российские физики лаборатории Квантовых информационных технологий Университета МИСИС, Российского квантового центра и МГУ имени М.В. Ломоносова впервые представили метод классификации фотографий с высокой точностью для 4-х классов изображений, основанный на архитектуре квантовой сверточной нейронной сети (QCNN). Об этом TAdviser сообщили представители НИТУ МИСИС 24 ноября 2022 года. Подробнее здесь.

2021

В России создали нейросеть, генерирующую картинки по описанию на русском языке

Сбер 2 ноября 2021 года сообщил TAdviser о создании нейронной сети ruDALL-E, которая способна создавать изображения на основе текстового описания на русском языке. Подробнее здесь.

26% предпринимателей доверили бы искусственному интеллекту общение с клиентами

13 октября 2021 года аналитики Platforma («Платформа больших данных») подклились результатами изучения отношения малого и среднего бизнеса к искусственному интеллекту (ИИ) и большим данным. Больше трети респондентов (36,8%) считают, что работа ИИ требует контроля и проверки результатов. Но каждый пятый (22,1%) предприниматель уже на октябрь 2021 года готов заменить личного ассистента на умную программу для выполнения персональных поручений. Подробнее здесь.

2020: Российские учёные научили искусственный интеллект «видеть» квантовые преимущества

Российские ученые из МФТИ, ФТИАН и ИТМО создали нейросеть, которая научилась предсказывать поведение квантовой системы, «взглянув» на схему этой системы. Об этом 16 января 2020 года МФТИ сообщил TAdviser.

Такая нейросеть самостоятельно находит те решения, которые хорошо подходят для демонстрации квантовых преимуществ. Это поможет исследователям разрабатывать эффективные квантовые компьютеры.

Большой круг задач современной науки решается на основе квантово-механических расчетов. Например, химические и биологические: исследования химических реакций или поиск устойчивых молекулярных структур для промышленности, медицины, фармацевтики и других областей.

Для точного решения такого рода «квантовых» задач хорошо подходят квантовые вычисления, в отличие от классических, на основе которых квантовые задачи решаются в большинстве случаев лишь громоздко и приближенно.

Процесс создания квантовых вычислительных схем — трудоемкое и дорогостоящее занятие. Не всегда получившиеся устройства показывают «квантовое превосходство» — демонстрируют скорость обработки информации быстрее обычного классического компьютера. Поэтому ученым хотелось бы иметь инструмент для прогнозирования того, будет ли какая-то схема обладать квантовым преимуществом или нет.

Одной из реализаций квантовых вычислений являются квантовые блуждания. Упрощенно можно представить этот метод как перемещение частицы по определенной сети, составленной из точек-узлов и соединений между этими узлами. Такие сети и образуют схему квантовой системы.

Если квантовое перемещение частицы — блуждание — из одного узла сети в другой оказывается быстрее классического, то можно говорить, что устройство на основе такой схемы показывает квантовое преимущество. Поиск сетей, обладающих квантовым преимуществом, является важной задачей, над которой работают эксперты в области квантовых блужданий.

Идеей Алексея Мельникова, Леонида Федичкина и Александра Алоджанца было заменить эксперта машинным интеллектом: научить компьютер различать сети и давать ответ на вопрос, в каких сетях квантовые блуждания будут давать преимущество. То есть обнаружить сети на основе которых имеет смысл строить квантовый компьютер.

Исследователи взяли нейросеть, которая «специализировалась» на распознавании изображений. На вход программе подавалась матрица смежности сети и номер входного и выходного узла. На выходе нейросеть давала ответ, будет ли квантовое блуждание между этими узлами быстрее классического.

Давайте запретим нейронные сети

Тема нейронных сетей волнует сейчас почти всех, кто рисует. За последние полгода прогресс выглядит для кого-то головокружительным, а для кого-то пугающим. В этой статье я хочу рассмотреть основные страхи, претензии и впечатления в целом по отношению к нейронным сетям среди творческих людей, профессия или хобби которых — создание визуальной эстетики.

В силу работы и персональных интересов мне приходится часто общаться с художниками. Обычно это профессиональные 3d и 2d художники из игровой индустрии или желающие попасть туда. Но также я много общаюсь с людьми из рекламы, кинопроизводства, театра, преподавателями в худ. учебных заведениях и другими.

Условно можно провести водораздел между двумя мнениями насчет нейросетей (здесь и далее я имею в виду “рисующие” нейросети): пренебрежение, начинающееся от безразличия и доходящее до отрицания или интерес, переходящий в восторг.

Надо запретить

Большинство испытывают откровенный страх по отношению к нейросетям, прикрывая его неприязнью или скепсисом. Их можно понять: неожиданно, за каких-то год-два нейросети эволюционировали от примитивных рисовалок до инструмента, отлично имитирующего профессионалов. В первом приближении кажется, что дальнейший прогресс в этом направлении будет и дальше столь стремительным. Это наводит на мысль, что навыки, на которые были потрачены годы, станут бесполезны, а работа человека обесценится.

Основные тезисы критиков – нейросети:

  • никогда не сравнятся с художниками, они плохо делают “то-то”;
  • воруют работы других художников, нарушая авторское право;
  • это не творчество, а просто копание в случайных картинках;
  • обесценивают труд художников, которые потратили годы на обучение;
  • это игрушка, не применимая на практике
  • отнимут работу у художников

Есть и другие, как правило производные или частные случаи выше озвученных. Если я что-то пропустил – дополните в комментариях.

Надо разобраться

На первый взгляд, аргументы справедливы, но давайте разберемся, почему все это совсем не так.

В основном критика звучит из уст людей, которые не прикасались еще к нейросетям, или попробовали ограниченные форматы, вроде миджорней (где количество бесплатных генераций ограничено). Те же, кто в полной мере погрузился в процесс, независимо от своей первоначальной позиции как правило отзываются положительно и даже восторженно. Чтобы в полной мере понять, надо попробовать, но страх или предвзятость могут стать непреодолимым барьером.

Нейросети никогда не сравняются с художниками, они плохо делают “то-то”

Это правда – прямо сейчас нейросети плохо “рисуют” руки, ошибаются в перспективе, склеивают объекты и допускают множество других очевидных ошибок. Однако стоит сравнить, что нейросети умели год назад и что умеют сейчас, и их доступность – сразу становится понятно, что прогресс не огромный, он фантастический.

DALL-E, 2021 годStable Diffusion, 2022 год

Новые специализированные модели, натренированные на отдельные стили, появляются каждый день. Новый функционал и инструментарий – с регулярностью в несколько месяцев. Нейросети умеют “додумывать” и дорисовывать картины, смешивать совершенно непохожие изображения, рисовать поверх любой картинки, используя ее как основу, угадывать что вы пытаетесь накалякать, имитировать стиль любого художника.

Нет никаких сомнений, что через 5 лет, а то и раньше, не будет ни одной художественной задачи, с которой не справятся нейронки.

Нейросети воруют работы других художников, нарушая авторское право

Дело в том, что нейронные сети не используют ни одного пикселя с тех работ, на которых их обучали, но они действительно могут очень точно подражать “стилю” любого художника. За этим, на первый взгляд, довольно просто углядеть плагиат, но доказать это будет очень не просто. Понятия “стиль” в правовой сфере нет, поэтому на “стиль” не распространяется право собственности и авторское право. Подражать любому стилю можно без ограничений, если вы создаете новое изображение. Плагиатом считает прямое использование чужого произведения или его фрагмента под своим именем. Нейросеть генерирует новые изображения. И технически, и визуально это легко доказать.

Несмотря на это, нейросети все еще находятся в некоторой “серой зоне” права, просто потому что каких-то громких разбирательств не было. Непонятно, кому действительно принадлежат изображения: художникам, сгенерировавшим их, тем, кто создал нейросеть или кто обучил и т.д. Поэтому сейчас лучший выход — использовать open source варианты, такие как stable diffusion. Как и в случае с коллажем, фотобашем, трассировкой и прочими производными произведениями – никто ничего сделать не сможет, да и не захочет. Если вы, конечно, не будете напрямую использовать образы, принадлежащие не вам.

Нейросети — это не творчество, а просто копание в случайных картинках

Есть опасность погрузиться в сложный философский вопрос “что такое творчество”, но я попробую кратко.

Творчество в широком смысле – создание чего-то нового из уже существующего. Не обязательно нового для всего мира, или отрасли, иногда нового чисто для себя. Неотъемлемой частью творчества является участие, т.е. творец должен буквально сам создавать.

Сторонникам озвученной выше идеи кажется, что процесс создания незатейливый – вбил запрос и получил картинку. Но на самом деле, уже сейчас это довольно хитроумный и неочевидный процесс. Как правило, у вас всегда есть идея или замысел, которые вы хотите воплотить с помощью нейронки. Например, сгенерировать жирного красного кота. На запрос: Fat Red Cat, получится что-то такое:

Сгенерировано для этой статьи с помощью Stable Diffusion

Но мы не такого кота себе представляли. Надо добавлять уточняющие слова. В ходе поиска вы можете прийти к монструозным конструкциям вроде: “Photo of Fat Red Cat in forest, art by Anders Zorn and John William Waterhouse, professional painting, beautiful, aesthetic, elegant, highly detailed, digital painting, artstation, concept art, smooth, sharp focus, illustration, soft color, 3d, unreal” (я уж молчу про все возможные параметры)

И получить уже что-то такое:

Сгенерировано для этой статьи с помощью Stable Diffusion

И вот этот поиск соответствия своих ожиданий с возможностями инструмента ничем иным как творчеством не назовешь. И перебор “промптов”, это самое простое, что можно сделать. Можно обучить на разных стилях, генерить в одном, потом использовать как маску и перегенерить в другом, экспериментировать с форматом, что-то замазывать или обрезать в редакторе, склеивать получившиеся результаты. Навыков надо минимум, каждый может начать. Но чтобы получить удовлетворяющий (в первую очередь вас) результат, придется провести вполне себе осмысленный и творческий поиск, который может легко затянуться на часы.

Нейросети обесценивают труд художников, которые потратили годы на обучение

Вопросы этики всегда самые сложные. Но подумайте вот над чем: обесценивает ли фотография портретную живопись, а рисунки в фотошопе масляную?

Вы скажете: “нейронки тренируются на работах авторов”. Но что делают авторы? Они, как и нейронная сеть, поглощают информацию о мире вокруг, о любимых художниках, обрабатывают эти данные нейросетью своего мозга и через руку выдают на бумаге производное изображение. Вы скажете: “постой, это другое, это же человек делает”. А я скажу — физик тоже может проводить расчеты в голове, но давно доверяет это машине, потому что некоторые расчеты человеческому мозгу просто не подвластны из-за времени. Так же и нейронная сеть – еще один инструмент, которому художник делегирует часть своего обучения. Благодаря чему обязательно выдаст такие визуальные решения, которые ему были бы недоступны при традиционной форме обучения, просто из-за времени. Поэтому ни о каком обесценивании речь не идет, весь художественный опыт человечества сейчас собирается, чтобы калькулировать в будущем в такие произведения, которые сегодня человеку недоступны. Это ода труду художников прошлого и настоящего.

Нейросети — это игрушка, неприменимая на практике

Ну пока да, но это опять же вопрос времени. 17 ноября вышел проект, над которым я работал последние 2 года, и там, помимо прочего, использовались изображения, созданные нейросетями. Зайдите на артстейшн, и увидите как люди пока робко, но уже пробуют нейросети в работе.

Уже сегодня практично и удобно генерировать лица персонажей для концепт арта и иллюстраций, искать композиции, набрасывать скетчи дизайнов, добавлять детализации своим скетчам и т.д. Это вполне себе реальные задачи, закрываемые нейросетями прямо сейчас. Вот например, Xander Smith еще 2 года назад использовал нейронную сеть, чтобы подобрать варианты лица для концепта:

Xander Smith, Artbreeder

Нейросети отнимут работу у художников

И это единственное верное утверждение из всех озвученных. Они и правда “отнимут” работу у художников, но это произойдет не так как, представляют многие, слыша эту фразу. Это не будет буквальным замещением, массовыми увольнениями или неожиданным изменением всех существующих подходов. Просто постепенно, незаметно, художники сами, по своей воле, перейдут от стандартных инструментов к нейросетевым. Те, кто не захотят или не смогут, органично либо сменят род деятельности, сместятся на роли технических специалистов или руководителей или вообще переместятся в другую отрасль. А для кого-то ничего не поменяется и через 10 лет будет ниша, где в силу каких-то причин или обстоятельств будут востребованы традиционные методы и подходы, но с каждым годом таких мест и потребность в таких ролях будет все меньше и меньше, но на век сегодняшних консерваторов от мира творчества хватит.

Надо пользоваться

Подводя итоги – изучайте нейросети. В свое время великое традиционное искусство уступило место цифровому, благодаря чему было совершено множество открытий, были созданы целые отрасли и профессии. Эпоха нейросетей еще только в зачаточном состоянии.

Стоит вспомнить первые трехмерные игры:

Waze Mare, 1973 год

и посмотреть к чему они пришли сегодня:

God of War: Ragnarök, 2022 год

Это просто головокружительный прыжок. Несмотря на то, что математика, лежащая в основе нейросетей еще в 40-е годы прошлого века появилась, а концепцию еще Лем предлагал в 60-е, сегодня нейросети находятся на самом старте, и мы еще удивимся, насколько далеко сможем прыгнуть.

Добавить комментарий

Ваш адрес email не будет опубликован. Обязательные поля помечены *