Laboratory of Multi-Agent Systems in Smart Cities and Industry 4.0 specializes in the study of issues of cybernetics and economic theory as applied to communication in multi-agent systems.
Watch intro from the head of the laboratory
Our goals and activities
Experiments in the field of machine-to-machine economically significant communication
Formation of a knowledge base and publications in the field of robot economics and Industry 4.0.
Building user communication with a multi-agent system that provides a complete service
Conducting research development in the field of web3 + robotics with the publication of results in open source
A networked cyberphysical systemsRobot-as-a-serviceDecentralized technologiesBlockchainPeer-to-peerIndustry 4.0IoT networks
One of the creators of the concept of “robot economy”, the progressor of the Robonomics platform.
Scientific supervisor of grants from the Russian Science Foundation, Erasmus +, student design bureaus.
h-index = 11, author of over 30 scientific publications.
Regular program participant of the MIT Media Lab Symposium Blockchain for Robotics and AI Systems.
Один из создателей концепции “экономики роботов”, прогрессор платформы Робономика.
Научный руководитель грантов РНФ, Erasmus+, студенческих конструкторских бюро.
h-index = 11, автор более 30 научных публикаций.
Постоянный программный участник MIT Media Lab Symposium Blockchain for Robotics and AI Systems.
Research area and objectives
The ongoing large-scale digitalization of human activity has been made possible by the common network infrastructure offered by the World Wide Web, as well as numerous devices, from CCTV systems and sensors to smartphones and smart devices.
Given the growing influence of robotics, a logical step should be the same digitalization of cyber-physical systems and devices themselves, i.e., their large-scale network integration to interact with human infrastructure and with each other. This will allow devices to use the collected data to self-manage and provide the most effective services to the person. Researchers have called this approach Robot-as-a-Service and see it as a potential economic model for the future.
However, the multitude of autonomous devices that are networked and capable of physically affecting the world raise great security concerns, exacerbated by the negative experience of large centralized projects. Such network CPSs require studying the issues of communication protocols and managing multi-agent systems of heterogeneous devices, without taking into account the fact that managing a single device can also be a nontrivial task. In addition, the final goal of creating a networked CPS is its integration into the digital economy, and this imposes additional restrictions related to legal and economic aspects and information protection.
Decentralized technologies such as peer-to-peer networks, blockchains and smart contracts are a promising area of research in this area. They do not have the drawbacks of centralized approaches, make it easier to solve some issues of organizing a multi-agent system, and also already have ways of integrating with the digital economy.
Therefore, within the framework of this laboratory, we propose to investigate aspects of the application of precisely decentralized technologies for managing network CPS. It is supposed to use the open source platform Robonomics, which offers the capabilities of the Ethereum and Polkadot blockchains for robotic devices compatible with the Robot Operating System framework, and uses the market mechanism as the basic way of interaction between devices and humans. The main goal of the laboratory is the application of decentralized technologies for networked cyber-physical systems in various applications.
Текущая масштабная цифровизация человеческой активности стала возможна благодаря общей сетевой инфраструктуре, предложенной Всемирной сетью, а также многочисленным устройствам, от систем CCTV и датчиков до смартфонов и умных устройств.
С учетом роста влияния робототехники, логичным шагом в этой цепочке должна стать такая же цифровизация самих киберфизических систем и устройств, т. е. их масштабная сетевая интеграция для взаимодействия с человеческой инфраструктурой и друг с другом. Это позволит устройствам использовать собираемые данные для самоуправления и предоставления наиболее эффективных услуг человеку. Исследователи назвали подобный подход Robot-as-a-Service (робот как услуга) и рассматривают его как потенциальную экономическую модель будущего.
Однако, множество автономных устройств, объединенных в сеть и способных физически влиять на мир, вызывают большие опасения с точки зрения безопасности, усугубленные негативным опытом крупных централизованных проектов. Подобные сетевые КФС требуют изучения вопросов коммуникационных протоколов и управления многоагентыми системами разнородных устройств, без учета того, что управление отдельным устройством может быть также нетривиальной задачей. Кроме того, финальной целью создания сетевой КФС становится ее интеграция в цифровую экономику, а это накладывает дополнительные ограничения, связанные с правовыми и экономическими аспектами и защитой информации.
Перспективным направлением исследований в этой области выступают децентрализованные технологии, такие как пиринговые сети, блокчейны и смарт-контракты. Они не обладают недостатками централизованных подходов, позволяют более просто решить некоторые вопросы организации многоагентной системы, а также уже имеют способы интеграции с цифровой экономикой.
Поэтому в рамках этой лаборатории мы предлагаем исследовать аспекты применения именно децентрализованных технологий для управления сетевыми КФС. Предполагается использовать открытую платформу Робономика, которая предлагает возможности блокчейнов Ethereum и Polkadot для робототехнических устройств, совместимых с фреймворком Robot Operating System, и использует рыночный механизм как базовый способ взаимодействия между устройствами и человеком. Главная цель лаборатории — применение децентрализованных технологий для сетевых киберфизических систем в разных приложениях.
Relevance to ITMO’s prioritized areas
The research interest of the laboratory corresponds to the priority areas of ITMO University in “Intelligent technologies and robotics”, as well as on “Intelligent technologies in the economy, social sphere and art”.
Исследовательский интерес лаборатории соответствует приоритетным направлениям Университета ИТМО по “Интеллектуальным технологиям и робототехнике”, а также по “Интеллектуальным технологиям в экономике, социальной сфере и искусстве”.
The laboratory focuses on four major areas of research:
Certified measurements of the quality of water resources using unmanned surface vehicles
The main focus is on an environmental monitoring system built on a small fleet of small marine vessels equipped with compact sensors. In this case, the Robnonomics platform is used for secure registration of vessels, their missions and collected data on water samples, thereby ensuring the certification of measurements.
Основной фокус уделяется системе мониторинга окружающей среды, построенной на небольшом флоте малогабаритных морских судов , оснащенных компактными датчиками. Платформа Робнономика в данном случае используется для защищенной регистрации судов, их миссий и собранных данных о пробах воды, тем самым обеспечивая сертифицированность замеров.
Within the framework of the direction, the following issues are investigated:
finding and tracking pollution sources, taking into account the computing limitations of devices;
construction of pollution maps using unmanned surface vehicles;
movement and data collection in waves and currents;
optimal distribution of the fleet of water drones in the task of collecting water samples;
efficient network configurations for communication between the fleet / ground control station, taking into account the communication constraints;
mixed reality simulations for testing a fleet of real and virtual devices;
protection of environmental data sent from devices using cryptography;
methods of blockchainization and monetization of environmental data.
В рамках направления исследуются следующие вопросы:
поиск и отслеживание источников загрязнений с учетом вычислительных ограничений устройств;
построение карт загрязнений при помощи безэкипажных надводных аппаратов;
движение и сбор данных в условиях волн и течений;
оптимальное распределение флота надводных аппаратов в задаче сбора проб воды;
эффективные конфигураций сети для связи между флотом / наземной станцией управления с учетом коммуникационных ограничений;
симуляции смешанной реальности для тестирования флота реальных и виртуальных устройств;
защита отправляемых с устройств экологических данных с помощью криптографии;
методы блокчейнизации и монетизации экологических данных.
Smart factories for Industry 4.0
Smart factories are factories in which autonomous production occurs by collecting, exchanging and using information between people, materials and machines using network technologies. In the final stage, such factories operate without human intervention, independently adjusting their production process based on feedback from product sales. A test bench is available at the faculty, based on the Fischertechnik designer and Siemens controllers, which simulates a smart factory, from the supply of raw materials to the shipment of products from warehouses, depending on the demand for it.
Умные фабрики — это фабрики, в которых автономное производство происходит путем сбора, обмена и использования информации между людьми, материалами и машинами с помощью сетевых технологий. В финальном варианте такие фабрики функционируют без участия человека, самостоятельно корректируя свой производственный процесс по обратной связи от продаж продукции. На факультете доступен тестовый стенд , на основе конструктора Fischertechnik и контроллеров Siemens, который имитирует умную фабрику, от поставки сырья до отгрузки продукции со складов в зависимости от спроса на нее.
The stand allows you to explore the following issues:
optimal management of a multi-agent system using market mechanisms;
modeling of industrial processes;
adaptive management of industrial processes based on external economic factors;
the laws of resource and production cycle management to maximize profits;
control of industrial Siemens microcontrollers.
Стенд позволяет исследовать следующие вопросы:
оптимальное управление многоагентной системой с помощью рыночных механизмов;
моделирование промышленных процессов;
адаптивное управление промышленными процессами на основе внешних экономических факторов;
законы управления ресурсами и циклом производства для максимизации прибыли;
управление промышленными микроконтроллерами Siemens.
The robot artist as an autonomous creative system
Autonomous systems that create art objects (or artifacts) have been of interest to researchers since the 1980s, gradually accelerating with the development of image recognition and Simultaneous Localization and Mapping (SLAM) techniques. However, the task of generating a human-independent idea of an artifact - what is called creativity - has begun to advance recently, with the development of neural networks, for example, art in the style of Inceptionism from the Google AI team. The most intriguing thing is the creation of a completely autonomous creative system capable of “inventing” the idea of an artifact, realizing it, presenting it for review, and drawing conclusions from feedback on how to proceed further. The KUKA KR6 R900 manipulator is available to work on this direction at the faculty, which can draw with a brush on canvas. The robot works on the basis of the Robonomics platform, which allows it, for example, to put up paintings for a digital auction.
Автономные системы, создающие предметы искусства (или артефакты), интересовали исследователей начиная с 1980-х годов, постепенно ускоряясь с развитием распознавания изображений и методов SLAM (Simultaneous Localization and Mapping). Однако задача генерации независимой от человека идеи артефакта — то, что и называется творчеством — стала продвигаться недавно, с развитием нейросетей, например, арт в стиле инсепшионизма от команды Google AI. Наиболее интригует создание полностью автономной творческой системы, способной “придумать” идею артефакта, реализовать ее, представить на обозрение, а по обратной связи сделать выводы, как действовать далее. Для работы над этим направлением на факультете доступен манипулятор KUKA KR6 R900 , способный рисовать кистью на холсте. Робот работает на базе платформы Робономика, что позволяет ему, например, выставлять картины на цифровой аукцион.
The stand allows you to explore the following issues:
solving the inverse problem of kinematics for manipulator control when drawing;
the task of web scraping is to extract the data used to generate the idea of the picture;
determination of the working space using a 3D camera;
using feedback from the sale of paintings to find the most popular ideas for new ones.
Стенд позволяет исследовать следующие вопросы:
решение обратной задачи кинематики для управления манипулятором при рисовании;
задача веб-скрейпинга — извлечение данных, используемых для генерации идеи картины;
определение рабочего пространства с помощью 3D камеры;
использование обратной связи от продаж картин для поиска наиболее популярных идей для новых.
Digitalization of the state of the infrastructure using a network of sensors
The Internet of Things has been actively expanding in the last decade, but it still has significant limitations for ubiquitous use, primarily related to security when connecting smart devices and sensors. Decentralization of governance has the potential to circumvent this limitation, opening the way for decentralized autonomous organizations and even smart cities. This infrastructure has a digital footprint for every facility in the organization, allowing you to analyze health and efficiently manage assets and costs, from electricity consumption to PM10 concentration in offices.
Интернет вещей активно расширялся в последнее десятилетие, но все еще имеет существенные ограничения для повсеместного использования, в первую очередь связанную с безопасностью при подключении умных устройств и датчиков. Децентрализация управления потенциально способна обойти это ограничение, что открывает дорогу децентрализованным автономным организациям и даже умным городам. В такой инфраструктуре за каждым объектом организации закреплен цифровой след, позволяющий анализировать состояние и эффективно управлять активами и расходами, от электропотребления до концентрации частиц PM10 в офисах.
Within the framework of this direction, it is planned to investigate:
optimal placement of sensors in rooms to collect data on temperature / humidity / air quality;
systems for automatic localization and diagnostics of infrastructure problems;
efficient configurations and architectures for wireless sensor networks;
safety of sensor networks.
В рамках данного направления планируется исследовать:
оптимальное размещение датчиков в помещениях для сбора данных о температуре / влажности / качества воздуха;
системы автоматической локализации и диагностики неполадок инфраструктуры;
эффективные конфигураций и архитектуры для беспроводных сетей датчиков;
безопасность сетей датчиков.
Skills that participants will develop
Working with web3 technologies: Ethereum ecosystems, Polkadot and Robonomics, deploying smart contracts.
Robot Operating System framework: the entire pipeline, from sending a task for a robot mission to receiving the resulting data from executing devices.
Modeling the work of various CPS and management theory skills.
Programming in Python, Rust, JavaScript.
DevOps Skills (CI / CD).
Ability to work with microcontrollers, single board computers and sensor systems.
Scientific activity, setting up experiments, design and publication of scientific articles.
Работа с web3-технологиями: экосистемы Ethereum, Polkadot и Robonomics, развертывание смарт-контрактов.
Фреймворк Robot Operating System: весь пайплайн, от отправки задания на миссию робота до получения результирующих данных от исполняющих устройств.
Моделирование работы различных КФС и навыки теории управления.
Программирование на языках Python, Rust, JavaScript.
Навыки DevOps (CI/CD).
Умение работать с микроконтроллерами, одноплатными компьютерами и системами датчиков.
Научная деятельность, постановка экспериментов, оформление и публикация научных статей.
First year plan
Control of an unmanned surface vehicle: an article co-authored with Professor A. S. Matveev with a more accurate mathematical model of the vehicle.
Robot Artist: An article with Professor E. C. Ferrer of the MIT Media Lab on the concept of • “Digital Autonomous Robotic Entrepreneur”; See article about manipulator control in a brush painting task.
DAOS project - managing smart devices in an office or coworking space based on Aragon DAO and Robonomics; launching the project on Kickstarter.
Vending machine based on the Robonomics platform.
The Home Assistant project is a simple robot assistant for the home, capable of mobile filming and sending notifications; launching the project on Kickstarter.
The network of sensors and the aggregation of their information: article for the conference.
Initial experiments with the smart factory stand.
Управление безэкипажным надводным аппаратом: статья в соавторстве с профессором А. С. Матвеевым с более точной математической моделью аппарата.
Робот-художник: статья с профессором E. C. Ferrer из MIT Media Lab о концепции “Digital Autonomous Robotic Entrepreneur”; статья об управлении манипулятором в задаче рисования кистью.
Проект DAOS — управление умными устройствами в офисе или коворкинге на базе Aragon DAO и Robonomics; вывод проекта на Kickstarter.
Вендинговый аппарат, работающий на базе платформы Робономика.
Проект Home Assistant — простой робот-помощник для дома, способный вести мобильную съемку и посылать уведомления; вывод проекта на Kickstarter.
Сеть датчиков и агрегация их информации: статья для конференции.
Начальные эксперименты со стендом умной фабрики.
Our published research articles
A. Kapitonov, S. Lonshakov, A. Krupenkin, and I. Berman, “Blockchain-based protocol of autonomous business activity for multi-agent systems consisting of UAVs,” 2017 Workshop on Research, Education and Development of Unmanned Aerial Systems (RED-UAS), Nov. 2017.
A. Kapitonov, I. Berman, S. Lonshakov, and A. Krupenkin, “Blockchain Based Protocol for Economical Communication in Industry 4.0,” 2018 Crypto Valley Conference on Blockchain Technology (CVCBT), Nov. 2018.
A. Kapitonov, I. Berman, V. Bulatov, S. Lonshakov, and A. Krupenkin, “Robonomics Based on Blockchain as a Principle of Creating Smart Factories,” 2018 Fifth International Conference on Internet of Things: Systems, Management and Security, Dec. 2018.
A. Kapitonov, S. Lonshakov, I. Berman, E. C. Ferrer, F. P. Bonsignorio, V. Bulatov, and A. Svistov, “Robotic Services for New Paradigm Smart Cities Based on Decentralized Technologies,” Ledger, 2019.
D. Alexandrov, E. Pertseva, I. Berman, I. Pantiukhin, and A. Kapitonov, “Analysis of Machine Learning Methods for Wildfire Security Monitoring with an Unmanned Aerial Vehicles,” 2019 24th Conference of Open Innovations Association (FRUCT), May 2019.
A. Kapitonov, I. Berman, V. Manaenko, V. Rzhevskiy, V. Bulatov, and A. Zenkin, “Robonomics as a Blockchain-based Platform for Unmanned Traffic Management of Mobile Vehicles,” 2019 Workshop on Research, Education and Development of Unmanned Aerial Systems (RED UAS), Nov. 2019.
A. Zenkin, I. Berman, K. Pachkouski, I. Pantiukhin, and V. Rzhevskiy, “Quadcopter Simulation Model for Research of Monitoring Tasks,” 2020 26th Conference of Open Innovations Association (FRUCT), 2020.
I. Berman, E. Zereik, A. Kapitonov, F. Bonsignorio, A. Khassanov, A. Oripova, S. Lonshakov, and V. Bulatov, “Trustable Environmental Monitoring by Means of Sensors Networks on Swarming Autonomous Marine Vessels and Distributed Ledger Technology,” Frontiers in Robotics and AI, vol. 7, 2020.