ПО Облако: описание и технические решения

1. Описание программы

1.1. Общие сведения

Обозначение и наименование программы: высоконагруженное серверное программное обеспечение «Облако» (далее по тексту – ПО «Облако»).

ПО «Облако» создано в рамках проекта по разработке «Автоматизированной Системы интеллектуальной защиты жилой, коммерческой и общественной недвижимости с использованием облачных вычислений». Проект реализован при совместной работе и государственной финансовой поддержке Санкт-Петербургского государственного электротехнического университета «ЛЭТИ» им. В.И. Ульянова (Ленина) и Института аналитического приборостроения Российской академии наук (ИАП РАН).

Программное обеспечение, необходимое для функционирования программы:

Операционная система Ubuntu Linux Server LTS.
Система управления базой данных PostgreSQL.
Система обмена сообщениями между компонентами RabbitMQ.

Требования к программному окружению соответствуют требованиям технического задания.

Языки программирования, на которых написана программа: Все модули ПО «Облако» разработаны в среде Eclipse на мультипарадигмальном языке Python (v.2.6), который является высокоуровневым интерпретируемым, компилируемым языком программирования общего назначения.

Язык поддерживает различные парадигмы программирования в том числе структурное, объектно-ориентированное, функциональное, императивное и аспектно-ориентированное; Стандартная библиотека включает, в том числе, общеупотребительные контейнеры и алгоритмы.

Информационное хранилище программы реализовано в соответствии с принципами построения реляционных баз данных. Вся информация хранится в файлах базы данных в строчном виде с использованием структуры, обеспечивающей быстрый поиск информации в больших информационных массивах.

Программа содержит около 50 тысяч строк кода.

Для управления базой данных используется объектно-реляционная систему управления базами данных PostgreSQL

Доступ к информационному хранилищу осуществляется средствами программы «Облако».

‍

Связи программы с другими программами

Для обеспечения функционирования всех компонентов ПО «Облако» используются стандартные средства операционной системы Ubuntu Linux Server LTS.

Для обеспечения взаимодействия с информационным хранилищем и управления базой данных используются стандартные средства объектно-реляционной системы управления базами данных PostgreSQL.

Для обеспечения взаимодействия между всеми компонентами системы используются стандартные средства системы обмена сообщениями между компонентами RabbitMQ

1.2. Функциональное назначение

ПО «Облако» предназначено для работы в составе автоматизированной системы интеллектуальной защиты жилой, коммерческой и общественной недвижимости с использованием облачных вычислений (далее – Система).

ПО «Облако» обеспечивает информационное взаимодействия центральной станции мониторинга (далее – ЦСМ), программного обеспечения «Мобильное приложение дистанционного управления объектами контроля» (далее – ПО «Приложение»), установленного на объекте охранного оборудования (далее — «Панель») и видеооборудования (далее — «Камера»).

ПО «Облако» предназначено для реализации следующих задач:

обеспечение одновременного обслуживания 100000 объектов контроля;
прием от ЦСМ сигналов, переданные изделием «Панель» и передачу этих сигналов в ПО «Приложение»;
прием подключений от ПО «Приложение», изделий «Панель», «Камера» и организацию каналов связи между изделиями и ПО «Приложение»;
прием от ПО «Приложение» команд управления изделиями «Панель», «Камера» и передача этих команд в изделия;
прием от изделий «Камера» потокового видео с аудиосопровождением и видеофрагментов с аудиосопровождением и их передачу в ПО «Приложение»;
обеспечение информационной безопасности данных за счет шифрования обмена внутри подключений.

Областью применения ПО «Облако», является организация централизованного и/или автономного мониторинга состояния охраняемых объектов недвижимости, а также организация контроля и управления доступом на данные объекты.

Пользователями ПО «Облако», являются сотрудники охранных предприятий, сотрудники МВД России, а также частные клиенты.
‍

Алгоритм программы

ПО «Облако» представляет из себя облачный сервис, реализованный в виде набора микросервисов, что позволяет производить гибкую настройку и адаптацию возможностей системы под текущие требования по масштабированию и отказоустойчивости.

ПО «Облако» не имеет пользовательского интерфейса и полностью функционирует в автоматическом режиме, обеспечивая обмен информацией между остальными компонентами системы.

Выполняемые ПО «Облако» сценарии подразделяются на следующие этапы:

1. Прием подключений:

прием подключений от ПО «Приложение»;
прием подключений от изделий «Панель», «Камера»;

2. Организация каналов связи между объектами контроля и ПО «Приложение»;

3. Прием данных и команд управления:

прием от ЦСМ сигналов, переданные изделием «Панель»;
прием от ПО «Приложение» команд управления изделиями «Панель», «Камера»;
прием от изделий «Камера» потокового видео с аудиосопровождением и видеофрагментов с аудиосопровождением;
прием от ПО «Приложение» потокового аудио;

4. Обработка данных и команд управления:

обработка полученных от ЦСМ сигналов изделий «Панель» для подготовки к передаче в ПО «Приложение»;
обработка полученных от ПО «Приложение» команд управления для подготовки к передаче в изделия «Панель», «Камера»;
обработка полученных от изделий «Камера» потокового видео с аудиосопровождением и видеофрагментов с аудиосопровождением для подготовки к передаче в ПО «Приложение».

5. Передача данных и команд управления:

передача полученных от ЦСМ сигналов изделий «Панель» в ПО «Приложение»;
передача полученных от ПО «Приложение» команд управления в изделия «Панель», «Камера»;
передача полученных от изделий «Камера» потокового видео с аудиосопровождением и видеофрагментов с аудиосопровождением в ПО «Приложение».

Используемые методы

При разработке ПО «Облако» были использованы методы объектно-ориентированного проектирования и программирования.
‍

Структура программы с описанием функций составных частей и связей между ними

ПО «Облако» включает в себя следующие подсистемы и компоненты:

Подсистему хранения данных – обеспечивает запись информации в базу данных и чтение информации из базы данных. Связана со всеми компонентами ПО «Облако».
Подсистему обмена сообщениями между компонентами. Обеспечивает обмен информацией между всеми компонентами ПО «Облако». Связана со всеми компонентами ПО «Облако»;
Компонент для организации приема подключений от ПО «Приложение». Обеспечивает прием подключений от ПО «Приложение». Связан с подсистемой хранения данных, подсистемой обмена сообщениями, компонентом для организации мониторинга.
Компонент для организации приема подключений от изделий «Панель», «Камера»; Обеспечивает прием подключений от изделий «Панель», «Камера». Связан с подсистемой хранения данных, подсистемой обмена сообщениями, компонентом для организации мониторинга.
Компонент для организации мониторинга работоспособности. Обеспечивает контроль работоспособности всех компонентов ПО «Облако». Связана со всеми компонентами ПО «Облако».

Обмен информацией между всеми подсистемами и компонентами ПО «Облако» осуществляется с помощью закрытого бинарного формата данных, не подлежащего модификации средствами стороннего программного обеспечения.

1.3. Используемые технические средства

Обеспечение функциональных характеристик

Для обеспечения информационного обмена, системы и компоненты ПО «Облако», работают в составе единой вычислительной сети, построенной по технологии Интернет/Интранет.

В качестве основного средства связи между системами и компонентами ПО «Облако» использована глобальная вычислительная сеть Интернет.

Предусмотрена возможность работы функционально законченных компонентов систем и компонентов ПО «Облако» в разных локальных вычислительных сетях.

В качестве базового протокола сетевого и межсетевого взаимодействия используется TCP/IP (сокращение от английского TransferControlProtocol/ InternetProtocol, протокол управления передачей/интернет-протокол) – стек протоколов Интернета.

Эксплуатация ПО «Облако» возможна на электронно-вычислительных машинах серверного типа под управлением операционной системы Ubuntu Linux Server LTS с использованием среды виртуализации на базе архитектуры, совместимой с Intel x86,.

Требования к конфигурации сервера развертывания:

Тактовая частота центрального процессора: не менее 3 ГГц.
Количество ядер центрального процессора: не менее 8 ядер.
Объём оперативной памяти: не менее 16 Гб.
Жёсткие диски: SATA II 2 шт., общим объёмом не менее 1 Тб.

Представленные требования к аппаратному обеспечению соответствуют требованиям к составу и параметрам технических средств технического задания.

Для обеспечения дополнительной изоляции микросервисов различных компонентов ПО «Облако» развертывание должно выполняться не менее, чем на 4-х виртуальных машинах.

1.4. Вызов и загрузка

Для использования ПО «Облако» предварительно должны быть выполнены процедуры установки и настройки.

ПО «Облако» представляет из себя облачный сервис, реализованный в виде набора микросервисов. Каждый микросервис поставляется и запускается в виде docker-контейнера. Развертывание на конкретной виртуальной машине выполняется с помощью ansible-скриптов, в которые в качестве аргументов для развертывания передаются:

список микросервисов, которые необходимо развернуть на данной виртуальной машине;
параметры, с которыми должен быть развернут каждый микросервис.

Список микросервисов и настройки передаются в скрипты с помощью файлов конфигурации, описывающих, какие именно микросервисы с какими параметрами должны быть развернуты на конкретной виртуальной машине.

Вызов и запуск ПО «Облако» выполняется автоматически с использованием средств общего программного обеспечения.

Дистрибутив для установки и эксплуатации программного обеспечения

Требования к компьютеру

должна быть установлена 64-битная операционная система с поддержкой Docker
должен быть установлен Docker
должен быть установлен Ansibleи другие компоненты, которые требуются для развертывания
должна быть обеспечена синхронизация времени компьютера с интернетом (или другим источником правильного времени).

Подготовка компьютера на примере Ubuntu LTS

На компьютер следует установить 64-битную версию операционной системы Ubuntu Server 18.04 LTS дистрибутив

Следует установить стандартный набор пакетов для Ubuntu Server (без оконного менеджера и др. пакетов). При установке указать необходимость наличия OpenSSH-сервера для организации удалённого доступа к машине.

Сразу после установки операционной системы, необходимо настроить часовой пояс. Для этого следует выполнить команду sudo dpkg-reconfigure tzdata, которая предложит выбрать значение из списка.

Необходимо установить Docker CEинструкция

sudo apt-get install \

apt-transport-https \

ca-certificates \

curl \

software-properties-common

curl -fsSL https://download.docker.com/linux/ubuntu/gpg \

| sudo apt-key add -

sudo add-apt-repository \

"deb [arch=amd64] https://download.docker.com/linux/ubuntu \

$(lsb_release -cs) \

stable"

sudo apt-get update

sudo apt-get install docker-ce

Подготовка перед каждой установкой и обновлением

Необходимо убедиться, что на компьютере установлены нужные версии Ansible с библиотеками. Для этого выполните следующие команды, при этом установится всё недостающее:

sudo apt-get install -y git build-essential python3-distutils

curl -s -o /tmp/get-pip.py https://bootstrap.pypa.io/get-pip.py

sudo python3 /tmp/get-pip.py

sudo pip3 install "ansible==2.8.7.0" docker pyvmomi pysphere jmespath

Проверьте, что Ansible готов к использованию:

sudo ansible localhost -m docker_container -a 'detach=no cleanup=yes name=test image=alpine:3.4 command=/bin/true'

Вывод этой команды должен содержать строку "localhost | CHANGED" или "localhost | SUCCESS". Предупреждения можно проигнорировать, они говорят о том, что для управления доступен только локальный сервер.

Технические подробности развёртывания

На целевой машине готовятся Ansible-скрипты, представляющие собой yaml-файлы, описывающие развёрнутый продукт. В этих файлах имеются некоторые переменные, подлежащие настройке. После настройки переменных, скрипты "проигрываются" Ансиблом. Ансибл приводит имеющуюся на компьютере ситуацию в соответствие с описанной в скриптах, то есть "установка с нуля" и "обновление" ничем не отличаются. Скрипты можно проигрывать повторно, если при первом проигрывании возникли ошибки и цель не была достигнута.

В процессе проигрывания, на основании переменных, подготовленных в Ansible-скриптах, будут заново созданы оконечные конфиги компонентов в каталоге /opt/cloud/config/.

Внесение в оконечные конфиги ручных правок не рекомендуется, так как они будут перезатёрты при очередном проигрывании. Но, на всякий случай, предыдущие версии оконечных конфигов сохраняются в том же каталоге, с другим названием.

Ниже описана подготовка Ansible-скриптов, настройка в них переменных. Если это не первая установка, предыдущие значения переменных можно "подсмотреть" в скриптах, по которым было сделано предыдущее развёртывание. Если они не сохранились, значения переменных можно "подсмотреть" в оконечных конфигах компонентов в каталоге /opt/cloud/config/

Установка и обновление

Создайте каталог "~/trans_setup" и расположите в нём все файлы из архива дистрибутива.

Отредактируйте файл ./make-trans.yml: в параметре vars.hostname пропишите имя сервера, на котором выполняется установка — это защита от случайного запуска на другом сервере.

Отредактируйте файл ./transceiver-config.yml. Все параметры подробно описаны в самом файле.

Для установки / обновления всех компонентов «Облака» нужно выполнить следующую команду из директории ~/trans_setup:

sudo ansible-playbook make-trans.yml

В выводе этой команды будет указано, какие действия были проделаны (некоторые из них могут быть пропущены, если на компьютере уже достигнут требуемый результат).

В случае возникновения ошибок нужно посмотреть в сообщении об ошибке причину, устранить её и запустить команду заново.

Запускать команду можно несколько раз, до тех пор пока она не завершится успехом – это будет означать, что все требуемые компоненты развёрнуты полностью.

Если при обновлении должен поменяться количественный или качественный состав трансиверов, то настоятельно рекомендуется перед обновлением выполнить зачистку.

Частичное обновление

Если необходимо обновить или удалить только некоторые из перечисленных в ./transceiver-config.yml трансиверов можно использовать такие команды.

Для удаления трансиверов с именами ip1 и ip2:

sudo ansible-playbook make-trans.yml -e only_trans="ip1,ip2" --tags="remove"

Для развертывания/обновления трансивера ip3:

sudo ansible-playbook make-trans.yml -e only_trans="ip3"

Зачистка

Для удаления всех трансиверов нужно использовать команду:

sudo ansible-playbook make-trans.yml --tags="purge"

Веб-конфигуратор

Создайте каталог "~/wc_setup" и расположите в нём все файлы из архива дистрибутива (ссылка на архив – в начале статьи).

Отредактируйте файл make-web-configurator.yml:

указать значение параметра vars.hostname – пропишите имя сервера, на котором выполняется установка веб-конфигуратора — это защита от случайного запуска на другом сервере.
если нужно, изменить порты в секции Services ports:

keyboardist_port – web-интерфейс инженера;
lumberjack_port – web-интерфейс для загрузки прошивок приборов.

если нужно масштабирование компонентов, настроить секцию Scaling settings:

hammonds_count – количество экземпляров приложений Hammond, отвечающих за прием TCP-подключений от устройств и обмену данными с ними по протоколу CML;
gear_workers.ambassador – количество экземпляров приложений, отвечающих за прием HTTP-запросов от IP-трансивера;
gear_workers.webgate – количество экземпляров приложений, отвечающих за прием HTTP-запросов от Hammond-ов;

Отредактируйте файл web-configurator-config.yml:

настроить ротацию логов компонентов в секции log_options (если настройки по умолчанию не устаивают).

На этом подготовка завершена.

После установки нужно оставить директорию ~/wc_setup: файл make-web-configurator.yml используется при перезагрузке машины или сервиса docker. Директорию можно удалить или переименовать перед очередным обновлением.

Установка веб-конфигуратора

Для установки / обновления всех компонентов Веб-конфигуратора нужно выполнить следующую команду из директории ~/wc_setup:

sudo ansible-playbook make-web-configurator.yml

Если необходимо ограничить количество TCP подключений от устройств к веб-конфигуратору, нужно установить значение троттлинга в конфигурационном файле make-web-confugrator.yml (секция Hammond throttling) и выполнить команду:

sudo ansible-playbook make-web-configurator.yml --tags="throttling"

Загрузка файлов с прошивками приборов

Для того, чтобы с помощью веб-конфигуратора можно было удаленно обновлять прошивки на приборах, необходимо эти самые прошивки в него загрузить:

скачать свежий комплект для обновления программного обеспечения приборов со страницы тех.поддержки (файл с названием вида CNordFirmware-YYYYMMDD-V.zip);
открыть в своём браузере web-интерфейс для загрузки прошивок приборов;
нажать в web-интерфейсе кнопку «Выбрать файл»;
выбрать скачанный zip-файл в открывшемся окне;
нажать в web-интерфейсе кнопку «Загрузить».

2. Технические решения

2.1. Структура программного обеспечения

ПО «Облако» включает в себя следующие подсистемы и компоненты:

Подсистему хранения данных.
Подсистему обмена сообщениями между компонентами.
Компонент для организации приема подключений от ПО «Приложение».
Компонент для организации приема подключений от изделий «Панель», «Камера».
Компонент для организации мониторинга работоспособности.

2.2. Обеспечение функциональных характеристик

2.2.1. Способы и средства связи для информационного обмена между системами и компонентами

Предусмотрена возможность работы функционально законченных компонентов систем и компонентов ПО «Облако»в разных локальных вычислительных сетях.

2.2.2. Взаимосвязь ПО «Облако» и ПО «Приложение»

Для информационного обмена ПО «Облако» и ПО «Приложение» разработан специализированный протокол взаимодействия. Обмен данных выполняется путем отправки запросов из ПО «Приложение» в ПО «Облако».

2.2.3. Взаимосвязь ПО «Облако» и изделия «Панель»

Для информационного обмена ПО «Облако» и изделия «Панель» разработан специализированный протокол взаимодействия, в соответствии с которым команды, полученные от ПО «Приложение», передаются из ПО «Облако» в изделие «Панель».

2.2.4. Взаимосвязь ПО «Облако» и изделия «Камера»

Для информационного обмена ПО «Облако» и изделия «Камера» разработан специализированный протокол взаимодействия, в соответствии с которым:

запросы, полученные от ПО «Приложение», передаются из ПО «Облако» в изделие «Камера»;
потоковое видео с аудиосопровождением и видеофрагменты с аудиосопровождением, полученные от изделия «Камера», передаются из ПО «Облако» в ПО «Приложение».

2.2.5. Режимы функционирования программного обеспечения

ПО «Облако» эксплуатируется в круглосуточном режиме. Регламентные и профилактические работы, требующие остановки ПО «Облако», могут проводиться не чаще 1 раза в год и не дольше 6 часов.

2.2.6. Диагностирование работы программного обеспечения

Диагностирование состояния систем и компонентов ПО «Облако» должно обеспечиваться компонентом для организации мониторинга работоспособности системным администратором.

2.3. Обеспечение характеристик программного обеспечения, определяющих его качество

2.3.1. Показатели назначения

ПО «Облако» обладает свойствами приспособляемости и масштабируемости, заключающимися в возможности сохранения или повышении производительности при изменении условий эксплуатации, гибкости по отношению к изменениям, не связанным с коренным изменением нормативных документов, регулирующих деятельность пользователей.

1) Приспособляемость

Требования к приспособляемости ПО «Облако» заключаются в обеспечении возможности его работоспособности в следующих случаях:

При изменении количества подключенных экземпляров ПО «Приложение».
При изменении количества изделия «Панель», «Камера».
При изменении требований к безопасности Системы.

2) Модернизация

ПО «Облако» предусматривает возможность трехкратного масштабирования по производительности без модификации, путем модернизации (расширения аппаратных ресурсов или замены на более производительные аппаратные компоненты) используемого комплекса технических средств или путем использования параллельной обработки части процессов (транзакций) на объединенных однотипных технических средствах (использования кластерной технологии). Возможности масштабирования обеспечиваются средствами используемого базового ПО.

3) Масштабируемость

Масштабируемость можно определить как возможность ПО «Облако» обрабатывать возрастающие требования и нагрузку, сохраняя при этом достаточную производительность.

Сетевое обеспечение, серверы баз данных – это основные составляющие, которые должны допускать масштабируемость. В каждом случае наращиваемость определяется своими параметрами. Например, для сети это ее пропускная способность, для хранилища данных – размер и скорость доступа к диску.

Чтобы эффективно нарастить производительность важно определить сущность возрастающих требований и их влияние на различные части ПО «Облако». После того, как система или компонент, являющаяся узким местом системы, определена, может быть выбрана стратегия «вертикального» или «горизонтального» наращивания.

4) Надежность

Отказы и сбои в работе веб-серверов (серверов приложений), серверов баз данных и сетевого оборудования не приведут к разрушению данных и не скажутся на работоспособности ПО «Облако» в целом.

При возникновении сбоев в аппаратном обеспечении, включая аварийное отключение электропитания, ПО «Облако» автоматически восстановит свою работоспособность после устранения сбоев и корректного перезапуска аппаратного обеспечения (за исключением случаев повреждения рабочих носителей информации с исполняемым программным кодом).

ПО «Облако» обеспечивает корректную обработку ошибочных ситуаций с возможностью дальнейшего продолжения работы без аварийного закрытия подсистем, за исключением случаев, когда ошибка делает дальнейшую работу в рамках пользовательской сессии невозможной.

Надежность специального прикладного программного обеспечения обеспечена комплексом мероприятий отладки, поиска и исключения ошибок на этапах разработки функциональной архитектуры и экспериментальной проверки Системы.

2.3.2. Безопасность

Все технические решения, использованные при разработке ПО «Облако», а также требования к аппаратному обеспечению, соответствуют действующим нормам и правилам техники безопасности, пожаробезопасности и взрывобезопасности, а также охраны окружающей среды при эксплуатации.

Факторы, оказывающие вредные воздействия на здоровье со стороны всех элементов ПО «Облако» (в том числе инфракрасное, ультрафиолетовое, рентгеновское и электромагнитное излучения, вибрация, шум, электростатические поля, ультразвук строчной частоты и т.д.), не превышают действующих норм (СанПиН 2.2.2./2.4.1340-03 от 03.06.2003 г.).

2.3.3 Защита от влияния внешних воздействий

Технические средства ПО «Облако» защищены от внешних воздействий в полном соответствии с требованиями по эксплуатации.

2.3.4. Патентная чистота

Используемые при проектировании, разработке, развертывании, тестировании и вводе в опытную эксплуатацию ПО «Облако» аппаратное обеспечение, инструменты разработки программного обеспечения и СУБД лицензионный и сертифицированы на территории Российской Федерации для работы в используемых режимах.

Интеллектуальная собственность и авторские права на собственные разработки исполнителей подтверждена документацией, предусмотренной законодательством об авторских правах.

2.3.5. Контроль входной и выходной информации

ПО «Облако» обеспечивает корректную обработку аварийных ситуаций, вызванных неверными действиями пользователей, неверным форматом или недопустимыми значениями входных данных. В указанных случаях ПО «Приложение» выдает пользователю соответствующие сообщения, после чего возвращается в рабочее состояние, предшествовавшее неверной (недопустимой) команде или некорректному вводу данных.

2.4. Мероприятия по подготовке объекта автоматизации к вводу в действие

2.4.1. Мероприятия по приведению информации к виду, пригодному для обработки на ЭВМ

ПО «Облако» не требует дополнительной обработки вводимой информации. Информация обрабатывается автоматически.

2.4.2. Мероприятия по обучению и проверке квалификации персонала

ПО «Облако» функционирует в автоматическом режиме и не требует участия пользователя. Эксплуатация ПО «Облако» не требует обучения персонала. Для эксплуатации Системы в целом персонал должен быть обучен правилам техники безопасности при эксплуатации электроустановок.

2.4.3. Состав и содержание прочих работ по подготовке объекта автоматизации к вводу в действие

В ходе подготовки к проведению опытной эксплуатации ПО «Облако» исполнители осуществляют разработку программы и методики предварительных автономных испытаний ПО «Облако» в соответствии с ГОСТ 34.201-89, РД 50-34.698-90, включающих следующие разделы:

Условия и порядок функционирования ПО «Облако».
Продолжительность опытной эксплуатации, достаточная для проверки правильности функционирования ПО «Облако».
Порядок устранения недостатков, выявленных в процессе опытной эксплуатации.

‍