Создание высоконагруженных систем — одна из самых ответственных задач в сфере программной инженерии. Они часто становятся основой ИТ-инфраструктуры и обеспечивают стабильную работу предприятия. Отметим, что каждая минута простоя крупной компании в Москве стоит не менее 1 млн. рублей. Поэтому перед разработкой крайне важно выполнить проектирование высоконагруженных систем, чтобы в лабораторных условиях узнать о всех нюансах инфраструктурного элемента и устранить недостатки и «узкие места».
Наша компания DynamicSun
занимается разработкой различных высоконагруженных систем
Например, мы разработали Личный кабинет Контрагента
Заказчик предоставляет Контрагентам возможность подачи заявок по электронной почте, далее полученные заявки на транспортировку, хранение и налив вносятся сотрудниками во внутреннюю информационную систему для дальнейшей обработки. Все данные хранятся в одном месте
В этой статье мы рассказали о том, что такое высоконагруженные системы и как их проектируют
Чем Highload-системы отличаются от обычных
Highload — это любое программное обеспечение, постоянно работающее в режиме максимальной нагрузке. Оно обрабатывает множество запросов от пользователей или других ИТ-систем. Подобные инфраструктурные элементы должны быстро и эффективно выполнять все поступающие запросы, поскольку их низкая производительность приведет к появлению задержек в работе всего предприятия
К Highload-системам относят ИТ-продукты, которые:
- Одновременно обслуживают большое количество пользователей
- Обрабатывают массивы данных
- Выполняют сложные математические расчеты и вычисления
Один из характерных примеров — хранилище данных (DWH). Оно обменивается информацией с большим количеством связанных ИТ-систем, а внутри нередко происходит сложная обработка собранной информации
Что учесть при разработке Highload-проекта?
При проектировании высоконагруженных систем нужно помнить о 3 нюансах:
- Хранение данных. С расширением количества пользователей или размера компании также увеличивается объем информации. Программно-аппаратный комплекс должен быть готов к масштабированию в будущем
- Динамика объема данных. Не все изменения можно заранее предсказать. Чтобы избежать различных технических проблем, рекомендуется разрабатывать системы с запасом мощности. Это пригодится в тех случаях, когда резко увеличится количество запросов
- Резервное копирование. Наличие этой функции — ключевой аспект при проектировании и разработке highload-систем. Это связано с тем, что такие инфраструктурные элементы работают с большими объемами данных и выполняют огромное количество операций, из-за чего они более подвержены сбоям. Резервное копирование поможет быстро восстановить утраченную информацию и перезапустить систему
Этапы проектирования высоконагруженных систем
Создание highload-системы — трудоемкий и ответственный проект. Чтобы упростить выполнение задачи и повысить уровень контроля, ИТ-компании разделяют процесс разработки на этапы
Сбор информации
Проектирование высоконагруженных систем начинается с анализа требований и возможностей клиента. ИТ-компании в ходе переговоров с клиентом составляет ТЗ, в котором отражают требования к продукту, например:
- Скорость загрузки
- Максимальный процент ошибок
- Уровень отказоустойчивости и т.д
При необходимости прописываются перечень сервисных работ со стороны ИТ-службы, которые потребуются для развертывания готового продукта. Они могут взять на себя установку и обновление программного обеспечение, сборку серверов и т.д
Создание структуры
Проектирование высоконагруженных систем начинается с создания структуры. Обычно ее создают в виде схемы, которая четко отражает, как отдельные элементы взаимодействуют между собой. Также на этом этапе разработчики создают роли пользователей и распределяют права доступа
Финалом данного этапа выступает не только схема. Разработчики также создают дорожную карту, которая показывает, как продукт будет разрабатываться, какие сроки и ресурсы выделены на каждый этап и т.д
Back-end
На третьем этапе разработчики определяют требования к бэкенду проекта и приступают к его создания. При проектировании систем ИТ-инженеры пробуют 2 варианта
Первый предполагает, что файлы, исходный код системы и необходимые данные находятся на разных серверах. При этом их связывают физическими каналами для минимизации времени отклика
Второй подход состоит в том, что разработчики разделяют функциональность системы. Один сервер выполняет только часть задач (одну или несколько). Устройства связывают с использованием автоматического балансировщика для распределения нагрузки
Front-end
Основная цель фронтенда — снижение нагрузки на back-end. Для этого разработчики используют разные технологии для оптимизации рабочих процессов. Чтобы снизить высокую нагрузку и повысить стабильность работы ИТ-системы, они переводят часть исполняемых ресурсов на пользовательские ПК. Для этого интерфейс highload-систем формируют под браузеры.
Для передачи данных часто разрабатывают географически распределенную сетевую инфраструктуру (CDN). Она распределяет нагрузку между серверами и сокращает время доставки пакетов
Выбор фронтенд-решений зависит от специфики продукта
Создание прототипа
После анализа структуры и подбора оптимальных решений для back-end и front-end инженеры приступают к разработке архитектуры нагруженной системы. Она позволяет клиенту оценить качество и реализацию продукта, а разработчикам — найти уязвимые места и ошибки, а также провести теоретическое тестирование
Отметим, что этап прототипирования нельзя пропускать при проектировании высоконагруженных систем, потому что демо-стенд:
- Позволяет «пощупать» проект. Highload-системы нередко имеют сложную архитектуру и логику, которую невозможно понять, изучая документ. Прототип — это более наглядный вариант, позволяющий оценить жизнеспособность продукта
- Экономит бюджет. Внесение правок в прототип — вопрос нескольких минут. Не придется переделывать большой объем работ для улучшения архитектуры продукта
Разработка архитектуры
На последнем этапе инженеры создают архитектуру будущего продукта. Специалисты получают четкое техническое задание с иллюстрациями. Данный этап позволяет избежать ошибок в выборе аппаратного обеспечения и во время создания программного кода
Создавая архитектуру highload-системы разработчики прибегают к разным решениям. Среди них:
- Разделение баз данных. Нужно учитывать, что один пользовательский запрос ведет к 10-100 обращений ИТ-продукта к базе данных. Чтобы повысить производительность системы, имеет смысл выполнить разветвление БД
- Обработка данных. Наличие нескольких бэкендов на одном сервере — плохая практика. После запуска системы нужно постоянно держать в голове, куда именно нужно загрузить конкретный файл. Чтобы избежать таких сложностей, можно использовать отдельные серверы для загрузки, хранения и обработки файлов. Это можно сделать следующим образом:
- Выделить поддомен для файлового хранилища
- Запустить Nginx и приложение для обработки файлов
- Передать загрузку файлов клиентской стороне, чтобы форма отправляла запрос на конкретный сервер
- Оптимизация «тяжелых» операций (отчетов, выгрузок и т.д.). Если система будет регулярно выполнять такие задачи, то их стоит выносить на отдельный сервер, не пересекающийся с операционной логикой. Также архитектура должна состоять из нескольких потоков обработчиков, чтобы эффективно справляться с увеличивающимся количеством задач
Результатом этого этапа выступает выстроенная архитектура, которая отражает, как именно должен работать продукт
Заключение
Проектирование высоконагруженных систем — сложный и многоэтапный процесс, который нельзя пропускать. Это нетипичный ИТ-продукт, который не создается по шаблону. У разработчиков обычно нет референсов и готовых инструментов, упрощающих задачу. Поэтому важно «на берегу» продумать все нюансы, создать архитектуру и протестировать ее. Это поможет избежать лишних расходов и проблем на этапе реализации продукта или во время эксплуатации
