11 октября 2026 сервисы Nopaper были недоступны около 30 часов. Для наших клиентов это означало остановку важных процессов с сотрудниками и клиентами.
Ниже - что произошло, как мы реагировали на инцидент и как снижаем риск повторения.
Что произошло
Инфраструктура Nopaper была размещена в Yandex Cloud.
8 и 9 октября в результате атак беспилотников пострадали дата-центры Яндекса в Сасово (Рязанская область) и Калуге. 11 октября был выведен из строя дата-центр во Владимире, где находилась основная инфраструктура Nopaper.
Все данные были восстановлены без потерь.
Что было сделано заранее
Мы допускали вероятность такого сценария и заранее заложили два принципа: данные клиентов должны сохраняться при любом развитии событий, а время простоя должно быть минимальным.
Для защиты данных мы настроили резервное копирование на нескольких независимых площадках:
• постоянная резервная копия (непрерывная синхронизация в реальном времени): провайдер Timeweb в Новосибирске;
• дополнительные резервные копии: резервирование в территориально независимых центров обработки данных (ЦОД) на Урале.
Как развивались события
8 октября, после отключения дата-центра в Сасово, Яндекс перераспределял нагрузку между площадками, и работа Nopaper оставалась стабильной.
В тот же день, на случай вывода из строя инфраструктуры Яндекс, мы дополнительно запросили мощности у Timeweb в Новосибирске.
11 октября в 6:00 МСК после атаки БПЛА Nopaper перестал работать. Мы планировали бесшовно (автоматически) переключить всех клиентов на нашу резервную площадку в Timeweb в Новосибирске, но резервный провайдер после атаки на ЦОД Яндекс по Владимире не выделил запрошенные и ранее подтвержденные мощности в своем регионе, и полностью переключиться туда стало невозможным.
Поэтому мы запустили сервисы Nopaper на дополнительной резервной инфраструктуре в Ростелекоме на Урале.
Сроки восстановления затянулись в связи с магистральной аварией между Новосибирском и Уралом. Данный фактор привел к более 20 часам простоя из всего времени восстановления работы инфраструктуры.
12 октября в 16:00 МСК работа сервиса была восстановлена. Команда провела работы по стабилизации платформы и всех требуемых инфраструктурных сервисов.
Что мы дополняем и что планируем
1. Дополнительная площадка на Урале.
В ближайшее время мы планируем подключить еще одну площадку. Мы будем расширять архитектуру таким образом, чтобы при отказе любой из площадок сервисы и нагрузка быстро могли перераспределиться между двумя другими.
2. Максимальное геораспределение по хранению постоянных и резервных копий без концетрации данных внутри инфраструктуры одного провайдера ЦОД.
Нам очень важно сохранить доверие клиентов и обеспечить бесперебойную работу сервиса вне зависимости от внешних факторов, насколько это возможно.