Выпущена версия Vitastor 3.0.11

Единственное исправление:

• Исправлено отсутствие обработки ошибок чтения битмапов во время чтений из EC образов со снимками или клонированных образов, потенциально приводящее к некорректным чтениям (чтениям нулей) при перезапусках OSD / переподнятии PG

⚠️ Внимание - если баг вас затрагивает, лучше обновляться с приостановкой i/o клиентов

09.05.2026 Читать далее →

Выпущена версия Vitastor 3.0.10

Важные исправления (новое хранилище):

• Исправлена ошибка запуска OSD с сообщением “write metadata failed at offset xxx: Invalid argument” (исправлено выравнивание буферов при начальной сборке мусора)
• Отменена правка из 3.0.4 - записи метаданных, помеченные флагом “мусор” на диске, теперь снова не пропускаются при старте. В норме это не влечёт никаких изменений, однако это исправляет потенциальную невозможность запуска OSD, изначально работавших на версиях 3.0.0-3.0.2 и потом обновлённых до 3.0.9, т.к. в старых версиях записи могли пометиться мусором слишком рано и после этого записаться на диск.

Другие изменения:

• Добавлен автовыбор единственного RDMA-устройства, если в системе оно только одно
• Откачена одна правка из 3.0.9 - ошибки с использованием освобождённой памяти не было :) (ошибка была связана только с нестабильной разрабатываемой версией)
• Исправлена работа опции vitastor-nfs --trace
• Исправлено лишнее залипание на 1 секунду в процессе выполнения vitastor-cli rm-data
• Исправлен сброс статистики инодов для удалённых пулов
• Исправлена 1 печать на stdout в коде клиента

27.04.2026 Читать далее →

Выпущена версия Vitastor 3.0.9

• Исправлены некорректные чтения из снапшотов в клиентской библиотеке при повторах операций (например, при перезапусках OSD во время чтения)
• Исправлена возможная отправка освобождённой памяти OSD. На самом деле этой проблемы в выпущенных версиях никогда не существовало, исправление было релевантно только для нестабильной разрабатываемой ветки. Изменение будет откачено в 3.0.10.
• Исправлена сломанная сборка мусора в новом хранилище, приводящая к очень высокому потреблению памяти
• Новое хранилище теперь также делает полную сборку мусора при запуске OSD - это можно отключить новым параметром gc_on_start
• Логгирование при запуске нового хранилища сделано более информативным, также при log_level > 1 теперь логгируется количество мусорных записей
• Исправлено падение OSD при обработке операции чтения битмапа из удалённого объекта с новым хранилищем

04.04.2026 Читать далее →

Выпущена версия Vitastor 3.0.8

• Переработан код сетевого слоя в части отслеживания сетевых соединений - теперь для их идентификации используются суррогатные возрастающие ID вместо номеров файловых дескрипторов, а код очистки соединений переработан. Это сделано в рамках следующей попытки исправления бага, приводящего к залипанию PG в состоянии peering. История данного бага до сих пор точно не ясна и в тестах его воспроизвести не удалось, однако по сообщениям некоторых пользователей он проявляется в версиях, начиная с 3.0.4, при использовании RDMA. У других пользователей в такой же конфигурации тот же баг, судя по всему, не воспроизводился.
• Исправлена мелкая проблема, из-за которой в редких ситуациях OSD могли не сообщить etcd об изменении состояния PG на has_misplaced в режимах без immediate_commit.
• Добавлены пакеты для Ubuntu 26.04 (Resolute Raccoon) и патчи для qemu 10.2 и libvirt 12.0.

Примечание: версия 3.0.7 перевыпущена как 3.0.8 из-за исходно некорректной сборки.

29.03.2026 Читать далее →

Выпущена версия Vitastor 3.0.6

• Исправлен ещё один баг в контрольных суммах в старом хранилище O_o - проверка контрольных сумм работала некорректно при быстром чтении объекта сразу после мелкой записи со смещением (когда BIG_WRITE читался из журнала). Мог приводить к некорректному определению объектов как повреждённых.
• Исправлено возможное неработающее освобождение объектов клиентов, переключённых в RDMA. В искусственных тестах баг воспроизвести не удалось, однако в теории он мог иногда приводить к зависаниям PG в состояниях peering/stopping при включённом RDMA.
• В Cinder драйвере теперь используется vitastor-cli для изменений образов вместо прямой работы с etcd.
• Исправлена работа опции mon_https_ca.
• Исправлен скрипт Docker-сборки install.sh, добавлена инструкция для запуска в Podman.

22.03.2026 Читать далее →

Выпущена версия Vitastor 3.0.5

Одно крайне важное исправление для нового хранилища: метаданные записывались некорректно, когда размер заполненной области метаданных превышал 4 ГБ, из-за простой и глупой ошибки переполнения 32-битной целочисленной переменной. 🤦 Это приводило к повреждению метаданных и отказу OSD стартовать при следующем запуске.

Баг затрагивал только новое хранилище (meta_format=3) и только OSD с размером области метаданных больше 4 ГБ. Вы можете проверить размер области метаданных своих OSD, проверив data_offset в выводе команды vitastor-disk read-sb /dev/vitastor/osdXX-data для однодисковых OSD или с помощью команды blockdev --getsize64 /dev/vitastor/osdXX-meta для гибридных OSD.

Если баг затрагивает вас, рекомендуется:

• Установить обновлённые пакеты без перезапуска OSD
• Перезапустить OSD по одному
• Если при перезапуске OSD начинает идти восстановление “has_degraded” PG - дождаться его завершения перед перезапуском следующего OSD
• Если OSD падает при запуске с ошибкой “double-claimed block” или “metadata is corrupt or too old” - очистите и пересоздайте его (vitastor-disk purge /dev/vitastor/osdXX-data, потом заново vitastor-disk prepare) и, опять-таки, дождитесь окончания восстановления “has_degraded” перед переходом к следующему OSD

07.03.2026 Читать далее →

Выпущена версия Vitastor 3.0.4

Исправления нового хранилища

• Исправлен возможный в неудачных случаях очень медленный (часовой и более) запуск OSD
• Исправлена валидация мусорных записей при запуске, в некоторых случаях мешавшая запуску OSD
• Исправлен нерабочий small_write_throttling, приводивший либо к зависаниям, либо к падениям OSD
• Исправлена возможная в некоторых ситуациях с EC ошибка “different fact_versions returned from subops”
• Добавлена опция для восстановления при повреждении части метаданных: skip_corrupted_meta_entries
• По умолчанию отключены записи через намерение (даже 4k) для гибридных OSD для лучшей буферизации записи

03.03.2026 Читать далее →

Выпущена версия Vitastor 3.0.3

• Исправлена некорректная работа csum_block_size > 0 с атомарными записями в новом хранилище (в этом случае почти все атомарные записи генерировали некорректные контрольные суммы)
• Исправлена случайно возникающая ошибка генерации PG мониторами с сообщением “problem is infeasible or unbounded” из-за отсутствия ожидания полного чтения вывода lp_solve
• Удалена одна из оптимизаций в порционном изменении числа PG, добавленном в 3.0.2, потенциально приводящая к повреждению состояния OSD в памяти при обработке нескольких последовательных очень быстрых запросов изменения числа PG
• Исправлено разрастание статистики ввода-вывода инодов в OSD с новым хранилищем из-за нерабочей очистки статистики удалённых инодов.
• Улучшено покрытие тестами нового хранилища и исправлено нескольких мелких проблем:
  • Включение/выключение параметра used_for_app на пуле некорректно пересчитывало статистику занятого места
  • Проверка корректности метаданных объектов при запуске OSD отвергала некоторые корректные последовательности событий, из-за чего OSD мог не стартовать
  • В редких случаях активация PG в EC-пулах могла не проходить с ошибкой -16 (EBUSY) при запросе стабилизации уже стабильной записи
  • Теоретически в редких случаях метаданные могли записаться некорректно при нехватке места во время обработки запроса стабилизации записи
• Исправлена ошибка генерации PG мониторами при наличии в дереве хостов с именем, приводимым к javascript-числу (например, “04e278988710”) :D
• Исправлено обрезание вывода vitastor-cli dd, иногда случавшееся при записи в стандартный вывод
• Исправлена теоретически возможная утечка объектов соединений при заполнении кольца io_uring
• Исправлена утечка объектов соединений RDMA-CM
• Исправлены падения при data_block_size < 32KB (вариант настройки бесполезный, но всё же) (#113)

08.02.2026 Читать далее →

Выпущена версия Vitastor 3.0.2

• Использование Antietcd теперь официально разрешено и безопасно: теперь используется исправленная версия Antietcd, проходящая Jepsen-тесты на сериализуемость транзакций.
• Исправлен огромный баг в контрольных суммах в старом хранилище: некорректные контрольные суммы для мелких начальных записей. Баг затрагивал запросы записи размером ровно csum_block_size (по умолчанию 4 КБ) в новые (пустые) объекты и генерировал для них некорректные контрольные суммы. Кроме того, такая запись была очень медленной, так как некорректная сумма CRC32 считалась от 4 ГБ нулей. Если после этого начальный мелкий блок не перезаписывался как часть большего запроса записи, он был нечитаемым, хотя сохранённые на диске данные были корректны. Баг затрагивал все версии с 1.0.0, или с 2.3.0, потому что до 2.3.0 vitastor-disk не позволял фактически включить контрольные суммы из-за другого бага. O:-)
• Ликвидированы таймауты и падения OSD из-за долгого блокирования обработки событий перемещением объектов между старыми и новыми PG в памяти OSD при изменении числа PG в пуле и просто при запуске OSD с большой базой (например, с заполненным 8 ТБ SSD). Проблема больше не должна проявляться, так как OSD теперь применяет изменения числа PG порциями с паузами между порциями.
• Исправлено возможное “залипание” пула в состоянии паузы при отмене изменения числа PG.
• Исправлено возможное падение OSD с ошибкой деления на ноль при попытке обработки операции до применения настройки числа PG к хранилищу в памяти.

25.01.2026 Читать далее →

Маленький, а уже с изоляцией транзакций: пишем Jepsen-тесты для Antietcd

Начиная с версии 1.7.0, в Vitastor есть встроенный заменитель etcd — Antietcd.

Он реализован на node.js и очень простой — занимает буквально пару тысяч строк кода. Конечно, он умеет чуть меньше, чем etcd, но его функционала абсолютно достаточно для полноценной работы кластера Vitastor — все основные функции присутствуют, а кое в чём он даже лучше, чем etcd — например, Antietcd позволяет не хранить на диске “временные” данные.

Однако до последнего времени не существовало ответа на вопрос — правда ли его можно использовать в продуктиве? Точно ли он корректен?

Ниже история изысканий ответа. История со счастливым концом :)

22.01.2026 Читать далее →