• Исправления нового хранилища:
  • Исправлена логика нескольких повторных откатов
  • Исправлено падение при компактизации полностью откаченного объекта
  • Исправлено возможное слияние цепочек разных объектов при загрузке с postpone_load
  • Исправлен импорт блочных контрольных сумм в vitastor-disk write-meta
  • Исправлен расчёт контрольной суммы заголовка в vitastor-disk write-meta
• Исправлена старого хранилища:
  • Исправлен возможный пропуск ожидания пакетного fsync частью корутин
• Улучшен тест ENOSPC, исправлено возможное падение при ENOSPC
• На всякий случай добавлен fsync при записи суперблока в vitastor-disk prepare
• Исправлено возможное падение OSD при включённых pg_locks и ошибке их проверки в sec_read_bmp
• Исправлена инициализация VitastorFS при включённых local_reads

Ссылки

• Git: https://git.yourcmc.ru/vitalif/vitastor/releases/tag/v3.0.13
• Инструкции по установке: https://vitastor.io/en/docs/installation/packages.html

Важные исправления (кроме нового хранилища)

• Исправлено возможное использование освобождённой памяти в OSD при ошибках начального коммита/отката объектов в EC пулах.
• Исправлено возможное освобождение некорректного указателя в OSD при ошибках чтения из цепочек снапшотов/клонов в EC пулах.
• Исправлена возможно некорректная обработка команд commit/rollback в EC пулах во время изменения числа PG пула.
• Инвертирован параметр включения fsync в ublk драйвере (fsync не включался на пулах без immediate_commit).
• В отладочных целях добавлена команда raw-ls для поиска версий объектов в кластере с помощью операций листингов.

В новом хранилище

• Ускорен запуск путём использования сортировки по LSN только для объектов с большим числом промежуточных версий.
• Пока не ясна судьба редкой ошибки запуска с сообщением “double claimed block”, наблюдаемой несколькими пользователями при запуске OSD с новым хранилищем, добавлен обходной манёвр для её исправления - опция skip_double_claim. На сохранность данных опция не влияет.
• Исправлена некорректная перепроверка мелких записей при запуске, в теории возможно приводящая к появлению дубликатов мелких записей на OSD.
• Исправлена работа fsync для дисков с writeback кэшем (без конденсаторов):
  • Исправлена некорректная семантика повторных fsync (следующий не блокировался предыдущим)
  • Добавлен fsync при копировании мелких записей из буфера на устройство данных (каким-то образом исходно забытый)
  • Добавлен fsync после начальной сборки мусора при запуске OSD
  • Исправлено некорректное приведение LSN из uint64 к uint32, ломающее fsync при достижении LSN 2^32
• Добавлена отсутствующая проверка контрольной суммы заголовка метаданных хранилища при запуске
• Исправлено некорректное обновление контрольных сумм объектов при включённом режиме perfect_csum_update=true
• Исправлено возможное падение OSD с assertion failed при обработке некорректной команды EC STABILIZE
• Исправлен учёт числа активных корутин-компакторов.
• Удалён нерабочий код конвертации из нового в старое хранилище.

Более мелкие исправленные проблемы

• Некорректный учёт статистики операций по локальному OSD в реплика-пулах.
• Отсутствие индикации ошибок в коде возврата команды vitastor-disk resize.
• Отсутствие сброса списка inconsistent объектов при перезапусках PG.
• Теоретически возможные зависания прочих операций на OSD при работе над полностью повреждёнными объектами (без единой доступной копии), и, возможно, в каких-то других очень редких ситуациях.
• Fsync-и при удалении объектов из пулов без immediate_commit (с дисками с writeback кэшем), ранее теоретически могущие оставлять мусор при удалении misplaced объектов.
• Возможное падение/повреждение памяти NFS сервера при целенаправленной атаке на NFS-RDMA.
• Потенциальная невозможность записи после обработки ошибок ENOSPC/EIO при записи в реплика-пулах.
• Возможное падение вместо выхода с ошибкой при запуске OSD со старым хранилищем на диске с повреждёнными данными журнала.
• Поверхностное копирование конфигурации PG в мониторе, однако, не приводящее к фактическим ошибкам.
• Некорректная проверка выделенных блоков в QEMU драйвере, однако, только в неиспользуемой ветке кода (без флага BDRV_WANT_ZERO).
• Возможная утечка памяти при ошибках чтения повреждённых (corrupted) объектов.
• Возможные некорректные состояния PG при обнаружении повреждённых объектов.
• Возможная пометка не всех “плохих” копий объекта при скрабах без контрольных сумм при большом числе реплик (> 4).
• Некорректный расчёт контрольных сумм в старом хранилище при bitmap_granularity < 4096 (практически неиспользуемая конфигурация).
• Теоретически возможное падение OSD в редких случаях при scrub и параллельном восстановлении объекта.
• Теоретически возможное падение OSD при обработке ошибок операции PING.
• Немного неоптимальная логика переиспользования RDMA-буфера отправки.
• Возможная утечка памяти при отключении уже запущенного scrub через no_scrub.
• Возможное повреждение памяти при передаче некорректных буферов клиентом (например, кодом qemu) при включённом writeback кэше.
• Потенциально некорректный поиск повреждённых частей EC-объектов (невозможность найти “хорошую” комбинацию) в scrub при отключённых контрольных суммах.
• Возможное использование лишней памяти на стороне OSD при обработке неудачных чтений из снапшотов (однако, это не утечка - в том смысле, что при отключении клиента память освобождалась).
• Потенциальное резкое замедление записи при определённых значениях pg epoch из-за некорректной логики обновления эпохи в etcd.

Ссылки

• Git: https://git.yourcmc.ru/vitalif/vitastor/releases/tag/v3.0.11
• Инструкции по установке: https://vitastor.io/docs/installation/packages.html

Единственное исправление:

• Исправлено отсутствие обработки ошибок чтения битмапов во время чтений из EC образов со снимками или клонированных образов, потенциально приводящее к некорректным чтениям (чтениям нулей) при перезапусках OSD / переподнятии PG

⚠️ Внимание - если баг вас затрагивает, лучше обновляться с приостановкой i/o клиентов

Ссылки

• Git: https://git.yourcmc.ru/vitalif/vitastor/releases/tag/v3.0.11
• Инструкции по установке: https://vitastor.io/docs/installation/packages.html

Важные исправления (новое хранилище):

• Исправлена ошибка запуска OSD с сообщением “write metadata failed at offset xxx: Invalid argument” (исправлено выравнивание буферов при начальной сборке мусора)
• Отменена правка из 3.0.4 - записи метаданных, помеченные флагом “мусор” на диске, теперь снова не пропускаются при старте. В норме это не влечёт никаких изменений, однако это исправляет потенциальную невозможность запуска OSD, изначально работавших на версиях 3.0.0-3.0.2 и потом обновлённых до 3.0.9, т.к. в старых версиях записи могли пометиться мусором слишком рано и после этого записаться на диск.

Другие изменения:

• Добавлен автовыбор единственного RDMA-устройства, если в системе оно только одно
• Откачена одна правка из 3.0.9 - ошибки с использованием освобождённой памяти не было :) (ошибка была связана только с нестабильной разрабатываемой версией)
• Исправлена работа опции vitastor-nfs --trace
• Исправлено лишнее залипание на 1 секунду в процессе выполнения vitastor-cli rm-data
• Исправлен сброс статистики инодов для удалённых пулов
• Исправлена 1 печать на stdout в коде клиента

Ссылки

• Git: https://git.yourcmc.ru/vitalif/vitastor/releases/tag/v3.0.10
• Инструкции по установке: https://vitastor.io/docs/installation/packages.html

• Исправлены некорректные чтения из снапшотов в клиентской библиотеке при повторах операций (например, при перезапусках OSD во время чтения)
• Исправлена возможная отправка освобождённой памяти OSD. На самом деле этой проблемы в выпущенных версиях никогда не существовало, исправление было релевантно только для нестабильной разрабатываемой ветки. Изменение будет откачено в 3.0.10.
• Исправлена сломанная сборка мусора в новом хранилище, приводящая к очень высокому потреблению памяти
• Новое хранилище теперь также делает полную сборку мусора при запуске OSD - это можно отключить новым параметром gc_on_start
• Логгирование при запуске нового хранилища сделано более информативным, также при log_level > 1 теперь логгируется количество мусорных записей
• Исправлено падение OSD при обработке операции чтения битмапа из удалённого объекта с новым хранилищем

Ссылки

• Git: https://git.yourcmc.ru/vitalif/vitastor/releases/tag/v3.0.9
• Инструкции по установке: https://vitastor.io/docs/installation/packages.html

• Переработан код сетевого слоя в части отслеживания сетевых соединений - теперь для их идентификации используются суррогатные возрастающие ID вместо номеров файловых дескрипторов, а код очистки соединений переработан. Это сделано в рамках следующей попытки исправления бага, приводящего к залипанию PG в состоянии peering. История данного бага до сих пор точно не ясна и в тестах его воспроизвести не удалось, однако по сообщениям некоторых пользователей он проявляется в версиях, начиная с 3.0.4, при использовании RDMA. У других пользователей в такой же конфигурации тот же баг, судя по всему, не воспроизводился.
• Исправлена мелкая проблема, из-за которой в редких ситуациях OSD могли не сообщить etcd об изменении состояния PG на has_misplaced в режимах без immediate_commit.
• Добавлены пакеты для Ubuntu 26.04 (Resolute Raccoon) и патчи для qemu 10.2 и libvirt 12.0.

Примечание: версия 3.0.7 перевыпущена как 3.0.8 из-за исходно некорректной сборки.

Ссылки

• Git: https://git.yourcmc.ru/vitalif/vitastor/releases/tag/v3.0.8
• Инструкции по установке: https://vitastor.io/docs/installation/packages.html

• Исправлен ещё один баг в контрольных суммах в старом хранилище O_o - проверка контрольных сумм работала некорректно при быстром чтении объекта сразу после мелкой записи со смещением (когда BIG_WRITE читался из журнала). Мог приводить к некорректному определению объектов как повреждённых.
• Исправлено возможное неработающее освобождение объектов клиентов, переключённых в RDMA. В искусственных тестах баг воспроизвести не удалось, однако в теории он мог иногда приводить к зависаниям PG в состояниях peering/stopping при включённом RDMA.
• В Cinder драйвере теперь используется vitastor-cli для изменений образов вместо прямой работы с etcd.
• Исправлена работа опции mon_https_ca.
• Исправлен скрипт Docker-сборки install.sh, добавлена инструкция для запуска в Podman.

Ссылки

• Git: https://git.yourcmc.ru/vitalif/vitastor/releases/tag/v3.0.6
• Инструкции по установке: https://vitastor.io/docs/installation/packages.html

Одно крайне важное исправление для нового хранилища: метаданные записывались некорректно, когда размер заполненной области метаданных превышал 4 ГБ, из-за простой и глупой ошибки переполнения 32-битной целочисленной переменной. 🤦 Это приводило к повреждению метаданных и отказу OSD стартовать при следующем запуске.

Баг затрагивал только новое хранилище (meta_format=3) и только OSD с размером области метаданных больше 4 ГБ. Вы можете проверить размер области метаданных своих OSD, проверив data_offset в выводе команды vitastor-disk read-sb /dev/vitastor/osdXX-data для однодисковых OSD или с помощью команды blockdev --getsize64 /dev/vitastor/osdXX-meta для гибридных OSD.

Если баг затрагивает вас, рекомендуется:

• Установить обновлённые пакеты без перезапуска OSD
• Перезапустить OSD по одному
• Если при перезапуске OSD начинает идти восстановление “has_degraded” PG - дождаться его завершения перед перезапуском следующего OSD
• Если OSD падает при запуске с ошибкой “double-claimed block” или “metadata is corrupt or too old” - очистите и пересоздайте его (vitastor-disk purge /dev/vitastor/osdXX-data, потом заново vitastor-disk prepare) и, опять-таки, дождитесь окончания восстановления “has_degraded” перед переходом к следующему OSD

Ссылки

• Git: https://git.yourcmc.ru/vitalif/vitastor/releases/tag/v3.0.5
• Инструкции по установке: https://vitastor.io/docs/installation/packages.html

Исправления нового хранилища

• Исправлен возможный в неудачных случаях очень медленный (часовой и более) запуск OSD
• Исправлена валидация мусорных записей при запуске, в некоторых случаях мешавшая запуску OSD
• Исправлен нерабочий small_write_throttling, приводивший либо к зависаниям, либо к падениям OSD
• Исправлена возможная в некоторых ситуациях с EC ошибка “different fact_versions returned from subops”
• Добавлена опция для восстановления при повреждении части метаданных: skip_corrupted_meta_entries
• По умолчанию отключены записи через намерение (даже 4k) для гибридных OSD для лучшей буферизации записи

Другие изменения

• Операции chmod/chown не работали на новом пустом корневом каталоге VitastorFS
• vitastor-dd считал все чтения размером < 32 КБ всегда пустыми
• vitastor-disk не давал установить значение csum_block_size, отличное от 32k, для HDD
• Исправлено редкое зависание PG в “starting” из-за некорректной установки начальной ревизии слежения за состояниями PG
• Исправлено редкое падение OSD с ошибкой “map::at” при отключении клиентов
• Исправлено возможное падение OSD при запуске при наличии RDMA, но при ошибке его инициализации
• Исправлено, что объект со всеми повреждёнными копиями было невозможно удалить или перезаписать
• Запрещено устанавливать размер блока данных OSD меньше, чем 8*bitmap_granularity
• Удалена поддержка RDMA ODP (On-Demand Paging)
• antietcd обновлён до 1.2.4
• Docker-сборка обновлена до Debian Trixie
• Добавлены пакеты для AlmaLinux 10

Ссылки

• Git: https://git.yourcmc.ru/vitalif/vitastor/releases/tag/v3.0.4
• Инструкции по установке: https://vitastor.io/docs/installation/packages.html

• Исправлена некорректная работа csum_block_size > 0 с атомарными записями в новом хранилище (в этом случае почти все атомарные записи генерировали некорректные контрольные суммы)
• Исправлена случайно возникающая ошибка генерации PG мониторами с сообщением “problem is infeasible or unbounded” из-за отсутствия ожидания полного чтения вывода lp_solve
• Удалена одна из оптимизаций в порционном изменении числа PG, добавленном в 3.0.2, потенциально приводящая к повреждению состояния OSD в памяти при обработке нескольких последовательных очень быстрых запросов изменения числа PG
• Исправлено разрастание статистики ввода-вывода инодов в OSD с новым хранилищем из-за нерабочей очистки статистики удалённых инодов.
• Улучшено покрытие тестами нового хранилища и исправлено нескольких мелких проблем:
  • Включение/выключение параметра used_for_app на пуле некорректно пересчитывало статистику занятого места
  • Проверка корректности метаданных объектов при запуске OSD отвергала некоторые корректные последовательности событий, из-за чего OSD мог не стартовать
  • В редких случаях активация PG в EC-пулах могла не проходить с ошибкой -16 (EBUSY) при запросе стабилизации уже стабильной записи
  • Теоретически в редких случаях метаданные могли записаться некорректно при нехватке места во время обработки запроса стабилизации записи
• Исправлена ошибка генерации PG мониторами при наличии в дереве хостов с именем, приводимым к javascript-числу (например, “04e278988710”) :D
• Исправлено обрезание вывода vitastor-cli dd, иногда случавшееся при записи в стандартный вывод
• Исправлена теоретически возможная утечка объектов соединений при заполнении кольца io_uring
• Исправлена утечка объектов соединений RDMA-CM
• Исправлены падения при data_block_size < 32KB (вариант настройки бесполезный, но всё же) (#113)

Ссылки

• Git: https://git.yourcmc.ru/vitalif/vitastor/releases/tag/v3.0.3
• Инструкции по установке: https://vitastor.io/docs/installation/packages.html