Ограничения

В настоящее время pg_probackup имеет следующие ограничения:

Инициализация каталога резервных копий

pg_probackup сохраняет все файлы копируемых данных и WAL в соответствущих подкаталогах каталога резервных копий.

Для инициализации каталога резервных копий выполните команду:

pg_probackup init -B каталог_копий

где:

pg_probackup создаёт каталог_копий со следующими подкаталогами:

Проинициализировав каталог резервных копий, вы можете определить копируемый экземпляр.

Определение копируемого экземпляра

pg_probackup может сохранять резервные копии разных кластеров баз данных в одном каталоге резервных копий. Для создания необходимых подкаталогов вы должны определить копируемый экземпляр в каталоге копий для каждого кластера баз данных, копию которого вы будете делать.

Для определения копируемого экземпляра выполните команду:

pg_probackup add-instance -B каталог_копий -D каталог_данных --instance имя_экземпляра

где:

pg_probackup создаёт подкаталоги имя_экземпляра в каталогах backups/ и wal/ каталога резервных копий. Каталог backups/имя_экземпляра содержит файл конфигурации pg_probackup.conf, управляющий параметрами копирования и восстановления для данного экземпляра копии. Подробнее тонкая настройка конфигурации pg_probackup описана в Разделе «Настройка pg_probackup».

Каталог резервных копий должен находиться в файловой системе сервера БД. Пользователь, запускающий pg_probackup, должен иметь полный доступ к содержимому этого каталога. Если вы зададите путь к этому каталогу в переменной окружения BACKUP_PATH, соответствующий параметр в командах pg_probackup можно не указывать.

Так как pg_probackup использует обычное подключение к PostgreSQL и стандартный протокол репликации, для команд pg_probackup необходимо задавать параметры подключения. Чтобы каждый раз не задавать эти параметры в командной строке, вы можете определить их в файле конфигурации pg_probackup.conf с помощью команды set-config. За подробностями обратитесь к Разделу «Настройка pg_probackup».

Настройка кластера баз данных

Хотя pg_probackup можно использовать от имени суперпользователя, рекомендуется создать отдельного пользователя или роль с минимальными правами, необходимыми для выбранной стратегии копирования. В этих инструкциях по настройке такой ролью служит роль backup.

Для выполнения резервного копирования требуются следующие права:

CREATE ROLE backup WITH LOGIN;
GRANT USAGE ON SCHEMA pg_catalog TO backup;
GRANT EXECUTE ON FUNCTION current_setting(text) TO backup;
GRANT EXECUTE ON FUNCTION pg_is_in_recovery() TO backup;
GRANT EXECUTE ON FUNCTION pg_start_backup(text, boolean, boolean) TO backup;
GRANT EXECUTE ON FUNCTION pg_stop_backup() TO backup;
GRANT EXECUTE ON FUNCTION pg_stop_backup(boolean) TO backup;
GRANT EXECUTE ON FUNCTION pg_create_restore_point(text) TO backup;
GRANT EXECUTE ON FUNCTION pg_switch_wal() TO backup;
GRANT EXECUTE ON FUNCTION txid_current() TO backup;
GRANT EXECUTE ON FUNCTION txid_current_snapshot() TO backup;
GRANT EXECUTE ON FUNCTION txid_snapshot_xmax(txid_snapshot) TO backup;

В зависимости от того, будете ли вы применять автономное или архивное резервное копирование, конфигурация кластера Postgres Pro будет разной (об особенностях рассказывается ниже). Чтобы получить копию кластера баз данных с ведомого сервера или создать резервную копию PTRACK, требуется дополнительная настройка. За подробностями обратитесь к Подразделу «Копирование в режиме PTRACK» и Подразделу «Копирование данных с ведомого сервера».

GRANT EXECUTE ON FUNCTION pg_ptrack_clear() TO backup;
GRANT EXECUTE ON FUNCTION pg_ptrack_get_and_clear(oid, oid) TO backup;

Команды

В этом разделе описываются команды pg_probackup. У этих команд могут быть как обязательные, так и дополнительные параметры, За подробным описанием обратитесь к Подразделу «Параметры».

Параметры

В этом разделе описываются все параметры командной строки для команд pg_probackup. Если какое-либо значение параметра может быть получено из переменной окружения, имя этой переменной указывается в верхнем регистре ниже параметра командной строки. Некоторые значения могут быть получены из файла конфигурации pg_probackup.conf, находящегося в каталоге копий. За подробностями обратитесь к Разделу «Настройка pg_probackup».

Если некоторый параметр задаётся несколькими способами, значение в командной строке имеет наивысший приоритет, а значение в pg_probackup.conf — наименьший.

Создание резервной копии

Чтобы создать резервную копию, выполните следующую команду:

pg_probackup backup -B каталог_копий --instance имя_экземпляра -b режим_копирования

Здесь режим_копирования может быть следующим:

При восстановлении кластера из инкрементальной копии pg_probackup сначала использует предыдущую полную копию для восстановления всех файлов данных. Таким образом, прежде чем делать инкрементальные копии, необходимо сделать как минимум одну полную.

Если вы настроили резервное копирование PTRACK, pg_probackup будет очищать карту PTRACK обрабатываемого отношения при каждом выполнении полного или инкрементального резервного копирования. Таким образом, в следующую инкрементальную копию PTRACK войдут только страницы, изменённые со времени предыдущей копии. Если при резервном копировании произойдёт ошибка или оно будет прервано, для некоторых отношений карты PTRACK могут оказаться очищенными, так что следующая инкрементальная копия будет неполной. Это справедливо и тогда, когда на время выключается режим ptrack_enable. В этом случае вы должны сделать полную резервную копию, прежде чем пытаться сделать следующую инкрементальную копию PTRACK.

Чтобы сделать резервную копию автономной, добавьте к предыдущей команде параметр --stream. Например, чтобы создать полную автономную копию, выполните:

pg_probackup backup -B каталог_копий --instance имя_экземпляра -b FULL --stream

Автономные резервные копии включают все сегменты WAL, необходимые для приведения кластера в согласованное состояние на момент создания копии. Для восстановления кластера из инкрементальной автономной копии для pg_probackup в любом случае необходима полная копия и все инкрементальные копии, от которых зависит целевая.

Даже если вы используете непрерывное архивирование, автономное резервное копирование может быть полезно по следующим причинам:

Проверка резервных копий

Когда в кластере база данных включены контрольные суммы, pg_probackup использует их для проверки целостности файлов данных. При чтении каждой страницы pg_probackup проверяет, совпадает ли вычисленная сумма с контрольной суммой, хранящийся в странице. Это гарантирует, что в резервной копии не окажется испорченных страниц. Заметьте, что pg_probackup читает файлы баз данных с диска, поэтому при активной записи на диск во время резервного копирования возможны ложные выявления некорректных контрольных сумм из-за частичной записи.

Даже когда контрольные суммы страниц отключены, pg_probackup вычисляет контрольные суммы для всех файлов резервной копии. Эти контрольные суммы проверяются непосредственно после создания резервной копии и перед восстановлением для выявления возможных повреждений резервных копий.

Чтобы убедиться, что все необходимые файлы резервных копий имеются в наличии и что, используя их, можно восстановить кластер баз данных, вы можете выполнить команду validate с именно теми параметрами точки восстановления, с которыми вы будете производить восстановление. При выполнении этой команды без параметров будут проверены все имеющиеся копии.

Например, чтобы убедиться, что вы можете восстановить кластер баз данных из резервной копии до транзакции с указанным xid, выполните команду:

pg_probackup validate -B каталог_копий --instance имя_экземпляра --xid=ид_транзакции

Если проверка проходит успешно, pg_probackup выдаёт сообщение об этом. В случае же неудачи вы получите сообщение об ошибке с указанием точного времени и идентификатора транзакции, до которой возможно восстановление.

Восстановление кластера

Чтобы восстановить кластер баз данных из резервной копии, воспользуйтесь командой restore:

pg_probackup restore -B каталог_копий --instance имя_экземпляра -D каталог_данных -i ид_резервной_копии

Здесь:

Если вы настраивали архивное резервное копирование, вы можете восстановить состояние кластера на любой момент времени (точку восстановления), используя параметры точки восстановления. pg_probackup автоматически выбирает копию, ближайшую к заданной точке восстановления, и запускает процесс восстановления. По умолчанию параметр recovery_target_inclusive определяет, будет ли точка восстановления включаться в достигаемое при восстановлении состояние. Вы можете явно включить или исключить точку восстановления, воспользовавшись параметром --inclusive=логическое_значение.

Чтобы восстановить состояние кластера на определённое время, укажите это время в параметре time, в формате timestamp. Например:

pg_probackup restore -B каталог_копий --instance имя_экземпляра --time='2017-05-18 14:18:11'

Чтобы восстановить состояние кластера до определённой транзакции, воспользуйтесь ключом xid:

pg_probackup restore -B каталог_копий --instance имя_экземпляра --xid=687

Если кластер, подлежащий восстановлению, содержит табличные пространства, pg_probackup по умолчанию восстанавливает их в исходные расположения. Чтобы сменить расположения табличных пространств, воспользуйтесь параметром --tablespace-mapping. В противном случае при восстановлении кластера на том же сервере произойдёт ошибка, если эти табличные пространства будут использоваться, так как восстанавливаемые данные нужно будет записать в те же каталоги.

Используя параметр --tablespace-mapping, вы должны задать абсолютные пути к старому и новому каталогу табличного пространства. Если путь содержит знак равно (=), экранируйте его обратной косой чертой. Данный параметр может указываться неоднократно для перемещения нескольких табличных пространств. Например:

pg_probackup restore -B каталог_копий --instance имя_экземпляра -D каталог_данных -j 4 -i ид_резервной_копии -T каталог_табл_пространства1=новый_каталог_табл_пространства1 -T каталог_табл_пространства2=новый_каталог_табл_пространства2

Когда команда restore завершит работу, запустить службу баз данных. Postgres Pro восстановит согласованное состояние, воспроизведя файлы WAL и будет готов принимать подключения.

Запуск pg_probackup в параллельных потоках

Процессы резервного копирования, восстановления и проверки могут выполняться в несколько параллельных потоков. Это может существенно ускорять работу pg_probackup при наличии достаточных ресурсов (ядер процессора, пропускной способности дисковой подсистемы и сети).

Параллельным выполнением управляет ключ командной строки -j/--threads. Например, запустить резервное копирование в четыре параллельных потока можно, выполнив:

pg_probackup backup -B каталог_копий --instance имя_экземпляра -b FULL -j 4

Указание параметров подключения

Если вы определите свойства соединения в файле конфигурации pg_probackup.conf, вы можете не указывать параметры соединения во всех последующих командах pg_probackup. Однако, если установлены соответствующие переменные окружения, они имеют больший приоритет. Параметры, заданные в командной строке, переопределяют как переменные окружения, так и свойства в файле конфигурации.

Если не задано ничего, используются значения по умолчанию. pg_probackup пытается подключиться к локальному серверу, а в качестве имени базы данных и имени пользователя выбирает значение переменной окружения PGUSER, либо имя текущего пользователя ОС.

Настройка политики сохранения резервных копий

По умолчанию все резервные копии, которые создаёт pg_probackup, сохраняются в предназначенном для них каталоге. Для экономии дискового пространства вы можете настроить политику сохранения копий и в соответствии с ней периодически удалять ненужные резервные копии.

Чтобы настроить эту политику, задайте одну или несколько следующих переменных в файле pg_probackup.conf:

Если установлены параметры retention-redundancy и retention-window, pg_probackup оставляет только те резервные копии, которые удовлетворяют обоим условиям. Например, если задать параметры retention-redundancy=2 и retention-window=7, pg_probackup очищает каталог копий, чтобы в нём оставалось только две полных резервных копии, если минимум одна из них старее семи дней.

Чтобы очистить каталог резервных копий в соответствии с политикой их сохранения, запустите:

pg_probackup delete -B каталог_копий --instance имя_экземпляра --expired

pg_probackup удалит все резервные копии, не удовлетворяющие установленной политике сохранения.

Вы также можете определить политику сохранения и использовать ключ --delete-expired с командой backup, чтобы устаревшие резервные копии удалялись сразу после создания новой.

Просмотр информации о резервных копиях

Чтобы просмотреть список существующих копий, выполните команду:

pg_probackup show -B каталог_копий

pg_probackup выдаёт список всех имеющихся резервных копий. Например, вы можете получить следующую информацию:

BACKUP INSTANCE 'two'
===============================================================================================================================
 Instance    ID      Recovery time        Mode    WAL      Current/Parent TLI    Time    Data    Start LSN    Stop LSN   Status
===============================================================================================================================
 two         ORHG08  2017-06-13 14:02:33  FULL    STREAM     1 / 0                 9s    55MB   0/5000028    0/50001B8   OK

BACKUP INSTANCE 'one'
===============================================================================================================================
 Instance    ID      Recovery time        Mode    WAL      Current/Parent TLI    Time    Data    Start LSN    Stop LSN   Status
===============================================================================================================================
 one         ORHFY4  2017-06-13 14:01:18  FULL    ARCHIVE    1 / 0                 3s    22MB   0/2000028    0/30000C8   OK
===============================================================================================================================

Для каждой копии выдаются следующие сведения:

Чтобы получить более подробную информацию о копии, укажите в команде show её идентификатор:

pg_probackup show -B каталог_копий --instance имя_экземпляра -i ид_резервной_копии

Пример вывода:

#Configuration
backup-mode = FULL
stream = false

#Compatibility
block-size = 8192
wal-block-size = 8192
checksum-version = 0

#Result backup info
timelineid = 1
start-lsn = 0/04000028
stop-lsn = 0/040000f8
start-time = '2017-05-16 12:57:29'
end-time = '2017-05-16 12:57:31'
recovery-xid = 597
recovery-time = '2017-05-16 12:57:31'
data-bytes = 22288792
status = OK

Удаление резервных копий

Для удаления резервной копии, ставшей ненужной, выполните команду:

pg_probackup delete -B каталог_копий --instance имя_экземпляра -i ид_резервной_копии

Эта команда удалит резервную копию с заданным ид_резервной_копии вместе со всеми инкрементальными копиями, следующими за ней (если таковые найдутся). Таким образом вы можете удалить некоторые последние инкрементальные копии, сохранив предыдущую полную копию и некоторые следующие за ней инкрементальные копии.

Для удаления старых файлов WAL, которые не нужны для восстановления никаких из оставшихся резервных копий, воспользуйтесь ключом --wal:

pg_probackup delete -B каталог_копий --instance имя_экземпляра --wal

Чтобы удалить резервные копии, считающиеся ненужными согласно текущей политике сохранения, воспользуйтесь ключом --expired:

pg_probackup delete -B каталог_копий --instance имя_экземпляра --expired

Благодарности

Программа pg_probackup основана на pg_arman, которая изначально была написана в NTT, а затем её развивал и поддерживал Мишель Пакье.