Настройка автономного резервного копирования

Чтобы настроить кластер для автономного резервного копирования, выполните следующие действия:

После этого вы сможете выполнять резервное копирование в режимах FULL, PAGE или DELTA с ведущего сервера. Если вы намерены выполнять резервное копирование с ведомого сервера или осуществлять копирование в режиме PTRACK, потребуется дополнительная настройка по инструкциям в Подразделе «Копирование данных с ведомого сервера» или Подразделе «Копирование в режиме PTRACK», соответственно.

Настройка архивного резервного копирования

Чтобы настроить кластер для архивного резервного копирования, выполните следующие действия:

После этого вы сможете выполнять резервное копирование в режимах FULL, PAGE или DELTA с ведущего сервера. Если вы намерены выполнять резервное копирование с ведомого сервера или осуществлять копирование в режиме PTRACK, потребуется дополнительная настройка по инструкциям в Подразделе «Копирование данных с ведомого сервера» или Подразделе «Копирование в режиме PTRACK», соответственно.

Копирование данных с ведомого сервера

С Postgres Pro 9.6 или новее pg_probackup может копировать данные с ведомого сервера. Для этого требуется дополнительная настройка:

Копирование в режиме PTRACK

Если вы хотите копировать данные в режиме PTRACK, выполните следующие дополнительные действия:

GRANT EXECUTE ON FUNCTION pg_ptrack_clear() TO backup;
GRANT EXECUTE ON FUNCTION pg_ptrack_get_and_clear(oid, oid) TO backup;

Роль backup должна иметь доступ ко всем базам данных в кластере.

Общие параметры

Параметры резервного копирования

С командой backup могут задаваться следующие параметры.

Параметры восстановления

Параметры точки восстановления

Если настроено непрерывное архивирование WAL, вы можете воспользоваться одним из этих параметров команд restore или validate, чтобы указать момент, до которого должен быть восстановлен кластер баз данных.

Параметры удаления

Параметры сохранения

Подробнее о настройке политики сохранения рассказывается в Подразделе «Настройка политики сохранения резервных копий».

Параметры ведения журнала

Параметры подключения

Параметры сжатия

Репликационные параметры

В этом разделе описываются параметры, относящиеся к резервному копированию с ведомого сервера.

Параметры архивации

Параметры checkdb

Параметры удалённого сервера

В этом разделе описываются параметры, связанные с удалённым выполнением операций резервного копирования и восстановления по SSH. Эти параметры могут использоваться с командами add-instance, set-config, backup, restore, archive-push и archive-get.

Выполнение восстановления на момент времени (PITR)

Если вы настраивали непрерывное архивирование WAL до создания резервных копий, вы можете восстановить состояние кластера на любой момент времени (recovery target), используя с командой restore параметры точки восстановления вместо показанного выше параметра -i. Программа pg_probackup автоматически выбирает копию, ближайшую к заданной точке восстановления, и запускает процесс восстановления.

Чтобы восстановить состояние кластера на определённое время, укажите это время в параметре recovery-target-time, в формате timestamp. Например:

pg_probackup restore -B каталог_копий --instance имя_экземпляра --recovery-target-time='2017-05-18 14:18:11'

Чтобы восстановить состояние кластера до определённой транзакции, воспользуйтесь ключом recovery-target-xid:

pg_probackup restore -B каталог_копий --instance имя_экземпляра --recovery-target-xid=687

Если вы точно знаете LSN, до которого вы хотите восстановить данные, воспользуйтесь ключом recovery-target-lsn:

pg_probackup restore -B каталог_копий --instance имя_экземпляра --recovery-target-lsn=16/B374D848

По умолчанию параметр recovery_target_inclusive определяет, будет ли точка восстановления включаться в достигаемое при восстановлении состояние. Вы можете явно включить или исключить точку восстановления, добавив к показанным выше командам параметр --recovery-target-inclusive со значением on или off, соответственно.

Указание параметров подключения

Если вы определите свойства соединения в файле конфигурации pg_probackup.conf, вы можете не указывать параметры соединения во всех последующих командах pg_probackup. Однако, если установлены соответствующие переменные окружения, они имеют больший приоритет. Параметры, заданные в командной строке, переопределяют как переменные окружения, так и свойства в файле конфигурации.

Если не задано ничего, используются значения по умолчанию. pg_probackup пытается подключиться к локальному серверу, а в качестве имени базы данных и имени пользователя выбирает значение переменной окружения PGUSER, либо имя текущего пользователя ОС.

Настройка политики сохранения резервных копий

По умолчанию все резервные копии, которые создаёт pg_probackup, сохраняются в предназначенном для них каталоге. Для экономии дискового пространства вы можете настроить политику сохранения копий и в соответствии с ней периодически удалять ненужные резервные копии.

Чтобы настроить эту политику, задайте одну или несколько следующих переменных в файле pg_probackup.conf:

Если установлены параметры retention-redundancy и retention-window, pg_probackup оставляет только те резервные копии, которые удовлетворяют обоим условиям. Например, если задать параметры retention-redundancy=2 и retention-window=7, pg_probackup очищает каталог копий, чтобы в нём оставалось только две полных резервных копии, если минимум одна из них старее семи дней.

Чтобы очистить каталог резервных копий в соответствии с политикой их сохранения, запустите:

pg_probackup delete -B каталог_копий --instance имя_экземпляра --expired

pg_probackup удалит все резервные копии, не удовлетворяющие установленной политике сохранения.

Если вы хотите также удалить файлы WAL, которые больше не требуются ни для каких копий, добавьте ключ --wal:

pg_probackup delete -B каталог_копий --instance имя_экземпляра --expired --wal

Вы также можете удалить старые резервные копии после создания новой, передав ключи --delete-expired и --delete-wal с командой backup.

Так как для инкрементальных копий требуется наличие всех родительских полных копий и всех предыдущих инкрементальных копий, даже по истечении срока их хранения эти копии нельзя удалить, пока минимум одна инкрементальная копия в цепочке удовлетворяет политике сохранения. Чтобы не хранить устаревшие копии, которые всё ещё нужны для восстановления нужной инкрементальной копии, вы можете объединить их с ней, выполнив команду backup или delete с ключом --merge-expired.

Предположим, что вы заархивировали экземпляр node в каталог node-backup со значением retention-window (окно сохранения), равным 7, и на 10 апреля 2019 г. у вас есть следующие копии:

BACKUP INSTANCE 'node'
===========================================================================================================================================
 Instance    Version  ID      Recovery time           Mode    WAL      Current/Parent TLI   Time   Data    Start LSN    Stop LSN    Status 
===========================================================================================================================================
 node        10       P7XDHR  2019-04-10 05:27:15+03  FULL    STREAM     1 / 0               11s   200MB   0/18000059   0/18000197  OK
 node        10       P7XDQV  2019-04-08 05:32:59+03  DELTA   STREAM     1 / 0               11s    19MB   0/15000060   0/15000198  OK
 node        10       P7XDJA  2019-04-03 05:28:36+03  PTRACK  STREAM     1 / 0               21s    32MB   0/13000028   0/13000198  OK
 node        10       P7XDHU  2019-04-02 05:27:59+03  PTRACK  STREAM     1 / 0               31s    33MB   0/11000028   0/110001D0  OK
 node        10       P7XDHB  2019-04-01 05:27:15+03  FULL    STREAM     1 / 0               11s   200MB   0/F000028    0/F000198   OK
 node        10       P7XDFT  2019-03-29 05:26:25+03  FULL    STREAM     1 / 0               11s   200MB   0/D000028    0/D000198   OK

Несмотря на то, что копии P7XDHB и P7XDHU выходят за рамки окна сохранения, их нельзя удалить, так как это приведёт к потере последующих инкрементальных копий P7XDHU и P7XDQV, которые всё ещё нужны. Поэтому, если вы выполните команду delete с ключом --expired, будет удалена только полная копия P7XDFT. Однако с ключом --merge-expired копия P7XDJA будет объединена с базовыми для неё копиями P7XDHB и P7XDHU и станет полной, в результате чего эти старые копии окажутся ненужными:

pg_probackup delete -B node-backup --instance node --expired --merge-expired
pg_probackup show -B node-backup

BACKUP INSTANCE 'node'
============================================================================================================================================
 Instance    Version  ID      Recovery time           Mode    WAL      Current/Parent TLI    Time   Data    Start LSN    Stop LSN    Status
============================================================================================================================================
 node        10       P7XDHR  2019-04-10 05:27:15+03  FULL    STREAM     1 / 0                11s   200MB   0/18000059   0/18000197  OK
 node        10       P7XDQV  2019-04-08 05:32:59+03  DELTA   STREAM     1 / 0                11s    19MB   0/15000060   0/15000198  OK
 node        10       P7XDJA  2019-04-04 05:28:36+03  FULL    STREAM     1 / 0                 5s   200MB   0/13000028   0/13000198  OK

Заметьте, что поле Time (Время) для объединённой копии показывает время, которое заняла процедура объединения.

Просмотр информации о резервных копиях

Чтобы просмотреть список существующих копий, выполните команду:

pg_probackup show -B каталог_копий

pg_probackup выводит список всех имеющихся резервных копий. Например:

BACKUP INSTANCE 'node'
============================================================================================================================================
 Instance    Version  ID      Recovery time           Mode    WAL      Current/Parent TLI    Time    Data   Start LSN    Stop LSN    Status 
============================================================================================================================================
 node        10       P7XDQV  2018-04-29 05:32:59+03  DELTA   STREAM     1 / 0                11s    19MB   0/15000060   0/15000198  OK
 node        10       P7XDJA  2018-04-29 05:28:36+03  PTRACK  STREAM     1 / 0                21s    32MB   0/13000028   0/13000198  OK
 node        10       P7XDHU  2018-04-29 05:27:59+03  PTRACK  STREAM     1 / 0                31s    33MB   0/11000028   0/110001D0  OK
 node        10       P7XDHB  2018-04-29 05:27:15+03  FULL    STREAM     1 / 0                11s    39MB   0/F000028    0/F000198   OK
 node        10       P7XDFT  2018-04-29 05:26:25+03  PTRACK  STREAM     1 / 0                11s    40MB   0/D000028    0/D000198   OK

Для каждой копии выдаются следующие сведения:

Чтобы получить более подробную информацию о копии, укажите в команде show её идентификатор:

pg_probackup show -B каталог_копий --instance имя_экземпляра -i ид_резервной_копии

Пример вывода:

#Configuration
backup-mode = FULL
stream = false

#Compatibility
block-size = 8192
xlog-block-size = 8192
checksum-version = 0

#Result backup info
timelineid = 1
start-lsn = 0/04000028
stop-lsn = 0/040000f8
start-time = '2017-05-16 12:57:29'
end-time = '2017-05-16 12:57:31'
recovery-xid = 597
recovery-time = '2017-05-16 12:57:31'
data-bytes = 22288792
status = OK

Объединение резервных копий

По мере того, как вы будете делать новые и новые инкрементальные копии, общий размер каталога резервных копий может существенно увеличиться. Для экономии места на диске вы можете объединить инкрементальные копии с родительской полной копией, выполнив команду merge и передав ей идентификатор копии самой последней резервной копии, подлежащей объединению:

pg_probackup merge -B каталог_копий --instance имя_экземпляра -i ид_резервной_копии

Эта команда объединяет указанную инкрементальную резервную копию с её родительской полной копией и всеми инкрементальными копиями между ними. После завершения объединения эти инкрементальные копии удаляются как избыточные. Таким образом, операция объединения практически равносильна созданию новой полной копии и удалению всех ставших неактуальными копий, но позволяет сэкономить много времени, особенно при больших объёмах данных.

Перед объединением pg_probackup проверяет все задействуемые резервные копии, чтобы удостовериться в их целостности. Вы можете проверить текущее состояние резервной копии, выполнив команду show с идентификатором этой копии. В процессе объединения резервная копия будет иметь состояние MERGING. Если объединение прерывается, вы можете перезапустить его.

Удаление резервных копий

Для удаления резервной копии, ставшей ненужной, выполните команду:

pg_probackup delete -B каталог_копий --instance имя_экземпляра -i ид_резервной_копии

Эта команда удалит резервную копию с заданным ид_резервной_копии вместе со всеми инкрементальными копиями, следующими за ней (если таковые найдутся). Таким образом вы можете удалить некоторые последние инкрементальные копии, сохранив предыдущую полную копию и некоторые следующие за ней инкрементальные копии.

Для удаления старых файлов WAL, которые не нужны для восстановления никаких из оставшихся резервных копий, воспользуйтесь ключом --wal:

pg_probackup delete -B каталог_копий --instance имя_экземпляра --wal

Чтобы удалить резервные копии, считающиеся ненужными согласно текущей политике сохранения, воспользуйтесь ключом --expired:

pg_probackup delete -B каталог_копий --instance имя_экземпляра --expired

Заметьте, что копии с истёкшим сроком нельзя удалить, пока на них базируется минимум одна инкрементальная копия, удовлетворяющая политике сохранения. Если вы хотите сократить число резервных копий, требующихся для восстановления инкрементальных копий, укажите параметр --merge-expired при выполнении этой команды:

pg_probackup delete -B каталог_копий --instance имя_экземпляра --expired --merge-expired

В этом случае pg_probackup ищет самую старую инкрементальную копию, удовлетворяющую политике сохранения и объединяет её с базовыми для неё полной и инкрементальными копиями, срок хранения которых истёк, тем самым превращая её в полную копию. После завершения объединения освободившиеся старые копии удаляются.

Прежде чем объединять или удалять резервные копии, вы можете выполнить команду delete с параметром dry-run и получить в результате состояние всех имеющихся копий в соответствии с текущей политикой сохранения; никакие необратимые действия при этом выполняться не будут.