Dockerからすべてのpostgresデータベースをダンプするbashシェルスクリプトがあります。
function dump_postgres {
mkdir -p ${BACKUP_DIR}/postgres/
docker ps -a --format '{{.Names}}\t{{.Ports}}' | grep 5432/tcp | awk '{ print $1 }' | while read -r line; do
echo "extracting database from container '${line}'"
docker exec -t ${line} pg_dumpall -v --lock-wait-timeout=600 -c -U postgres > ${BACKUP_DIR}/postgres/${line}.sql
done
}
dump_postgres >> "${LOG}" 2>> "${ERROR}"
スクリプトは、デフォルトのpostgresポートでリッスンしているDockerコンテナを特定し、データベースをSQL形式でダンプします。
私の問題は、このコマンドがcronによって開始されると、1日おきに突然停止することです。停止するだけで、ダンプを実行するコンテナは終了しません。また、stderrには出力がありません。
これを解決する方法はありますか?
編集:
crontabは次のようになります。
30 1 * * * /home/mrbackup/backup.sh
仕事は毎晩1:30に予定されています。 3:00のウォッチドッグスクリプトは、バックアップが失敗し、pg_dumpallがハングしていることをすでに確認しています。
EDIT2:今夜のクッセルが問題ですが、これは1日おきに変わります。 nextcloudも問題を引き起こします。プロセスに関するその他の情報:
# ps -efH
root 493 1 0 Mai24 ? 00:00:04 /usr/sbin/cron -f
root 12401 493 0 01:30 ? 00:00:00 /usr/sbin/CRON -f
mrbackup 12402 12401 0 01:30 ? 00:00:00 /bin/sh -c /home/mrbackup/backup.sh
mrbackup 12403 12402 0 01:30 ? 00:00:00 /bin/bash /home/mrbackup/backup.sh
mrbackup 12412 12403 0 01:30 ? 00:00:00 /bin/bash /home/mrbackup/backup.sh
mrbackup 12428 12412 0 01:30 ? 00:00:11 docker exec -t quassel_postgres_1 pg_dumpall -v --lock-wait-timeout=600 -c -U postgres
root 12449 11150 0 01:30 ? 00:00:00 pg_dumpall -v --lock-wait-timeout=600 -c -U postgres
root 12467 12449 0 01:30 ? 00:00:00 sh -c "/usr/local/bin/pg_dump" -v --lock-wait-timeout '600' -Fp 'user=postgres dbname=quassel'
root 12468 12467 0 01:30 ? 00:00:16 /usr/local/bin/pg_dump -v --lock-wait-timeout 600 -Fp user=postgres dbname=quassel
straceは、pg_dumpのほとんどのサブプロセスがロックを待機していることを示していますか?
futex(0xc42054cd38, FUTEX_WAIT, 0, NULL
2つのプロセスがsyscallを再起動します。
restart_syscall(<... resuming interrupted futex ...>)
このクエリでデータベースを調べようとしています:
SELECT a.datname,
c.relname,
l.mode,
l.GRANTED,
a.wait_event_type,
a.usename,
a.query,
a.query_start,
age(now(), a.query_start) AS "age",
a.pid
FROM pg_stat_activity a
JOIN pg_locks l ON l.pid = a.pid
JOIN pg_class c ON c.oid = l.relation
WHERE
NOW() - query_start > '10 second';
ORDER BY a.query_start;
私に次を与えます:
datname | relname | mode | granted | wait_event_type | usename | query | query_start | age | pid
---------+-----------------------------------------+-----------------+---------+-----------------+----------+--------------------------------------------------+-------------------------------+-----------------+-------
quassel | pg_attribute_relid_attnum_index | AccessShareLock | t | | postgres | COPY public.sender (senderid, sender) TO stdout; | 2018-07-21 23:30:18.253695+00 | 07:11:41.798605 | 25095
quassel | pg_attribute_relid_attnam_index | AccessShareLock | t | | postgres | COPY public.sender (senderid, sender) TO stdout; | 2018-07-21 23:30:18.253695+00 | 07:11:41.798605 | 25095
quassel | pg_attribute | AccessShareLock | t | | postgres | COPY public.sender (senderid, sender) TO stdout; | 2018-07-21 23:30:18.253695+00 | 07:11:41.798605 | 25095
quassel | pg_class | AccessShareLock | t | | postgres | COPY public.sender (senderid, sender) TO stdout; | 2018-07-21 23:30:18.253695+00 | 07:11:41.798605 | 25095
quassel | pg_init_privs_o_c_o_index | AccessShareLock | t | | postgres | COPY public.sender (senderid, sender) TO stdout; | 2018-07-21 23:30:18.253695+00 | 07:11:41.798605 | 25095
quassel | pg_roles | AccessShareLock | t | | postgres | COPY public.sender (senderid, sender) TO stdout; | 2018-07-21 23:30:18.253695+00 | 07:11:41.798605 | 25095
quassel | pg_init_privs | AccessShareLock | t | | postgres | COPY public.sender (senderid, sender) TO stdout; | 2018-07-21 23:30:18.253695+00 | 07:11:41.798605 | 25095
quassel | pg_depend_reference_index | AccessShareLock | t | | postgres | COPY public.sender (senderid, sender) TO stdout; | 2018-07-21 23:30:18.253695+00 | 07:11:41.798605 | 25095
そしてさらに100行
[〜#〜] edit [〜#〜]最初の問題を修正しましたが、パイプが壊れた理由に興味があります。また、その状況でプロセスが終了しない理由もあります。
Dockerコンテナからの配管が時々配管を壊したようです。 pg_dumpallの-fパラメータを使用すると、問題が解決しました
docker exec -t ${line} pg_dumpall -v --lock-wait-timeout=600 -c -U postgres -f /tmp/export.sql
docker cp ${line}:/tmp/export.sql ${BACKUP_DIR}/postgres/${line}.sql
docker exec -t ${line} rm /tmp/export.sql