次のdocker compose file(docker-compose-dev.yml
):
version: '3'
services:
my_sql_db:
image: percona:latest
container_name: my_sql_db
environment:
MYSQL_ROOT_PASSWORD: password
MYSQL_DATABASE: abhs
ports:
- "3306:3306"
migration:
image: boxfuse/flyway:latest
container_name: flyway_migration
volumes:
- ./flyway_scripts/src/main/resources/db/migration:/flyway/sql
command: -url=jdbc:mysql://my_sql_db:3306/abhs?useUnicode=true&characterEncoding=utf8&useSSL=false -user=root -password=password migrate
depends_on:
- my_sql_db
および次のdocker-compose.yml
:
version: '3'
services:
migration:
image: boxfuse/flyway:latest
container_name: flyway_migration
volumes:
- ./flyway_scripts/src/main/resources/db/migration:/flyway/sql
次に、次のコマンドを実行します。
docker-compose -f docker-compose.yml -f docker-compose-dev.yml up
そして、それはエラーにつながります:
ログに次のように表示されます:
my_sql_db | Initializing database
flyway_migration | Flyway Community Edition 5.1.4 by Boxfuse
flyway_migration |
my_sql_db | 2018-08-24T08:47:41.616694Z 0 [Warning] 'NO_ZERO_DATE', 'NO_ZERO_IN_DATE' and 'ERROR_FOR_DIVISION_BY_ZERO' sql modes should be used with strict mode. They will be merged with strict mode in a future release.
my_sql_db | 2018-08-24T08:47:41.616747Z 0 [Warning] 'NO_AUTO_CREATE_USER' sql mode was not set.
flyway_migration | ERROR:
flyway_migration | Unable to obtain connection from database (jdbc:mysql://my_sql_db:3306/abhs?useUnicode=true&characterEncoding=utf8&useSSL=false) for user 'root': Could not connect to address=(Host=my_sql_db)(port=3306)(type=master) : Connection refused (Connection refused)
flyway_migration | --------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
flyway_migration | SQL State : 08
flyway_migration | Error Code : -1
flyway_migration | Message : Could not connect to address=(Host=my_sql_db)(port=3306)(type=master) : Connection refused (Connection refused)
my_sql_db | 2018-08-24T08:47:43.024690Z 0 [Warning] InnoDB: New log files created, LSN=45790
flyway_migration |
my_sql_db | 2018-08-24T08:47:43.443625Z 0 [Warning] InnoDB: Creating foreign key constraint system tables.
my_sql_db | 2018-08-24T08:47:43.588008Z 0 [Warning] No existing UUID has been found, so we assume that this is the first time that this server has been started. Generating a new UUID: 5dc59a4f-a77a-11e8-b6cb-0242ac130002.
my_sql_db | 2018-08-24T08:47:43.760654Z 0 [Warning] Gtid table is not ready to be used. Table 'mysql.gtid_executed' cannot be opened.
my_sql_db | 2018-08-24T08:47:44.518107Z 0 [Warning] CA certificate ca.pem is self signed.
my_sql_db | 2018-08-24T08:47:44.925466Z 1 [Warning] root@localhost is created with an empty password ! Please consider switching off the --initialize-insecure option.
my_sql_db | 2018-08-24T08:47:54.762213Z 1 [Warning] 'user' entry 'root@localhost' ignored in --skip-name-resolve mode.
my_sql_db | 2018-08-24T08:47:54.762517Z 1 [Warning] 'user' entry 'mysql.session@localhost' ignored in --skip-name-resolve mode.
my_sql_db | 2018-08-24T08:47:54.762889Z 1 [Warning] 'user' entry 'mysql.sys@localhost' ignored in --skip-name-resolve mode.
my_sql_db | 2018-08-24T08:47:54.763244Z 1 [Warning] 'db' entry 'performance_schema mysql.session@localhost' ignored in --skip-name-resolve mode.
my_sql_db | 2018-08-24T08:47:54.763472Z 1 [Warning] 'db' entry 'sys mysql.sys@localhost' ignored in --skip-name-resolve mode.
my_sql_db | 2018-08-24T08:47:54.763788Z 1 [Warning] 'proxies_priv' entry '@ root@localhost' ignored in --skip-name-resolve mode.
my_sql_db | 2018-08-24T08:47:54.763928Z 1 [Warning] 'tables_priv' entry 'user mysql.session@localhost' ignored in --skip-name-resolve mode.
my_sql_db | 2018-08-24T08:47:54.764128Z 1 [Warning] 'tables_priv' entry 'sys_config mysql.sys@localhost' ignored in --skip-name-resolve mode.
my_sql_db | Database initialized
my_sql_db | MySQL init process in progress...
my_sql_db | 2018-08-24T08:47:58.970290Z 0 [Warning] 'NO_ZERO_DATE', 'NO_ZERO_IN_DATE' and 'ERROR_FOR_DIVISION_BY_ZERO' sql modes should be used with strict mode. They will be merged with strict mode in a future release.
my_sql_db | 2018-08-24T08:47:58.970345Z 0 [Warning] 'NO_AUTO_CREATE_USER' sql mode was not set.
my_sql_db | 2018-08-24T08:47:58.974061Z 0 [Note] mysqld (mysqld 5.7.22-22) starting as process 58 ...
my_sql_db | 2018-08-24T08:47:58.999651Z 0 [Note] InnoDB: PUNCH HOLE support available
my_sql_db | 2018-08-24T08:47:58.999685Z 0 [Note] InnoDB: Mutexes and rw_locks use GCC atomic builtins
my_sql_db | 2018-08-24T08:47:58.999689Z 0 [Note] InnoDB: Uses event mutexes
my_sql_db | 2018-08-24T08:47:58.999692Z 0 [Note] InnoDB: GCC builtin __atomic_thread_fence() is used for memory barrier
my_sql_db | 2018-08-24T08:47:58.999695Z 0 [Note] InnoDB: Compressed tables use zlib 1.2.8
my_sql_db | 2018-08-24T08:47:58.999698Z 0 [Note] InnoDB: Using Linux native AIO
my_sql_db | 2018-08-24T08:47:59.000153Z 0 [Note] InnoDB: Number of pools: 1
my_sql_db | 2018-08-24T08:47:59.000426Z 0 [Note] InnoDB: Using CPU crc32 instructions
my_sql_db | 2018-08-24T08:47:59.002306Z 0 [Note] InnoDB: Initializing buffer pool, total size = 128M, instances = 1, chunk size = 128M
my_sql_db | 2018-08-24T08:47:59.006893Z 0 [Note] InnoDB: Completed initialization of buffer pool
my_sql_db | 2018-08-24T08:47:59.013219Z 0 [Note] InnoDB: If the mysqld execution user is authorized, page cleaner thread priority can be changed. See the man page of setpriority().
my_sql_db | 2018-08-24T08:47:59.024242Z 0 [Note] InnoDB: Crash recovery did not find the parallel doublewrite buffer at /var/lib/mysql/xb_doublewrite
my_sql_db | 2018-08-24T08:47:59.026263Z 0 [Note] InnoDB: Highest supported file format is Barracuda.
my_sql_db | 2018-08-24T08:47:59.066469Z 0 [Note] InnoDB: Created parallel doublewrite buffer at /var/lib/mysql/xb_doublewrite, size 3932160 bytes
my_sql_db | 2018-08-24T08:47:59.071752Z 0 [Note] InnoDB: Creating shared tablespace for temporary tables
my_sql_db | 2018-08-24T08:47:59.072052Z 0 [Note] InnoDB: Setting file './ibtmp1' size to 12 MB. Physically writing the file full; Please wait ...
my_sql_db | 2018-08-24T08:47:59.422155Z 0 [Note] InnoDB: File './ibtmp1' size is now 12 MB.
my_sql_db | 2018-08-24T08:47:59.423325Z 0 [Note] InnoDB: 96 redo rollback segment(s) found. 96 redo rollback segment(s) are active.
my_sql_db | 2018-08-24T08:47:59.423376Z 0 [Note] InnoDB: 32 non-redo rollback segment(s) are active.
my_sql_db | 2018-08-24T08:47:59.423900Z 0 [Note] InnoDB: Waiting for purge to start
my_sql_db | 2018-08-24T08:47:59.474066Z 0 [Note] InnoDB: Percona XtraDB (http://www.percona.com) 5.7.22-22 started; log sequence number 2595255
my_sql_db | 2018-08-24T08:47:59.474647Z 0 [Note] Plugin 'FEDERATED' is disabled.
my_sql_db | 2018-08-24T08:47:59.499970Z 0 [Note] Found ca.pem, server-cert.pem and server-key.pem in data directory. Trying to enable SSL support using them.
my_sql_db | 2018-08-24T08:47:59.500004Z 0 [Note] Skipping generation of SSL certificates as certificate files are present in data directory.
my_sql_db | 2018-08-24T08:47:59.500382Z 0 [Note] InnoDB: Loading buffer pool(s) from /var/lib/mysql/ib_buffer_pool
my_sql_db | 2018-08-24T08:47:59.501263Z 0 [Warning] CA certificate ca.pem is self signed.
my_sql_db | 2018-08-24T08:47:59.522151Z 0 [Note] Skipping generation of RSA key pair as key files are present in data directory.
my_sql_db | 2018-08-24T08:47:59.531657Z 0 [Note] InnoDB: Buffer pool(s) load completed at 180824 8:47:59
データベースの初期化の前にフライウェイが開始されるため、データベースに接続できなかったように見え、以下のエラーが表示されます。
どうすればその問題を修正できますか?
私は同様の質問をグーグルで検索し、次のアドバイスを見つけました: https://github.com/vishnubob/wait-for-it それを私のdocker composeファイルに入れます
ファイルを入れようとしましたwait-fot-it.sh
構成ファイルの近くで実行します。
command: ["./wait-for-it.sh", "mysql:3306", "--", "-url=jdbc:mysql://my_sql_db:3306/abhs?useUnicode=true&characterEncoding=utf8&useSSL=false -user=root -password=password migrate"]
しかし、エラーを返します:Invalid argument: ./wait-for-it.sh
私は「重複」トピックからアプローチを試みました:
version: '3'
services:
my_sql_db:
image: percona:latest
container_name: my_sql_db
environment:
MYSQL_ROOT_PASSWORD: password
MYSQL_DATABASE: abhs
ports:
- "3306:3306"
healthcheck:
test: ["CMD", "mysqladmin" ,"ping", "-h", "localhost"]
timeout: 20s
retries: 10
migration:
image: boxfuse/flyway:latest
container_name: flyway_migration
volumes:
- ./flyway_scripts/src/main/resources/db/migration:/flyway/sql
command: -url=jdbc:mysql://my_sql_db:3306/abhs?useUnicode=true&characterEncoding=utf8&useSSL=false -user=root -password=password migrate
depends_on:
my_sql_db:
condition: service_healthy
しかし、私は次のエラーが表示されます:
$ docker-compose -f docker-compose.yml -f docker-compose-dev.yml up
The Compose file '.\docker-compose-dev.yml' is invalid because:
services.migration.depends_on contains an invalid type, it should be an array
そのアプローチでは、次のエラーが表示されます:
version: '3'
services:
my_sql_db:
image: percona:latest
container_name: my_sql_db
environment:
MYSQL_ROOT_PASSWORD: password
MYSQL_DATABASE: abhs
ports:
- "3306:3306"
healthcheck:
test: ["CMD", "mysqladmin" ,"ping", "-h", "localhost"]
timeout: 20s
retries: 10
migration:
image: boxfuse/flyway:latest
container_name: flyway_migration
volumes:
- ./flyway_scripts/src/main/resources/db/migration:/flyway/sql
command: dockerize wait jdbc:mysql://my_sql_db:3306 -url=jdbc:mysql://my_sql_db:3306/abhs?useUnicode=true&characterEncoding=utf8&useSSL=false -user=root -password=password migrate
depends_on:
- my_sql_db
次のエラーが表示されます。
flyway_migration | ERROR: Invalid argument: dockerize
wait-for-it.shコンテンツ:
#!/usr/bin/env bash
# Use this script to test if a given TCP Host/port are available
cmdname=$(basename $0)
echoerr() { if [[ $QUIET -ne 1 ]]; then echo "$@" 1>&2; fi }
usage()
{
cat << USAGE >&2
Usage:
$cmdname Host:port [-s] [-t timeout] [-- command args]
-h Host | --Host=HOST Host or IP under test
-p PORT | --port=PORT TCP port under test
Alternatively, you specify the Host and port as Host:port
-s | --strict Only execute subcommand if the test succeeds
-q | --quiet Don't output any status messages
-t TIMEOUT | --timeout=TIMEOUT
Timeout in seconds, zero for no timeout
-- COMMAND ARGS Execute command with args after the test finishes
USAGE
exit 1
}
wait_for()
{
if [[ $TIMEOUT -gt 0 ]]; then
echoerr "$cmdname: waiting $TIMEOUT seconds for $Host:$PORT"
else
echoerr "$cmdname: waiting for $Host:$PORT without a timeout"
fi
start_ts=$(date +%s)
while :
do
if [[ $ISBUSY -eq 1 ]]; then
nc -z $Host $PORT
result=$?
else
(echo > /dev/tcp/$Host/$PORT) >/dev/null 2>&1
result=$?
fi
if [[ $result -eq 0 ]]; then
end_ts=$(date +%s)
echoerr "$cmdname: $Host:$PORT is available after $((end_ts - start_ts)) seconds"
break
fi
sleep 1
done
return $result
}
wait_for_wrapper()
{
# In order to support SIGINT during timeout: http://unix.stackexchange.com/a/57692
if [[ $QUIET -eq 1 ]]; then
timeout $BUSYTIMEFLAG $TIMEOUT $0 --quiet --child --Host=$Host --port=$PORT --timeout=$TIMEOUT &
else
timeout $BUSYTIMEFLAG $TIMEOUT $0 --child --Host=$Host --port=$PORT --timeout=$TIMEOUT &
fi
PID=$!
trap "kill -INT -$PID" INT
wait $PID
RESULT=$?
if [[ $RESULT -ne 0 ]]; then
echoerr "$cmdname: timeout occurred after waiting $TIMEOUT seconds for $Host:$PORT"
fi
return $RESULT
}
# process arguments
while [[ $# -gt 0 ]]
do
case "$1" in
*:* )
hostport=(${1//:/ })
Host=${hostport[0]}
PORT=${hostport[1]}
shift 1
;;
--child)
CHILD=1
shift 1
;;
-q | --quiet)
QUIET=1
shift 1
;;
-s | --strict)
STRICT=1
shift 1
;;
-h)
Host="$2"
if [[ $Host == "" ]]; then break; fi
shift 2
;;
--Host=*)
Host="${1#*=}"
shift 1
;;
-p)
PORT="$2"
if [[ $PORT == "" ]]; then break; fi
shift 2
;;
--port=*)
PORT="${1#*=}"
shift 1
;;
-t)
TIMEOUT="$2"
if [[ $TIMEOUT == "" ]]; then break; fi
shift 2
;;
--timeout=*)
TIMEOUT="${1#*=}"
shift 1
;;
--)
shift
CLI=("$@")
break
;;
--help)
usage
;;
*)
echoerr "Unknown argument: $1"
usage
;;
esac
done
if [[ "$Host" == "" || "$PORT" == "" ]]; then
echoerr "Error: you need to provide a Host and port to test."
usage
fi
TIMEOUT=${TIMEOUT:-15}
STRICT=${STRICT:-0}
CHILD=${CHILD:-0}
QUIET=${QUIET:-0}
# check to see if timeout is from busybox?
# check to see if timeout is from busybox?
TIMEOUT_PATH=$(realpath $(which timeout))
if [[ $TIMEOUT_PATH =~ "busybox" ]]; then
ISBUSY=1
BUSYTIMEFLAG="-t"
else
ISBUSY=0
BUSYTIMEFLAG=""
fi
if [[ $CHILD -gt 0 ]]; then
wait_for
RESULT=$?
exit $RESULT
else
if [[ $TIMEOUT -gt 0 ]]; then
wait_for_wrapper
RESULT=$?
else
wait_for
RESULT=$?
fi
fi
if [[ $CLI != "" ]]; then
if [[ $RESULT -ne 0 && $STRICT -eq 1 ]]; then
echoerr "$cmdname: strict mode, refusing to execute subprocess"
exit $RESULT
fi
exec "${CLI[@]}"
else
exit $RESULT
fi
また、私はこれを試しました:
version: '3'
services:
my_sql_db:
image: percona:latest
container_name: my_sql_db
environment:
MYSQL_ROOT_PASSWORD: password
MYSQL_DATABASE: abhs
ports:
- "3306:3306"
healthcheck:
test: ["CMD", "mysqladmin" ,"ping", "-h", "localhost"]
timeout: 20s
retries: 10
migration:
image: boxfuse/flyway:latest
container_name: flyway_migration
volumes:
- ./flyway_scripts/src/main/resources/db/migration:/flyway/sql
entrypoint: ["wait-for-it.sh", "mysql:3306", "--", "docker-entrypoint.sh"]
command: -url=jdbc:mysql://my_sql_db:3306/abhs?useUnicode=true&characterEncoding=utf8&useSSL=false -user=root -password=password migrate
depends_on:
- my_sql_db
エラーにつながる:
Flyway_migration ...エラーの作成
ERROR: for flyway_migration Cannot start service migration: OCI runtime create failed: container_linux.go:348: starting container process caused "exec: \"wait-for-it.sh\": executable file not found in $PATH": unknown
ERROR: for migration Cannot start service migration: OCI runtime create failed: container_linux.go:348: starting container process caused "exec: \"wait-for-it.sh\": executable file not found in $PATH": unknown
Encountered errors while bringing up the project.
エラーの場合:
Invalid argument: ./wait-for-it.sh
そして
Invalid argument: dockerize
これは、Flywayコンテナの entrypoint がflyway
実行可能ファイルであり、指定した command の内容が引数としてエントリポイントに追加されるためです。したがって、実際には、コンテナは次を実行しています。
flyway dockerize ...
または
flyway wait-for-it.sh ...
これらはどちらも Flywayコマンドライン の有効な引数ではありません。
P.S.5
で行ったように、エントリポイントを更新する必要があります。ただし、その後エラーが発生します。
"wait-for-it.sh": executable file not found in $PATH"
これは、wait-for-it.sh
(およびdockerize
)がFlywayコンテナで使用できないためです。
Flywayコンテナを拡張するDockerfileを作成してから、ADD
またはCOPY
スクリプトを作成できます。例:
FROM boxfuse/flyway:latest
RUN mkdir /flyway/bin
ADD wait-for-it.sh /flyway/bin/wait-for-it.sh
RUN chmod 755 /flyway/bin/wait-for-it.sh
または、スクリプト/実行可能ファイルを含むボリュームをマウントします。
version: '3'
services:
...
migration:
image: boxfuse/flyway:latest
container_name: flyway_migration
volumes:
- ../sql:/flyway/sql
- ../bin:/flyway/bin
entrypoint: ["/flyway/bin/dockerize", "-wait", "tcp://my_sql_db:3306", "-timeout", "15s", "--", "flyway"]
...
ローカルディレクトリ../bin
にはdockerize
(またはwait-for-it.sh)が含まれます。
Dockerize/wait-for-it.shを動作させるにはこれで十分でしょう。ただし、両方のツールは、ポートが使用可能であることのみをチェックし、データベース自体が実際にリクエストを処理する準備ができていることをチェックしません。
とは言っても、docker-compose v2.1 depends_on: condition
構文を使用するのは合理的なアプローチかもしれません。あなたがコメントで言及したように、その構文はv3で削除され、多くの 人々はそれについて不満です 。
ただし、Docker開発者の1人が その問題に関するコメント で述べているように:
Swarmサービスを使用するつもりがない場合、v3形式を使用する理由はありません。
もう1つの方法は、Flywayコンテナを拡張して、 docker compose documentation に示されているPostgresに似たカスタムMySQLヘルスチェックスクリプトを追加することです。
#!/bin/bash
# wait-for-mysql.sh
set -e
Host="$1"
shift
cmd="$@"
until MYSQL_PWD=$MYSQL_ROOT_PASSWORD /usr/bin/mysql --Host="$Host" --user="root" --execute "SHOW DATABASES;"; do
>&2 echo "MySQL is unavailable - sleeping"
sleep 1
done
>&2 echo "MySQL is up - executing command"
exec $cmd
次に、Dockerfileを作成してFlywayを拡張し、MySQLクライアントをインストールして、このスクリプトを追加します。
FROM boxfuse/flyway:latest
RUN apt-get update && \
apt-get install -y mysql-client && \
mkdir /flyway/bin
ADD wait-for-mysql.sh /flyway/bin/wait-for-mysql.sh
RUN chmod 755 /flyway/bin/wait-for-mysql.sh
その後、作成ファイルでカスタムのFlywayイメージを使用できます。
version: '3'
services:
my_sql_percona:
...
migration:
build: ./flyway_mysql_client
container_name: flyway_migration
environment:
MYSQL_ROOT_PASSWORD: password
volumes:
- ../sql:/flyway/sql
entrypoint: ["bash", "/flyway/bin/wait-for-mysql.sh", "my_sql_percona", "--", "flyway"]
command: -url=jdbc:mysql://my_sql_db:3306/abhs?useUnicode=true&characterEncoding=utf8&useSSL=false -user=root -password=password migrate
depends_on:
- my_sql_percona
このアプローチの欠点は、依存関係ごとにカスタムヘルスチェックスクリプトを使用してすべてのコンテナを拡張する必要があることです。
V2.1 depends_on: condition
構文は、v3の restart policies を優先して削除されたようです。ただし、これらは deploy セクションの下にネストされています。
docker stack deployを使用してswarmにデプロイする場合にのみ有効であり、はdocker-composeupおよびdocker-compose実行によって無視されます。
したがって、さらにオプションは、次のようにdocker-composeを捨ててdocker swarmで実行することです。
on-failure
再起動ポリシーをFlywayコンテナに追加します。
version: '3'
services:
my_sql_percona:
...
migration:
image: boxfuse/flyway:latest
...
depends_on:
- my_sql_percona
deploy:
restart_policy:
condition: on-failure
群れクラスター(この場合は単一ノード)を作成します。
docker swarm init --advertise-addr <your-ip-address>
サービスをデプロイします。
docker stack deploy --compose-file docker-compose.yml flyway_mysql
Flywayコンテナは、エラーで終了するたびにswarmによって再起動され、最終的に正常に終了します。
これは機能するように見えますが、この場合の最善のアプローチであるかどうかはわかりません。たとえば、移行スクリプトのエラーが原因でFlywayコンテナが終了した場合、swarmは成功しない場合でもコンテナを再起動し続けます。
これらの5つの異なるアプローチで リポジトリ を作成しました。
個人的には、ヘルスチェックはデータベースコンテナー自体で保持され、それに依存する各コンテナーで複製されないため、v2.1のアプローチを使用すると思います。ただし、Swarmサービスを使用する必要はありませんので、適切なものを選択してください。 :-)
Flyway 5.2.0では、フライウェイが再接続を試行する1秒間隔の最大回数を指定するパラメーターconnectRetriesを追加できます。
command: -connectRetries=20 -url=jdbc:mysql://my_sql_db:3306/abhs?useUnicode=true&characterEncoding=utf8&useSSL=false -user=root -password=password migrate
または、migrate.dev.sh
を作成し、docker run .. boxfuse/flyway:latest
などを使用できます。
ここにサンプルファイルがあります
$FLYWAY_PASSWORD=$PGPASSWORD
$FLYWAY_URL=jdbc:postgresql://$DB_Host:$PORT/mydb
$FLYWAY_USER=postgres
docker run \
--rm \
-e FLYWAY_PASSWORD=$FLYWAY_PASSWORD \
-e FLYWAY_URL=$FLYWAY_URL \
-e FLYWAY_USER=$FLYWAY_USER \
-e FLYWAY_SCHEMAS=$FLYWAY_SCHEMAS \
-v $(pwd)/sql:/flyway/sql \
boxfuse/flyway:latest $1
そして、あなたはこのようにそれを呼び出すことができます
migrate.dev.sh info
またはmigrate.dev.sh migrate
移行が./sql/にあると仮定します