web-dev-qa-db-ja.com

PostgreSQLがより高価な結合順序を選択するのはなぜですか？

デフォルトを使用するPostgreSQL、および

default_statistics_target=1000
random_page_cost=1.5

バージョン

PostgreSQL 10.4 on x86_64-pc-linux-musl, compiled by gcc (Alpine 6.4.0) 6.4.0, 64-bit

私は掃除機をかけて分析しました。クエリは非常に簡単です。

SELECT r.price
FROM account_payer ap
  JOIN account_contract ac ON ap.id = ac.account_payer_id
  JOIN account_schedule "as" ON ac.id = "as".account_contract_id
  JOIN schedule s ON "as".id = s.account_schedule_id
  JOIN rate r ON s.id = r.schedule_id
WHERE ap.account_id = 8

すべてのid列は主キーであり、結合されるすべてのものは外部キー関係であり、各外部キーにはインデックスがあります。プラスaccount_payer.account_idのインデックス。

76k行を返すには3.93秒かかります。

Merge Join  (cost=8.06..83114.08 rows=3458267 width=6) (actual time=0.228..3920.472 rows=75548 loops=1)
  Merge Cond: (s.account_schedule_id = "as".id)
  ->  Nested Loop  (cost=0.57..280520.54 rows=6602146 width=14) (actual time=0.163..3756.082 rows=448173 loops=1)
        ->  Index Scan using schedule_account_schedule_id_idx on schedule s  (cost=0.14..10.67 rows=441 width=16) (actual time=0.035..0.211 rows=89 loops=1)
        ->  Index Scan using rate_schedule_id_code_modifier_facility_idx on rate r  (cost=0.43..486.03 rows=15005 width=10) (actual time=0.025..39.903 rows=5036 loops=89)
              Index Cond: (schedule_id = s.id)
  ->  Materialize  (cost=0.43..49.46 rows=55 width=8) (actual time=0.060..12.984 rows=74697 loops=1)
        ->  Nested Loop  (cost=0.43..49.32 rows=55 width=8) (actual time=0.048..1.110 rows=66 loops=1)
              ->  Nested Loop  (cost=0.29..27.46 rows=105 width=16) (actual time=0.030..0.616 rows=105 loops=1)
                    ->  Index Scan using account_schedule_pkey on account_schedule "as"  (cost=0.14..6.22 rows=105 width=16) (actual time=0.014..0.098 rows=105 loops=1)
                    ->  Index Scan using account_contract_pkey on account_contract ac  (cost=0.14..0.20 rows=1 width=16) (actual time=0.003..0.003 rows=1 loops=105)
                          Index Cond: (id = "as".account_contract_id)
              ->  Index Scan using account_payer_pkey on account_payer ap  (cost=0.14..0.21 rows=1 width=8) (actual time=0.003..0.003 rows=1 loops=105)
                    Index Cond: (id = ac.account_payer_id)
                    Filter: (account_id = 8)
                    Rows Removed by Filter: 0
Planning time: 5.843 ms
Execution time: 3929.317 ms

join_collapse_limit=1を設定すると、0.16秒かかり、25倍のスピードアップになります。

Nested Loop  (cost=6.32..147323.97 rows=3458267 width=6) (actual time=8.908..151.860 rows=75548 loops=1)
  ->  Nested Loop  (cost=5.89..390.23 rows=231 width=8) (actual time=8.730..11.655 rows=66 loops=1)
        Join Filter: ("as".id = s.account_schedule_id)
        Rows Removed by Join Filter: 29040
        ->  Index Scan using schedule_pkey on schedule s  (cost=0.27..17.65 rows=441 width=16) (actual time=0.014..0.314 rows=441 loops=1)
        ->  Materialize  (cost=5.62..8.88 rows=55 width=8) (actual time=0.001..0.011 rows=66 loops=441)
              ->  Hash Join  (cost=5.62..8.61 rows=55 width=8) (actual time=0.240..0.309 rows=66 loops=1)
                    Hash Cond: ("as".account_contract_id = ac.id)
                    ->  Seq Scan on account_schedule "as"  (cost=0.00..2.05 rows=105 width=16) (actual time=0.010..0.028 rows=105 loops=1)
                    ->  Hash  (cost=5.02..5.02 rows=48 width=8) (actual time=0.178..0.178 rows=61 loops=1)
                          Buckets: 1024  Batches: 1  Memory Usage: 11kB
                          ->  Hash Join  (cost=1.98..5.02 rows=48 width=8) (actual time=0.082..0.143 rows=61 loops=1)
                                Hash Cond: (ac.account_payer_id = ap.id)
                                ->  Seq Scan on account_contract ac  (cost=0.00..1.91 rows=91 width=16) (actual time=0.007..0.023 rows=91 loops=1)
                                ->  Hash  (cost=1.64..1.64 rows=27 width=8) (actual time=0.048..0.048 rows=27 loops=1)
                                      Buckets: 1024  Batches: 1  Memory Usage: 10kB
                                      ->  Seq Scan on account_payer ap  (cost=0.00..1.64 rows=27 width=8) (actual time=0.009..0.023 rows=27 loops=1)
                                            Filter: (account_id = 8)
                                            Rows Removed by Filter: 24
  ->  Index Scan using rate_schedule_id_code_modifier_facility_idx on rate r  (cost=0.43..486.03 rows=15005 width=10) (actual time=0.018..1.685 rows=1145 loops=66)
        Index Cond: (schedule_id = s.id)
Planning time: 4.692 ms
Execution time: 160.585 ms

これらの出力は私にはほとんど意味がありません。 1つ目は、スケジュールインデックスとレートインデックスのネストされたループ結合の（非常に高い）コストが280,500です。なぜPostgreSQLは非常に高価な結合を最初に意図的に選択するのですか？

コメントを介して要求される追加情報

rate_schedule_id_code_modifier_facility_idxは複合インデックスですか？

最初の列はschedule_idです。私はそれを専用のインデックスにして、クエリプランナーが選択しましたが、パフォーマンスやその他の方法でプランに影響を与えることはありません。

postgresqljoinexecution-planpostgresql-10
13
Paul Draper

統計が正確ではない（真空分析を実行して更新する）か、モデルに列を相関させている（そして、その事実をプレーナに通知するためにcreate statisticsを実行する必要がある）ようです。

join_collapseパラメータを使用すると、プランナは結合を再配置して、フェッチするデータが少ない結合を最初に実行できます。ただし、パフォーマンスのために、結合が多いクエリではプランナーにそれを実行させることはできません。デフォルトでは、最大結合数は8に設定されています。これを1に設定すると、その機能を無効にするだけです。

では、postgresはこのクエリがフェッチする行数をどのように予測するのでしょうか。統計を使用して行数を推定します。

Explainプランでわかるのは、いくつかの不正確な行数の見積もりがあることです（最初の値は見積もり、2番目は実際です）。

たとえば、ここ：

Materialize  (cost=0.43..49.46 rows=55 width=8) (actual time=0.060..12.984 rows=74697 loops=1)

プランナーは、実際に74697を取得したときに55行を取得すると推定しました。

私がやろうとしていること（私があなたの靴の中にいた場合）は次のとおりです。

  • analyze統計を更新するために必要な5つのテーブル
  • リプレイexplain analyze
  • 推定行番号と実際の行番号の違いを確認する
  • 推定行番号が正しい場合、おそらく計画が変更され、より効率的です。すべて問題なければ、自動バキューム設定を変更して、分析（およびバキューム）の実行頻度を上げることを検討してください。
  • 推定行番号がまだ間違っている場合は、テーブルにデータを関連付けているようです（3番目の正規形違反）。CREATE STATISTICS（ドキュメント ここ ）で宣言することを検討してください。

行の推定値とその計算に関する詳細情報が必要な場合は、Tomas Vondraのconf talk "Create statistics-What for it ??"で必要なものがすべて見つかります。 （スライド ここ ）

1
Arkhena