RDS for PostgreSQL で REPLICA IDENTITY FULL のパフォーマンスの問題を回避する

PostgreSQL 論理レプリケーションでは、サブスクライバーが更新または削除する正しい行を見つけることができるように、発行された各テーブルにレプリカ ID が必要です。デフォルトでは、プライマリキーがレプリカ ID として機能します。テーブルにプライマリキーまたは適切な一意のインデックスがない場合、レプリカ ID を FULL に設定することで、PostgreSQL は行全体をキーとして使用します。

REPLICA IDENTITY FULL はプライマリキーなしでテーブルをレプリケートするという即時の問題を解決しますが、パブリッシャーとサブスクライバーの両方で重大なパフォーマンスの問題が発生する可能性があります。これらの影響を理解することは、ブルー/グリーンデプロイなど、内部で論理レプリケーションに依存する機能を含め、RDS for PostgreSQL で論理レプリケーションを使用するすべての人にとって重要です。

REPLICA IDENTITY FULL が問題を引き起こす理由

パブリッシャーの WAL ボリュームの増加

REPLICA IDENTITY 設定は、更新または削除された行を識別するために PostgreSQL がログ先行書き込み (WAL) に書き込む情報を制御します。デフォルトのレプリカ ID (プライマリキー) では、キー列のみが古い行 ID として記録されます。FULL を使用すると、PostgreSQL は UPDATE および DELETE のたびに、すべての列の古い値を記録します。これにはいくつかの影響があります。

サブスクライバーでの行検索の遅延

サブスクライバーが UPDATE または DELETE ログレコードを受信すると、テーブルのローカルコピーで一致する行を見つける必要があります。REPLICA IDENTITY FULL を使用すると、サブスクライバーは古い行イメージのすべての列値に一致する行を検索します。

PostgreSQL がこの検索を実行する方法は、PostgreSQL メジャーバージョンによって異なります。

REPLICA IDENTITY FULL がレプリケーション遅延を引き起こす方法

上記の 2 つの問題、つまりパブリッシャーの WAL が大きいこととサブスクライバーの行検索が遅いことが組み合わさって、レプリケーションの遅延が発生します。

デフォルトでは、PostgreSQL の論理レプリケーションは、サブスクリプションごとに単一の適用ワーカープロセスを使用して、パブリッシャーから変更を受け取り、サブスクライバーのテーブルに適用します。適用ワーカーは、変更をコミット順に、一度に 1 行ずつ連続して処理します。つまり、サブスクライバーのスループットは、個々の変更を適用する速度によって制限されます。

適切なインデックスのないテーブルに REPLICA IDENTITY FULL が設定されている場合、UPDATE および DELETE のたびに、一致する行を見つけるためにテーブル全体のシーケンシャルスキャンが必要です。テーブルに数百万行ある場合、これらの各オペレーションには数秒以上かかることがあります。その結果、連鎖的な問題が発生します。

この問題は、頻繁に UPDATE または DELETE オペレーションを受け取るテーブルでは特に深刻です。INSERT オペレーションは、サブスクライバーの行検索を必要としないため、影響を受けません。

ブルー/グリーンデプロイへの影響

Amazon RDS のブルー/グリーンデプロイでは、内部的に論理レプリケーションを使用して、データベースごとに 1 つのサブスクリプションを設定することで、グリーン環境とブルー環境の同期を維持します。グリーン環境の論理的なレプリケーション適用プロセスは、シングルスレッドです。単一の適用ワーカープロセスは、ブルー環境からすべての変更を受け取り、コミット順に一度に 1 つずつ適用します。ブルー/グリーンレプリケーションパスに並列適用はありません。

このシングルスレッド設計は、グリーン環境がブルー環境に対応する能力が、適用ワーカーが個々の変更を処理できる速度に完全に依存することを意味します。テーブルがプライマリキーまたは適切なインデックスなしで REPLICA IDENTITY FULL を使用する場合、適用ワーカーへの影響は PostgreSQL バージョンによって異なります。16 より前のバージョンでは、それらのテーブルに対するすべての UPDATE および DELETE で、適用ワーカーはテーブル全体のシーケンシャルスキャンを実行して一致する行を見つける必要がありました。バージョン 16 以降では、PostgreSQL は適切なインデックスが利用可能であればそれを使用しますが、対象となるインデックスが存在しない場合は、適用ワーカーはシーケンシャルスキャンにフォールバックします。適用ワーカーが 1 行の大きなテーブルをスキャンしている間、すべてのテーブルにわたるその他の保留中の変更はすべてキューに入れられて待機します。

ブルー/グリーンデプロイへの影響は重大です。

これらの問題を回避するために、ブルー/グリーンデプロイを作成する前に、すべてのテーブルにプライマリキー、または ALTER TABLE ... REPLICA IDENTITY USING INDEX を使用してレプリカ ID として明示的に設定された適切な一意のインデックスが存在することを確認します。PostgreSQL 16 以降では、サブスクライバーが選択性の低いインデックスを選択したり、シーケンシャルスキャンにフォールバックしたりする可能性があるため、暗黙的なインデックス選択を伴う REPLICA IDENTITY FULL に依存しないでください。代表的な書き込みワークロードを使用してデプロイをテストし、グリーン環境が維持できることを確認します。

ブルー/グリーンデプロイの制限事項の詳細については、「Amazon RDS のブルー/グリーンデプロイの制限と考慮事項」を参照してください。ベストプラクティスについては、RDS for PostgreSQL のブルー/グリーンデプロイのベストプラクティスを参照してください。

REPLICA IDENTITY FULL を使用してテーブルを識別する方法

次のクエリを実行して、REPLICA IDENTITY FULL を持つすべてのテーブルを検索します。

SELECT n.nspname AS schema, c.relname AS table_name, c.relreplident
FROM pg_catalog.pg_class c
JOIN pg_catalog.pg_namespace n ON n.oid = c.relnamespace
WHERE c.relkind = 'r'
  AND c.relreplident = 'f'
  AND n.nspname NOT IN ('pg_catalog', 'information_schema')
ORDER BY n.nspname, c.relname;

relreplident 列の値は次のとおりです。

回避策とベストプラクティス

可能な限りプライマリキーを追加する

最も効果的な解決策は、プライマリキーがないテーブルにプライマリキーを追加することです。プライマリキーが存在する場合、PostgreSQL はそれをデフォルトのレプリカ ID として使用します。これにより、サブスクライバーでの効率的な行検索が可能になり、パブリッシャーの WAL のオーバーヘッドが最小限に抑えられます。

ALTER TABLE my_table ADD COLUMN id bigint GENERATED ALWAYS AS IDENTITY PRIMARY KEY;

アプリケーションの制約によりプライマリキーを追加できない場合は、NOT NULL 列のセットに一意のインデックスを追加し、それをレプリカ ID として設定することを検討してください。

CREATE UNIQUE INDEX my_table_replica_idx ON my_table (col1, col2);
ALTER TABLE my_table REPLICA IDENTITY USING INDEX my_table_replica_idx;

暗黙的なインデックス選択に依存しない (PostgreSQL 16 以降)

PostgreSQL 16 以降、サブスクライバーの適用ワーカーは、レプリカ ID が FULL に設定されている場合、レプリカ ID として明示的に設定されていない場合でも、行検索に Btree インデックスまたはハッシュインデックスを使用できます。これにより、場合によってはシーケンシャルスキャンが防止されますが、この暗黙的な動作に依存することは、以下の理由からアンチパターンと言えます。

代わりに、レプリケートされたすべてのテーブルのレプリカ ID を明示的に設定します。

REPLICA IDENTITY FULL は、どちらのオプションも実現できないテーブルのみに使用してください。また、パフォーマンスは直接制御できない要因に依存することを理解します。

レプリケーション遅延のモニタリング

REPLICA IDENTITY FULL を使用する場合は、レプリケーションの遅延を注意深くモニタリングして、サブスクライバーのスローダウンが深刻化する前に検出します。

パブリッシャー側で、現在の WAL 位置とサブスクライバーが確認した位置の間の遅延を確認します。

SELECT slot_name, confirmed_flush_lsn, pg_current_wal_lsn(),
       (pg_current_wal_lsn() - confirmed_flush_lsn) AS lag_bytes
FROM pg_replication_slots
WHERE slot_type = 'logical';

lag_bytes の値が着実に増加している場合、サブスクライバーが遅れていることを示しています。pg_stat_replication_slots ビューには、各レプリケーションスロットの使用状況に関する追加の統計が表示されます。

サブスクライバー側では、pg_stat_subscription ビューには、最後に受信および報告された WAL ロケーションを含む各適用ワーカーの状態が表示されます。

SELECT subname, received_lsn, latest_end_lsn,
       last_msg_send_time, last_msg_receipt_time
FROM pg_stat_subscription;

received_lsn と latest_end_lsn の間に大きなギャップがある場合、または last_msg_send_time のタイムスタンプが古い場合は、適用ワーカーが処理に追いついていないことを示している可能性があります。pg_stat_subscription_stats ビューでは、遅延の原因となる可能性のあるエラーや競合も追跡されます。

RDS for PostgreSQL では、元も遅延しているレプリケーションスロットの遅延をバイト単位で追跡する CloudWatch メトリクス OldestReplicationSlotLag をモニタリングすることもできます。値の増加は、レプリケーション遅延の早期警告サインです。

適用中に最適でないインデックスを使用している可能性のあるテーブルを確認する

サブスクライバーでは、適用ワーカーが過剰なヒープ読み取りを実行しているテーブルを特定できます。これは、適用中にテーブルに行検索の効率的なインデックスがないことを示している可能性があります。サブスクライバーに対して次のクエリを実行します。

SELECT relname, heap_blks_read, heap_blks_hit,
       idx_blks_read, idx_blks_hit,
       heap_blks_read + heap_blks_hit AS total_heap_access
FROM pg_statio_user_tables
WHERE heap_blks_read > 0
ORDER BY heap_blks_read DESC
LIMIT 10;

heap_blks_read に比べて idx_blks_read の値が高いテーブルは、適用ワーカーが UPDATE および DELETE オペレーションのために行検索する際に、効率的なインデックスを使用していないことを示している可能性があります。これは、REPLICA IDENTITY FULL を使用している場合に発生するレプリケーション遅延の一般的な原因です。

REPLICA IDENTITY FULL が必要かどうかを評価する

REPLICA IDENTITY FULL を設定する前に、本当に必要かどうかを検討してください。これを使用する一般的な理由は次のとおりです。

プライマリキーがないことが唯一の理由がであれば、プライマリキーの追加がほとんどの場合良い方法です。CDC の完全な前イメージが必要な場合は、CDC コンシューマーが外部で状態を維持することで完全な行を再構築できるかどうかを検討してください。これにより、REPLICA IDENTITY FULL の WAL とサブスクライバーのオーバーヘッドを回避できます。

レコメンデーションの概要