Skip to content

Instantly share code, notes, and snippets.

Show Gist options
  • Save kenzo0107/031f19e537ab1c3c7d7fbdf82fc8cc71 to your computer and use it in GitHub Desktop.
Save kenzo0107/031f19e537ab1c3c7d7fbdf82fc8cc71 to your computer and use it in GitHub Desktop.

https://docs.confluent.io/cloud/current/connectors/networking/internet-resource.html#clusters-connect-cloud

以下は、Confluent の公式ドキュメント「Manage Networking for Confluent Cloud Connectors」の内容を、日本語に和訳して Markdown 形式でまとめたものです。


Confluent Cloud コネクタ向けネットワーキング管理(Manage Networking for Confluent Cloud Connectors)

このトピックでは、Confluent Cloud における完全管理型コネクタ(fully managed connector)のネットワーキング機能について概観しています。ネットワーク接続方式(パブリック/プライベート)を検討する際の出発点となる図付のまとめが用意されています。(docs.confluent.io)


サポートされるターゲットサービスとネットワーキング方式

以下の表は、外部ターゲットサービスに対してサポートされるネットワーキング方式を一覧化したものです。各クラウドプロバイダーの PrivateLink や Peering 経由、Public 接続について、対応状況がまとめられています。(docs.confluent.io)

外部ターゲットサービス AWS PrivateLink (Dedicated/Enterprise) Azure PrivateLink (Dedicated/Enterprise) GCP PrivateLink (Dedicated) Peering / Transit Gateway パブリック接続
Self‑managed services Yes Yes Yes Yes (DNS フォワーディング付き) 公開エンドポイント時のみ
AWS first‑party services (S3, Kinesis...等) Yes パブリックエンドポイント時のみ パブリックエンドポイント時のみ Yes 公開エンドポイント時のみ
RDS Yes パブリックエンドポイント時のみ パブリックエンドポイント時のみ Yes パブリックエンドポイント時のみ
OpenSearch (Private 接続が必要な場合は OpenSearch Ingestion を使用) パブリックエンドポイント時のみ パブリックエンドポイント時のみ Yes パブリックエンドポイント時のみ
Azure first‑party services (Blob 等) パブリックエンドポイント時のみ Yes パブリックエンドポイント時のみ Yes (Azure DNS フォワーディング) パブリックエンドポイント時のみ
Google Cloud first‑party services パブリックエンドポイント時のみ パブリックエンドポイント時のみ Yes パブリックエンドポイント時のみ パブリックエンドポイント時のみ
Snowflake Yes Yes Yes Yes パブリックエンドポイント時のみ
MongoDB Atlas Yes Yes Yes Yes パブリックエンドポイント時のみ
Elasticsearch, Salesforce, Splunk 等 Yes Yes Yes Yes パブリックエンドポイント時のみ
Couchbase Yes Yes No No パブリックエンドポイント時のみ

※詳細な設定/導入方法は、それぞれ “Use AWS Egress PrivateLink Endpoints” などの専用ページを参照してください。(docs.confluent.io)


Egress(送信)IP アドレス範囲

Connector ノードはクラスタと同じ VPC/VNet 上で動作します(Basic/Standard/Enterprise/Dedicated/Freight の全クラスタタイプに共通)(docs.confluent.io)。

  • パブリック接続時

    • Public Endpoint:指定された公共の Egress IP アドレス範囲を使用
    • VPC Peering, Transit Gateway:クラウドプロバイダーの該当地域から動的に割り当てられたパブリック IP/CIDR を使用
    • PrivateLink:同様に動的なパブリック IP/CIDR を使用
  • プライベート接続時(プライベート IP 経由)

    • VPC Peering, Transit Gateway:DNS フォワーディングが必要な場合あり。ソース IP は Confluent クラスタのために顧客が設定した /16 CIDR 範囲を使用

    • PrivateLink:

      • AWS:Egress PrivateLink Endpoint を利用
      • Azure:Egress Private Link Endpoint を利用
      • GCP:Egress Private Service Connect Endpoint を利用
      • 料金:タスクあたり $0.03/時間 のプレミアム料金あり
    • Public Endpoint:プライベート IP 接続には対応不可、該当しない

詳細な IP 範囲は “Public Egress IP Addresses for Confluent Cloud Connectors” で確認可能です。(docs.confluent.io)


DNS ゾーン(名前解決)について

DNS(ドメイン名から IP アドレスへの変換)には、以下のような区分があります。(docs.confluent.io)

  • Public DNS:インターネット上で名前解決可能
  • Private DNS:プライベートネットワーク内(VPC など)でのみ解決可能

Fully managed connector は、以下の DNS をサポートしています:

プロバイダー Public DNS Private DNS (<DNS フォワーディング>)
AWS 対応 対応(DNS フォワーディング必要)
Azure 対応 対応(DNS フォワーディング必要)
Google Cloud 対応 対応(DNS フォワーディング必要)

dig 8.8.8.8 <hostname> コマンド等で、Public DNS かどうか確認できます。(docs.confluent.io)


トラブルシューティング:ネットワーキング関連のエラー対応

ピアリング/Transit Gateway に関連する問題

  • FQDN(完全修飾ドメイン名)での接続失敗

    • プライベート IP に直接接続できるなら、DNS 解決に問題がある可能性
    • 直接接続もできない場合は、ピアリング設定、ルート、ファイアウォール、セキュリティグループなどを確認。ポートやプロトコルも要チェック
  • 公開 DNS に非対応の DNS による FQDN 接続エラー

    • DNS フォワーディングの設定が適切か
    • ピアリング/Transit Gateway の設定、ルート、セキュリティ設定の確認
    • 使用ポート、プロトコルの設定も要確認

PrivateLink に関連する問題

  • プライベート IP への接続エラー

    • Egress PrivateLink Endpoint の設定確認が必要
  • FQDN による接続トラブル

    • FQDN が公開で解決可能な場合は設定確認
    • 非公開 FQDN の場合は、Confluent Cloud 側でのプライベート DNS レコード設定が必要

詳しくは専用ガイドページ「Use AWS Egress PrivateLink Endpoints for Dedicated Clusters on Confluent Cloud」などを参照してください。(docs.confluent.io)


まとめ

  • Confluent Cloud 完全管理型コネクタは、Public/Private 各種接続方式を幅広くサポート(各クラウドプロバイダー対応)
  • Egress IP の利用や DNS 解決方式も、ネットワークタイプ(Public/Private)に応じて異なる
  • トラブル発生時は、接続方式によって考慮すべき項目が異なるため、DNS 設定やファイアウォール、ルーティングなど個別チェックが重要

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment