Google Certified Professional Data Engineer Exam (Professional-Data-Engineer日本語版) - Professional-Data-Engineer日本語 模擬練習
Cloud Composer を使用して ETL パイプラインをオーケストレーションしています。Apache Airflow の有向非巡回グラフ (DAG) 内のタスクの 1 つがサードパーティ サービスに依存しています。タスクが成功しなかった場合に通知を受け取りたい場合、どうすればよいでしょうか？
正解: D
Google Cloud で実行されるマルチステップ データ パイプラインの実行を自動化したいと考えています。パイプラインには、相互に複数の依存関係を持つ Cloud Dataproc ジョブと Cloud Dataflow ジョブが含まれています。可能な場合はマネージド サービスを使用し、パイプラインは毎日実行します。どのツールを使用すればよいでしょうか。
正解: A
ケーススタディ1 - Flowlogistic
会社概要
Flowlogisticは、物流およびサプライチェーン分野におけるリーディングプロバイダーです。世界中の企業が資源を管理し、最終目的地まで輸送できるよう支援しています。同社は急速に成長を遂げ、鉄道、トラック、航空機、海上輸送など、サービス提供範囲を拡大しています。
会社概要
同社は地域密着型のトラック運送会社として創業し、その後、他の物流市場へと事業を拡大しました。しかし、インフラの更新が遅れたため、注文や出荷の管理・追跡がボトルネックとなっていました。業務改善のため、Flowlogisticは小包レベルでリアルタイムに出荷を追跡する独自の技術を開発しました。しかし、Apache Kafkaをベースとした既存の技術スタックでは処理量に対応できないため、この技術を導入することができませんでした。さらに、Flowlogisticは注文と出荷に関する詳細な分析を行い、最適なリソース配分方法を検討したいと考えています。
解決策のコンセプト
Flowlogisticはクラウドを使用して2つのコンセプトを実現したいと考えています。
* 自社独自の技術を活用したリアルタイム在庫追跡システムにより、積荷の位置をリアルタイムで表示する。
* 構造化データと非構造化データの両方を含むすべての注文と出荷ログの分析を実行して、リソースを最適に展開する方法、情報を拡大する市場を決定します。
彼らはまた、予測分析を用いて、出荷の遅延が発生する時期をより早く把握したいと考えている。
既存の技術環境
Flowlogisticアーキテクチャは単一のデータセンターに存在します。
* データベース
2つのクラスターに8台の物理サーバーを配置
- SQL Server - ユーザーデータ、在庫、静的データ
物理サーバー3台
- Cassandra - メタデータ、メッセージの追跡
10台のKafkaサーバー - メッセージ集約とバッチ挿入の追跡
* アプリケーションサーバー - 顧客向けフロントエンド、注文/税関向けミドルウェア
20台の物理サーバーに分散された60台の仮想マシン
- Tomcat - Javaサービス
- Nginx - 静的コンテンツ
- バッチサーバー
* 収納機器
- 仮想マシン(VM)ホスト向けiSCSI
- ファイバーチャネルストレージエリアネットワーク(FC SAN) - SQLサーバーストレージ
- ネットワーク接続ストレージ(NAS)のイメージストレージ、ログ、バックアップ
* Apache Hadoop/Sparkサーバー10台
- コアデータレイク
- データ分析の作業負荷
* その他サーバー20台
- Jenkins、監視、バスティオンホスト、
ビジネス要件
* 拡張可能な生産環境を備え、信頼性が高く再現性のある環境を構築する。
分析のためにデータを一元化されたデータレイクに集約する
* 過去のデータを使用して、将来の出荷に関する予測分析を実行します。
独自の技術を用いて、世界中のすべての貨物を正確に追跡します。
* 新しいリソースを迅速に提供することで、ビジネスの俊敏性とイノベーションのスピードを向上させる
クラウドにおけるパフォーマンスを考慮したアーキテクチャの分析と最適化
* 他のすべての要件を満たしている場合は、クラウドに完全移行する
技術要件
ストリーミングデータとバッチデータの両方を処理する
* 既存のHadoopワークロードを移行する
* 会社の変化するニーズに対応できるよう、アーキテクチャが拡張性と柔軟性を備えていることを確認する。
可能な限りマネージドサービスを利用する
* データの転送時および保存時の暗号化
* 本番データセンターとクラウド環境の間にVPNを接続する SEOステートメント 当社は急速に成長してきたため、インフラストラクチャをアップグレードできないことが、さらなる成長と効率性を阻害しています。当社は世界中に商品を輸送することには効率的ですが、データの移動には非効率的です。
顧客がどこにいて、何を発送しているのかをより簡単に把握できるように、情報を整理する必要があります。
CTO声明
ITはこれまで当社にとって優先事項ではなかったため、データ量の増加に伴い、テクノロジーへの投資が十分ではありませんでした。IT管理を担当する優秀なスタッフはいますが、彼らはインフラ管理に追われ、データの整理、分析ツールの構築、CFOの追跡テクノロジーの実装方法の検討といった、本当に重要な業務に時間を割くことができません。
最高財務責任者(CFO)声明
当社の競争優位性の一つは、出荷や納品の遅延に対して自らにペナルティを課している点です。
出荷状況の常時把握は、当社の収益と利益に直接影響します。さらに、サーバー環境の構築に資金を投入したくありません。
FlowlogisticはGoogle BigQueryを主要な分析システムとして使用したいと考えていますが、Apache HadoopとSparkのワークロードもまだ残っており、これらをBigQueryに移行することはできません。Flowlogisticは、両方のワークロードに共通するデータをどのように保存すればよいのか分かりません。どうすればよいでしょうか？
会社概要
Flowlogisticは、物流およびサプライチェーン分野におけるリーディングプロバイダーです。世界中の企業が資源を管理し、最終目的地まで輸送できるよう支援しています。同社は急速に成長を遂げ、鉄道、トラック、航空機、海上輸送など、サービス提供範囲を拡大しています。
会社概要
同社は地域密着型のトラック運送会社として創業し、その後、他の物流市場へと事業を拡大しました。しかし、インフラの更新が遅れたため、注文や出荷の管理・追跡がボトルネックとなっていました。業務改善のため、Flowlogisticは小包レベルでリアルタイムに出荷を追跡する独自の技術を開発しました。しかし、Apache Kafkaをベースとした既存の技術スタックでは処理量に対応できないため、この技術を導入することができませんでした。さらに、Flowlogisticは注文と出荷に関する詳細な分析を行い、最適なリソース配分方法を検討したいと考えています。
解決策のコンセプト
Flowlogisticはクラウドを使用して2つのコンセプトを実現したいと考えています。
* 自社独自の技術を活用したリアルタイム在庫追跡システムにより、積荷の位置をリアルタイムで表示する。
* 構造化データと非構造化データの両方を含むすべての注文と出荷ログの分析を実行して、リソースを最適に展開する方法、情報を拡大する市場を決定します。
彼らはまた、予測分析を用いて、出荷の遅延が発生する時期をより早く把握したいと考えている。
既存の技術環境
Flowlogisticアーキテクチャは単一のデータセンターに存在します。
* データベース
2つのクラスターに8台の物理サーバーを配置
- SQL Server - ユーザーデータ、在庫、静的データ
物理サーバー3台
- Cassandra - メタデータ、メッセージの追跡
10台のKafkaサーバー - メッセージ集約とバッチ挿入の追跡
* アプリケーションサーバー - 顧客向けフロントエンド、注文/税関向けミドルウェア
20台の物理サーバーに分散された60台の仮想マシン
- Tomcat - Javaサービス
- Nginx - 静的コンテンツ
- バッチサーバー
* 収納機器
- 仮想マシン(VM)ホスト向けiSCSI
- ファイバーチャネルストレージエリアネットワーク(FC SAN) - SQLサーバーストレージ
- ネットワーク接続ストレージ(NAS)のイメージストレージ、ログ、バックアップ
* Apache Hadoop/Sparkサーバー10台
- コアデータレイク
- データ分析の作業負荷
* その他サーバー20台
- Jenkins、監視、バスティオンホスト、
ビジネス要件
* 拡張可能な生産環境を備え、信頼性が高く再現性のある環境を構築する。
分析のためにデータを一元化されたデータレイクに集約する
* 過去のデータを使用して、将来の出荷に関する予測分析を実行します。
独自の技術を用いて、世界中のすべての貨物を正確に追跡します。
* 新しいリソースを迅速に提供することで、ビジネスの俊敏性とイノベーションのスピードを向上させる
クラウドにおけるパフォーマンスを考慮したアーキテクチャの分析と最適化
* 他のすべての要件を満たしている場合は、クラウドに完全移行する
技術要件
ストリーミングデータとバッチデータの両方を処理する
* 既存のHadoopワークロードを移行する
* 会社の変化するニーズに対応できるよう、アーキテクチャが拡張性と柔軟性を備えていることを確認する。
可能な限りマネージドサービスを利用する
* データの転送時および保存時の暗号化
* 本番データセンターとクラウド環境の間にVPNを接続する SEOステートメント 当社は急速に成長してきたため、インフラストラクチャをアップグレードできないことが、さらなる成長と効率性を阻害しています。当社は世界中に商品を輸送することには効率的ですが、データの移動には非効率的です。
顧客がどこにいて、何を発送しているのかをより簡単に把握できるように、情報を整理する必要があります。
CTO声明
ITはこれまで当社にとって優先事項ではなかったため、データ量の増加に伴い、テクノロジーへの投資が十分ではありませんでした。IT管理を担当する優秀なスタッフはいますが、彼らはインフラ管理に追われ、データの整理、分析ツールの構築、CFOの追跡テクノロジーの実装方法の検討といった、本当に重要な業務に時間を割くことができません。
最高財務責任者(CFO)声明
当社の競争優位性の一つは、出荷や納品の遅延に対して自らにペナルティを課している点です。
出荷状況の常時把握は、当社の収益と利益に直接影響します。さらに、サーバー環境の構築に資金を投入したくありません。
FlowlogisticはGoogle BigQueryを主要な分析システムとして使用したいと考えていますが、Apache HadoopとSparkのワークロードもまだ残っており、これらをBigQueryに移行することはできません。Flowlogisticは、両方のワークロードに共通するデータをどのように保存すればよいのか分かりません。どうすればよいでしょうか？
正解: A
サードパーティから毎月 CSV 形式のデータ ファイルを受け取ります。このデータをクレンジングする必要がありますが、ファイルのスキーマは 3 か月ごとに変更されます。これらの変換を実装するための要件は次のとおりです。
スケジュールに従って変換を実行する
開発者以外のアナリストが変換を変更できるようにする
変換を設計するためのグラフィカルツールの提供
何をすべきでしょうか?
スケジュールに従って変換を実行する
開発者以外のアナリストが変換を変更できるようにする
変換を設計するためのグラフィカルツールの提供
何をすべきでしょうか?
正解: D
ケーススタディ2 - MJTelco
会社概要
MJTelcoは、世界中の急速に成長している未開拓市場でネットワーク構築を目指すスタートアップ企業です。同社は革新的な光通信ハードウェアに関する特許を保有しており、これらの特許に基づき、安価なハードウェアで信頼性の高い高速バックボーンリンクを多数構築することが可能です。
会社概要
経験豊富な通信業界の幹部によって設立されたMJTelcoは、もともと宇宙空間における通信の課題を克服するために開発された技術を活用しています。事業運営の根幹となるのは、リアルタイム分析を可能にし、機械学習を組み込んでトポロジーを継続的に最適化する分散型データインフラストラクチャの構築です。ハードウェアが安価であるため、ネットワークを過剰に展開することで、地域情勢の変化がロケーションの利用可能性やコストに与える影響に対応できるように計画しています。
彼らの経営陣と運用チームは世界中に分散しており、システム内ではデータ利用者とデータ提供者の間で多対多の関係が構築されています。慎重な検討の結果、彼らはパブリッククラウドが自社のニーズを満たす最適な環境であると判断しました。
解決策のコンセプト
MJTelcoは自社ラボで概念実証(PoC)プロジェクトを成功裏に実施している。彼らには主に2つのニーズがある。
* 5万件以上のインストール規模に拡大する際に発生する、より大量のデータフローをサポートできるよう、PoC(概念実証)を拡張し、強化する。
* 機械学習サイクルを改良し、トポロジー定義を制御するために使用する動的モデルを検証および改善する。
MJTelcoは、実験の実行、新機能の展開、および本番顧客へのサービス提供のニーズを満たすために、開発/テスト、ステージング、および本番という3つの独立した運用環境も使用します。
ビジネス要件
* 予測不可能な分散型通信ユーザーコミュニティにおいて、必要な時に必要な場所でリソースをインスタンス化することで、最小限のコストで本番環境を拡張します。
最先端の機械学習と分析を保護するため、独自のデータのセキュリティを確保する。
分散した研究者が分析のためにデータに確実かつタイムリーにアクセスできるようにする
顧客に影響を与えることなく、機械学習モデルの迅速な反復開発を可能にする隔離された環境を維持する。
技術要件
テレメトリデータの安全かつ効率的な輸送と保管を確保する
* インスタンスを迅速に拡張し、それぞれ複数のフローを持つ10,000～100,000のデータプロバイダーをサポートします。
* 最大2年分のデータを追跡するデータテーブルに対して分析とプレゼンテーションが可能で、1日あたり約1億件のレコードを保存できます。
* テレメトリフローと本番環境における学習サイクルの両方において、データパイプラインの問題を認識することに重点を置いた監視インフラストラクチャの迅速な反復をサポートします。
CEO声明
当社のビジネスモデルは、特許、分析技術、そして動的な機械学習に支えられています。低価格ながら高い信頼性を実現するハードウェア構成により、コスト面で優位性を確保しています。信頼性と容量に関する当社のコミットメントを満たすためには、大規模な分散データパイプラインを迅速に安定化させる必要があります。
CTO声明
当社のパブリッククラウドサービスは、宣伝どおりに動作する必要があります。拡張性とデータセキュリティを確保できるリソースが必要です。また、データサイエンティストがモデルを綿密に分析し、迅速に適応できる環境も必要です。データの処理に自動化を活用しているため、開発環境とテスト環境も、反復作業に合わせて適切に動作する必要があります。
最高財務責任者(CFO)声明
このプロジェクトは規模が大きすぎるため、データと分析に必要なハードウェアとソフトウェアを自社で維持管理することはできません。また、これほど多くのデータフィードを監視する運用チームを配置する余裕もないため、自動化とインフラストラクチャに頼ることになります。Google Cloudの機械学習を活用することで、当社の定量分析担当者はデータパイプラインの問題ではなく、より価値の高い課題に取り組むことができるようになります。
MJTelcoのGoogle Cloud Dataflowパイプラインは、50,000台の設置場所からのデータ受信を開始する準備が整いました。Cloud Dataflowが必要に応じてコンピューティング能力を拡張できるようにしたいと考えています。どのCloud Dataflowパイプライン構成設定を更新する必要がありますか？
会社概要
MJTelcoは、世界中の急速に成長している未開拓市場でネットワーク構築を目指すスタートアップ企業です。同社は革新的な光通信ハードウェアに関する特許を保有しており、これらの特許に基づき、安価なハードウェアで信頼性の高い高速バックボーンリンクを多数構築することが可能です。
会社概要
経験豊富な通信業界の幹部によって設立されたMJTelcoは、もともと宇宙空間における通信の課題を克服するために開発された技術を活用しています。事業運営の根幹となるのは、リアルタイム分析を可能にし、機械学習を組み込んでトポロジーを継続的に最適化する分散型データインフラストラクチャの構築です。ハードウェアが安価であるため、ネットワークを過剰に展開することで、地域情勢の変化がロケーションの利用可能性やコストに与える影響に対応できるように計画しています。
彼らの経営陣と運用チームは世界中に分散しており、システム内ではデータ利用者とデータ提供者の間で多対多の関係が構築されています。慎重な検討の結果、彼らはパブリッククラウドが自社のニーズを満たす最適な環境であると判断しました。
解決策のコンセプト
MJTelcoは自社ラボで概念実証(PoC)プロジェクトを成功裏に実施している。彼らには主に2つのニーズがある。
* 5万件以上のインストール規模に拡大する際に発生する、より大量のデータフローをサポートできるよう、PoC(概念実証)を拡張し、強化する。
* 機械学習サイクルを改良し、トポロジー定義を制御するために使用する動的モデルを検証および改善する。
MJTelcoは、実験の実行、新機能の展開、および本番顧客へのサービス提供のニーズを満たすために、開発/テスト、ステージング、および本番という3つの独立した運用環境も使用します。
ビジネス要件
* 予測不可能な分散型通信ユーザーコミュニティにおいて、必要な時に必要な場所でリソースをインスタンス化することで、最小限のコストで本番環境を拡張します。
最先端の機械学習と分析を保護するため、独自のデータのセキュリティを確保する。
分散した研究者が分析のためにデータに確実かつタイムリーにアクセスできるようにする
顧客に影響を与えることなく、機械学習モデルの迅速な反復開発を可能にする隔離された環境を維持する。
技術要件
テレメトリデータの安全かつ効率的な輸送と保管を確保する
* インスタンスを迅速に拡張し、それぞれ複数のフローを持つ10,000～100,000のデータプロバイダーをサポートします。
* 最大2年分のデータを追跡するデータテーブルに対して分析とプレゼンテーションが可能で、1日あたり約1億件のレコードを保存できます。
* テレメトリフローと本番環境における学習サイクルの両方において、データパイプラインの問題を認識することに重点を置いた監視インフラストラクチャの迅速な反復をサポートします。
CEO声明
当社のビジネスモデルは、特許、分析技術、そして動的な機械学習に支えられています。低価格ながら高い信頼性を実現するハードウェア構成により、コスト面で優位性を確保しています。信頼性と容量に関する当社のコミットメントを満たすためには、大規模な分散データパイプラインを迅速に安定化させる必要があります。
CTO声明
当社のパブリッククラウドサービスは、宣伝どおりに動作する必要があります。拡張性とデータセキュリティを確保できるリソースが必要です。また、データサイエンティストがモデルを綿密に分析し、迅速に適応できる環境も必要です。データの処理に自動化を活用しているため、開発環境とテスト環境も、反復作業に合わせて適切に動作する必要があります。
最高財務責任者(CFO)声明
このプロジェクトは規模が大きすぎるため、データと分析に必要なハードウェアとソフトウェアを自社で維持管理することはできません。また、これほど多くのデータフィードを監視する運用チームを配置する余裕もないため、自動化とインフラストラクチャに頼ることになります。Google Cloudの機械学習を活用することで、当社の定量分析担当者はデータパイプラインの問題ではなく、より価値の高い課題に取り組むことができるようになります。
MJTelcoのGoogle Cloud Dataflowパイプラインは、50,000台の設置場所からのデータ受信を開始する準備が整いました。Cloud Dataflowが必要に応じてコンピューティング能力を拡張できるようにしたいと考えています。どのCloud Dataflowパイプライン構成設定を更新する必要がありますか？
正解: C
Dataflow を使用して、Pub/Sub からユーザーの Web サイトクリックアクティビティを分析するストリーミングデータパイプラインを構築しています。各ユーザーのサイト訪問におけるクリック数を計算する必要があります。サイト訪問は、特定のユーザーによるアクティビティ期間の後に 30 分間の非アクティビティ期間が続く期間として定義されます。どうすればよいですか？
正解: A
解説: (PassTest メンバーにのみ表示されます)
数百万件の機密性の高い患者記録をリレーショナル データベースから BigQuery にコピーする必要があります。データベースの合計サイズは 10 TB です。安全で時間効率の良いソリューションを設計する必要があります。どうすればよいでしょうか。
正解: B
解説: (PassTest メンバーにのみ表示されます)
Kafka クラスタを介して Redis クラスタにストリーミング データ挿入を設定します。両方のクラスタは Compute Engine インスタンスで実行されています。必要に応じて作成、ローテーション、破棄できる暗号化キーを使用して、保存データを暗号化する必要があります。どうすればよいでしょうか。
正解: D
解説: (PassTest メンバーにのみ表示されます)
BigQuery によって処理される列の数を減らすために使用できる SQL キーワードはどれですか?
正解: A
解説: (PassTest メンバーにのみ表示されます)
貴社はITサービスの近代化を進め、Google Cloudへの移行を進めています。Cloud StorageとBigQueryに保存されるデータの整理が必要です。また、営業、製品設計、マーケティング部門間でデータを共有するためのデータメッシュ方式を導入する必要があります。
あなたはどうすべきですか？
あなたはどうすべきですか？
正解: C
Dataflow に新しいバッチ ジョブを発行します。ジョブは正常に開始され、いくつかの要素を処理した後、突然失敗して停止します。Dataflow の監視インターフェイスに移動すると、パイプライン内の特定の DoFn に関連するエラーが見つかります。これらのエラーの最も可能性の高い原因は何ですか？
正解: C
解説: (PassTest メンバーにのみ表示されます)
あなたの小売企業は、BigQueryの分析費用について懸念を抱いています。同社は、店舗IDとリアルタイムの売上高に対して同じ集計方法を使用する必要のあるクエリを複数実行しています。分析費用を最小限に抑え、より迅速な結果を返す最適なソリューションを実装する必要があります。どうすればよいでしょうか？
正解: C
解説: (PassTest メンバーにのみ表示されます)
あなたはApache Kafkaを中心としたIoTパイプラインを運用しており、通常は毎秒約5000件のメッセージを受信しています。Google Cloud Platformを使用して、1時間移動平均が毎秒4000件を下回った時点でアラートを作成したいと考えています。どうすればよいでしょうか？
正解: A
解説: (PassTest メンバーにのみ表示されます)
アプリケーションイベントをPub/Subトピックに発行するパイプラインを設計しています。メッセージの順序は重要ではありませんが、分析のために結果をBigQueryにロードする前に、異なる1時間間隔でイベントを集約できる必要があります。大量のイベントにも対応できるスケーラビリティを確保しながら、このデータを処理してBigQueryにロードするには、どのようなテクノロジーを使用すべきでしょうか？
正解: A
解説: (PassTest メンバーにのみ表示されます)