Databricks Certified Data Engineer Associate Exam (Databricks-Certified-Data-Engineer-Associate日本語版) - Databricks-Certified-Data-Engineer-Associate日本語 模擬練習
Python の使用に慣れていないデータ エンジニアは、2 つの整数を加算してその合計を返す Python 関数を作成する必要がありますか?
データ エンジニアがこのタスクを完了するために使用できるコード ブロックは次のどれですか。
データ エンジニアがこのタスクを完了するために使用できるコード ブロックは次のどれですか。
正解: E
データエンジニアはデータパイプラインのメンテナンスを行っています。データの取り込み時に、ソースデータの品質が低下し始めていることに気付きました。データエンジニアは、品質レベルの監視プロセスを自動化したいと考えています。
データ エンジニアがこの問題を解決するために使用できるツールは次のどれですか。
データ エンジニアがこの問題を解決するために使用できるツールは次のどれですか。
正解: B
データエンジニアが、スキーマ進化を有効にしたオートローダーを使用して、半構造化JSONログをDeltaテーブルに取り込みます。JSONに新しい文字列フィールドuserAgentが現れます。新しいuserAgentフィールドはどうなりますか？
正解: B
解説: (PassTest メンバーにのみ表示されます)
データエンジニアは、Auto Loaderを使用してJSONソースからデータを取り込むデータパイプラインを開発しましたが、パイプラインに型推論やスキーマヒントを一切提供していませんでした。データエンジニアはデータを確認したところ、ターゲットテーブル内の一部のフィールドには浮動小数点値またはブール値しか含まれていないにもかかわらず、すべての列が文字列型になっていることに気付きました。
オートローダーがすべての列を文字列型であると推測した理由を説明するのは次のどれですか?
オートローダーがすべての列を文字列型であると推測した理由を説明するのは次のどれですか?
正解: D
データエンジニアが、2つの異なるパイプライン障害のトラブルシューティングを行っています。
- パイプライン A が java.lang.OutOfMemoryError で失敗しました
100GBのデータに対してdisplay(df.collect())コマンドが呼び出された後にスローされる
データセット。
- パイプライン B が広範囲な変換中に失敗します (2 つの大規模なパイプラインの結合)
テーブル)に ExecutorLostFailure エラー メッセージが表示され、エグゼキュータが
シャッフル中のメモリ枯渇。
データエンジニアは、これら2つの問題を解決するためにどのような行動をとるべきでしょうか？
- パイプライン A が java.lang.OutOfMemoryError で失敗しました
100GBのデータに対してdisplay(df.collect())コマンドが呼び出された後にスローされる
データセット。
- パイプライン B が広範囲な変換中に失敗します (2 つの大規模なパイプラインの結合)
テーブル)に ExecutorLostFailure エラー メッセージが表示され、エグゼキュータが
シャッフル中のメモリ枯渇。
データエンジニアは、これら2つの問題を解決するためにどのような行動をとるべきでしょうか？
正解: B
解説: (PassTest メンバーにのみ表示されます)
データエンジニアが、顧客データの日常的な処理のためにDatabricks Lakeflowジョブを設定します。
- 入力タスク: 単一のノートブックが生データを読み込む
- 並列タスク:
- クレンジングのためのSQLクエリタスク
- 特徴量エンジニアリングのためのノートブックタスク
- モデル更新のためのパイプラインタスク
- 終了タスク: ダッシュボードの更新 (すべての並列タスクの後に実行する必要があります)
完了)
- 要件: DAG ベースのタスク グラフを使用してこの依存関係パターンを実装します。どのタスク構成を使用すれば、ダッシュボードの更新タスクが実行される前にすべての並列タスクが完了することが保証されますか?
- 入力タスク: 単一のノートブックが生データを読み込む
- 並列タスク:
- クレンジングのためのSQLクエリタスク
- 特徴量エンジニアリングのためのノートブックタスク
- モデル更新のためのパイプラインタスク
- 終了タスク: ダッシュボードの更新 (すべての並列タスクの後に実行する必要があります)
完了)
- 要件: DAG ベースのタスク グラフを使用してこの依存関係パターンを実装します。どのタスク構成を使用すれば、ダッシュボードの更新タスクが実行される前にすべての並列タスクが完了することが保証されますか?
正解: A
解説: (PassTest メンバーにのみ表示されます)
Databricksでデータエンジニアとして働く人は、販売分析領域におけるBIクエリのレイテンシとコストを制御する必要があります。Silverテーブルには、検証済みで正規化された販売データと製品データが既に含まれています。チームは、ダッシュボードに適したクエリパフォーマンスを実現し、複雑な結合処理でアナリストに負担をかけることなく、データセットをビジネスコンセプト(例：weekly_sales、account_performance)に整合させたいと考えています。
データエンジニアは、メダリオンアーキテクチャのゴールドレイヤーに対して、どの設計アプローチを選択すべきでしょうか？
データエンジニアは、メダリオンアーキテクチャのゴールドレイヤーに対して、どの設計アプローチを選択すべきでしょうか？
正解: A
解説: (PassTest メンバーにのみ表示されます)
汎用クラスターと職種別クラスターの違いを説明してください。
データエンジニアリングチームがクラウドストレージからデータを読み込むためのPythonノートブックを作成しました。このジョブはテスト済みで、今後は本番環境でスケジュールする必要があります。
この場合、どのクラスターを使用するのが最適でしょうか？
データエンジニアリングチームがクラウドストレージからデータを読み込むためのPythonノートブックを作成しました。このジョブはテスト済みで、今後は本番環境でスケジュールする必要があります。
この場合、どのクラスターを使用するのが最適でしょうか？
正解: A
データエンジニアは、共有クラスタを使用して、営業チームが作成したビューにアクセスする必要があります。データエンジニアには、カタログとスキーマの使用権限が付与されています。営業チームが作成したビューにアクセスするために、データエンジニアは他にどのような最小限の権限が必要ですか？
正解: A
データエンジニアが、キーと値の偏りがある非常に大きなデータセットを読み込んでいます。一部のパーティションには他のパーティションよりもレコード数が大幅に多く含まれており、エグゼキュータ間でワークロードの分散が不均一になっています。このシナリオは、Sparkのどの問題を説明していますか？
正解: D
ある組織は、Databricks Unityカタログに保存されているデータセットを、Databricks以外のデータプラットフォームを利用する外部パートナーと共有する必要があります。その目的は、データのセキュリティを維持し、パートナーが効率的にデータにアクセスできるようにすることです。
データ エンジニアがデータセットを外部パートナーと安全に共有するには、どの方法を使用する必要がありますか?
データ エンジニアがデータセットを外部パートナーと安全に共有するには、どの方法を使用する必要がありますか?
正解: A
解説: (PassTest メンバーにのみ表示されます)
データエンジニアは、Databricksを使用してKafkaからDelta Lakeテーブルにストリーミングデータを取り込む必要があります。パイプラインは、厳密に1回限りの処理セマンティクスを保証し、障害から復旧するためのチェックポイント情報を維持する必要があります。信頼性の高い処理と耐障害性を保証するSpark Structured Streamingの機能はどれですか？
正解: D
データエンジニアが、地域別に売上データをグループ化し、各地域の総収益を計算するSparkコードを作成しています。グループ化操作を実行するSpark DataFrame変換はどれですか？
正解: D