Databricks Certified Data Engineer Professional Exam (Databricks-Certified-Data-Engineer-Professional日本語版) - Databricks-Certified-Data-Engineer-Professional日本語 模擬練習

A. - 合計VM数: 1
- Executor あたり 400 GB
- 160 コア/エグゼキューター

B. - 合計VM数: 16
- Executor あたり 25 GB
- 10 コア / エグゼキューター

C. - 合計VM数: 2
- Executor あたり 200 GB
- 80 コア / エグゼキューター

D. - 合計VM数: 8
- Executor あたり 50 GB
- 20 コア / エグゼキューター

E. - 合計VM数: 4
- Executor あたり 100 GB
- 40 コア / エグゼキューター

A. 必要なすべてのフィールドと新しい名前を持つ新しいテーブルを構成し、これを顧客向けアプリケーションのソースとして使用します。新しいテーブルから選択したフィールドにエイリアスを設定することで、元のデータ スキーマとテーブル名を維持するビューを作成します。

B. 現在のテーブル定義を、現在集計テーブルを書き込んでいるクエリ ロジックで定義された論理ビューに置き換え、顧客向けアプリケーションを強化するための新しいテーブルを作成します。

C. 必要なスキーマと新しいフィールドを持つ新しいテーブルを作成し、Delta Lake のディープ クローン機能を使用して、1 つのテーブルにコミットされた変更を対応するテーブルに同期します。

D. 特定の日付にテーブル スキーマとフィールド名が変更されることをすべてのユーザーに警告するテーブル コメントを追加します。顧客向けアプリケーションの仕様に合わせて、既存のテーブルを上書きします。

E. テーブルのスキーマが変更されることをすべてのユーザーに通知します。通知には、履歴クエリと一致するように新しいテーブル スキーマを元に戻すために必要なロジックを含めます。

A. 書き込み操作中に新しいデータが自動的にクラスター化されます。

B. 新しいデータはステージング領域に書き込まれ、スケジュールされたメンテナンス中にクラスター化されます。

C. 新しいデータは、次の OPTIMIZE 操作までクラスター化されません。

D. 新しいデータはクラスタリング パターンと一致しない場合には拒否されます。

A. バッチ ジョブは、customer_id を主キーとして使用して、gold_customer_lifetime_sales_summary テーブルを更新し、テーブルの現在のバージョンと異なる値を持つ行のみを置き換えます。

B. gold_customer_lifetime_sales_summary テーブルは、バッチ ジョブとして silver_customer_sales テーブルのすべてのレコードから計算された集計値によって上書きされます。

C. 増分ジョブは、状態ストア内の実行情報を活用して、gold_customer_lifetime_sales_summary テーブルの集計値を更新します。

D. 増分ジョブは、silver_customer_sales テーブルに新しい行が書き込まれたかどうかを検出します。新しい行が検出されると、すべての集計が再計算され、gold_customer_lifetime_sales_summary テーブルを上書きするために使用されます。

E. silver_customer_sales テーブルは、バッチ ジョブとして gold_customer_lifetime_sales_summary テーブルのすべてのレコードから計算された集計値によって上書きされます。

A. 挿入されます。

B. 更新されました。

C. 削除されます。

D. 結合されます。

E. 無視されます。

A. バケット化

B. 分析

C. 最適化

D. パーティション

E. コンパクト

A. databricks bundle generate job --existing-job-id を実行してYAMLを生成し、参照ファイルをダウンロードします。次に、Databricks bundle deployment を実行し、bind を実行してバンドルのジョブリソースをDatabricks内の既存のジョブにリンクします。

B. バンドルプロジェクト内のジョブのYAML構成を手動で作成し、すべての設定が既存のジョブと一致するようにします。その後、Databricksのバンドルデプロイを実行してバンドルをデプロイすると、ワークスペース内の既存のジョブが更新されます。

C. Databricks の bundle generate job --existing-job-id を実行してYAMLを生成し、参照ファイルをダウンロードします。その後、Databricks の bundle deploy を実行してバンドルをデプロイします。これにより、既存のジョブは常に自動的に更新されます。

D. ジョブ定義をJSON形式でエクスポートし、YAMLに変換してバンドルに配置します。その後、Databricksのbundle deployを実行して既存のジョブを更新します。

A. resources:
jobs:
my-job:
name: data-pipeline
tasks: [...]
job_clusters: [...]
permissions:
- group_name: data-engineers
level: CAN_MANAGE
- group_name: auditors
level: CAN_VIEW

B. resources:
jobs:
my-job:
name: data-pipeline
tasks: [...]
job: [...]
permissions:
- group_name: data-engineers
level: CAN_MANAGE
permissions:
- group_name: auditors
level: CAN_VIEW

C. resources:
jobs:
my-job:
name: data-pipeline
tasks: [...]
job_clusters: [...]
permissions:
- group_name: data-engineers
level: CAN_MANAGE
- group_name: auditors
level: CAN_VIEW
- group_name: admin-team
level: IS_OWNER

D. permissions:
- group_name: data-engineers
level: CAN_MANAGE
- group_name: auditors
level: CAN_VIEW
resources:
jobs:
my-job:
name: data-pipeline
tasks: [...]
job_clusters: [...]

A. すべてのパイプラインの仕様を取得するには、リスト パイプラインを使用します。返された結果の解析からパイプライン仕様を取得し、これを使用してパイプラインを作成します。

B. 既存のパイプラインを停止し、返された設定をリセットコマンドで使用します。

C. 既存のパイプラインのコピーを作成するには、alone コマンドを使用します。パイプラインの定義を取得するには、get JSON コマンドを使用します。これを git に保存します。

D. get コマンドを使用して既存のパイプラインの設定を取得します。pipeline_id を削除してパイプラインの名前を変更します。これを create コマンドで使用します。

A. 新しいパラメータを使用して実行を修復し、不足しているタスクパラメータを追加してタスクを更新します。

B. 新しいパラメータを使用して実行を修復します。

C. 不足しているタスク パラメータを追加してタスクを更新し、ジョブを手動で実行します。

D. 問題のあるノートブックの所有者と分析を共有し、すぐに修正できるようにします。

A. ドライバーが落ちないように、ノートブックを単一ノード クラスターで実行します。

B. Spark UI をチェックして、エグゼキューターの数が少なくなったため、各ステージに割り当てられているジョブの数を確認します。

C. ドライバー ノードにメモリ負荷がかからないようにコードを書き直します。

D. コンピューティング メトリック UI を調べて、エグゼキューターのメモリ使用率が 90% を超えているかどうかを確認します。

A. daily_avg を (
SELECT DATE_TRUNC('DAY', window.end) AS day,
AVG(percent_null) AS avg_null
prod_catalog.prod_schema.customer_data_profile_metrics から
GROUP BY DATE_TRUNC('DAY', window.end)
)
SELECT day, avg_null
daily_avgから
日付順(降順)
制限3
アラート条件: 最新の 3 行の avg_null がすべて 5 より大きい
通知頻度: 1回のみ

B. AVG(percent_null) を daily_avg として選択する
prod_catalog.prod_schema.customer_data_profile_metrics から
window.end >= CURRENT_TIMESTAMP - INTERVAL '3' DAY
アラート条件: daily_avg > 5
通知頻度: アラートが評価されるたびに

C. SELECT SUM(CASE WHEN percent_null > 5 THEN 1 ELSE 0 END) AS violation_days FROM prod_catalog.prod_schema.customer_data_profile_metrics WHERE window.end >= CURRENT_TIMESTAMP - INTERVAL '3' DAY アラート条件: violation_days >= 3 通知頻度: 1 回のみ

D. percent_null を選択
prod_catalog.prod_schema.customer_data_profile_metrics から
window.end >= CURRENT_TIMESTAMP - INTERVAL '1' DAY
アラート条件: percent_null > 5
通知頻度: 最大24時間ごと

A. spark.sql.adaptive.advisoryPartitionSizeInBytes を 512 MB バイトに設定し、データを取り込み、ナロー変換を実行し、2,048 個のパーティション (1TB*1024*1024/512) に結合してから、parquet に書き込みます。

B. spark.sql.shuffle.partitions を 2,048 パーティション (1TB*1024*1024/512) に設定し、データを取り込み、ナロー変換を実行し、データをソートして最適化し (これにより、データが自動的に再パーティション化されます)、parquet に書き込みます。

C. spark.sql.files.maxPartitionBytes を 512 MB に設定し、データを取り込み、ナロー変換を実行してから、parquet に書き込みます。

D. データを取り込み、ナロー変換を実行し、2,048 個のパーティション (1TB*) に再分割します。
1024*1024/512)を計算し、parquet に書き込みます。

E. spark.sql.shuffle.partitions を 512 に設定し、データを取り込み、ナロー変換を実行してから、parquet に書き込みます。

A. テーブル ACL を使用して、GRANT SELECT ON table_name WITH TAG コマンドでタグを使用してアクセスを制限し、ユーザーのリージョンに基づいて機密データに対してアプリケーション レベルのフィルタリングに依存します。

B. ユーザー領域に基づいて行フィルタリングを行い、グループ メンバーシップに基づいて列マスクを行う SQL UDF を作成し、ALTER TABLE SET ROW FILTER コマンドと ALTER COLUMN SET MASK コマンドを使用して適用します。

C. 列マスクは同じテーブル上の行フィルターと組み合わせることができないため、ユーザー領域のみに基づいて SQL UDF を使用して行フィルターを実装し、DROP TABLE および CREATE TABLE SET ROW FILTER コマンドを使用してテーブルを再作成して適用します。

D. ALTER COLUMN SET MASK コマンドを使用して、リージョン フィルタリング用の動的な WHERE 句を含むビューを作成し、電子メール マスキング用の文字列置換関数を使用します。