[2026年03月06日]Databricks-Certified-Data-Engineer-Professional日本語試験ブレーン問題集で学習注釈と理論 [Q16-Q34]

Share

[2026年03月06日]Databricks-Certified-Data-Engineer-Professional日本語試験ブレーン問題集で学習注釈と理論

合格させるDatabricks Databricks-Certified-Data-Engineer-Professional日本語テスト練習テスト問題試験問題集

質問 # 16
データ エンジニアは、静的な userlookup テーブルの値をストリーミング DataFrame streamingDF と組み合わせる結合操作を実行しています。
無効なストリーム静的結合を実行しようとするコード ブロックはどれですか。

  • A. userLookup.join(streamingDF, ["userid"], how="inner")
  • B. streamingDF.join(userLookup, ["userid"], how="inner")
  • C. streamingDF.join(userLookup, ["user_id"], how="left")
  • D. userLookup.join(streamingDF, ["user_id"], how="right")
  • E. streamingDF.join(userLookup, ["user_id"], how="outer")

正解:E

解説:
https://spark.apache.org/docs/latest/structured-streaming-programming-guide.html#support- matrix-for-joins-in-streaming-queries


質問 # 17
ストレージとコンピューティングのコストを削減するために、データ エンジニアリング チームには、ビジネス インテリジェンス ダッシュボード、顧客向けアプリケーション、本番環境の機械学習モデル、アドホック分析クエリによって活用される一連の集計テーブルをキュレートする任務が与えられています。
データエンジニアリングチームは、顧客向けアプリケーションからの新たな要件を認識しました。これは、彼らが完全に管理する唯一のダウンストリームワークロードです。その結果、組織全体の多数のチームが使用する集計テーブルで、いくつかのフィールドの名前を変更する必要があり、さらにフィールドも追加する必要があります。
管理する必要があるテーブルの数を増やすことなく、組織内の他のチームへの影響を最小限に抑えながら状況に対処できるソリューションはどれですか?

  • A. 特定の日付にテーブル スキーマとフィールド名が変更されることをすべてのユーザーに警告するテーブル コメントを追加します。顧客向けアプリケーションの仕様に合わせて、既存のテーブルを上書きします。
  • B. 必要なすべてのフィールドと新しい名前を持つ新しいテーブルを構成し、これを顧客向けアプリケーションのソースとして使用します。新しいテーブルから選択したフィールドにエイリアスを設定することで、元のデータ スキーマとテーブル名を維持するビューを作成します。
  • C. テーブルのスキーマが変更されることをすべてのユーザーに通知します。通知には、履歴クエリと一致するように新しいテーブル スキーマを元に戻すために必要なロジックを含めます。
  • D. 現在のテーブル定義を、現在集計テーブルを書き込んでいるクエリ ロジックで定義された論理ビューに置き換え、顧客向けアプリケーションを強化するための新しいテーブルを作成します。
  • E. 必要なスキーマと新しいフィールドを持つ新しいテーブルを作成し、Delta Lake のディープ クローン機能を使用して、1 つのテーブルにコミットされた変更を対応するテーブルに同期します。

正解:B

解説:
This is the correct answer because it addresses the situation while minimally interrupting other teams in the organization without increasing the number of tables that need to be managed. The situation is that an aggregate table used by numerous teams across the organization will need to have a number of fields renamed, and additional fields will also be added, due to new requirements from a customer-facing application. By configuring a new table with all the requisite fields and new names and using this as the source for the customer-facing application, the data engineering team can meet the new requirements without affecting other teams that rely on the existing table schema and name. By creating a view that maintains the original data schema and Get Latest & Actual Certified-Data-Engineer-Professional Exam's Question and Answers from table name by aliasing select fields from the new table, the data engineering team can also avoid duplicating data or creating additional tables that need to be managed.


質問 # 18
Databricksジョブは3つのタスクで構成されており、それぞれがDatabricksノートブックです。タスクAは他のタスクに依存しません。タスクBとCは並列実行され、それぞれがタスクAに対して順次依存関係を持ちます。
タスク A と B は正常に完了したが、スケジュールされた実行中にタスク C が失敗した場合、結果の状態を説明するステートメントはどれですか。

  • A. すべてのタスクは依存関係グラフとして管理されるため、すべてのタスクが正常に完了するまで、変更は Lakehouse にコミットされません。
  • B. タスク A および B に関連付けられたノートブックで表現されたすべてのロジックが正常に完了します。タスク C の一部の操作は正常に完了している可能性があります。
  • C. タスク A に関連付けられたノートブックで表現されたすべてのロジックは正常に完了します。ステージの失敗のため、タスク B と C は変更をコミットしません。
  • D. すべてのタスクが正常に完了しない限り、変更は Lakehouse にコミットされません。タスク C が失敗したため、すべてのコミットは自動的にロールバックされます。
  • E. タスク A と B に関連付けられたノートブックで表現されたすべてのロジックは正常に完了します。タスク C で行われた変更は、タスクの失敗によりロールバックされます。

正解:B

解説:
The query uses the CREATE TABLE USING DELTA syntax to create a Delta Lake table from an existing Parquet file stored in DBFS. The query also uses the LOCATION keyword to specify the path to the Parquet file as /mnt/finance_eda_bucket/tx_sales.parquet. By using the LOCATION keyword, the query creates an external table, which is a table that is stored outside of the default warehouse directory and whose metadata is not managed by Databricks. An external table can be created from an existing directory in a cloud storage system, such as DBFS or S3, that contains data files in a supported format, such as Parquet or CSV.
The resulting state after running the second command is that an external table will be created in the storage container mounted to /mnt/finance_eda_bucket with the new name prod.sales_by_store. The command will not change any data or move any files in the storage container; it will only update the table reference in the metastore and create a new Delta transaction log for the renamed table.


質問 # 19
現在アクティブなクラスター内のすべてのノードに、ノートブック レベルのスコープを持つ Python パッケージをインストールする方法は何ですか?

  • A. ノートブックのセットアップスクリプトで source env/bin/activate を実行します。
  • B. クラスターUIを使用してPyPiからライブラリをインストールする
  • C. ノートブックのセルで &Pip install を使用する
  • D. ノートブックのセルで &sh install を使用する

正解:B

解説:
Installing a Python package scoped at the notebook level to all nodes in the currently active cluster in Databricks can be achieved by using the Libraries tab in the cluster UI. This interface allows you to install libraries across all nodes in the cluster. While the %pip command in a notebook cell would only affect the driver node, using the cluster UI ensures that the package is installed on all nodes.


質問 # 20
Lakehouse内のcustomer_churn_paramsというテーブルは、機械学習チームによる顧客離脱予測に使用されています。このテーブルには、複数の上流ソースから得られた顧客情報が含まれています。現在、データエンジニアリングチームは、上流データソースから得られた最新の有効な値でこのテーブルを毎晩上書きすることで、データを更新しています。
MLチームが使用しているチャーン予測モデルは、本番環境では比較的安定しています。チームは過去24時間以内に変更されたレコードのみに基づいて予測を行うことに注力しています。
変更されたレコードの識別を簡素化するアプローチはどれでしょうか?

  • A. 完全な出力モードを使用してバッチ ジョブを構造化ストリーミング ジョブに変換します。customer_churn_params テーブルから読み取り、解約モデルに対して増分予測を行うように構造化ストリーミング ジョブを構成します。
  • B. customer_churn_params テーブルのすべての行に解約モデルを適用しますが、予測が変更されていない行を無視して予測テーブルにアップサートを実行するロジックを実装します。
  • C. 新しい予測を行う前に、一意の顧客を識別するキーで、以前のモデル予測と現在の customer_churn_params との差を計算します。以前の予測に含まれていない顧客についてのみ予測を行います。
  • D. 上書きロジックを変更して、呼び出しによって入力されたフィールドを含める
    データが書き込まれるときに spark.sql.functions.current_timestamp() が呼び出されます。このフィールドを使用して、特定の日付に書き込まれたレコードを識別します。
  • E. 現在の上書きロジックをマージ ステートメントに置き換えて、変更されたレコードのみを変更します。変更データ フィードによって識別された変更されたレコードについて予測を行うロジックを記述します。

正解:E

解説:
The approach that would simplify the identification of the changed records is to replace the current overwrite logic with a merge statement to modify only those records that have changed, and write logic to make predictions on the changed records identified by the change data feed.
This approach leverages the Delta Lake features of merge and change data feed, which are designed to handle upserts and track row-level changes in a Delta table. By using merge, the data engineering team can avoid overwriting the entire table every night, and only update or insert the records that have changed in the source data. By using change data feed, the ML team can easily access the change events that have occurred in the customer_churn_params table, and filter them by operation type (update or insert) and timestamp. This way, they can only make predictions on the records that have changed in the past 24 hours, and avoid re-processing the unchanged records.


質問 # 21
本番環境にデプロイされた構造化ストリーミングジョブで、ピーク時に遅延が発生しています。現在、通常の実行時には、各マイクロバッチのデータ処理時間は3秒未満です。しかし、ピーク時には各マイクロバッチの実行時間が非常に不安定になり、30秒を超えることもあります。ストリーミング書き込みのトリガー間隔は現在10秒に設定されています。
他のすべての変数を一定に保ち、レコードを 10 秒以内に処理する必要があると仮定すると、どの調整が要件を満たすでしょうか。

  • A. トリガー間隔を 30 秒に増やします。レコードがドロップされないようにするには、トリガー間隔を各バッチの最大実行時間に近い値に設定するのが常にベスト プラクティスです。
  • B. チェックポイント ディレクトリを変更せずにトリガー間隔を変更することはできません。現在のストリーム状態を維持するには、シャッフル パーティションの数を増やして並列処理を最大化します。
  • C. トリガー 1 回オプションを使用し、10 秒ごとにクエリを実行するように Databricks ジョブを構成します。これにより、バックログされたすべてのレコードが各バッチで処理されるようになります。
  • D. トリガー間隔を 5 秒に短縮します。バッチをより頻繁にトリガーすると、アイドル状態の実行プログラムは、前のバッチで実行時間が長いタスクが終了している間に、次のバッチの処理を開始できます。
  • E. トリガー間隔を 5 秒に短縮します。バッチをより頻繁にトリガーすると、レコードのバックアップや大きなバッチによるスピルの発生を防ぐことができます。

正解:E

解説:
The adjustment that will meet the requirement of processing records in less than 10 seconds is to decrease the trigger interval to 5 seconds. This is because triggering batches more frequently may prevent records from backing up and large batches from causing spill. Spill is a phenomenon where the data in memory exceeds the available capacity and has to be written to disk, which can slow down the processing and increase the execution time. By reducing the trigger interval, the streaming query can process smaller batches of data more quickly and avoid spill. This can also improve the latency and throughput of the streaming job.


質問 # 22
Databricks CLI が正しくインストールされ、構成されていると仮定すると、実稼働ジョブで使用するために DBFS がマウントされたオブジェクト ストレージにカスタム Python Wheel をアップロードするには、どの Databricks CLI コマンドを使用できますか?

  • A. configure
  • B. workspace
  • C. fs
  • D. jobs
  • E. libraries

正解:C

解説:
https://docs.databricks.com/en/archive/dev-tools/cli/dbfs-cli.html


質問 # 23
チームのジュニア データ エンジニアが次のコード ブロックを実装しました。

new_eventsビューには、events Deltaテーブルと同じスキーマを持つレコードのバッチが含まれています。event_idフィールドは、このテーブルの一意のキーとして機能します。
このクエリを実行すると、既存のレコードと同じ event_id を持つ新しいレコードはどうなるでしょうか?

  • A. 結合されます。
  • B. 挿入されます。
  • C. 無視されます。
  • D. 削除されます。
  • E. 更新されました。

正解:C

解説:
This is the correct answer because it describes what will happen with new records that have the same event_id as an existing record when the query is executed. The query uses the INSERT INTO command to append new records from the view new_events to the table events. However, the INSERT INTO command does not check for duplicate values in the primary key column (event_id) and does not perform any update or delete operations on existing records. Therefore, if there are new records that have the same event_id as an existing record, they will be ignored and not inserted into the table events.


質問 # 24
米国に拠点を置く小規模企業は、最近、インドのコンサルティング会社と契約を結び、人工知能(AI)アプリケーションを強化するための新たなデータエンジニアリングパイプラインをいくつか実装しました。同社のデータはすべて、米国の地域クラウドストレージに保存されています。
会社のワークスペース管理者は、請負業者が使用する Databricks ワークスペースをどこに展開すればよいかわかりません。
すべてのデータ ガバナンスの考慮事項が考慮されていると仮定すると、どの記述がこの決定に正確に影響しますか。

  • A. Databricks ノートブックは、すべての実行可能コードをユーザーのブラウザーからオープン インターネット経由で仮想マシンに送信します。可能な限り、エンド ユーザーの近くのワークスペース リージョンを選択するのが最も安全です。
  • B. Databricks はクラウド ボリューム ストレージ上で HDFS を実行します。そのため、データが保存されるリージョンにクラウド仮想マシンをデプロイする必要があります。
  • C. リージョン間の読み取りと書き込みには多大なコストと遅延が発生する可能性があります。可能な限り、コンピューティングはデータが保存されているのと同じリージョンにデプロイする必要があります。
  • D. Databricks ワークスペースは、地域インフラストラクチャに依存しません。そのため、ワークスペース管理者にとって最も便利なものに基づいて決定を行う必要があります。
  • E. Databricks は、対話型開発中にユーザー ワークステーションをドライバーとして活用します。そのため、ユーザーは常に、物理的に近いリージョンにデプロイされたワークスペースを使用する必要があります。

正解:C

解説:
This is the correct answer because it accurately informs this decision. The decision is about where the Databricks workspace used by the contractors should be deployed. The contractors are based in India, while all the company's data is stored in regional cloud storage in the United States. When choosing a region for deploying a Databricks workspace, one of the important factors to consider is the proximity to the data sources and sinks. Cross-region reads and writes can incur significant costs and latency due to network bandwidth and data transfer fees.
Therefore, whenever possible, compute should be deployed in the same region the data is stored to optimize performance and reduce costs.


質問 # 25
述語プッシュダウンを活用しないことによって発生するパフォーマンスの問題を、Spark UI のどこで診断できますか?

  • A. ステージの詳細画面の完了ステージテーブルで、入力列から読み取ったデータのサイズを確認します。
  • B. ストレージ詳細画面で、どのRDDがディスク上に保存されていないかを確認します。
  • C. Executorのログファイルで、「述語プッシュダウン」を捕捉することにより
  • D. Delta Lakeのトランザクションログで、列の統計情報に注目してください。
  • E. クエリ詳細画面で物理プランを解釈することにより

正解:E

解説:
This is the correct answer because it is where in the Spark UI one can diagnose a performance problem induced by not leveraging predicate push-down. Predicate push-down is an optimization technique that allows filtering data at the source before loading it into memory or processing it further. This can improve performance and reduce I/O costs by avoiding reading unnecessary data. To leverage predicate push-down, one should use supported data sources and formats, such as Delta Lake, Parquet, or JDBC, and use filter expressions that can be pushed down to the source. To diagnose a performance problem induced by not leveraging predicate push-down, one can use the Spark UI to access the Query Detail screen, which shows information about a SQL query executed on a Spark cluster. The Query Detail screen includes the Physical Plan, which is the actual plan executed by Spark to perform the query. The Physical Plan shows the physical operators used by Spark, such as Scan, Filter, Project, or Aggregate, and their input and output statistics, such as rows and bytes. By interpreting the Physical Plan, one can see if the filter expressions are pushed down to the source or not, and how much data is read or processed by each operator.


質問 # 26
データエンジニアリングチームは、Delta Lakeテーブルの値を監視するためのDatabricks SQLクエリとアラートを設定しました。recent_sensor_recordingsテーブルには、過去5分間の記録のタイムスタンプと温度に加え、識別用のsensor_idが含まれています。
アラートを作成するには、以下のクエリを使用します。

クエリは1分ごとに更新され、常に10秒未満で完了するように設定されています。アラートは、平均温度が120度を超えた場合にトリガーされるように設定されています。通知は最大1分ごとに送信されます。
このアラートが 3 分間連続して通知を生成し、その後停止する場合、どのステートメントが正しいでしょうか。

  • A. ソースクエリは3分間連続して正しく更新されなかったため、再起動されました。
  • B. recent_sensor_recordingstable はクエリの 3 回連続実行に対して応答しませんでした。
  • C. クエリの3回連続実行で、すべてのセンサーの合計平均温度が120を超えました。
  • D. クエリの3回連続実行で、少なくとも1つのセンサーの平均温度記録が120を超えました
  • E. クエリの3回連続実行で、少なくとも1つのセンサーの最大温度記録が120を超えました

正解:D

解説:
This is the correct answer because the query is using a GROUP BY clause on the sensor_id column, which means it will calculate the mean temperature for each sensor separately. The alert will trigger when the mean temperature for any sensor is greater than 120, which means at least one sensor had an average temperature above 120 for three consecutive minutes. The alert will stop when the mean temperature for all sensors drops below 120.


質問 # 27
データガバナンスチームは、個人識別情報(PH)を含むすべてのテーブルに明確な注釈を付けるという要件を制定しました。これには、列コメント、テーブルコメントの追加、カスタムテーブルプロパティ「contains_pii」をtrueに設定することが含まれます。
新しいテーブルを作成するには、次の SQL DDL ステートメントが実行されます。
Certified-Data-Engineer-Professional試験の最新かつ実際の質問と回答を入手する

これら 3 つの要件が満たされていることを手動で確認できるコマンドはどれですか?

  • A. SHOW TBLPROPERTIES dev.pii test
  • B. DESCRIBE DETAIL dev.pii test
  • C. DESCRIBE HISTORY dev.pii test
  • D. SHOW TABLES dev
  • E. DESCRIBE EXTENDED dev.pii test

正解:E

解説:
This is the correct answer because it allows manual confirmation that these three requirements have been met. The requirements are that all tables containing Personal Identifiable Information (PII) must be clearly annotated, which includes adding column comments, table comments, and setting the custom table property "contains_pii" = true. The DESCRIBE EXTENDED command is used to display detailed information about a table, such as its schema, location, properties, and comments. By using this command on the dev.pii_test table, one can verify that the table has been created with the correct column comments, table comment, and custom table property as specified in the SQL DDL statement.


質問 # 28
Databricks CLIは、job_idパラメータを渡すことで既存のジョブの実行をトリガーするために使用されます。ジョブ実行リクエストが正常に送信されたことを示す応答には、run_idフィールドが含まれます。
最新かつ実際の Certified-Data-Engineer-Professional 試験の質問と回答を入手してください。このフィールドの横にある数字が何を表しているかを説明する記述はどれですか?

  • A. ワークスペース内でジョブ定義が実行された回数。
  • B. 新しくトリガーされた実行のグローバルに一意の ID。
  • C. このフィールドにはjob_idが返されます。
  • D. ワークスペースで実行されたジョブの合計数。
  • E. job_id とジョブの実行回数が連結されて返されます。

正解:B

解説:
When triggering a job run using the Databricks CLI, the run_id field in the response represents a globally unique identifier for that particular run of the job. This run_id is distinct from the job_id.
While the job_id identifies the job definition and is constant across all runs of that job, the run_id is unique to each execution and is used to track and query the status of that specific job run within the Databricks environment. This distinction allows users to manage and reference individual executions of a job directly.


質問 # 29
データエンジニアリングチームは、数千のテーブルとビューを含むエンタープライズシステムをレイクハウスに移行しています。彼らは、ブロンズ、シルバー、ゴールドの一連のテーブルを使用して、ターゲットアーキテクチャを実装する予定です。ブロンズテーブルは、本番環境のデータエンジニアリングワークロードでほぼ独占的に使用され、シルバーテーブルはデータエンジニアリングと機械学習の両方のワークロードをサポートするために使用されます。ゴールドテーブルは、主にビジネスインテリジェンスとレポート作成の目的で使用されます。個人識別情報(PII)はすべてのデータ層に存在しますが、シルバーレベルとゴールドレベルのすべてのデータには仮名化と匿名化のルールが適用されます。
組織は、多様なチーム間でのコラボレーション能力を最大限に高めながら、セキュリティ上の懸念を軽減することに関心を持っています。
このシステムを実装するためのベストプラクティスを示す記述はどれですか?

  • A. データ品質層に基づいてテーブルを別々のデータベースに分離すると、データベース ACL による権限管理が容易になり、管理対象テーブルのデフォルトの保存場所を物理的に分離できるようになります。
  • B. すべての本番テーブルを単一のデータベースに Storinq すると、Lakehouse 全体で利用可能なすべてのデータ資産の統合ビューが提供され、すべてのユーザーにこのデータベースの表示権限を付与することで検出が簡素化されます。
  • C. Databricks 上のデータベースは単なる論理構造であるため、データベース構成に関する選択は Lakehouse のセキュリティや検出可能性に影響を与えません。
  • D. デフォルトの Databricks データベースで作業すると、マネージド テーブルが DBFS ルートに作成されるため、マネージド テーブルを操作するときに最大限のセキュリティが提供されます。
  • E. すべてのテーブルは、作成元のデータベースで使用される同じストレージ コンテナーに存在する必要があるため、組織はデータ分離の要件に応じて数十から数千のデータベースを作成する準備をする必要があります。

正解:A

解説:
This is the correct answer because it exemplifies best practices for implementing this system. By isolating tables in separate databases based on data quality tiers, such as bronze, silver, and gold, the data engineering team can achieve several benefits. First, they can easily manage permissions for different users and groups through database ACLs, which allow granting or revoking access to databases, tables, or views. Second, they can physically separate the default storage locations for managed tables in each database, which can improve performance and reduce costs. Third, they can provide a clear and consistent naming convention for the tables in each database, which can improve discoverability and usability.


質問 # 30
ジョブ実行履歴の保持に関して正しい記述はどれですか?

  • A. ジョブ実行ログをエクスポートまたは削除するまで保持されます
  • B. 60日間保持され、その後ログはアーカイブされます
  • C. t は 60 日間保持され、その間にノートブックの実行結果を HTML にエクスポートできます。
  • D. 90日間、またはカスタム実行構成を通じて実行IDが再利用されるまで保持されます。
  • E. 30日間保持され、その間にジョブ実行ログをDBFSまたはS3に配信できます。

正解:C

解説:
https://docs.databricks.com/en/workflows/jobs/monitor-job-runs.html


質問 # 31
データサイエンスチームはMLflowを使用して本番環境モデルを作成し、ログに記録しました。以下のコードは、本番環境モデルを正しくインポートして適用し、予測結果を「customer_id LONG, predictions DOUBLE, date DATE」というスキーマを持つpredsという名前の新しいデータフレームとして出力します。
Certified-Data-Engineer-Professional試験の最新かつ実際の質問と回答を入手する

データサイエンスチームは、予測結果をDelta Lakeテーブルに保存し、すべての予測を時系列で比較できるようにしたいと考えています。チャーン予測は1日に最大1回まで行われます。
潜在的な計算コストを最小限に抑えながらこのタスクを実行するコード ブロックはどれですか。

  • A.
  • B.
  • C. preds.write.mode("append").saveAsTable("churn_preds")
  • D.
  • E. preds.write.format("delta").save("/preds/churn_preds")

正解:C


質問 # 32
アップストリームソースは、Parquetデータを1時間ごとのバッチとして、現在の日付を名前とするディレクトリに書き込みます。夜間のバッチジョブは、次のコードを実行して、日付変数で示される前日のすべてのデータを取り込みます。
Certified-Data-Engineer-Professional試験の最新かつ実際の質問と回答を入手する

フィールド customer_id と order_id は、各注文を一意に識別するための複合キーとして機能すると想定します。
上流システムが、単一の注文に対して数時間間隔を置いて重複したエントリを生成することが時々あることがわかっている場合、正しい記述はどれですか。

  • A. 注文テーブルへの各書き込みには一意のレコードのみが含まれ、ターゲット テーブルに重複のないレコードのみが書き込まれます。
  • B. 注文テーブルへの各書き込みには一意のレコードのみが含まれます。同じキーを持つ既存のレコードがターゲット テーブルに存在する場合、これらのレコードは上書きされます。
  • C. 注文テーブルへの各書き込みには一意のレコードのみが含まれますが、新しく書き込まれたレコードにはターゲット テーブルに既に存在する重複レコードが含まれている場合があります。
  • D. 注文テーブルへの各書き込みには一意のレコードのみが含まれます。同じキーを持つ既存のレコードがターゲット テーブルに存在する場合、操作は失敗します。
  • E. 注文テーブルへの各書き込みでは、新規レコードと既存レコードの結合に対して重複排除が実行され、重複レコードが存在しないことが保証されます。

正解:C

解説:
This is the correct answer because the code uses the dropDuplicates method to remove any duplicate records within each batch of data before writing to the orders table. However, this method does not check for duplicates across different batches or in the target table, so it is possible that newly written records may have duplicates already present in the target table. To avoid this, a better approach would be to use Delta Lake and perform an upsert operation using mergeInto.


質問 # 33
Databricksジョブは3つのタスクで構成されており、それぞれがDatabricksノートブックです。タスクAは他のタスクに依存しません。タスクBとCは並列実行され、それぞれがタスクAに対して順次依存関係を持ちます。
スケジュールされた実行中にタスク A が失敗した場合、この実行の結果を説明するステートメントはどれですか。

  • A. タスク B と C は構成どおりに実行しようとします。タスク A で行われた変更は、タスクの失敗によりロールバックされます。
  • B. すべてのタスクは依存関係グラフとして管理されるため、すべてのタスクが正常に完了するまで、変更は Lakehouse にコミットされません。
  • C. タスク B と C はスキップされます。タスク A で表現された一部のロジックは、タスクが失敗する前にコミットされている可能性があります。
  • D. すべてのタスクが正常に完了しない限り、変更は Lakehouse にコミットされません。タスク A が失敗したため、すべてのコミットは自動的にロールバックされます。
  • E. タスク B と C はスキップされます。ステージの失敗のため、タスク A は変更をコミットしません。

正解:C

解説:
When a Databricks job runs multiple tasks with dependencies, the tasks are executed in a dependency graph. If a task fails, the downstream tasks that depend on it are skipped and marked as Upstream failed. However, the failed task may have already committed some changes to the Lakehouse before the failure occurred, and those changes are not rolled back automatically. Therefore, the job run may result in a partial update of the Lakehouse. To avoid this, you can use the transactional writes feature of Delta Lake to ensure that the changes are only committed when the entire job run succeeds. Alternatively, you can use the Run if condition to configure tasks to run even when some or all of their dependencies have failed, allowing your job to recover from failures and continue running.


質問 # 34
......

厳密検証されたDatabricks-Certified-Data-Engineer-Professional日本語問題集と解答でDatabricks-Certified-Data-Engineer-Professional日本語問題集と正解付き:https://www.passtest.jp/Databricks/Databricks-Certified-Data-Engineer-Professional-JPN-shiken.html