nebashitaito-web

AWS DEA試験前最終チェックリスト

画像

最終確認

  • Amazon Managed Service for Apache Flinkは、ウィンドウによる集計が得意。スライディングウィンドウ、タンブリングウィンドウ、セッションウィンドウ
  • AWS SCT (AWS Schema Conversion Tool)は移行元で作成する。それに比べて、AWS DMS(Database Migration Service)は移行先で作成する。
  • Amazon Kinesis Producer Library(KPL)と、Amazon Kinesis Client Library(KCL)は、Kinesis Data Streams専用のライブラリ
  • マテリアライズドビューと、ビューの違い。マテリアライズドビューはSQLで絞った結果そのものを保持する仮テーブルのようなもの。ビューはSQLを保持し結果は毎度問い合わせる。
  • DynamoDBのScanとフィルターの組み合わせは、全てのデータを読み取った上で条件によって取捨選択する。Queryは条件に該当するものしか読み取らないので、取捨選択の手間とリソースが少なくなる。
  • 問題文に「SaaS」が出てきたら、回答欄から「AppFlow」を探す
  • FindMatches ML 変換は、本来は同じレコード同士だが表記揺れなどによって別々のレコードとなっているものを、他のカラムの類似性によって同じレコードとしてまとめてくれる
  • AWS Glueのジョブブックマークは、データソースに起因する問題がある時は有効だが、データターゲット側の問題には解決策とならない。
  • AWS Glueのジョブブックマークは、ETL処理に適用できる。クローラーには適用できない。
  • AWS GlueはシャッフルデータをS3に書き出す機能がある
  • AWS Glue DataBrewは、UIでデータの整形や品質確認が出来る。
  • 類似サービスとして、AWS Gleu Studioがあるが、こちらは、ETLジョブパイプライン全体をUIで作成出来る。Data Brewより大きな枠組みのサービスである。
  • AWS Glue Data Qualityは、品質ルールを独自に定義して、そのルールの準拠状況などを評価できる。品質ルールは、DQDL(Data Quality Definition Language)を使用する。
  • 列レベルのアクセス許可といえば、AWS Lake Formation