Transcription

[AWS Black Belt Online Seminar]Amazon Redshift ions Architect 平間 大輔2021/1/271 2021, Amazon Web Services, Inc. or its Affiliates. All rights reserved.AWS 公式 //amzn.to/JPArchive

AWS Black Belt Online Seminar 分かれて、アマゾン ウェブ サービス ることができます! ません 吹き出しをクリック② 質問を入力③ SendをクリックTwitter #awsblackbelt2 2021, Amazon Web Services, Inc. or its Affiliates. All rights reserved.

内容についての注意点本資料では2021 年 1 月 27 をご請求させていただきます。AWS does not offer binding price quotes. AWS pricing is publicly available and is subject to change inaccordance with the AWS Customer Agreement available at http://aws.amazon.com/agreement/. Anypricing information included in this document is provided only as an estimate of usage charges forAWS services based on certain information that you have provided. Monthly charges will be based onyour actual use of AWS services, and may vary from the estimates provided.3 2021, Amazon Web Services, Inc. or its Affiliates. All rights reserved.

自己紹介平間大輔アマゾン ウェブ サービス 好きなAWSサービス Amazon Redshift Amazon QuickSight AWS Glue4 2021, Amazon Web Services, Inc. or its Affiliates. All rights reserved.

本日のアジェンダ 5Amazon RedshiftとはAmazon うに行うか 2021, Amazon Web Services, Inc. or its Affiliates. All rights reserved.

Amazon Redshift とはAWS 公式 Webinarhttps://amzn.to/JPWebinar6 2021, Amazon Web Services, Inc. or its Affiliates. All rights reserved.過去資料https://amzn.to/JPArchive

Amazon Redshift とはBIDWHOLTP ERP CRM 理機械学習データレイクAmazon S3デバイス ウェブ センサー ソーシャル 2021, Amazon Web Services, Inc. or its Affiliates. All rights reserved.Amazon ータレイク分析マネージドサービス

Amazon Redshiftは ワークロードに特化 ード クエリのエンドポイント クエリオプティマイザがSQL ードに展開柔軟なクラスタ構成 をスケール ピュートノード 高速ローカル SSD キャッシュ 大容量 RAM 搭載 広帯域ネットワーキング ークロードを最適化 チューニングも可能 ニングのヒントは自動でアドバイス 2021, Amazon Web Services, Inc. or its Affiliates. All rights reserved.広帯域ネットワーキングRedshift ストレージ Redshift 管理 S3 バケット データの永続ストレージ

他の分析サービスとも手軽に連携- レイクハウスアーキテクチャ Amazon on Amazon 機能も充実9 2021, Amazon Web Services, Inc. or its Affiliates. All rights MakerAmazonRedshift

Amazon Redshift を使ってみるAWS 公式 Webinarhttps://amzn.to/JPWebinar10 2021, Amazon Web Services, Inc. or its Affiliates. All rights reserved.過去資料https://amzn.to/JPArchive

数クリックで手軽にスタート 1 のノード構成11 2021, Amazon Web Services, Inc. or its Affiliates. All rights reserved.クラスターの詳細設定

どのノードタイプを選べば良い? Amazon 主にストレージの種類による RA3:マネージドストレージ & 1 2021 年 1 ード数コンピュート料金 (*1)ストレージ料金 (*1)RA3 with Redshift Managed Storage(RMS)ra3.xlplus432 GB32TB RMS650 MB/s22 16 (*2) 1.278 /hra3.4xlarge1296 GB128TB RMS2.0 GB/s42 32 (*2) 3.836 /hra3.16xlarge48384 GB128TB RMS8.0 GB/s162 128 15.347 /h 0.0261/GB-MonthDC2 - Dense Computedc2.large215 GB0.16TB SSD0.6 GB/s21 32 0.314 /hdc2.8xlarge32244 GB2.56TB SSD7.5 GB/s162 128 6.095 /hds2.xlarge431 GB2TB HDD0.4 GB/s21 32 1.190 /hds2.8xlarge36244 GB16TB HDD3.3 GB/s162 128 9.520 /hDS2 – Dense Storage12*2 クラスター作成後、Elastic rgeは64ノードまで拡張可能です 2021, Amazon Web Services, Inc. or its Affiliates. All rights reserved.

用を検討してみる 可能 対応可能 RA3でだけ利用可能な機能がある AQUA(クエリ高速化機能) Data Sharing クロスAZクラスターリカバリー13 2021, Amazon Web Services, Inc. or its Affiliates. All rights なくても良いのであれば. 性能が必要! DC2を検討 ッシュが効きづらい DS2を検討

Amazon Redshiftにクエリしてみよう Amazon Redshiftへの主なアクセス手段 」 Amazon Redshift ODBC/JDBCを利用したアプリケーション Amazon Redshift Data API プリケーション(※) ベースユーザーを使う SQL文「CREATE USER」で作成 も対応 利用可能なプロバイダ:ADFS, Okta, PingFederate, AzureAD※ はないことにご注意ください。14 2021, Amazon Web Services, Inc. or its Affiliates. All rights reserved.

自動化された運用タスクAWS 公式 Webinarhttps://amzn.to/JPWebinar15 2021, Amazon Web Services, Inc. or its Affiliates. All rights reserved.過去資料https://amzn.to/JPArchive

一般的な DWH の運用タスク バックアップリストア監視 ィ管理など16 2021, Amazon Web Services, Inc. or its Affiliates. All rights reserved.

Amazon Redshift で変わる DWH 運用 バックアップリストア監視 ィ管理などS3 プショットからの復元コンソールや CLI 経由で状況を確認監査ログを S3 される17 2021, Amazon Web Services, Inc. or its Affiliates. All rights reserved.

じてピーク性能を最適化Automaticvacuum deleteAutomaticdistribution ニングの自動化18 2021, Amazon Web Services, Inc. or its Affiliates. All rights reserved.Auto workloadmanagerAutomatictable sortAutomaticsort keys

Amazon ップとソートキーゾーンマップ Amazon ック 1MB に保存 能1032437562310 13 14 26 100 245 324375 393 417 512 549 623637637 712 809 959 834 921 959ソートキー うことが可能 をソートしておくことができる19 2021, Amazon Web Services, Inc. or its Affiliates. All rights reserved.

Amazon イル 能 速度が落ちる可能性がある することが可能KEYSlice1Slice2Node 1Slice3Slice4Node 2同じキーは同じスライスへ20 2021, Amazon Web Services, Inc. or its Affiliates. All rights reserved.ALLSlice1Slice2Node 1Slice3Slice4Node 2EVENSlice1Slice2Node 1Slice3Slice4Node 2全てのデータを全ノードへ ラウンドロビンで均等分散

自動テーブル最適化 自動テーブル最適化機能では、Amazon る テーブル最適化はデフォルトで有効 いテーブルでも、ALTER 能Sort KeysDistribution StyleALTER TABLE table name ALTER SORTKEY AUTO;ALTER TABLE table name ALTER DISTSTYLE AUTO;21 2021, Amazon Web Services, Inc. or its Affiliates. All rights reserved.

Analyze の自動化Analyze する処理Analyze this tableAmazon RedshiftQuery ングで自動実行されるTable statistics22 2021, Amazon Web Services, Inc. or its Affiliates. All rights reserved.Amazon Redshift WorkerThread Auto Analyze

Vacuum Delete の自動化Vacuum Delete は Delete や グで自動実行される23 2021, Amazon Web Services, Inc. or its Affiliates. All rights reserved.Col1 Col2 Col3Col1 Col2 Col3VacuumDelete

影響なしSorted by dateMIN: 01-MAR-2019MAX: 31-MAR-2019MIN: 01-APRIL-2019MAX: 30-APRIL-2019MIN: 01-MAY-2019MAX: 31-MAY-2019MIN: 01-JUNE-2019MAX: 30-JUNE-2019Most accessed partition24 2021, Amazon Web Services, Inc. or its Affiliates. All rights reserved.

Amazon ード管理機能:WLM Redshift 125 2021, Amazon Web Services, Inc. or its Affiliates. All rights reserved.スロット

ワークロード管理の自動化 – Auto WLM WLMでの複雑なリソース割当を、Amazon Redshiftが自動的に行う仕組み 用 モリを適切に調整 適化クラスターの総メモリ : m/webinars/jp/pdf/services/20200729 AWS BlackBelt RedshiftAdvancedGuide.pdf26 2021, Amazon Web Services, Inc. or its Affiliates. All rights reserved.

監視・パッチ適用の自動化 モニタリング機能を内蔵 GUI(マネジメントコンソール) API経由で操作も可能 パッチ適用も自動的 間帯を指定可能27 2021, Amazon Web Services, Inc. or its Affiliates. All rights reserved.

削減 28Redshift とも可能 2021, Amazon Web Services, Inc. or its Affiliates. All rights reserved.

te nodeCompute nodeCompute node Amazon プショットを自動取得 可能Amazon S3リージョン 1リージョン 2 も可能 n S329 2021, Amazon Web Services, Inc. or its Affiliates. All rights reserved.

バリー (RPO クラスターは別の AZ タンバイレプリカクラスター不要RA3 インスタンスでのサポート30 2021, Amazon Web Services, Inc. or its Affiliates. All rights reserved.Redshift マネージドストレージ

モニタリングと性能改善AWS 公式 Webinarhttps://amzn.to/JPWebinar31 2021, Amazon Web Services, Inc. or its Affiliates. All rights reserved.過去資料https://amzn.to/JPArchive

Amazon Redshiftの主なモニタリング項目32 ス Amazon CloudWatchによる監視メトリクスを提供 管理コンソールからも確認可能 クラスターのイベント れる Amazon SNSを利用して通知することも可能 システムテーブルとビュー 2021, Amazon Web Services, Inc. or its Affiliates. All rights reserved.

アドバイザー機能Amazon 推奨事項の例: 割33 ジング にはこちらを参照すると便利) 2021, Amazon Web Services, Inc. or its Affiliates. All rights reserved.

クエリーとクラスターの監視 マネジメントコンソールの活用 マネジメントコンソール Redshift クラスター フォーマンススループット、 レンシークエリの同時実行状況 (キュー待ちや実行時間)34 2021, Amazon Web Services, Inc. or its Affiliates. All rights reserved.

分析 Redshift は 4 も DB を組み合わせて別軸で分析 2021, Amazon Web Services, Inc. or its Affiliates. All rights reserved.

分析 実行されたクエリには一意のクエリ ID が割当られる 取得する際は、多くの場合クエリ ID をキーとする Tips elect pg last query id() as q into temp table hoge;select * from stl explain where query (select q from hoge);select * from svl query summary where query (select q from hoge);: 2021, Amazon Web Services, Inc. or its Affiliates. All rights reserved.

Admin Views / Scripts スクリプト群 utils ーティングに利用可能 散状況の確認 2021, Amazon Web Services, Inc. or its Affiliates. All rights reserved.

マンスチューニングを実施 ったAmazon 増強する 帯だけノード数を増やす38 2021, Amazon Web Services, Inc. or its Affiliates. All rights reserved.

ターンを高速化 結合、フィルタ、集計、射影 ソートキーを指定できる 外部表の参照も可能loc salesloctotal salesSF12.00NY10.00ETL/BI パイプラインの簡素化 エリリライト 行計画をRewrite し、マテリアライズドビューを参照39 2021, Amazon Web Services, Inc. or its Affiliates. All rights reserved.store infostore owner locs1JoeSFs2Ann NYs3LisaSFsalesitem store cust pricei1s1 c1 12.0i2s2 c1 3.0i3s2 c2 7.0

更する リングによる実行も可能 広帯域ネットワーキングRedshift マネージドストレージ40 2021, Amazon Web Services, Inc. or its Affiliates. All rights reserved. 広帯域ネットワーキング

利用者の増加に対処するAWS 公式 Webinarhttps://amzn.to/JPWebinar41 2021, Amazon Web Services, Inc. or its Affiliates. All rights reserved.過去資料https://amzn.to/JPArchive

DWH ワークロードの特徴 を使って接続する可能性がある ニア42営業 2021, Amazon Web Services, Inc. or its Affiliates. All rights reserved.マーケティング

DWH ワークロードの特徴 BI ドで複数のクエリが流れる DWH 受ける可能性があるAmazonRedshift43 2021, Amazon Web Services, Inc. or its Affiliates. All rights reserved.

agerETLPriority: HighBI/AnalyticsPriority: NormalData SciencePriority: LowConcurrency Query Slots AutoLeader NodeComputeNodes44Amazon Redshift 処理に自動的に多くCPU, ンドなどで動的に変更が可能 RedshiftClusterAuto 可能 2021, Amazon Web Services, Inc. or its Affiliates. All rights reserved.

ショートクエリアクセラレーション 析およびBI / ートノードコンピュートノード 2021, Amazon Web Services, Inc. or its Affiliates. All rights での設定は不要)

ピークタイムのワークロード 起こす可能性がある ピークタイムに合わせた DWH azonRedshift46 2021, Amazon Web Services, Inc. or its Affiliates. All rights reserved.

る トワーキングRedshift マネージドストレージ47 2021, Amazon Web Services, Inc. or its Affiliates. All rights reserved.追加クラスター(1 10) して並列処理

Concurrency Scaling れているパラメータグループの WLM に設定48 2021, Amazon Web Services, Inc. or its Affiliates. All rights reserved.

ータ”max concurrency scaling 数を0-10 の範囲で指定 (デフォルト : 1)49 2021, Amazon Web Services, Inc. or its Affiliates. All rights reserved.

Concurrency Scaling の料金* 課金体系は 2021 年 1 た期間(秒) 1 日あたり 1 30 時間) 可能追加クラスター 1クエリ 1クエリ 2クエリ 3クエリ 加クラスター 2クエリ 6クエリ 7時間Idle時間クエリ 8クエリ スター分50 2021, Amazon Web Services, Inc. or its Affiliates. All rights reserved.2クラスター分1課金なし参考: スター分課金なし

データ連携はどのように行うかAWS 公式 Webinarhttps://amzn.to/JPWebinar51 2021, Amazon Web Services, Inc. or its Affiliates. All rights reserved.過去資料https://amzn.to/JPArchive

Amazon MAWS クラウド加工・変換機械学習AWS GlueAmazon SageMaker蓄積集計・分析可視化Amazon S3Amazon RedshiftAmazon QuickSightERPLOBAWS DMS/SCTSensors DevicesSocial52WebAmazonKinesis Family 2021, Amazon Web Services, Inc. or its Affiliates. All rights reserved.

ド ドでロードを実行 の変換(Transform) 外部ETLツール、AWS Glue、Hadoop等で実行 し、SQLで変換53 2021, Amazon Web Services, Inc. or its Affiliates. All rights reserved.dc2.8xlarge Compute Node16 Input Files

分)CSVCSV 2021, Amazon Web Services, Inc. or its Affiliates. All rights 細:SELECT INSERTマスター:UPSERT・サマリー履歴

データ連携Redshift 用意することで、Amazon mazonRedshiftクラスターや、Amazon タ連携が可能Amazon Redshift Spectrum S3 エンジンデータレイク ユーザー管理 S3 バケット55 2021, Amazon Web Services, Inc. or its Affiliates. All rights (Parquet, ORC, JSON, CSV etc)AWS Glue データカタログ

Federated queryで、業務DBへ直接アクセスRDS/Aurora PostgreSQL 統合して分析RA3 を分析Redshift ュアにデータアクセスRDS/Aurora MySQL をサポート (プレビュー)56 2021, Amazon Web Services, Inc. or its Affiliates. All rights reserved.AuroraPostgreSQLRDSPostgreSQLS3 Data lake

Redshift SpectrumとFederated queryを利用した例-- Aurora PostgreSQLには最新のデータ (2019)-- 集計-- Amazon Redshift には最近のデータ(2016-2018)-- れる-- Amazon S3にはアーカイブデータ (1992-1998)-- グされる-- 全データを検索可能なUNION ALLビューを定義-- 集計がプッシュダウンされる-- E VIEW lineitem all ASSELECT * FROM s3.lineitem 1t partSELECT EXTRACT(year FROM l shipdate) AS year,UNION ALLEXTRACT(month FROM l shipdate) AS month,SELECT * FROM public.lineitemCOUNT(*) AS ordersUNION ALLFROM lineitem allSELECT * FROM apg.lineitemWHERE extract(month FROM l shipdate) 1WITH NO SCHEMA BINDINGAND l quantity 2GROUP BY 1,2ORDER BY 1,2;57 2021, Amazon Web Services, Inc. or its Affiliates. All rights reserved.

Anazon Redshift Data SharingRedshift ノードコンピュート コンピュート コンピュート コンピュート Amazon Redshift マネージドストレージ ラスターがread 有を実現 2021, Amazon Web Services, Inc. or its Affiliates. All rights reserved.

Data sharing のユースケース イズ・性能を最適化ETL 開59 2021, Amazon Web Services, Inc. or its Affiliates. All rights reserved.

Data sharing のユースケース のAmazon もコンシューマーにもなれる営業60 2021, Amazon Web Services, Inc. or its Affiliates. All rights reserved.

まとめAWS 公式 Webinarhttps://amzn.to/JPWebinar61 2021, Amazon Web Services, Inc. or its Affiliates. All rights reserved.過去資料https://amzn.to/JPArchive

まとめ Amazon Redshift は、分析用クエリ実行に特化したRDBMS Amazon 分自動化されている 要な時間帯だけスケールアウト ラスター追加を自動対応 2 2021, Amazon Web Services, Inc. or its Affiliates. All rights reserved.

はAWS Japan Blog 日掲載します。63 2021, Amazon Web Services, Inc. or its Affiliates. All rights reserved.

AWS の日本語資料の場所「AWS 資料」で検索https://amzn.to/JPArchive64 2021, Amazon Web Services, Inc. or its Affiliates. All rights reserved.

AWS Well-Architected 会”を実施中 対策などを相談することも可能 s://aws.amazon.com/jp/about-aws/events/)AWS イベント65 2021, Amazon Web Services, Inc. or its Affiliates. All rights reserved.で[検索]

ご視聴ありがとうございましたAWS 公式 Webinarhttps://amzn.to/JPWebinar67 2021, Amazon Web Services, Inc. or its Affiliates. All rights reserved.過去資料https://amzn.to/JPArchive

Redshift. Amazon Elasticsearch Service. Amazon EMR. Amazon S3. Amazon Aurora. Amazon Athena. Amazon S3. でスケーラブルな データレイクを構築することで、 AWSの他のサービスから生まれ たデータを手軽に分析可能 Amazon Redshift. で分析した データも、 S3に保存することで 他のサービス .