yy16ki’s diary


スポンサードリンク

IICSでS3から複数ファイル読み込み

IICS(Informatica Intelligent Cloud Services)のデータ統合機能で、S3から複数ファイルを読み込む必要があったので、その際に調べた方法をまとめたものです。また後でわかったことですが、有償版であれば「一括取り込み」機能でもっと簡単に実装できるよ…

TalendでELT処理を実施する

ETLツールとして有名なTalendですが、ELT処理を実施するためのコンポーネントが用意されています。データベース側の挙動もあわせて使用感を確認してみました。 前提条件 Snowflake側の準備 Talend側の処理 作成したジョブ Snowflakeとの接続 tELTInputコンポ…

Talend StudioでS3からの複数ファイル読み込み・統合

Talend StudioでS3上にある,同スキーマではあるものの,ファイル自体が分割されたデータを統合する必要があったのでその際のメモになります. 前提条件 作成したジョブ サンプルデータ ジョブの構成 S3への接続 S3からのファイル取得 取得したファイルの統…

Talend Open Studio 8.0.1 のインストール

オープンソースのETLツールとして有名なTalend の無償試用版である Talend Open Studio を使用しようとしたところ,実行するまでにはまったので,インストール手順も含め記事にしました.結論からいうと,Talend側の言語設定が日本語だったことが問題で,英…

AWS CLIでEC2インスタンスの起動から接続まで

業務にてawsを使用することになりました.環境構築には,AWS CLI(Command Line Interface)を使用することにもなったので、awsとCLIの操作に慣れるために,簡単な構成作成の手順を残しておきます. 作成対象 前提条件 CLIでの作業 VPCの作成 インターネット…

Alteryx Write Data In-DB Toolを用いた新規テーブル作成②

本記事は,「Alteryx Write Data In-DB Toolを用いた新規テーブル作成①(Redshift環境構築~Alteryxからの接続)」の続きにあたります.Write Data In-DB ToolをRedshiftで使用する際に,AWSコンソール側での見え方やこのツールの挙動自体を記した記事は中々…

Alteryx Write Data In-DB Toolを用いた新規テーブル作成①(Redshift環境構築~Alteryxからの接続)

AlteryxのIn-DB機能にて使用可能なWrite Data In-DB Tool(データ書き込みIn-DBツール)を用いて,データベース上にテーブルを作成する機会がありました.ツールの使用に際して,いくつか確認・調査の必要があり,検証用の環境を用意する必要があったので,…

Tableau Desktop Certified Associate 試験に合格しました

2021年6月にTableau Desktop Certified Associate(CA:旧 Qualified Associate)に(ギリギリで)一発合格することができました.業務経験は無かったので,試験のことを色々と調べる際に,日本語の最新記事があれば嬉しかったので,記事にしようと思いまし…

ggplot2で地図を描く

Rで地図上にプロットをする必要があったのでその方法のメモです. ggplot2のmap_data()を使えば地図データをggplotで扱いやすい形式に 変換して返してくれるので, あとはプロットすれば簡単にきれいな地図を描画できます. パッケージの読み込み library(gg…


スポンサードリンク