読者です 読者をやめる 読者になる 読者になる

サイエンティストとマーケターのはざま

Pythonとか広告とかデータ分析とかとか


サーバ

TreasureDataのログを削除する

デジタルマーケティングのデータサイエンティストであればTreasureDataを利用されている方も多いのではないでしょうか。通常のDB感覚で大量のログを取り込み、分析できて便利ですよね。 と思いきや、あれ、取り込んだデータの削除ができない・・・ 間違って…

SQLでyyyyMMdd hh:mm形式からdate型に変換する

Treasure DataのPresto、Hiveを使っていたところ、datetime型からdate型に変換しようとcastしたところ、エラーになってしまいました。 よくみると、datetime型のyyyyMMdd hh:mm:ss形式ではなく、yyyyMMdd hh:mmでデータが格納されており、これがcastでdate型…

FilezillaでSFTP接続した時のタイムアウトエラーを回避する

MacからSFTPサーバーに接続する際にFilezillaを使っていますが、サーバー側のファイル容量が大きくなりすぎてタイムアウトエラーが発生するようになっていました。 Filezillaを利用してSFTPサーバーに接続した際のタイムアウトエラーを回避する方法をまとめ…

IPython notebookからRDSのテーブルを作成する

前回はEC2からRDSにコネクションを作成しました。 <a href="http://ukichang.hatenablog.com/entry/2014/12/12/235206" data-mce-href="http://ukichang.hatenablog.com/entry/2014/12/12/235206"&a…

EC2上のIPython notebookからRDSに接続する

前回はRDSにDataBaseを作成しました。 <a href="http://ukichang.hatenablog.com/entry/2014/12/06/132230" data-mce-href="http://ukichang.hatenablog.com/entry/2014/12/06/132230">Amazon RDS for PostgreSQLを使う - メモ代わりにブログ</a&gt…

Amazon RDS for PostgreSQLを使う

以前、入手したヒストリカルデータを加工する記事を書きました。 <a href="http://ukichang.hatenablog.com/entry/2014/11/17/233819" data-mce-href="http://ukichang.hatenablog.com/entry/2014/11/17/233819">取得したヒストリカルデータを結合する…

インスタンスにFTP接続してファイルをupload/downloadする

以前の記事でEC2にFTP接続してデータを転送したあとのデータ加工の記事を書きました。 今回はローカルPCからEC2へのデータ転送の方法を書きたいと思います。Macからの接続例となります。 FTP接続にはFileZillaというアプリケーションを利用します。サイトは…

IPython notebookをインストールする

ブラウザでIPython Notebookを起動してみましょう。 IPython Notebook を実行するにはIPython とその依存する ソフトウェアをインストールする必要があります。 インスタンスのAMIによってインストール方法が異なるかと思いますが、ここではubuntu(Linux)で…

インスタンスに接続する

前回作成したインスタンスに接続します。 WindowsとMacで接続方法が異なりますが今回はMacで接続します。 接続には前回ダウンロードした秘密鍵が必要です。 ダウンロードした秘密鍵はパーミッションを変更する必要があります。Macの場合ですが、ターミナルを…

Key Pairを生成する

前回の記事ではEC2にインスタンスを作成しました。 今回はそのインスタンス接続に必要なKey Pairの生成方法をまとめたいと思います。 インスタンスへは公開鍵認証で接続します。そのため"Key Pair"の設定が必要となります。AWSのダッシュボードで作成してく…

AWSにインスタンスを作成する

まずは分析環境を構築します。 ブラウザ上でIPython notebookを実行できるようにするため、AWSのEC2上にインスタンスを作成します。IPython notebookについては後述します。 AWSとはAmazon Web Servicesの略で、Amazon.com により提供される各種遠隔コンピュ…