サイエンティストとマーケターのはざま

Pythonとか広告とかデータ分析とかとか


取得したヒストリカルデータを結合する

前回取得したヒストリカルデータは各年ごとに分断されています。そこでPythonを使って取得したヒストリカルデータを結合します。

もちろんExcelでコピペをすれば可能ですが、データ加工から分析まで一貫して行えるのがPythonの強みですから、とりあえず使ってみましょう。

 

まず、取得したデータをEC2サーバに転送し、作業ディレクトリに移します。転送にはFTP接続しなければなりません。この点については次回書きたいと思います。

 

ここから本題ですが、Pythonで同じ形式のファイルを結合するにはpandasのconcatを利用すると簡単に可能です。

In [1]:import pandas as pd

pandasのread_csvで結合したいファイルを読み込みます。

In [2]:df1=pd.read_csv('hourly2001.txt') 

In [3]:df2=pd.read_csv('hourly2002.txt') 

In [4]:df3=pd.read_csv('hourly2003.txt') 

 結合します。

In [5]:pd.concat([df1,df2,df3]) 

 ファイルの置き場や作業ディレクトリには注意しなければなりませんが、ファイルの結合自体は容易に可能かと思います。