FXでは、反対売買による決済をすることで利益が確定します。そのためポジションが積み上がりすぎると、将来的に現在積み上がったポジションと逆方向に相場が動く可能性が高まります。具体的には、買いポジションが過大になれば相場下落、売りポジションが過…

前回、仲値時間にかけて円安になるのか検証してみました。 www.superi.jp 09:30の始値で買って、09:55の始値で売るケースを想定したところ、2018年は堅調に収益が積み上がっていますが、それ以前は行ったり来たりといった結果でした。 今回は売買の時間を調…

FXのアノマリーに、仲値時間にかけて円安になるというものがあります。これは、東京時間では日本企業が外国企業への支払いのためドルの需要が高まり、金融機関は銀行における1日の外貨の取引価格とされる仲値を決定する時間前(午前10時前)までにドル買いを強…

前回、為替レートの5分足のヒストリカルデータを入手しました。 www.superi.jp 今回は、このOHLCデータを、PythonのPandasを使ってFXの分析に欠かせない、ローソク足のプロットをしたいと思います。

以前、システムトレードのアルゴリズムを構築したいとお話しました。 www.superi.jp が、そのためにはまず為替レートの過去データを入手しなければなりません。その入手先について検討したいと思います。

2019年はブロックチェーン元年として、技術・ビジネス面ともにキャッチアップしていこうかと思っています。 ブロックチェーンは、僕の中ではデータサイエンス以来の価値を見いだせる領域だとワクワクしております。

もっと思ったことを発信した方がいいなと思って、帰りの電車の中でブログ書いている。 プロジェクトも佳境。今月で携わっているお客さんともサヨナラだから引き継ぎ用に資料をまとめてたりしている。

起こったこと PythonでGCE上で開発していると発生した。 google-cloud-sdkはインストール済み。Google BigQuery API の Cloud クライアント ライブラリをインストールして利用していると、ライブラリーが読み込めなかった。 from google.cloud import bigque…

業務でWord Cloudを使う機会があったため、使い方を確認しました。

よっ、でぃーぷらーにんぐー、したかったのが今回の趣旨です、、

今年2月にFacebookからリリースされた時系列予測ライブラリ『Prophet』は、非常に手軽に時系列予測が可能です。

表題はIEEE PerCom 2017に掲載されたYahoo Japanのデータサイエンティストのペーパーです。 日経産業新聞に載ってたのを見て、IEEEに掲載されてたのを知りました。 自分もトップジャーナルとマスメディアに載りたいなーって思いました(´･Д･)」

マーケティングではアンケートによって市場調査を行うことがあるかと思いますが、このときに悩まされるのがユーザーの自由回答欄での表記揺れではないでしょうか。

前回、XGBoostで予測モデルを作成しました。 www.superi.jp 精度を上げるためにはパラメーターチューニングが必要です。しかし、こちらのアルゴリズムは設定すべきパラメータが多く、手動で探索すると手間がかかります。 そこでscikit-kearnのgrid_searchを…

前回まででXGBoostのインストールが終わりました。 www.superi.jp ここからは実際にXGBoostによる予測モデルを作成していきます。

XGBoostで予測モデルを作成していきます。 XGBoostとは 近年KaggleやKDDなどの機械学習界隈で予測精度がよいと評判のアルゴリズム、Gradient Boosting(勾配ブースティング、GBDTと呼ぶことが多い)をc++で実装したもので、計算が速いことが知られています。 G…

尊敬して止むに止まないナニワの軍師こと森岡毅氏の『確率思考の戦略論』を読んでいて、ヒジョーに良かったのでざっくりまとめておこうかと。 確率思考の戦略論 USJでも実証された数学マーケティングの力 作者: 森岡毅,今西聖貴 出版社/メーカー: KADOKAWA/…

前回モデルの性能検証に関して、クロスバリデーションについて書きました。 www.superi.jp

Anacondaを使っていますが、Python3にアップデートしたらmatplotlibのpyplotがインポートできなくなりました。ちなみにmatplotlibの他のクラスは読み込めます。

前回決定木で予測モデルを作成しましたが、機械学習におけるモデルの性能検証について書きたいと思います。 www.superi.jp

前回の記事で決定木分析を行い、graphvizによる可視化をしました。 www.superi.jp

以前にインストールしたAnacondaのPythonのver.が2.7だったのですが、さすがに3系にバージョンアップしようかなと思っていろいろ調べたのでまとめますね。 AnacondaでPythonを使っている場合のバージョンアップはAnacondaをバージョンアップさせることで可能…

データマイニングで定番の決定木分析をやってみたいと思います。 決定木の説明に関しては他に譲るとして、ここではpythonの機械学習ライブラリである、scikit-learnを利用して決定木分析を行い、graphvizという可視化ライブラリでグラフを描画します。 その…

hiveでは年月日がyyyyMMddの形式、たとえば20160603となっているとき、castしてもdate型として扱えないので比較や条件句がそのままでは使えません。

前回、前々回でAWS、AzureのIPアドレスの範囲を取得しました。 www.superi.jp www.superi.jp

前回に引き続き、 Microsoft Azureで公開されているxml形式のIPアドレスの範囲を取得し、CSVファイルとして出力します。 www.superi.jp

目的については別途書きますが、AWSで公開されているJSON形式のIPアドレスの範囲を取得し、CSVファイルとして出力します。 やるべきこととしては、 (1) AWSのWebサイト(※1)をスクレイピングし、データを取得。 (2)取得したJSON形式のデータをcsv形式で書き込…

デジタルマーケティングのデータサイエンティストであればTreasureDataを利用されている方も多いのではないでしょうか。通常のDB感覚で大量のログを取り込み、分析できて便利ですよね。 と思いきや、あれ、取り込んだデータの削除ができない・・・

Treasure DataのPresto、Hiveを使っていたところ、datetime型からdate型に変換しようとcastしたところ、エラーになってしまいました。

MacからSFTPサーバーに接続する際にFilezillaを使っていますが、サーバー側のファイル容量が大きくなりすぎてタイムアウトエラーが発生するようになっていました。 Filezillaを利用してSFTPサーバーに接続した際のタイムアウトエラーを回避する方法をまとめ…