A096dc70c834c37a3926d18a6ef257b4

2019-05-23 slaveveveCreated on 2019-05-23 by slaveveve

    今日やったこと

    • pandas倒す
      • ぎりぎり倒した

    所感

    • 昨日帰り際に考えたやり方だとDataframeを一行ずつfor文回すのとあんまり変わらん早さしか出なかったのでやんだ
    • 最終的に出荷年、月、週、商品コードをキーとして平均値を持った別のDataframeを生成して、それを結合して解決した
      • だいたいこのやり方だとある程度の処理速度が担保されてそうなので、今後はこのやり方を念頭においておくといいかもしれない
      • Dataframe型でいちいちデータ用意しないといけない煩わしさはあるので一長一短ではある
    • 標準化メモリ爆食い問題、ダミー変数生成後の元データだけでメモリ50GBとか食っててお前マジで言ってんのってなったりした
    • 逐一変数を del して一応動くようにはしたけど標準化後の予測値に inverse_transform() かけようとしたらメモリが足りないと言われてしまったので別の方法を考えないといけなさそう
      • ダミー変数生成後のデータを分割してpickleファイルに保存して、別々に呼び出して、ってやるのが丸いかなぁと思ってる。まだやってないので明日やる

    明日やること

    • 標準化ソースコード改善
    • NNモデルパラメータ設定

    その他

    MtG(カードゲームのアレです)やってるんですけど、今度出るモダンホライゾンって言う新弾がクソ熱そうなので買おうと思います。お高いので買う予定なかったけど、価格的にも使わないレア売ったらペイできるレベルで熱いので