A096dc70c834c37a3926d18a6ef257b4

2019-06-11 slaveveveCreated on 2019-06-11 by slaveveve

    今日やったこと

    • フィーチャーエンジニアリング
      • 多重共線性解消(終わってない)
      • 特徴量生成コード修正
      • データ分割(終わってない)

    所感

    • とりあえず多重共線性直そうと思ってdf.corr() 回してみたら一生止まらなくなった
      • 仕方ないので目grepして似てるやつ落とそうと思ってデータ眺めてたら特定期間分散と平均のカラムが同じ値になってるのに気付いて闇堕ちした
      • 直した
      • 結果精度上がったんで多重共線性解消いけるやんとなったのでちゃんと相関係数なり出して選定したいんだけどどうしようか。1M行×n千行のデータだから多分それで時間かかってるだけだと思うんだけど
      • サンプル数減らして試しに明日作業と並行して回そうと思う
    • データ分割はいったん予測が上手くいってないデータぶっこぬいてそいつに絞って特徴量掴めないかやってみようと思います(ほとんど考えてただけでまだまったく実装してない)

    明日やること

    • フィーチャーエンジニアリング