DS Tools

データサイエンス関連ツール
データ管理
関係データベース
その他のデータベース
  • mongoDB:ドキュメント指向データベース(JSON形式データの管理)
  • neo4j:グラフデータベース(グラフ構造データの管理)
  • redis:スケーラブルなオンメモリデータベース(Key-Value形式データの管理)
データ操作
プログラミング言語
  • Python:さまざまなツールが開発されている言語
  • R:統計的な処理に向いた言語
統合開発環境
  • Jupyter:Python をブラウザで実行できる環境
  • RStudio:R を実行するための統合環境
  • VSCode:さまざまな言語のコーディング,実行からクラウドへのデプロイまでできる統合環境
  • Google Colab:手軽にGPU/TPUでの処理を試せる環境(使用感はJupyterと同じ)
効果的なデータ操作
  • Apache Spark:効率的な並列分散処理ができるフレームワーク
  • dbt:分析対象のデータを処理に向いた形式に変換するツール
  • Featuretools:データ分析のための特徴量を抽出・生成するツール
データの種類特化ツール
  • Numpy:Pythonで数値データを扱うのに優れたライブラリ
  • SciPy:Pythonで統計的な処理をするのに向いたライブラリ
  • OpenCV:画像処理ライブラリ
  • spaCy:言語処理ライブラリ
データ分析
機械学習
  • Scikit-learn:機械学習に関するさまざまな処理ができるライブラリ
  • statsmodels:統計的なデータ処理ができるライブラリ
  • sktime:時系列データ分析ができるライブラリ
深層学習
  • TensorFlow:深層学習ライブラリ
  • PyTorch:深層学習ライブラリ
  • NeuPy:Tensorflowベースの深層学習ライブラリ
  • fast.ai:Pytorchベースの深層学習ライブラリ
  • AI Gym:深層強化学習ができるライブラリ
  • TorchVision:画像に対する深層学習ができるライブラリ
可視化
  • Matplotlib: Pythonでグラフなどの可視化ができるライブラリ
  • ggplot2:RStudioで使える可視化ライブラリ
  • seaborn:統計データを可視化できるPython ライブラリ
  • D3:JavaScript でインタラクティブな可視化ができるライブラリ
  • Plotly: さまざまなプログラミング言語で可視化ができるライブラリ
  • bokeh:Python でインタラクティブな可視化ができるライブラリ
  • tableau:BI(ビジネスインテリジェンス)ツール
  • SAS:BI(ビジネスインテリジェンス)ツール
  • Power BI :BI(ビジネスインテリジェンス)ツール