Python モジュール: pandas

• Python のデータフレームモジュール
  • データフレームとは、複数のデータ型が入り交じるデータ集合を 1 つのデータセットでまとめたもの
    • リストやディクショナリ型でも対応は可能だが、例えば 1 原子に様々なパラメータ (座標や原子名、原子量などなど) が加わると、
      • データへのアクセスの仕方が難しくなる
      • ソートが難しい
      • プログラム言語にもよるが、リストやディクショナリでは特定の型のデータしか格納できない
      • 内部のデータを確認する際に、for 文などで取り出して整形しないと見づらい
    • データフレームでは、自動で整形やソートの際の煩雑な作業をしてくれるのでデータ処理が楽になる。

$ sudo pip3 install pandas

import pandas

あるいは

import numpy as pd

• as pd によって、以降 pd で呼び出せる。
• ここではこっちの読み込みをした場合で記述していく。

data_frame = \
pd.DataFrame([
             ["Tanaka", "Suzuki", "Yamada"],
             [59, 20, 31],
             [150, 160, 159]
]).T
 
data_frame.columns = ["Name", "Age", "Height"]
data_frame.index = [1,2,3]

• .T: numpy の転置と同じ (pandas では、行を個々のデータ、列をデータの種類としているため、転置を使っている)
• data_frame.columns で、各リストのデータ名 (カラム名) を上書きする
• data_frame.index で、各リストのインデックス (シリアル ID) を上書きする
  • インデックスは数値でないといけない

• カラム、インデックスへのアクセス
  

  print(data_frame.columns)
  print(data_frame.index)

  • `data_frame.columns` でカラム一覧にアクセス
  • `data_frame.index` でインデックス一覧にアクセス

• データへのアクセス
  • 単一カラムへのアクセス
    

    print(data_frame["Name"])

  • 複数カラムへのアクセス
    

    print(data_frame[["Name", "Age"]])

    • リストでカラム名を指定する
  • 行へのアクセス
    

    print(data_frame[1:2])

    • スライスで必ず、始点と終点を指定する
    • カラムと同時に指定する場合は、カラム、行の順番で。
  • 参考サイト: pandas.DataFrame の列の抽出（射影）および行の抽出（選択）方法まとめ - akiyoko blog

• カラムの追加
  

  data_frame[NEW_COLUMN] = [DATA1, DATA2, DATA3, ...]

  • NEW_COLUMN: 新しく追加するカラム名
  • DATA1, DATA2, …: 追加するデータはリストで渡す
  • 次元が合わない場合は、エラーになる
  • 参考サイト: pandasの基本操作 - Qiita
• 行の追加
  

  data_frame = data_frame.append(DATA_FRAME)

  • DATA_FRAME: 追加するデータが入った pandas のデータフレーム
  • 次元が合わない場合は、NaN となる。
  • 返り値を受け取る形で更新する。
  • 参考サイト: pandasの基本操作 - Qiita
• データフレームの追加
  • 横に結合 (カラムの追加)
    

    DATA_FRAME = pd.concat([DATA_FRAME1, DATA_FRAME2, ...], axis = 1)

  • 縦に結合 (行の追加)
    

    DATA_FRAME = pd.concat([DATA_FRAME1, DATA_FRAME2, ...])

  • 参考サイト: Python pandas 図でみる データ連結 / 結合処理 - StatsFragments
  • データの欠損は NaN 扱いとなる。NaN を置換するには .fillna() を使う。
    

    DATA_FRAME.fillna("")

    • 上記の例では、NaN が空の文字列に置換される。
    • 参考サイト: pandasで欠損値NaNを除外（削除）・置換（穴埋め）する | Python / note.nkmk.me

• 2 つの方法がある。
  • .index や .columns で取得したカラム名やインデックス名のリストを len() を使って取得する。
  • DATA_FRAME.shape でインデックスとカラム数を同時に取得する。

• テキストファイルの場合
  

  DF = pd.read_table("INPUT.txt", names = [LABEL1, LABEL2, ...])

  • DF: データフレームを格納する変数
  • INPUT.txt: 入力ファイル
  • LABEL1, LABEL2,…: カラム名