pandas 重複データを除去する方法

データ分析における、データの前処理として前回は欠損値の扱いについて説明したが、今回はデータセット内で重複するデータを除去するpandasのメソッドについて詳しく紹介する。

重複データの除去

下記のようなデータフレームがあったとする。

import pandas as pd

df = pd.DataFrame({'k1': ['a', 'b'] * 3 + ['b'],
                  'k2': [1, 1, 2, 3, 3, 4, 4]})

#   k1  k2
# 0  a   1
# 1  b   1
# 2  a   2
# 3  b   3
# 4  a   3
# 5  b   4
# 6  b   4

末尾2行のデータが重複したテスト用データセットだ。

重複を確認するduplicatedメソッド

データフレームのduplicatedメソッドは、重複したデータがあるか（同じ値を持つ行が前にあるか）を真偽値のシリーズで返す。

df.duplicated()
# 0    False
# 1    False
# 2    False
# 3    False
# 4    False
# 5    False
# 6     True
# dtype: bool

また、関連メソッドとしてdrop_duplicatesメソッドがあるが、これは重複する行を削除したデータフレームを返す。
つまり、先述の真偽値でFalseの行のみを取り出すということだ。

df.drop_duplicates()
#   k1  k2
# 0  a   1
# 1  b   1
# 2  a   2
# 3  b   3
# 4  a   3
# 5  b   4

通常、duplicatedメソッド、drop_duplicatesメソッドは重複するデータの最初の行を残すようになっているが、オプション値の指定により最後の行を残すこともできる。

df.duplicated(keep='last')
# 0    False
# 1    False
# 2    False
# 3    False
# 4    False
# 5     True
# 6    False
# dtype: bool

重複の検出対象を任意の列に指定する

duplicatedメソッド、drop_duplicatesメソッドは、どちらもデフォルトでは全ての列が同じ値の場合を重複とみなすが、重複の検出対象を任意の列に指定することもできる。

df.duplicated(['k1'])
# 0    False
# 1    False
# 2     True
# 3     True
# 4     True
# 5     True
# 6     True
# dtype: bool

df.drop_duplicates(['k2'])
#   k1  k2
# 0  a   1
# 2  a   2
# 3  b   3
# 5  b   4