Pandas的高级操作

pandas数据处理

1. 删除重复元素

使用duplicated()函数检测重复的行，返回元素为布尔类型的Series对象，每个元素对应一行，如果该行不是第一次出现，则元素为True

• keep参数：指定保留哪一重复的行数据

• 创建具有重复元素行的DataFrame

import numpy as np
import pandas as pd
from pandas import DataFrame

# 创建一个df
df = DataFrame(data=np.random.randint(0,100,size=(12,7)))
df               

# 手动将df的某几行设置成相同的内容
df.iloc[1] = [6,6,6,6,6,6,6]
df.iloc[8] = [6,6,6,6,6,6,6]
df.iloc[5] = [6,6,6,6,6,6,6]
df

• 使用drop_duplicates()函数删除重复的行
  • drop_duplicates(keep=‘first/last‘/False)

df.drop_duplicates(keep='last')  # 保留最后一个重复的行

2. 映射

1) replace()函数：替换元素

DataFrame替换操作

• 单值替换
  • 普通替换： 替换所有符合要求的元素:to_replace=15,value=‘e‘
  • 按列指定单值替换： to_replace={列标签：替换值} value=‘value‘
• 多值替换
  • 列表替换: to_replace=[] value=[]
  • 字典替换（推荐） to_replace={to_replace:value,to_replace:value}

df

注意：DataFrame中，无法使用method和limit参数

df.replace(to_replace=6,value='six') # 将数据中的所有6替换成six,默认不改变原表

df.replace(to_replace={6:'six'})  # 效果同上

df.replace(to_replace={5:6},value='six')  # 将第5列中的6,替换成six

2) map()函数

新建一列 ， map函数并不是df的方法，而是series的方法

• map()可以映射新一列数据
• map()中可以使用lambd表达式

• map()中可以使用方法，可以是自定义的方法

  eg:map({to_replace:value})

• 注意 map()中不能使用sum之类的函数，for循环

• 新增一列：给df中，添加一列，该列的值为中文名对应的英文名

dic = {
    'name':['张三','周杰伦','张三'],
    'salary':[20000,10000,20000]
}
df = DataFrame(data=dic)
df

# 映射关系表
dic = {
    '张三':'tom',
    '周杰伦':'jay'
}
df['e_name'] = df['name'].map(dic)
df

map当做一种运算工具，至于执行何种运算，是由map函数的参数决定的（参数：lambda，函数）

• 使用自定义函数

def after_sal(s):
    return s - (s-3000)*0.5

# 超过3000部分的钱缴纳50%的税
df['after_sal'] = df['salary'].map(after_sal)
df

df['after_sal'] = df['salary'].apply(after_sal)  # apply效率高于map
df

• 使用lambda表达式

df['after_sal'] = df['salary'].apply(lambda x:x-(x-3000)*0.5)  # 或map
df

注意：并不是任何形式的函数都可以作为map的参数。只有当一个函数具有一个参数且有返回值，那么该函数才可以作为map的参数。

3. 使用聚合操作对数据异常值检测和过滤

使用df.std()函数可以求得DataFrame对象每一列的标准差

• 创建一个1000行3列的df 范围（0-1），求其每一列的标准差

df = DataFrame(data=np.random.random(size=(1000,3)),columns=['A','B','C'])
df

对df应用筛选条件,去除标准差太大的数据:假设过滤条件为 C列数据大于两倍的C列标准差

twice_std = df['C'].std() * 2
twice_std

0.5714973528631762

~(df['C'] > twice_std)

0       True
1       True
2      False
3      False
4      False
5       True
6      False
7       True
8       True
9      False
10     False
11      True
12      True
13      True
14      True
15     False
16     False
17     False
18      True
19     False
20     False
21      True
22     False
23     False
24      True
25      True
26      True
27     False
28      True
29      True
       ...  
970     True
971     True
972     True
973    False
974     True
975     True
976     True
977    False
978    False
979    False
980    False
981     True
982     True
983     True
984    False
985    False
986     True
987     True
988    False
989    False
990    False
991     True
992     True
993     True
994    False
995    False
996    False
997     True
998     True
999    False
Name: C, Length: 1000, dtype: bool

df.loc[~(df['C'] > twice_std)]

• 检测过滤缺失值
  • dropna
  • fillna
• 检测过滤重复值
  • drop_duplicated(keep)
• 检测过滤异常值
  • 得到鉴定异常值的条件
  • 将异常值对应的行删除

4. 排序

使用.take()函数排序

• take()函数接受一个索引列表,用数字表示,使得df根据列表中索引的顺序进行排序
• eg:df.take([1,3,4,2,5])

可以借助np.random.permutation()函数随机排序

np.random.permutation(1000)  #  将0-999进行随机排列

array([956, 614, 993, 437, 371, 215, 579, 282, 301, 646, 893,   7, 441,
       539, 953, 794, 155, 370, 154, 100, 753, 793, 412, 867, 941, 998,
       672, 590, 708,   1, 634, 899, 417, 242, 557, 122, 397, 850, 543,
       560, 389, 896, 903, 505, 685, 334, 665, 460, 768, 937, 522, 637,
       121, 605, 107, 130, 286, 532, 982, 563, 995,  89, 217, 218,  82,
       781, 951, 798, 200, 947, 790, 398, 538, 411,  15,  44, 784, 205,
       281, 314, 439, 132, 192, 238, 795, 470,  65, 842, 259, 426, 528,
       383, 682, 750, 119, 465, 503, 278, 715, 603, 544, 265, 239, 569,
       204, 616, 343, 710, 653, 256,   6, 873, 338,  27, 570, 707,  70,
        73, 233, 838, 799, 266, 859, 279, 136, 479, 724, 870, 611, 574,
       564, 655, 177,  39, 253, 148, 471, 317, 661, 851,  69, 523, 513,
       928, 650,  23, 582, 622, 814, 959, 723, 938, 612, 912, 865, 402,
       638,  80, 962, 214, 983, 194, 680, 758,  29,  74,  86, 102, 583,
       695, 580, 835, 931, 832, 454, 258, 493, 967, 670, 555, 494, 501,
       581, 591, 179, 354, 118, 671, 380, 732, 229, 719, 623, 874, 495,
       944, 900, 123, 250, 628, 244, 872, 731, 625, 586,  57, 752, 596,
       827, 775, 841, 163, 394, 833, 153, 669, 295, 826, 384, 890, 711,
        60, 141, 237, 198, 404, 463, 712, 960, 749, 510, 866, 609,  26,
       169, 372, 459, 365, 949, 124, 733,  12, 257, 668, 878, 487, 138,
       652, 300, 219, 413, 445, 193, 207, 337, 779,  77,  95, 693, 812,
       409,  33, 490, 992,   9, 167, 358, 743, 369,  99, 817, 542, 706,
       289, 589, 666, 927, 391, 761, 844, 452,  66, 830, 498, 968, 689,
       329, 508, 526, 335, 884, 129, 972, 507, 480, 274, 110, 425, 500,
       388, 418, 869, 769, 251, 863, 456, 112, 247, 304, 478, 481, 429,
       741, 241, 347,  37, 673, 427, 285, 415,  59, 853, 144, 822, 125,
       455,  64, 332,  71, 971, 763, 804,  19, 191, 918, 608,  61, 327,
       137, 116, 746, 482, 828, 766, 691, 424, 727, 468, 633, 302, 861,
       848, 134, 704, 491, 320, 280, 660, 375, 846, 359, 987, 511, 342,
       307, 399,  76, 825,  11,  28, 961, 485, 451, 675, 457, 618, 554,
       551, 885, 531, 880, 534, 160, 607, 367, 374, 797, 910, 970, 595,
       575, 756,  90, 897, 801,  49, 140, 985, 512, 577, 922, 168, 225,
       360, 315, 350, 919, 231, 911, 631,  31, 774, 103, 186, 892, 293,
       483, 149, 860, 887,  93, 340, 744, 908,  52, 196, 222, 955,   3,
       930, 571, 484, 156,  50, 843, 599, 506, 936, 703, 881, 273, 520,
        41,  85, 328, 223,  48, 492,  97,  56,  36, 974, 924, 656,  58,
       649,  92, 114,  62, 173, 984, 973, 346, 573, 996, 597, 990, 667,
       206, 917, 213, 272, 462, 686, 469, 472, 236, 643, 787, 224, 120,
       255,  24, 171,  94, 904, 771, 344, 556, 981, 593, 988, 271, 762,
       363, 254, 535, 361, 979, 303, 692, 964, 504, 150, 894, 349, 796,
       714, 525, 943, 785, 260, 145, 292, 718, 811, 234, 641, 403, 818,
       999, 461, 778, 802, 901, 352,  40, 515,  32, 877, 664, 323, 966,
       635, 905, 754, 940, 810, 182,  75, 442, 308, 262, 776, 592, 267,
       203, 294, 657,  34, 414, 405, 232, 151, 373, 601,  14, 807, 467,
       421,  43, 935, 430, 287, 313, 283, 152, 516, 530, 356, 559, 518,
       644, 889, 977, 521, 548, 381, 674, 929,   0, 916, 246, 540, 297,
        67, 980, 422, 117, 772,  53,  13,  91,  46, 423, 509,  21, 128,
       598, 115, 610, 679, 783, 264,  78, 270, 824, 311, 648, 220, 636,
       226, 658, 886, 227, 268, 773, 620, 529, 864, 502, 567, 713, 963,
       366, 210, 333, 249, 600, 701,   2, 640, 407, 745, 942, 113,  87,
       390, 159, 188, 948, 957, 488, 351, 288, 245, 431, 248, 164, 767,
       839, 702, 803, 792, 594, 837, 489, 934, 684, 386, 629, 519, 876,
        63, 448,  98, 858, 378, 298, 368, 453,  25, 868, 624,  79, 133,
       902, 906, 428, 401, 162, 157, 728, 950, 662, 190, 496, 568, 975,
       952, 627, 909, 994, 131, 780, 751, 883, 871, 319, 722, 199, 536,
       209, 821, 318, 290, 393,  35, 325, 187, 786, 681, 284, 514, 331,
       647, 855, 143, 989, 642,  96, 676, 986, 561, 602, 336,  20, 379,
       847, 735, 954, 645, 547, 357, 447, 435, 739, 228, 566, 305, 353,
       158, 755, 716, 730, 856, 127,  47, 392, 862, 809, 720, 760, 432,
       243, 932, 208, 382, 585, 747, 111, 836, 736, 700, 705, 615, 355,
        18, 330, 820,   8, 857, 184, 175, 221, 737, 524, 697, 436, 395,
       764, 939, 104, 759, 819, 240, 659, 147, 269, 387, 420, 621, 364,
       926, 201, 549, 165, 696, 742, 997, 181, 277, 726,  10, 683, 991,
       291,  81, 126,  68, 920, 808, 572, 740, 533, 699,  72, 146, 230,
       888,   5, 606, 466, 263, 458, 898, 604, 385, 805, 105, 211, 945,
       958, 721, 823, 376, 497, 545, 576, 738, 626, 852, 449, 541, 444,
       406, 976,  88, 815, 552, 166, 183, 178, 438, 553,  84,  83, 717,
       651, 782, 678, 324, 584,  42, 687, 517, 195, 106, 101, 933, 434,
       348, 440, 587, 310, 923, 663, 921, 499, 565, 296,  38, 891, 895,
       316,  30, 978, 677, 170, 322, 613, 546, 527, 630, 476, 174,  51,
       816, 845, 185, 108,  17, 321, 813, 806, 109, 882, 197, 550, 907,
       339, 698, 965, 362, 729, 914, 791, 694, 475, 879, 486, 309, 748,
       326, 688, 202, 410, 915, 690, 854, 377, 341, 788,  22, 777, 275,
       473, 261, 400,  45,  54, 135, 770, 189, 946, 562, 925, 537, 789,
       312, 829, 725, 252, 800, 578, 446,  55, 419, 396,   4, 558, 212,
       831, 450, 299, 161, 617, 345, 306, 757, 709, 180, 235, 433, 840,
       477, 913, 474, 734, 408, 443, 834, 654, 875, 172, 632, 416,  16,
       216, 464, 139, 619, 588, 969, 176, 276, 142, 639, 765, 849])

# 行排序与列排序均随机
df.take(indices=np.random.permutation(1000),axis=0).take(indices=np.random.permutation(3),axis=1)

• np.random.permutation(x)可以生成x个从0-(x-1)的随机数列

df.take(indices=np.random.permutation(1000),axis=0).take(indices=np.random.permutation(3),axis=1)[0:5]

随机抽样

当DataFrame规模足够大时，直接使用np.random.permutation(x)函数，就配合take()函数实现随机抽样

5. 数据分类处理【重点】

数据聚合是数据处理的最后一步，通常是要使每一个数组生成一个单一的数值。

数据分类处理：

• 分组：先把数据分为几组
• 用函数处理：为不同组的数据应用不同的函数以转换数据
• 合并：把不同组得到的结果合并起来

数据分类处理的核心：

• groupby()函数
• groups属性查看分组情况
• eg: df.groupby(by=‘item‘).groups

分组

df = DataFrame({'item':['Apple','Banana','Orange','Banana','Orange','Apple'],
                'price':[4,3,3,2.5,4,2],
               'color':['red','yellow','yellow','green','green','green'],
               'weight':[12,20,50,30,20,44]})
df

• 使用groupby实现分组

df.groupby(by='item',axis=0)

<pandas.core.groupby.DataFrameGroupBy object at 0x00000235AA6F6C18>

• 使用groups查看分组情况

# 该函数可以进行数据的分组，但是不显示分组情况
df.groupby(by='item',axis=0).groups

{'Apple': Int64Index([0, 5], dtype='int64'),
 'Banana': Int64Index([1, 3], dtype='int64'),
 'Orange': Int64Index([2, 4], dtype='int64')}

• 分组后的聚合操作：分组后的成员中可以被进行运算的值会进行运算，不能被运算的值不进行运算

# 给df创建一个新列，内容为各个水果的平均价格
df.groupby(by='item',axis=0).mean()['price']

item
Apple     3.00
Banana    2.75
Orange    3.50
Name: price, dtype: float64

mean_price_series = df.groupby(by='item',axis=0)['price'].mean()
mean_price_series

item
Apple     3.00
Banana    2.75
Orange    3.50
Name: price, dtype: float64

# 映射关系表
dic = mean_price_series.to_dict()
df['mean_price'] = df['item'].map(dic)
df

计算出苹果的平均价格

df

按颜色查看各种颜色的水果的平均价格

汇总:将各种颜色水果的平均价格和df进行汇总

df['color_mean_price'] = df['color'].map(df.groupby(by='color')['price'].mean().to_dict())
df

6.高级数据聚合

使用groupby分组后，也可以使用transform和apply提供自定义函数实现更多的运算

• df.groupby(‘item‘)[‘price‘].sum() <==> df.groupby(‘item‘)[‘price‘].apply(sum)
• transform和apply都会进行运算，在transform或者apply中传入函数即可
• transform和apply也可以传入一个lambda表达式

df.groupby(by='item')['price'].mean()

item
Apple     3.00
Banana    2.75
Orange    3.50
Name: price, dtype: float64

def my_mean(s):
    sum = 0
    for i in s:
        sum += i
    return sum/len(s)

# 使用apply函数求出水果的平均价格
df.groupby(by='item')['price'].apply(my_mean)

item
Apple     3.00
Banana    2.75
Orange    3.50
Name: price, dtype: float64

# 使用transform函数求出水果的平均价格
df.groupby(by='item')['price'].transform(my_mean)

0    3.00
1    2.75
2    3.50
3    2.75
4    3.50
5    3.00
Name: price, dtype: float64

Pandas的高级操作

原文：https://www.cnblogs.com/zyyhxbs/p/11708525.html