首页 > 编程语言 > 详细

python——pandas初体验

时间:2020-02-23 01:35:20      阅读:244      评论:0      收藏:0      [点我收藏+]

一、pandas简介

Pandas是面向数据分析场景设计的Python开源软件工具包,其名字来自英文词组panel data,作为经济界的术语指多维结构化的数据集。从命名来看,Pandas特别适合处理序列数据、表格数据等具有良好结构的数据。在软件使用上,由于Pandsa是基于BSD开源软件许可证发布的,能够很方便地在学习、办公和工业应用等场合使用。

二、pandas特点

通过带有标签的列和索引,Pandas使我们可以以一种便于理解的方式来处理数据。它可以让我们毫不费力地从诸如csv类型的文件中导入数据,并使用类似数据库查询语言SQL的方式来访问数据。我们可以用 Pandas快速地对数据进行复杂的转换和过滤等操作。Pandas这方面表现是非常优秀的。具体有着如下特点:

  • 通过DataFrame对象的索引能力来管理复杂的表格数据;
  • 灵活的读取和写入文件的接口;
  • 数据对齐和强大的缺失数据处理;
  • 对数据集维度的重构和切分;
  • 强大的数据切片、索引和区域选取能力;
  • 二维表格数据中列的插入和删除;
  • 类似SQL语言Group by语法的数据分组、执行函数和合并结果的能力;
  • 合并数据集;
  • 层次化的索引技术来处理复杂高维数据;
  • 强大的时间序列处理能力,提供日期区间生成、频率计算、移动窗口统计、移动窗口线性回归和数据;
  • 为了提高执行效率,Pandas的核心代码是使用CythonC编写的。

三、pandas数据处理对象

(一)、Series: 一维数组,类似于Python中的基本数据结构list,区别是Series只允许存储相同的数据类型,这样可以更有效的使用内存,提高运算效率。就像数据库中的列数据;Series是一个一维的类似的数组对象,包含一个数组的数据(任何NumPy的数据类型)和一个与数组关联的数据标签,被叫做索引 。最简单的Series是由一个数组的数据构成;Series的交互式显示的字符串表示形式是索引在左边,值在右边。因为我们没有给数据指定索引,一个包含整数0N-1这里N是数据的长度)的默认索引被创建。你可以分别的通过它的valuesindex属性来获取 Series的数组表示和索引对象;通常,需要创建一个带有索引来确定每一个数据点的Series。如果你有一些数据在一个Python字典中,你可以通过传递字典来从这些数据创建一个Series,只传递一个字典的时候,结果Series中的索引将是排序后的字典的键。

(二)、DataFrame: 二维的表格型数据结构。很多功能与R中的data.frame类似。可以将DataFrame理解为Series的容器;DataFrame是一个表格型的数据结构,是以一个或多个二维块存放的数据表格(层次化索引),DataFrame既有行索引还有列索引,它有一组有序的列,每列既可以是不同类型(数值、字符串、布尔型)的数据,或者可以看做由Series组成的字典。

四、具体例子

1、创建一个名为series_aseries数组,当中值为[1,2,5,7],对应的索引为[‘nu‘, ‘li‘, ‘xue‘, ‘xi‘];创建一个名为dict_a的字典,字典中包含如下内容{‘ting‘:1, ‘shuo‘:2, ‘du‘:32, ‘xie‘:44};将dict_a字典转化成名为series_bseries数组。

# -*- coding: utf-8 -*-
from pandas import Series,DataFrame
import  pandas as pd

def create_series():
    ‘‘‘
    返回值:
    series_a: 一个Series类型数据
    series_b: 一个Series类型数据
    dict_a:  一个字典类型数据
    ‘‘‘
    # 请在此添加代码 完成本关任务
    # ********** Begin *********#
    series_a = Series([1,2,5,7],index = [nu, li, xue, xi])
    dict_a = {ting:1, shuo:2, du:32, xie:44}
    series_b = Series(dict_a)
    # ********** End **********#

    # 返回series_a,dict_a,series_b
    return series_a,dict_a,series_b

2、创建一个五行三列的名为df1DataFrame数组,列名为 [states,years,pops],行名[‘one‘,‘two‘,‘three‘,‘four‘,‘five‘];给df1添加新列,列名为new_add,值为[7,4,5,8,2]

# -*- coding: utf-8 -*-
from pandas import Series,DataFrame
import  pandas as pd

def create_dataframe():
    ‘‘‘
    返回值:
    df1: 一个DataFrame类型数据
    ‘‘‘
    # 请在此添加代码 完成本关任务
    # ********** Begin *********#
    dictionary = {states:[0hio,0hio,0hio,Nevada,Nevada],
    years:[2000,2001,2002,2001,2002],pops:[1.5,1.7,3.6,2.4,2.9]}
    df1 = DataFrame(dictionary)
    df1 = DataFrame(dictionary, index=[one,two,three,four,five])
    df1[new_add] =[7,4,5,8,2]
    # ********** End **********#

    #返回df1
    return df1

3、将test3/uk_rain_2014.csv中的数据导入到df1中;将列名修改为[‘water_year‘,‘rain_octsep‘,‘outflow_octsep‘,‘rain_decfeb‘, ‘outflow_decfeb‘, ‘rain_junaug‘, ‘outflow_junaug‘];计算df1的总行数并存储在length1中。

# -*- coding: utf-8 -*-
from pandas import Series,DataFrame
import  pandas as pd
def read_csv_data():
    ‘‘‘
    返回值:
    df1: 一个DataFrame类型数据
    length1: 一个int类型数据
    ‘‘‘
    # 请在此添加代码 完成本关任务
    # ********** Begin *********#
    # Reading a csv into Pandas.
    df1 = pd.read_csv(test3/uk_rain_2014.csv, header=0,encoding = "gbk")
    # Changing column labels.
    df1.columns = [water_year,rain_octsep,outflow_octsep,rain_decfeb, outflow_decfeb, rain_junaug, outflow_junaug]
    length1 = len(df1)
    # ********** End **********#
#返回df1,length1 return df1,length1

4、对代码中s1进行按索引排序,并将结果存储到s2;对代码中d1进行按值排序(indexf),并将结果存储到d2

# -*- coding: utf-8 -*-
from pandas import Series,DataFrame
import  pandas as pd
def sort_gate():
    ‘‘‘
    返回值:
    s2: 一个Series类型数据
    d2: 一个DataFrame类型数据
    ‘‘‘

    # s1是Series类型数据,d1是DataFrame类型数据
    s1 = Series([4, 3, 7, 2, 8], index=[z, y, j, i, e])
    d1 = DataFrame({e: [4, 2, 6, 1], f: [0, 5, 4, 2]})

    # 请在此添加代码 完成本关任务
    # ********** Begin *********#
    s2 = s1.sort_index()
    d2 = d1.sort_values(by = "f")
    # ********** End **********#

#返回s2,d2 return s2,d2

5、在s1中删除z行,并赋值到s2d1中删除yy列,并赋值到d2

# -*- coding: utf-8 -*-
from pandas import Series,DataFrame
import numpy as np
import  pandas as pd

def delete_data():
    ‘‘‘
    返回值:
    s2: 一个Series类型数据
    d2: 一个DataFrame类型数据
    ‘‘‘

    # s1是Series类型数据,d1是DataFrame类型数据
    s1 = Series([5, 2, 4, 1], index=[v, x, y, z])
    d1=DataFrame(np.arange(9).reshape(3,3), columns=[xx,yy,zz])
    # 请在此添加代码 完成本关任务
    # ********** Begin *********#
    s2 = s1.drop(z)
    d2 = d1.drop(yy,axis = 1)
    # ********** End **********#

    # 返回s2,d2
    return s2, d2

6、让df1df2相加得到df3,并设置默认填充值为4

# -*- coding: utf-8 -*-
from pandas import Series,DataFrame
import numpy as np
import  pandas as pd

def add_way():
    ‘‘‘
    返回值:
    df3: 一个DataFrame类型数据
    ‘‘‘

    # df1,df2是DataFrame类型数据
    df1 = DataFrame(np.arange(12.).reshape((3, 4)), columns=list(abcd))
    df2 = DataFrame(np.arange(20.).reshape((4, 5)), columns=list(abcde))

    # 请在此添加代码 完成本关任务
    # ********** Begin *********#
    df3 = df1.add(df2,fill_value = 4)
    # ********** End **********#

    # 返回df3
    return df3

7、去除df1中重复的行,并把结果保存到df2中。

# -*- coding: utf-8 -*-
from pandas import Series,DataFrame
import  pandas as pd

def delete_duplicated():
    ‘‘‘
    返回值:
    df2: 一个DataFrame类型数据
    ‘‘‘

    # df1是DataFrame类型数据
    df1 = DataFrame({k1: [one] * 3 + [two] * 4, k2: [1, 1, 2, 3, 3, 4, 4]})
    # 请在此添加代码 完成本关任务
    # ********** Begin *********#
    df2 = df1.drop_duplicates()

    # ********** End **********#

    # 返回df2
    return df2

8、对s1进行数据重塑,转化成DataFrame类型,并复制到d1

# -*- coding: utf-8 -*-
from pandas import Series,DataFrame
import  pandas as pd
import numpy as np
def suoying():
    ‘‘‘
    返回值:
    d1: 一个DataFrame类型数据
    ‘‘‘
    #s1是Series类型数据
    s1=Series(np.random.randn(10),
           index=[[a, a, a, b, b, b, c, c, d, d], [1, 2, 3, 1, 2, 3, 1, 2, 2, 3]])
    # 请在此添加代码 完成本关任务
    # ********** Begin *********#
    d1 = s1.unstack()
    # ********** End **********#
    # 返回d1
    return d1
suoying()

四、总结

pandas初体验学习完毕,下次我们学习pandas进阶。希望同大家一起进步。

 

python——pandas初体验

原文:https://www.cnblogs.com/CJR-QYF/p/12348179.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!