首页>>后端>>Python->python中pd的一行多少值(2023年最新分享)

python中pd的一行多少值(2023年最新分享)

时间:2023-12-14 本站 点击:0

导读:今天首席CTO笔记来给各位分享关于python中pd的一行多少值的相关内容,如果能碰巧解决你现在面临的问题,别忘了关注本站,现在开始吧!

请问怎么用python写出“一行里面只要有一个大于100的值,即输出整行”的代码?

import pandas

def compare():

    data = pandas.read_csv(r'C:\Users\admin\Desktop\1.csv', sep='\t')

    data1 = pandas.DataFrame(data=None, index=None, columns=data.columns)

    for i in range(data.shape[0]):

        for j in range(data.shape[1]):

            if data.iloc[i, j]  100:

                data1 = data1.append(data.iloc[i], ignore_index=True)

                break

    print(data1)

compare()

我的原数据是csv文件,里面信息是这样的

输出的结果是

可以看到一行里没有超过100的都被过滤掉了,用的时候把文件位置改一下

python pandas 怎样高效地添加一行数据

定义行 row = pd.DataFrame(row_values,column_headers)

追加行 df.append(row,ignore_index=True)

举例 :

row = pd.DataFrame(['python', 'pandas', 10], ['name','lib','rank'])

df.append(row,ignore_index=True)

python里dataframe怎么设置刻度

人工智能原理与实践 全面涵盖人工智能和数据科学各个重要体系经典

数据科学家最常用的数据表格工具当属 pandas; 通过pandas表格,可以方便的展示表格(dataframe)和分析表格。而表格的格式设置不好,会影响分析效率。

所谓磨刀不误砍柴工,工欲善其事必先利其器, 下面大家了解一下常用的几种设置方法:

显示更多行

显示更多列

改变列宽

设置float列的精度

数字格式化显示

更改绘图方法

配置info()的输出

打印出当前设置并重置所有选项

1. 显示更多行

默认设置,pandas 是不超出屏幕的显示范围的,如果表的行数很多,它会截断中间的行只显示一部分。有些时候,如果需要查看的数据的总行数不多,可以通过设置display.max_rows来控制显示的最大行数,比如设置显示200行数据,从而一次性查看数据:

import pandas as pd

pd.set_option('display.max_rows', 200)

# 或者这样设置

# pd.options.display.max_rows = 200

登录后复制

但当数据的行数超过了display.max_rows,那么display.min_rows将确定显示的部分有多少行。因为display.min_rows的默认行数为10,因此数据一般显示为前5行数据,和后5行数据。

同理,也可根据自己的习惯显示可显示的行数,比如20

pd.set_option('display.min_rows', 20)

# pd.options.display.min_rows = 20

登录后复制

如果需要恢复默认的设置,可以这样重置为默认情况:

# 重置

pd.reset_option('display.max_rows')

登录后复制

2. 显示更多列

行可以设置,同样的列也可以设置,display.max_columns控制着可显示的列数,默认值为20。

pd.get_option('display.max_columns')

# pd.options.display.max_columns

20

登录后复制

3. 改变列宽

pandas对列中显示的字符数有一些限制,默认值为50字符。所以,有的值字符过长就会显示省略号。如果想全部显示,可以设置display.max_colwidth,比如设置成500。

pd.set_option ('display.max_colwidth',500)

# pd.options.display.max_colwidth = 500

登录后复制

4. 设置float列的精度

对于float浮点型数据,pandas默认情况下只显示小数点后6位。我们可以通过预先设置display.precision让其只显示2位,避免后面重复操作。

pd.set_option( 'display.precision',2)

# pd.options.display.precision = 2

登录后复制

这个设置不影响底层数据,它只影响浮动列的显示。

5. 数字格式化显示

pandas中有一个选项display.float_formatoption可以用来格式化任何浮点列。这个仅适用于浮点列,对于其他数据类型,必须将它们转换为浮点数才可以。

用逗号格式化大值数字

例如 1200000 这样的大数字看起来很不方便,所以我们用逗号进行分隔。

pd.set_option('display.float_format','{:,}'.format)

登录后复制

设置数字精度

和上面display.precision有点类似,假如我们只关心小数点后的2位数字,我们可以这样设置格式化:

pd.set_option('display.float_format', '{:,.2f}'.format)

登录后复制

百分号格式化

如果我们要显示一个百分比的列,可以这样设置。

pd.set_option('display.float_format', '{:.2f}%'.format)

登录后复制

6. 更改绘图方法

默认情况下,pandas使用matplotlib作为绘图后端。从 0.25 版本开始,pandas提供了使用不同后端选择,比如plotly,bokeh等第三方库,但前提是你需要先安装起来。

设置很简单,只要安装好三方库后,同样只需要一行。

import pandas as pd

import numpy as np

pd.set_option('plotting.backend', 'altair')

data = pd.Series(np.random.randn(100).cumsum())

data.plot()

登录后复制

7. 配置info()的输出

pandas中我们经常要使用info()来快速查看DataFrame的数据情况。但是,info这个方法对要分析的最大列数是有默认限制的,并且如果数据集中有null,那么在大数据集计数统计时会非常慢。

pandas提供了两种选择:

display.max_info_columns: 设置要分析的最大列数,默认为100。

display.max_info_rows: 设置计数null时的阈值,默认为1690785。

登录后复制

比如,在分析有 150 个特征的数据集时,我们可以设置display.max_info_columns为涵盖所有列的值,比如将其设置为 200:

pd.set_option('display.max_info_columns', 200)

登录后复制

在分析大型数据集时,df.info()由于要计算所有null,导致速度很慢。因此我们可以简单地设置display.max_info_rows为一个小的值来避免计数,例如只在行数不超过5时才计数null:

pd.set_option('display.max_info_rows', 5)

登录后复制

8. 打印出当前设置并重置所有选项

pd.describe_option()将打印出设置的描述及其当前值。

pd.describe_option()

登录后复制

还可以打印特定的选项,例如,行显示。

# 具体的搜索

pd.describe_option('rows')

登录后复制

最后,我们还可以直接全部重置。

pd.reset_option('all')

登录后复制

总结

以上就是常用set_option的使用,大家可以一次性设置如下:

pd.set_option('display.max_rows',xxx) # 最大行数

pd.set_option('display.min_rows',xxx) # 最小显示行数

pd.set_option('display.max_columns',xxx) # 最大显示列数

pd.set_option ('display.max_colwidth',xxx) #最大列字符数

pd.set_option( 'display.precision',2) # 浮点型精度

pd.set_option('display.float_format','{:,}'.format) #逗号分隔数字

pd.set_option('display.float_format', '{:,.2f}'.format) #设置浮点精度

pd.set_option('display.float_format', '{:.2f}%'.format) #百分号格式化

pd.set_option('plotting.backend', 'altair') # 更改后端绘图方式

pd.set_option('display.max_info_columns', 200) # info输出最大列数

pd.set_option('display.max_info_rows', 5) # info计数null时的阈值

pd.describe_option() #展示所有设置和描述

pd.reset_option('all') #重置所有设置选项

登录后复制

Python pandas用法

在Python中,pandas是基于NumPy数组构建的,使数据预处理、清洗、分析工作变得更快更简单。pandas是专门为处理表格和混杂数据设计的,而NumPy更适合处理统一的数值数组数据。

使用下面格式约定,引入pandas包:

pandas有两个主要数据结构:Series和DataFrame。

Series是一种类似于一维数组的对象,它由 一组数据 (各种NumPy数据类型)以及一组与之相关的 数据标签(即索引) 组成,即index和values两部分,可以通过索引的方式选取Series中的单个或一组值。

pd.Series(list,index=[ ]) ,第二个参数是Series中数据的索引,可以省略。

Series类型索引、切片、运算的操作类似于ndarray,同样的类似Python字典类型的操作,包括保留字in操作、使用.get()方法。

Series和ndarray之间的主要区别在于Series之间的操作会根据索引自动对齐数据。

DataFrame是一个表格型的数据类型,每列值类型可以不同,是最常用的pandas对象。DataFrame既有行索引也有列索引,它可以被看做由Series组成的字典(共用同一个索引)。DataFrame中的数据是以一个或多个二维块存放的(而不是列表、字典或别的一维数据结构)。

pd.DataFrame(data,columns = [ ],index = [ ]) :columns和index为指定的列、行索引,并按照顺序排列。

如果创建时指定了columns和index索引,则按照索引顺序排列,并且如果传入的列在数据中找不到,就会在结果中产生缺失值:

数据索引 :Series和DataFrame的索引是Index类型,Index对象是不可修改,可通过索引值或索引标签获取目标数据,也可通过索引使序列或数据框的计算、操作实现自动化对齐。索引类型index的常用方法:

重新索引 :能够改变、重排Series和DataFrame索引,会创建一个新对象,如果某个索引值当前不存在,就引入缺失值。

df.reindex(index, columns ,fill_value, method, limit, copy ) :index/columns为新的行列自定义索引;fill_value为用于填充缺失位置的值;method为填充方法,ffill当前值向前填充,bfill向后填充;limit为最大填充量;copy 默认True,生成新的对象,False时,新旧相等不复制。

删除指定索引 :默认返回的是一个新对象。

.drop() :能够删除Series和DataFrame指定行或列索引。

删除一行或者一列时,用单引号指定索引,删除多行时用列表指定索引。

如果删除的是列索引,需要增加axis=1或axis='columns'作为参数。

增加inplace=True作为参数,可以就地修改对象,不会返回新的对象。

在pandas中,有多个方法可以选取和重新组合数据。对于DataFrame,表5-4进行了总结

适用于Series和DataFrame的基本统计分析函数 :传入axis='columns'或axis=1将会按行进行运算。

.describe() :针对各列的多个统计汇总,用统计学指标快速描述数据的概要。

.sum() :计算各列数据的和

.count() :非NaN值的数量

.mean( )/.median() :计算数据的算术平均值、算术中位数

.var()/.std() :计算数据的方差、标准差

.corr()/.cov() :计算相关系数矩阵、协方差矩阵,是通过参数对计算出来的。Series的corr方法用于计算两个Series中重叠的、非NA的、按索引对齐的值的相关系数。DataFrame的corr和cov方法将以DataFrame的形式分别返回完整的相关系数或协方差矩阵。

.corrwith() :利用DataFrame的corrwith方法,可以计算其列或行跟另一个Series或DataFrame之间的相关系数。传入一个Series将会返回一个相关系数值Series(针对各列进行计算),传入一个DataFrame则会计算按列名配对的相关系数。

.min()/.max() :计算数据的最小值、最大值

.diff() :计算一阶差分,对时间序列很有效

.mode() :计算众数,返回频数最高的那(几)个

.mean() :计算均值

.quantile() :计算分位数(0到1)

.isin() :用于判断矢量化集合的成员资格,可用于过滤Series中或DataFrame列中数据的子集

适用于Series的基本统计分析函数,DataFrame[列名]返回的是一个Series类型。

.unique() :返回一个Series中的唯一值组成的数组。

.value_counts() :计算一个Series中各值出现的频率。

.argmin()/.argmax() :计算数据最大值、最小值所在位置的索引位置(自动索引)

.idxmin()/.idxmax() :计算数据最大值、最小值所在位置的索引(自定义索引)

pandas提供了一些用于将表格型数据读取为DataFrame对象的函数。下表对它们进行了总结,其中read_csv()、read_table()、to_csv()是用得最多的。

在数据分析和建模的过程中,相当多的时间要用在数据准备上:加载、清理、转换以及重塑。

在许多数据分析工作中,缺失数据是经常发生的。对于数值数据,pandas使用浮点值NaN(np.nan)表示缺失数据,也可将缺失值表示为NA(Python内置的None值)。

替换值

.replace(old, new) :用新的数据替换老的数据,如果希望一次性替换多个值,old和new可以是列表。默认会返回一个新的对象,传入inplace=True可以对现有对象进行就地修改。

删除重复数据

利用函数或字典进行数据转换

df.head():查询数据的前五行

df.tail():查询数据的末尾5行

pandas.cut()

pandas.qcut() 基于分位数的离散化函数。基于秩或基于样本分位数将变量离散化为等大小桶。

pandas.date_range() 返回一个时间索引

df.apply() 沿相应轴应用函数

Series.value_counts() 返回不同数据的计数值

df.aggregate()

df.reset_index() 重新设置index,参数drop = True时会丢弃原来的索引,设置新的从0开始的索引。常与groupby()一起用

numpy.zeros()

结语:以上就是首席CTO笔记为大家介绍的关于python中pd的一行多少值的全部内容了,希望对大家有所帮助,如果你还想了解更多这方面的信息,记得收藏关注本站。


本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。
如若转载,请注明出处:/Python/33505.html