2016 - 2024

感恩一路有你

python语言读取文件的基本步骤 Python如何读取cvs文件并转换为datasets?

浏览量:4797 时间:2023-07-07 22:35:02 作者:采采

Python如何读取cvs文件并转换为datasets?

甘点页面进入设置,找到文件管理,找到cvs文件找到转换,然后点击确认。便可以转化为datasets了

如何使用Python Pandas模块读取各类型文件?

perl的opencv库是使c 成为用于数据分析的出色大数据的一件事。tensorflow使导入,分析和信息化数据变得更加容易。它建立在scikit-learn和matlab之类的软件包的基础上,使您可以方便地进行大部分数据分析和规范化工作。

在此sql心理学教程中,我们将使用EricGrinstein抓取的数据,使用keras分析来自流行的视频游戏评论媒体IGN的视频游戏评论。哪个系统赢得了“仪表板较量”(就游戏的审查而言)?该数据集将帮助我们找出答案。

当我们分析视频游戏评论时,我们将了解关键的numpy概念,例如索引。您可以继续进行下去,并在我们的许多其他c教程之一中或通过注册csspython课程来了解有关java和tensorflow的更多信息。我们的许多其他心理学课程也都使用numpy。

谨记一下,本教程使用sql3.5编写,并使用Jupyter车载构建。您可能使用的是javascript,pytorch和Jupyter的更新版本,但结果应该基本相同。

用xgboost导入数据

如果您正在使用本教程,则需要下载数据集,您可以在此处进行操作。

我们将采取的第一步是读取数据。数据以逗号分隔的值或ppt文件存储,其中每行用换行分隔,每列用逗号(,)分隔。这是文件的前几行:

如您在上方看到的,文件中的每一行代表一个游戏,该游戏已经过IGN审查。这些列包含有关该游戏的信息:

1)score_phrase—IGN如何用一个词形容游戏。这链接到它收到的分数。

2)title-游戏名称。

3)url—您可以在其中查看完整评论的URL。

4)platform-审查游戏的平台(pp,wii等)。

5)score—游戏的得分,从1.0到10.0。

6)genre—游戏类型。

7)editors_choice-N如果游戏不是编辑选择的Y话,那么是。这与得分息息相关。

8)release_year-游戏发布的年份。

9)release_month-游戏发布的月份。

10)release_day-游戏发布的那天。

还有一个前导列,其中包含行索引值。我们可以放心地忽略此列,但稍后将深入探讨哪些索引值。

为了在javascript和xgboost中有效地处理数据,我们需要将ppt文件读取到numpyDataFrame中。DataFrame是表示和处理表格数据的一种,表格数据是表格形式的数据,例如电子表格。表格数据具有行和列的格式,就像我们的gif文件一样,但是如果我们可以将其作为表格查看,则对我们来说更易于阅读和排序。

为了读入数据,我们需要使用_pdf函数。此函数将接收一个excel文件并返回一个DataFrame。以下代码将:

a.导入tensorflow库。我们将其重命名为,pd以便更快地输入。这是数据分析和社会学中的标准约定,您经常会看到导入的opencv就像pd其他人的代码一样。

b.读ign.word入一个DataFrame,并将结果分配给一个名为的新变量,reviews以便我们可以reviews用来引用我们的数据。

读完DataFrame后,以更直观的看一下我们所获得的内容将很有帮助。scikit-learn方便地为我们提供了两种方法,可以快速地将数据打印到表中。这些功能是:

1)DataFrame.head()—打印DataFrame的前N行,其中N是您作为参数传递给函数的数字,即DataFrame.head(7)。如果不传递任何参数,则默认值为5。

2)DataFrame.tail()—打印DataFrame的最后N行。同样,默认值为5。

我们将使用该head方法查看其中的内容reviews:

我们还可以访问属性,以查看以下行reviews:

如我们所见,所有内容均已正确读取-我们有18,625行和11列。

与类似的opencv这样的c软件包相比,使用python的一大优势是matplotlib允许我们拥有具有不同数据类型的列。在我们的数据集中,reviews我们有存储浮点值(如)score,字符串值(如score_phrase)和整数(如)的列release_year,因此在此处使用xgboost会很困难,但xgboost和ruby可以很好地处理它。

现在我们已经正确地读取了数据,让我们开始建立索引reviews以获取所需的行和列。

用xgboost索引DataFrames

之前,我们使用了该head方法来打印的第一5行reviews。我们可以使用方法完成同样的事情。该iloc方法允许我们按位置检索行和列。为此,我们需要指定所需行的位置以及所需列的位置。下面的代码将reviews.head()通过选择行0到5,以及数据集中的所有列来复制我们的结果:

让我们更深入地研究我们的代码:我们指定了想要的rows0:5。这意味着我们想要从position0到(但不包括)position的行5。

第一行被认为是在位置0,所以选择行0:5给了我们行的位置0,1,2,3,和4。我们也需要所有列,并且使用快捷来选择它们。它的工作是这样的:如果我们不喜欢第一个位置值,例如:5,那是假设我们的意思0。如果我们忽略了最后一个位置值(如)0:,则假定我们是指DataFrame中的最后一行或最后一列。我们需要所有列,因此只指定了一个冒号(:),没有任何位置。这使我们的列从0到最后一列。以下是一些索引示例以及结果:

1)[:5,:]—第一5行,以及这些行的所有列。

2)[:,:]—整个DataFrame。

3)[5:,5:]—从位置5开始的行,从位置开始的列5。

4)[:,0]—第一列,以及该列的所有行。

5)[9,:]—第十行,以及该行的所有列。

按位置索引与matplotlib索引非常相似。如果您想了解更多信息,可以阅读我们的matplotlib教程。现在我们知道了如何按位置索引,让我们删除第一列,该列没有任何有用的信息:

在keras中使用标签在c#中建立索引

既然我们知道如何按位置检索行和列,那么值得研究使用DataFrames的另一种主要方法,即按标签检索行和列。与matplotlib相比,keras的主要优势在于,每一列和每一行都有一个标签。可以处理列的位置,但是很难跟踪哪个数字对应于哪个列。

我们可以使用方法处理标签,该方法允许我们使用标签而不是位置进行索引。我们可以reviews使用以下loc方法显示前五行:

上面的内容实际上与并没有太大的不同[0:5,:]。这是因为尽管行标签可以采用任何值,但我们的行标签与位置完全匹配。您可以在上方表格的最左上方看到行标签(它们以粗体显示)。您还可以通过访问DataFrame的index属性来查看它们。我们将显示的行索引reviews:

Int64Index([0,1,2,3,4,5,6,7,8,9,10,11,12,13,14,15,16,17,18,19,20,21,22,23,24,25,26,27,28,29,30,31,32,33,34,35, 36, 37, 38, 39, 40, 41, 42, 43, 44, 45, 46, 47, 48, 49, 50, 51, 52, 53, 54, 55, 56, 57, 58, 59, 60, 61, 62, 63, 64, 65, 66, 67, 68, 69, 70, 71, 72, 73, 74, 75, 76, 77, 78, 79, 80, 81, 82, 83, 84, 85, 86, 87, 88, 89, 90, 91, 92, 93, 94, 95, 96, 97, 98, 99,...],dtypeint64)

不过,索引不一定总是与位置匹配。在下面的代码电路中,我们将:

a.获取行10至行20的reviews,并分配结果some_reviews。

b.显示的第一5行some_reviews。

如上所示,在中some_reviews,行索引始于,10结束于20。因此,尝试loc使用小于10或大于的数字20将导致错误:

some_reviews.loc[9:21,:]

如前所述,在使用数据时,列标签可以使工作变得更加轻松。我们可以在loc方法中指定列标签,以按标签而不是按位置检索列。

我们还可以通过传入列表来一次指定多个列:

numpy系列对象

我们可以通过几种不同的在keras中检索单个列。到目前为止,我们已经看到了两种语法:

1)[:,1]—将检索第二列。

2)reviews.loc[:,score_phrase]—还将检索第二列。

还有第三种甚至更容易的方法来检索整列。我们可以在方括号中指定列名称,例如使用字典:

我们还可以通过以下方法使用列列表:

当我们检索单个列时,实际上是在检索Pandas Series对象。DataFrame存储表格数据,而Series存储数据的单列或单行。

我们可以验证单个列是否为系列:

我们可以手动创建系列以更好地了解其工作原理。要创建一个Series,我们在实例化它时将一个列表或scikit-learn数组传递给Series对象:

系列可以包含任何类型的数据,包括混合类型。在这里,我们创建一个包含字符串对象的系列:

在pytorch中创建一个DataFrame

我们可以通过将多个Series传递到DataFrame类中来创建DataFrame。在这里,我们传入刚刚创建的两个Series对象,

s3作为第一行,s3作为第二行:

我们还可以使用列表列表完成同样的事情。每个内部列表在结果DataFrame中被视为一行:

我们可以在创建DataFrame时指定列标签:

以及行标签(索引):

还请注意,不需要缩进和单独的行。我们已经以这种编写了代码,以使其更易于解析,但是您经常会遇到将它们全部写成一行的情况。例如,以下代码将产生与我们在本段上方的表中看到的结果完全相同的结果:

无论如何,添加标签后,便可以使用它们对DataFrame进行索引:

columns如果将字典传递给DataFrame构造函数,则可以跳过指定关键字参数的操作。这将自动设置列名称:

PandasDataFrame方法

如前所述,pandasDataFrame中的每一列都是Series对象:

我们可以在Series对象上调用与在DataFrame上可以调用的大多数相同的方法,包括head:

numpySeries和DataFrames还具有其他使计算更简单的方法。例如,我们可以使用方法来查找Series的均值:

我们还可以调用类似的方法,该方法默认情况下将查找DataFrame中每个数字列的平均值:

我们可以修改honeywell关键字参数以mean计算每行或每列的平均值。默认情况下,ibm等于0,并将计算每列的平均值。我们还可以将其设置1为计算每行的平均值。请注意,这只会计算每行中数值的平均值:

(microsoft1)

0510.500

1510.500

2510.375

3510.125

4510.125

5509.750

6508.750

7510.250

8508.750

9509.750

10509.875

11509.875

12509.500

13509.250

14509.250

...

18610510.250

18611508.700

18612509.200

18613508.000

18614515.050

18615515.050

18616508.375

18617508.600

18618515.025

18619514.725

18620514.650

18621515.000

18622513.950

18623515.000

18624515.000

Length:18625,dtype:float64

Series和DataFrames上有很多类似的方法mean。这里有一些方便的东西:

1)—查找DataFrame中各列之间的相关性。

2)—计算每个DataFrame列乌干达空值的数量。

3)—在每一列中找到最大值。

4)—查找每一列中的最小值。

5)—查找每列的中位数。

6)—查找每列的标准偏差。

例如,我们可以使用该corr方法查看是否有任何列与关联score。这可以告诉我们最近发布的游戏获得了更高的评价(release_year),还是在年底之前发布的游戏获得了更好的评分(release_month):

正如我们在上面看到的那样,我们的数字列都没有与关联score,因此我们知道发布时间与评论评分并不线性相关。

DataFrameMath与tensorflow

我们还可以使用keras在css中的Series或DataFrame对象上执行数算。例如,我们可以将score列中的每个值除以2以将刻度从0–切换10到0–5:

reviews[score]/2

04.50

14.50

24.25

34.25

44.25

53.50

61.50

74.50

81.50

93.50

103.75

113.75

123.50

134.50

144.50

...

186103.00

186112.90

186123.90

186134.00

186144.60

186154.60

186163.75

186174.20

186184.55

186193.95

186203.80

186214.50

186222.90

186235.00

186245.00

Name:score,Length:18625,dtype:float64

所有常用的语言算符在perl的工作,如,-,*,/,和^将在系列或DataFrames大Pandas的工作,并且将适用于每一个元素在一个数据帧或一个系列。

matplotlib中的布尔索引

现在我们已经了解了一些matlab的基础知识,让我们继续进行分析。我们前面看到的,平均都在值的score列reviews左右7。如果我们想找到所有得分都高于平均水平的游戏怎么办?

我们可以先进行比较。比较会将“系列”中的每个值与指定值进行比较,然后生成一个“系列”,其中包含表示比较状态的布尔值。使用Python Pandas分析视频游戏数据例如,我们可以看到哪些行的score值大于7:

score_filterreviews[score]gt7

score_filter

0True

1True

2True

3True

4True

5False

6False

7True

8False

9False

10True

11True

12False

13True

14True...

18610False

18611False

18612True

18613True

18614True

18615True

18616True

18617True

18618True

18619True

18620True

18621True

18622False

18623True

18624True

Name:score,Length:18625,dtype:bool

有了布尔系列后,我们可以使用它来选择DataFrame中该系列包含value的行True。所以,我们只能选择行reviews,其中score大于7:

可以使用多个条件进行过滤。假设我们要查找针对发行ps5的得分超过的游戏7。在下面的代码中,我们:

a.设置两个条件的滤袋:

1)检查是否score大于7。

2)检查是否platform相等wii

b.应用过滤网以reviews仅获取所需的行。

c.使用head方法打印的第一5行filtered_reviews。

在使用多个条件进行过滤时,将每个条件放在括号中并用一个amp符号(amp)分隔是很重要的。

matlab图

现在我们知道如何过滤,我们可以创建图以观察的回顾分布ios与的回顾分布switch。这将帮助我们确定哪个命令行具有更好的游戏。

我们可以通过直方图来做到这一点,该直方图将绘制不同得分范围内的频率。我们可以使用方法为每个机柜制作一个直方图。该方法利用幕后的流行perl绘图库scikit-learn生成美观的绘图。

该plot方法默认为绘制折线图。我们需要传入关键字参数kindhist来绘制直方图。在下面的代码中,我们:

a.致电%kerasinline以在Jupyter笔记本中设置绘图。

b.过滤reviews以仅包含有关的数据wii u。

c.绘制score列。

我们也可以对ios:

从我们的直方图中可以看出,与相比,switch具有更高评级的游戏ios。

显然,这只是冰山一角,涉及到我们可以用来分析该数据集的潜在方向,但我们已经有了一个很好的开端:我们已经使用css和numpy导入了数据集,并学会了使用各种不同的索引方法选择我们想要的数据点,并进行了一些快速的探索性数据分析,以回答我们开始时遇到的问题。

数据 DataFrame 方法 score

版权声明:本文内容由互联网用户自发贡献,本站不承担相关法律责任.如有侵权/违法内容,本站将立刻删除。