2016 - 2024

感恩一路有你

python字符串拼接 Python在数亿级数据集中查找某个元素是否存在解决方案?

浏览量:2745 时间:2021-03-11 20:59:58 作者:admin

Python在数亿级数据集中查找某个元素是否存在解决方案?

我用Python txt处理了1.7亿条数据,压力不是特别大,可以接受。

有几点要注意:

1、不要用Python写周期,1.7亿周期运行到你的电脑上没有电源。

2. 使用pandas和numpy,并使用他们自己的搜索方法。

3. 如果没有足够的内存,熊猫.readcsv当然,当使用迭代器时,这个时间线程并不重要,因为您的瓶颈是Io。

python字符串拼接 python提取指定行和列的数据 pandas获取指定数据的行和列

版权声明:本文内容由互联网用户自发贡献,本站不承担相关法律责任.如有侵权/违法内容,本站将立刻删除。