2016 - 2024

感恩一路有你

查找位置 Python在数亿级数据集中查找某个元素是否存在解决方案?

浏览量:1944 时间:2021-03-16 10:46:04 作者:admin

Python在数亿级数据集中查找某个元素是否存在解决方案?

我用Python txt处理了1.7亿条数据,压力不是特别大,可以接受。

有几点要注意:

1、不要用Python写周期,1.7亿周期运行到你的电脑上没有电源。

2. 使用pandas和numpy,并使用他们自己的搜索方法。

3. 如果没有足够的内存,熊猫.readcsv当然,当使用迭代器时,这个时间线程并不重要,因为您的瓶颈是Io。

查找位置 python数组查找某个值的位置 numpy删除重复元素

版权声明:本文内容由互联网用户自发贡献,本站不承担相关法律责任.如有侵权/违法内容,本站将立刻删除。