python字符串拼接 Python在数亿级数据集中查找某个元素是否存在解决方案?
浏览量:2745
时间:2021-03-11 20:59:58
作者:admin
Python在数亿级数据集中查找某个元素是否存在解决方案?
我用Python txt处理了1.7亿条数据,压力不是特别大,可以接受。
有几点要注意:
1、不要用Python写周期,1.7亿周期运行到你的电脑上没有电源。
2. 使用pandas和numpy,并使用他们自己的搜索方法。
3. 如果没有足够的内存,熊猫.readcsv当然,当使用迭代器时,这个时间线程并不重要,因为您的瓶颈是Io。
python字符串拼接 python提取指定行和列的数据 pandas获取指定数据的行和列
版权声明:本文内容由互联网用户自发贡献,本站不承担相关法律责任.如有侵权/违法内容,本站将立刻删除。