spark redis集群 如何高效地向Redis写入大量的数据？

如何高效地向Redis写入大量的数据？

1. 创建一个新的文本文件，包括redis命令

set key0 value0 set key1 value1。。。Set Keyn valuen

如果你有原始数据，构造这个文件并不困难，比如shell或Python

2。将这些命令转换为redis协议。

redis pipeline函数支持redis协议，而不是直接的redis命令。

如何转换可以参考以下脚本。

3. 插入带管道的cat数据.txt|redis cli--pipe

Shell VS redis pipe

spark redis集群 实时消费kafka写入redis spark redis

版权声明：本文内容由互联网用户自发贡献，本站不承担相关法律责任.如有侵权/违法内容,本站将立刻删除。