mysql redis 实时同步 如何进行MySQL数据库与HDFS的实时数据同步？
如何进行MySQL数据库与HDFS的实时数据同步？
如何在MySQL数据库和HDFS之间同步实时数据，并通过map/reduce批处理将其传递给Apache Hadoop仍然是中心环节。
然而，随着从“超级思维速度”分析中获得竞争优势的压力越来越大，Hadoop（分布式文件系统）经历了重大的发展。科学技术的发展使得实时查询成为可能，比如apachedrill、cloudera impala和stinger倡议正在兴起，新一代的资源管理apacheyard支持这些。
如何将数据从SQLServer实时或定时同步到MySQL数据库？
MySQL使用慢的原因是查询操作太复杂，计算量太大。所以，找到一种方法让MySQL存储您想要显示的数据，并且您不需要任何复杂的统计数据，它可以很快。一般来说，在MySQL中保存要显示的数据的方法是将原始数据保存在一个地方（例如，HDFS或MSYQL在另一个表中），然后定期启动一些任务，从原始数据中计算出要显示的数据并保存在MySQL中。你想不想用Hadoop？我认为你没有足够的数据来使用它。在早期阶段，可以定期启动独立程序或直接使用MySQL事件。另外，你在标题中说应该进行实时分析。事实上，我认为实时分析可能没有必要。定期（如每小时）启动任务，处理最后一小时的数据。如果有实时需求，可能需要将每个数据发送到一个程序进行处理（当数据量过大时，可以使用Flink或storm等分布式流计算系统），并将处理结果写入结果mysql。然而，这将大大增加系统的复杂性（一般来说，流式处理的实现要比批处理复杂得多）。如果批量加工能满足要求，则应尽量选择批量加工。
mysql redis 实时同步 两个mysql数据库同步 mysql数据同步方法
版权声明：本文内容由互联网用户自发贡献，本站不承担相关法律责任.如有侵权/违法内容,本站将立刻删除。
