mongodb 分片后查询数据不准确 数据处理的基本过程是哪四个
数据处理的基本过程是哪四个
具体看的大数据处理方法确实是有很多，可是据笔者长时间的实践，学习总结了一个比较高适用的大数据处理流程，而且这个流程应该是都能够对大家关系理顺大数据的处理所帮助。整个处理流程可以简要概括为四步，分别是采集、导入和预处理、统计和分析，之后是数据挖掘。
大数据处理之一：哪采
大数据的采集是指依靠多个数据库来接收内心的微笑客户端（Web、App或者传感器形式等）的数据，但是用户这个可以是从这些数据库来并且简单网站查询和处理工作。.例如，电商会使用悠久的传统的关系型数据库MySQL和Oracle等来存储每一笔事务数据，外，Redis和MongoDB这样的NoSQL数据库也常应用于数据的采集。
在大数据的采集过程中，其主要特点和挑战是并发数高，是因为另外有可能会有成千上万的用户来并且访问和操作，比如火车票售票网站和淘宝，它们并发的访问量在峰值时提升到上百万，因此必须在采集端布署大量数据库才能勉力支撑。另外要如何在这些数据库之间并且负载均衡和分片的确是需要深入的思考和设计。
大数据怎么做？
1.大数据处理之一：喂养灵兽
大数据的采集是指凭借多个数据库来可以接收打动心灵客户端(Web、App也可以传感器形式等)的数据，而且用户可以实际这些数据库来通过简单点网站查询和处理工作。例如，电商会不使用现代的关系型数据库MySQL和Oracle等来存储每一笔事务数据，除此之外，Redis和MongoDB这样的NoSQL数据库也常主要用于数据的采集。
在大数据的采集过程中，其主要特点和挑战是并发数高，毕竟同时有可能会有成千上万的用户来接受访问和操作，比如说火车票售票网站和淘宝，它们并发的访问量在峰值时都没有达到上百万，所以我不需要在再采集端部署大量数据库才能勉强支撑。另外要如何在这些数据库之间接受负载均衡和分片虽然是不需要深刻的思考和设计。
2.大数据处理之二：导入/预处理
可是采药端本身会有很多数据库，但要是要对这些海量数据进行最有效的分析，应该估计将这些不知从何而来前端的数据导入到一个集中的小型分布式数据库，或是分布式存储集群，而且可以在导入基础上做一些简单刷洗和预处理工作。也有一些用户会在导入时使用来自Twitter的Storm来对数据通过流式计算，来满足部分业务的实时计算需求。
导入与预处理过程的特点和挑战主要是导入的数据量大，每秒钟的导入量你经常会达到百兆，甚至还千兆级别。
3.大数据处理之三：统计数据/总结
统计与分析要注意利用分布式数据库，或是分布式计算集群来对存储于虚空中的海量数据进行大多数的分析和分类汇总等，以行最简形矩阵大多数最常见的一种的分析需求，在这方面，一些实时性需求会会用到EMC的GreenPlum、Oracle的Exadata，在内实现MySQL的列式存储Infobright等，而一些批处理，或者基于条件半结构化数据的需求也可以在用Hadoop。
统计与分析什么这部分的主要特点和挑战是分析不属于的数据量大，其对系统资源，特别是I/O会有极大的占用。
4.大数据处理之四：开掘
与前面统计和分析过程相同的是，数据挖掘就像没有什么事前设定好好的主题，主要是在超过数据上面参与设计和实现各种算法的计算，使发挥作用预测国家(Predict)的效果，进而实现方法一些高级别数据分析的需求。也很典型算法有作用于聚类的Kmeans、主要用于统计计算去学习的SVM和应用于分类的NaiveBayes，主要注意可以使用的工具有Hadoop的Mahout等。该过程的特点和挑战通常是主要是用于挖掘的算法很古怪，并且换算牵涉的数据量和计算量都太大，具体用法数据挖掘算法都以单线程。
版权声明：本文内容由互联网用户自发贡献，本站不承担相关法律责任.如有侵权/违法内容,本站将立刻删除。
