java点餐系统 etl如何实现业务原系统数据接入？数据增量全量抽取有几种方案？

etl如何实现业务原系统数据接入？数据增量全量抽取有几种方案？

我们现在做的项目对ETL很有用。

项目刚成立两三个月。目前，我指挥着四个人。明年，我们计划再增加四个人。现在，两个人在做ETL数据提取，两个人在做Java，我的战斗力可以算作三个人在做Java。

为什么要单独提取数据？

系统现在有大量的查询，这些查询是实时查询。有些查询涉及几十个表的关联，这些表少了几千万，大了几亿，所以有些接口的返回速度非常慢。

我们整理出一些可以接受T1的接口，提取相关数据，处理一次，把几十个表的数据处理成一个完整的数据，保存在mongodb中，然后提供接口服务。

以前，界面需要几秒钟才能返回，有些甚至需要十几秒钟。现在，对于500个并发应用程序，它基本上可以在100毫秒内返回。

现在开发JAVA后台，主要用哪些技术？

您的系统有多大，您的技术有多强大

！从我们公司的角度来看，使用java开发后台服务使用了以下几点

！2. 数据库映射框架：mybatis

！3. 数据库连接池：Druid

！4. 原木框架：slf4j

！5. 项目建设工具：Maven

！6. 版本控制工具：SVN和git

！7. 缓存：redis

！9. 工作流引擎：activiti

！10. 规则引擎：口水

！11. 微型服务容器：docker

！12、图片、文件等上传工具OSS

！14，原型视图工具：Axure RP

！15. 后台服务模拟访问：邮递员

！16，脚本：shell或Python

！17，语言：java8

！这些是工作中使用的后端技术。可以说程序员是全能的！可能还有更多，有待继续

java点餐系统 java编程 javaweb

版权声明：本文内容由互联网用户自发贡献，本站不承担相关法律责任.如有侵权/违法内容,本站将立刻删除。