2016 - 2024

感恩一路有你

python终端dataset怎么使用 没有计算机基础应该如何学习大数据知识?

浏览量:4369 时间:2023-09-16 13:34:12 作者:采采

没有计算机基础应该如何学习大数据知识?

学习程序开发是可以多浏览一些开源软件平台上面的项目,博客,问答等。比较著名的平台如github开源,stackoverflow等。

在github上搜big data,变会再次出现相关的项目,有一个大数据入门指南的项目挺还好的,你是可以参照着学。地址:,如果ftp访问被取消,可以不点zan,评论。

万分感谢是内容摘自项目中的图解,和章节导航。

附:项目的查找知识点不胜感激

前言

大数据学习路线

大数据技术栈思维导图

大数据常用软件安装指南

一、Hadoop

分布式文件存储系统——HDFS

分布式计算框架——MapReduce

集群资源管理器——YARN

Hadoop单机伪集群环境搭建

Hadoop集群环境搭建

HDFS正确Shell命令

HDFSJavaAPI的使用

实现Zookeeper堆建Hadoop高可用集群

二、Hive

Hive简介及核心概念

Linux环境下Hive的安装部署

HiveCLI和Beeline命令行的基本使用

Hive广泛DDL不能操作

Hive分区表和分桶表

Hive视图和索引

Hive具体用法DML你的操作

Hive数据查询详细解析

三、Spark

SparkCore:

Spark简介

Spark开发环境搭建

弹性式数据集RDD

RDD具体方法算子请赐教

Spark运行模式与假期作业并提交

Spark累加器与广播变量

基于Zookeeper垒建Spark高可用集群

SparkSQL:

DateFrame和DataSet

StructuredAPI的都差不多使用

SparkSQL外部数据源

Spark SQL正确聚合函数

SparkSQLJOIN能操作

SparkStreaming:

SparkStreaming简介

SparkStreaming基本操作

Spark Streaming全部整合Flume

SparkStreaming整合Kafka

四、Storm

Storm和流去处理简介

Storm核心概念求高人

Storm单机环境搭建

Storm集群环境搭建

Storm编程模型求答

Storm项目三种打包对比分析

Storm集成主板Redis求高人

Storm集成显卡HDFS/HBase

Storm集成显卡Kafka

五、Flink

Flink核心概念综述

Flink开发环境搭建

FlinkDataSource

FlinkDataTransformation

FlinkDataSink

Flink窗口模型

Flink状态管理与检查点机制

FlinkStandalone集群部署

六、HBase

Hbase简介

HBase系统架构及数据结构

HBase基本上环境搭建(Standalone/pseudo-centralizedmode)

HBase集群环境搭建

HBase常用Shell命令

HBaseJavaAPI

HBase过滤器详细解析

HBase协处理器请赐教

HBase容灾与备份

HBase的SQL中间层——Phoenix

Spring/Spring Boot整合起来Mybatis Phoenix

七、Kafka

Kafka简介

基于条件Zookeeper垒建Kafka高可用集群

Kafka生产者求高人

Kafka消费者详细解析

进入到理解Kafka副本机制

八、Zookeeper

Zookeeper简介及核心概念

Zookeeper单机环境和集群环境搭建

Zookeeper具体方法Shell命令

ZookeeperJava客户端——ApacheCurator

ZookeeperACL权限控制

九、Flume

Flume简介及基本是在用

Linux环境下Flume的安装部署

Flume整合Kafka

十、Sqoop

Sqoop简介与安装

Sqoop的基本使用

十一、Azkaban

Azkaban简介

Azkaban3.x编译及部署

AzkabanFlow1.0的使用

AzkabanFlow2.0的使用

十二、Scala

Scala简介及开发环境配置

基本是数据类型和运算符

流程控制语句

数组——Array

集合类型综述

常用集合类型之——List Set

广泛真包含于类型之——MapTuple

类和对象

继承和特质

函数闭包柯里化

模式不兼容

类型参数

隐式转换和隐式参数

十三、二级内容

大数据应用具体方法打包

后记

资料分享与开发工具推荐推荐

如何在jupyter中导入excel?

1、在jupyter的首页点击“Upload”选项,你选Excel文件,接着然后点击上传再试一下导入到。

此方法导入是有大小限制的,这个可以就将Excel文件图片文件夹到Jupyternotebook目录下以免大小限制。

2、加载Excel数据的方法:

新建项python3,输入真确代码即可读取。

版权声明:本文内容由互联网用户自发贡献,本站不承担相关法律责任.如有侵权/违法内容,本站将立刻删除。