|
4208| 20
|
传智播客Hadoop7天培训(价值2000元)(非吴超7天) |
|
传智播客Hadoop7天培训(价值2000元)(非吴超7天)
hadoop版本2.2.0，在黑马教室讲课，老师亲自录屏，画质清晰，声音清楚。请注意：不是吴超7天课程 特别说明：VIP免币下载，普通会员用金币下载 课程介绍： 课程中会贯穿一个电信项目的例子讲个各个知识点。最后会用黑马论坛日志作为项目讲述。本次课程不加入特别综合的大型的hadoop项目。 适用人群：hadoop零基础，或者转行做hadoop的人士。 预期目标：通过该课程的学习，我期望达到以下三个目标： 1、对hadoop、zookeeper、hbase、hive、sqoop、flume、pig的理论体系有个系统掌握，对核心知识能够掌握；阅读市面上的各种图书和各种文章不再有困难； 2、能够在linux环境搭建hadoop、hbase等的伪分布和分布模式，进入公司后可以自己搭建环境； 3、能够使用java语言、shell命令行两种方式操作hadoop、zookeeper、hbase、hive、sqoop等，进入公司可以直接上手工作，不需要二次培训。 课程时长：初级班414分钟，中级班408分钟，高级版322分钟，项目实战221分钟。总课时1365分钟，是全国hadoop网络培训课时最长的。 培训效果：本课程已经非常适合零基础入门和提高，能够让仅具有java基础的大学毕业生可以上手工作。 课程安排： 01) Linux基础操作 本节讲解linux基础操作，主要是在命令行下进行文件系统的操作，这是hadoop学习的基础，后面的所有视频都是基于linux操作的。鉴于很多学员没有linux基础，特增加该内容。 02) 搭建伪分布实验环境 本节是最基本的课程，属于入门级别，主要讲述在linux单机上面安装hadoop的伪分布模式，在linux集群上面安装hadoop集群。对于不熟悉linux的同学， 课程中会简单的讲解常用的linux命令。这两种是必须要掌握的。通过现在的教学发现，很多同学并不能正确的配置集群环境。 知识点简单罗列： Hadoop概念、版本、历史 Hadoop和核心组成介绍及hdfs、mapreduce体系结构 Hadoop的集群结构 Hadoop伪分布的详细安装步骤 如何通过命令行和浏览器观察hadoop 03) 介绍HDFS体系结构及shell、java操作方式 本节是对hadoop核心之一——hdfs的讲解。hdfs是所有hadoop操作的基础，属于基本的内容。对本节内容的理解直接影响以后所有课程的学习。在本节学习中，我们会讲述hdfs的体系结构，以及使用shell、java不同方式对hdfs的操作。在工作中，这两种方式都非常常用。学会了本节内容，就可以自己开发网盘应用了。在本节学习中，我们不仅对理论和操作进行讲解，也会讲解hdfs的源代码，方便部分学员以后对hadoop源码进行修改。最后，还要讲解hadoop的RPC机制，这是hadoop运行的基础，通过该节学习，我们就可以明白hadoop是怎么明白的了，就不必糊涂了，本节内容特别重要。 知识点简单罗列： Hdfs体系结构详述 NameNode、DataNode、SecondaryNameNode体系结构 如果保证namenode的高可靠 Datanode中block的划分原理和存储方式 如何修改namenode、datanode数据存储位置 如何使用命令行操纵hdfs 如何使用java操作hdfs 介绍rpc机制 通过查看源码，知晓hadoop是建构在rpc之上的 通过查看hdfs源码，知晓客户端是如何与Namenode通过rpc通信的 04) 介绍MapReduce体系结构及各种算法(1) 本节开始对hadoop核心之一——mapreduce的讲解。mapreduce是hadoop的核心，是以后各种框架运行的基础，这是必须掌握的。在本次讲解中，掌握mapreduce执行的详细过程，以单词计数为例，讲解mapreduce的详细执行过程。还讲解hadoop的序列化机制和数据类型，并使用自定义类型实现电信日志信息的统计。 知识点简单罗列： Mapreduce原理 Mapreduce执行的八大步骤 详细讲述如何使用mapreduce实现单词计数功能 详细讲述如何覆盖Mapper功能、如何覆盖Reducer功能。在各种hadoop认证中，这是考察重点 详细讲述hadoop的自定义类型Writable接口 通过电信上网日志实例讲述如何自定义hadoop类型 通过源码讲述hadoop是如何读取hdfs文件，并且转化为键值对，供map方法调用的 05) 介绍MapReduce体系结构及各种算法(2) 本节继续讲解mapreduce，会把旧api的用法、计数器、combiner、partitioner、排序算法、分组算法等全部讲解完毕。通过这两次课程学习，学员可以把整个mapreduce的执行细节搞清楚，把各个可扩展点都搞明白。本节内容在目前市面可见的图书、视频中还没有发现如此全面的哪。 知识点简单罗列： 讲解新旧api的区别，如何使用旧api完成操作 介绍如何打包成jar，在命令行运行hadoop程序 介绍hadoop的内置计数器，以及自定义计数器 介绍了合并(combiner)概念、为什么使用、如何使用、使用时有什么限制条件 介绍了hadoop内置的分区(partitioner)概念、为什么使用、如何使用 介绍了hadoop内置的排序算法，以及如何自定义排序规则 介绍了hadoop内置的分组算法，以及如何自定义分组规则 介绍了mapreduce的常见应用场景，以及如何实现mapreduce算法 06) 介绍Hadoop集群 hadoop就业主要是两个方向：hadoop工程师和hadoop集群管理员。我们课程主要培养工程师。本节内容是面向集群管理员的，主要讲述集群管理的知识。 知识点简单罗列： 如何搭建hadoop集群 如何动态增加hadoop从节点 如何动态修改hdfs的副本数 如何使用一些常用管理命令 如何理解安全模式 如何查看日志等 07) 介绍zookeeper操作 本节内容与hadoop关系不大，只是在hbase集群安装时才用到。但是，zookeeper在分布式项目中应用较多。 知识点简单罗列： Zookeeper是什么 搭建zookeeper集群环境 如何使用命令行操作zookeeper 如何使用java操作zookeeper 08) 介绍HBase体系结构及基本操作 hbase是个好东西，在以后工作中会经常遇到，特别是电信、银行、保险等行业。本节讲解hbase的伪分布和集群的安装，讲解基本理论和各种操作。我们通过对hbase原理的讲解，让大家明白为什么hbase会这么适合大数据的实时查询。最后讲解hbase如何设计表结构，这是hbase优化的重点。 知识点简单罗列： Hbase是什么 Hbase数据模型 Hbase存储模型 Hbase的命令行操作 Hbase的java操作 如何使用mapreduce向hbase批量导入数据 09) 介绍pig操作 Pig是另一套hadoop处理大数据的方法，底层调用的是mapreduce，但是入门的门槛低，书写自由灵活，书写效率与java代码相比非常高，在企业中有较多应用。本节hadoop讲解pig的理论、操作。 知识点简单罗列： Pig是什么 Pig的数据类型、操作 使用pig完成前面的电信上网日志的统计工作 10) 介绍Hive体系结构及基本操作 Hive作为hadoop领域的数据仓库，支持sql功能，类似于mysql操作，非常好用，在企业中应用非常广泛。 知识点简单罗列： Hive是什么 Hive的体系结构，hive中的表在hdfs中是如何存储的 讲解如何在linux安装mysql，如何使用mysql作为hive的metastore 通过实例详细讲述hive的内部表、分区表、外部表、桶表 介绍视图 介绍hive的自定义函数 11) 介绍Sqoop操作 sqoop适用于在关系数据库与hdfs之间进行双向数据转换的，在企业中，非常常用。 知识点简单罗列： Sqoop是什么 通过实例讲解Sqoop如何把mysql中的数据导入到hdfs中 通过实例讲解Sqoop如何把hdfs中的数据导出到mysql中 Sqoop如何做成job，方便以后快速执行 12) Flume操作 Flume是cloudera公布的分布式日志收集系统，是用来把各个的服务器中数据收集，统一提交到hdfs或者其他目的地，是hadoop存储数据的来源，企业中非常流行。 知识点简单罗列： Flume是什么 详细Flume的体系结构 讲述如何书写flume的agent配置信息 讲述flume如何动态监控文件夹中文件变化 讲述flume如何把数据导入到hdfs中 通过实例讲解如何通过flume动态监控日志文件变化，然后导入到hdfs中 13) 论坛日志分析项目 该项目的数据来自于黑马([url=]http://edu.csdn.net/[/url])论坛的日志，该项目是为本课程量身定做的，非常适合我们hadoop课程学习。有的同学觉得应该介绍更多项目，其实做过几个项目后，就会发现项目的思路是相同的，只是业务不同而已。大家写过这个项目后，就对hadoop的各个框架在项目中是如何使用的，有个比较清晰的认识，对hadoop与javaEE结合有个比较清晰的认识了。 课程目录索引 ├─day1 │ 01hadoop介绍1 │ 02hadoop介绍2 │ 03hadoop介绍3 │ 04Linux环境配置1 │ 05安装JDK │ 06Hadoop安装配置 │ 07hadoop初始化和测试 │ 08配置ssh免密码登陆配置和ssh原理 │ ├─day2 │ 01HDFS原理 │ 02HDFS的shell操作 │ 03HDFS原理 │ 04HDFS原理2 │ 05HDFS的java接口 │ 06Hadoop RPC │ 07HDFS读取数据过程 │ ├─day3 │ 01MR介绍 │ 02WordCount执行流程 │ 03WordCount代码编写 │ 04hadoop序列化机制 │ 05MR例子 │ 06MR提交过程 │ 07hadoop远程debug │ ├─day4 │ 01Partitioner编程 1 │ 02Partitioner编程2 │ 03使用Maven开发MR │ 04MR排序 │ 05Combiner编程 │ 06shuffle过程 │ 07MR例子-倒排索引 │ 08决定mapper的数量因素 │ ├─day5 │ 01ZooKeeper介绍 │ 02ZooKeeper集群搭建 │ 03hadoop集群搭建 │ 04Hadoop集群测试 │ 05数据迁移工具sqoop │ 06shell入门 │ ├─day6 │ 01HBASE入门 │ 02hbase单节点安装和hbase shell │ 03hbase集群搭建 │ 04HBASE理论知识 │ 05HBASE的java接口1 │ 06HBASE的java接口2 │ 07HBASE理论 │ ├─day7 │ 01hive入门 │ 02hive安装mysql metastore │ 03hive分区表 │ 04hive练习 │ 05hive的UDF │ 06A数据收集工具flume │ 07黑马论坛日志项目 │ ├笔记和代码
购买主题
本主题需向作者支付 666 资源币 才能浏览
| |
| ||
| ||
| ||
| ||
| ||
| ||
| ||
| ||
| ||
小黑屋|资源共享吧 ( 琼ICP备2023000410号-1 )
GMT+8, 2024-11-23 16:23 , Processed in 0.070362 second(s), 16 queries , MemCached On.
发表于 2020-5-25 15:01:01
发表于 2020-5-25 22:39:53