[公开课]Hadoop大型应用开发实战

  • 课程编号:C0014239
  • 发布时间:2013-03-15
  • 浏览量:48,178
  • 状态:发布中
提示:电话咨询时请说明来自智库培训,
以便获得更优质的服务。
  • 智库优惠价:4500(请说明来自智库培训,以获得此优惠价)
  • 市场价格:5000(为您节省了500元)
  • 课程时长: 18小时
  • 所属领域: 职业技能 
  • 课程提供方:中培创成(北京)科技有限公司
  • 开课时间: 2013-04-26 至 2013-04-28(已过期)
  • 开课地点: [北京]北京丰台区

课程详情至顶端

培训对象

软件工程师、数据库开发人员、网络后台开发人员、运维人员等。学员要求有一定的Java编程基础。

培训收益

1. 全面掌握Hadoop的架构原理和使用场景;
2. 全程项目实战训练;
3. 彻底掌握使用Hadoop进行MapReduce程序开发;
4. 熟悉分布式计算领域的常用算法;

课程内容

日程 模块单元 模块单元


天 第1个主题:Hadoop MapReduce
1. Hadoop JobTracker 剖析
TaskTracker 剖析
任务提交流程剖析
第2个主题: Hadoop MapReduce Streaming编程
1. Hadoop Streaming 和 Java MapReduce Api 差异
2. 使用 MapReduce 实现数据库功能
第3个主题:MapReduce分布式程序
1. MapReduce流程
2.剖析一个MapReduce程序
3.基本MapReduceAPI 概念
4.驱动代码

使用Eclipse进行快速开发
8.新MapReduce API
第4个主题:Hadoop 核心代码剖析
1. Hadoop Mapper 类核心代码剖析
2. Hadoop Reducer 类核心代码剖析
第5个主题:HDFS分布式文件系统编程
1. Hadoop HDFS 剖析
2. Hadoop NameNode 剖析
3. Hadoop DataNode 剖析
4. hadoop I/O 操作
5. 使用Hadoop HDFS API对HDFS编程


天 第1个主题:Hadoop Mapreduce高级编程
介绍
2.使用MRUnit进行测试
3.利用Combiners来减少中间数据
4.使用Configure和Close方法来进行Map/Reduce设置和关闭
5.编写Partitioner来优化负载平衡
6.直接访问Hadoop分布式文件系统(HDFS)
7.使用分布式缓存(Distributed Cache)
第2个主题:MapReduce的优化
1. map优化
2. reduce优化
3. 小文件优化 第3个主题:MapReduce的任务调度
1. Queue调度的使用
2. 公平调度的使用
3. 能力调度的使用
第4个主题:MapReduce编程实战
1. Hadoop的join操作
2. Hadoop的二次排序
3. Hadoop的海量日志分析
第5个主题:flume+hadoop日志收集实战
1. flume介绍
2. flume核心组件讲解
3. flume自带的组件分析
4. flume二次开发实战


天 第1个主题:Hadoop的来源和动机
1.传统大规模系统存在的问题
2.对一种新的解决方案的需求
第2个主题:Hadoop安装和部署准备
1. Hadoop系统模块组件概述
2. Hadoop试验集群的部署结构
3. Hadoop 安装依赖关系
4. Hadoop 生产环境的部署结构
第3个主题:Hadoop集群安装和部署
1. Red hat Linux基础环境搭建 上机实验
2. Hadoop 单机系统版本 安装配置 上机实验
3. Hadoop 集群系统版本 安装和启动配置 上机实验
4. Hadoop 集群异常Debug 方法
5. Hadoop 集群简单测试方法
6. 使用 Hadoop MapReduce Streaming 快速测试系统
第4个主题:Hadoop组件详解
1. Hadoop HDFS 基本结构
2. Hadoop HDFS 副本存放策略
3. Hadoop NameNode 详解
4. Hadoop SecondaryNameNode 详解
5. Hadoop DataNode 详解
6. Hadoop JobTracker 详解
7. Hadoop TaskTracker 详解
第5个主题:Hadoop集群配置详解
1. Hadoop core-site,hdfs-site,mapred-site 配置详解
2. Hadoop 高可用配置方法 第1个主题:Hadoop集群配置:机架感知,开启压缩和任务均衡
Hadoop 集群安装和开启LZO压缩
Hadoop 配置集群具备机架感知
Hadoop 集群开启公平任务调度器
Hadoop 集群开启能力任务调度器
第2个主题:Hadoop 集群维护与管理
查看集群状态
HDFS数据管理
Mapreduce 任务管理
HDFS安全模式
模拟集群Namenode,jobtrack失效
添加删除节点
数据平衡
文件数据跨集群拷贝
集群升级
第3个主题:Hadoop 集群规划和测试
集群规划(硬件,系统,网络)
集群性能测试
第4个主题:Hadoop 集群监控和运维
1. 使用Ganglia 监控Hadoop集群
2. 使用Cacti 监控操作系统
第5个主题:Hadoop HDFS高可用
Hadoop 元数据NFS备份方案
Hadoop SecondaryNameNode备份方案
Hadoop CheckpointNode备份方案
Hadoop BackupNode备份方案
Hadoop Cloudera HA Namenode 方案

课程安排

培训时间\
2013年4月26日至4月28日(4月25日报到)北京
2013年6月21日至6月23日(6月20日报到)青岛
2013年8月29日至8月31日(8月28日报到)珠海
2013年10月25日至10月27日(10月24日报到)杭州

4500 元/人(含培训费、考试费、证书费、资料费、午餐) 食宿统一安排,费用自理。(请学员带二寸彩照2张—背面注明姓名,身份证复印件一张)。

师资介绍

王老师 国内最早从事于Hadoop框架应用程序软件开发以及Hadoop解决方案专家。业界知名资深IT技术培训讲师、多家著名公司的技术顾问。

发布者简介 至顶端

中培创成隶属于中国信息化培训中心(简称中培教育),致力于为我国提供最高端的IT咨询与培训服务。公司成立...

联系方式 至顶端

    • 联系电话:0592-8269738
    • MBA智库培训QQ:3588662388
    • 微信号:mba51214,加好友请备注:***公开课或者***内训咨询,谢谢
提示:咨询培训机构时请说明来自智库培训,以便获得更优质的服务。

在线咨询 至顶端

* 您的姓名:
性别/称呼:   
* 咨询事项:
为了您的咨询更加及时地得到回复,请您务必留下至少一种有效的联系方式:
联系电话: (区号-电话号码)
手机号码:
电子邮件:
* 验证码:

在线报名 至顶端

* 您的姓名: * 报名人数:
性别/称呼:   
为了您的报名更加及时地得到处理,请您务必留下至少一种有效的联系方式:
联系电话: (区号-电话号码)
手机号码:
电子邮件:
报名说明:
* 验证码:

相关公开课程 至顶端

[城市]课程名 市场价/智库培训价 开课时间(星期) 发布时间
没有相关公开课程
  智库首页 - 培训首页 - 关于智库培训 - 服务推广报价 - 联系我们 - 友情链接 - 权利通知 - 使用帮助