[公开课]云计算架构与大数据应用(Hadoop)开发培训班

  • 课程编号:C0011842
  • 发布时间:2012-04-13
  • 浏览量:62,762
  • 状态:发布中
提示:电话咨询时请说明来自智库培训,
以便获得更优质的服务。

课程详情至顶端

培训对象

软件工程师、数据库开发人员、网络后台开发人员、运维人员;地方政府云计算物联网产业负责人;各地云计算中心负责人;云计算物联网产业规划负责人;云计算产业投资团队;云计算应用开发商;云计算硬件设备提供商;云服务运营服务提供商;高校、科研院所云计算项目负责人。

培训收益

1. 了解云计算的发展历史
2. 掌握云计算的实践应用
3. 学习云计算的核心技术
4. 通晓云计算的商业价值。
5. 全面掌握Hadoop的架构原理和使用场景;
6. 全程项目实战训练;
7. 彻底掌握使用Hadoop进行MapReduce程序开发;
8. 熟悉分布式计算领域的常用算法;
9. 掌握Hive、HBase使用与优化技巧。

课程内容

(第一专题:云计算架构)
日程 授课主题 课程安排


天 云计算概述 云的理想
云的挑战
发展的趋势
云是什么
不同工作负载适用不同的云
选择合适的云平台
几个云应用案例
我们身边的云
云架构 云多层架构视图
IaaS、PaaS与SaaS的定位与异同
云平台的发展现状
云数据中心技术架构
IAAS云层的原理与应用 IaaS的基础:虚拟化
虚拟化相关技术
Power云部署方案介绍
VMWare云部署方案介绍
OpenStack云部署方案介绍
SONAS云存储方案介绍
应用实例


天 PaaS云层的原理与应用 PaaS的架构原理
基于WebSphere的PaaS设计实践
SaaS云层的原理与应用 SaaS的架构原理
一个公有云SaaS的设计实践
云计算的性能管理与容量规划 什么是性能容量管理
性能容量管理参考案例
压力测试基本理论
系统性能设计与调优


天 大数据云的原理与架构 存储子系统
传统文件系统
松耦合网络文件系统
共享存储文件系统
基于对象的存储子系统
大数据存储子系统
Google GFS
Facebook Haystack
Amazon Dynamo
Yahoo PNUTS
Google BigTable
云存储服务
Amazon Simple Storage Service
Google Storage for Developers

课程安排

(第二专题:大数据分析与Hadoop开发)
日程 模块单元 模块单元


天 第1个主题:Hadoop的来源和动机
1.传统大规模系统存在的问题
2.对一种新的解决方案的需求
3.Hadoop应用案例解析
4.Hadoop 版本介绍
5.Hadoop与传统分布式环境的区别

第2个主题:Hadoop安装和部署准备
1. Hadoop系统模块组件概述
2. Hadoop试验集群的部署结构
3. Hadoop 安装依赖关系
4. Hadoop 生产环境的部署结构
5. Hadoop集群安装和部署

第3个主题:Hadoop组件详解
1. Hadoop HDFS 基本结构
2. Hadoop HDFS 副本存放策略
3. Hadoop NameNode 详解 4. Hadoop SecondaryNameNode 详解
5. Hadoop DataNode 详解
6. Hadoop JobTracker 详解
7. Mapper
8. Reducer
9. API 使用Eclipse进行快速开发
10. 新MapReduce API

第4个主题:Hadoop 核心代码剖析
1. Hadoop Mapper 类核心代码剖析
2. Hadoop Reducer 类核心代码剖析

第5个主题:HDFS分布式文件系统编程
1. Hadoop HDFS 剖析
2. Hadoop NameNode 剖析
3. Hadoop DataNode 剖析
4. hadoop I/O 操作
5. 使用Hadoop HDFS API对HDFS编程


天 第1个主题:Hadoop MapReduce
1. Hadoop JobTracker 剖析
2.Hadoop TaskTracker 剖析
3.Hadoop 任务提交流程剖析
第2个主题: Hadoop MapReduce Streaming编程
1. Hadoop Streaming 和 Java MapReduce Api 差异
2. 使用 MapReduce 实现数据库功能
第3个主题:MapReduce分布式程序
1. MapReduce流程
2.剖析一个MapReduce程序
3.基本MapReduceAPI 概念
4.驱动代码
第4个主题:Hadoop Mapreduce高级编程
1.ToolRunner介绍
2.使用MRUnit进行测试
3.利用Combiners来减少中间数据
4.使用Configure和Close方法来进行Map/Reduce设置和关闭
5.编写Partitioner来优化负载平衡
6.直接访问Hadoop分布式文件系统(HDFS)
7.使用分布式缓存(Distributed Cache) 第5个主题:MapReduce的优化
1. map优化
2. reduce优化
3. 小文件优化

第6个主题:MapReduce的任务调度
1. Queue调度的使用
2. 公平调度的使用
3. 能力调度的使用

第7个主题Hadoop 生态系统介绍
分布式管理组件-Zookeeper
分布式数据仓库-Hive
分布式数据库-HBase
数据导入导出-Sqoop
工作流管理- Ozzie
Hadoop数据仓库-Hive
Hive基础
Hive的作用和原理说明
Hadoop仓库和传统数据仓库的协作关系;Hive与传统数据库的对接使用
Hadoop/Hive仓库数据数据流



天 Hadoop数据仓库-Hive

Hive Cli 的基本用法
HQL基本语法
自行编写数据库与Hadoop相互ETL工具的思路
Hadoop 分布式数据仓库-HBase
Hbase概念与架构
hbase核心知识点
hbase安装、部署
HBase配置优化综述
表设计优化相关参数
监控工具使用方法及注意事项
常见异常现象级处理方法

师资介绍

商老师 中培伟业管理咨询有限公司技术总监、清华大学CIMS研究中心客座讲师、微软公司签约资深讲师,十年培训经历,超过8000学时的教学经历,具有丰富的教学经验。曾参与国内多家银行、大型报业集团及媒体行业的主机架构规划设计、高可用性、高性能以及灾备解决方案建设,具有丰富的项目经验。
朱老师 中心高级顾问、架构专家。主要从事系统架构、高可用性及高性能规划等工作。对大型金融机构对IT的高可用性,高性能以及灾备方案有丰富经验;具备独有方案设计经验与技能。主导完成美国、加拿大、中国等行业客户的高可用性及高性能系统架构设计、性能管理与优化等方案近几十项;多年的国际团队领导经验、擅长复合型项目管理;截止目前主要服务客户包括国内主要银行、省地税局等大型企事业单位近30家。

其他信息

如有事咨询请与杨老师联系 15910211267 QQ 651442286

发布者简介 至顶端

中国信息化培训中心(简称中培教育)致力于为我国提供最高端的IT咨询与培训服务。公司成立十年来一直秉持“...

联系方式 至顶端

    • 联系电话:0592-8269738
    • MBA智库培训QQ:3588662388
    • 微信号:mbalib007,加好友请备注:***公开课或者***内训咨询,谢谢
提示:咨询培训机构时请说明来自智库培训,以便获得更优质的服务。

在线咨询 至顶端

* 您的姓名:
性别/称呼:   
* 咨询事项:
为了您的咨询更加及时地得到回复,请您务必留下至少一种有效的联系方式:
联系电话: (区号-电话号码)
手机号码:
电子邮件:
* 验证码:

在线报名 至顶端

* 您的姓名: * 报名人数:
性别/称呼:   
为了您的报名更加及时地得到处理,请您务必留下至少一种有效的联系方式:
联系电话: (区号-电话号码)
手机号码:
电子邮件:
报名说明:
* 验证码:

相关公开课程 至顶端

[城市]课程名 市场价/智库培训价 开课时间(星期) 发布时间
[金华]金华企业计量内校员/计量员/计量校准员/仪器内校员培训 1550/1500 2021-06-30(三) 2017-06-06
[绍兴]绍兴企业计量内校员/计量员/计量校准员/仪器内校员培训 1550/1500 2021-06-30(三) 2017-06-06
[深圳]深圳领袖演说智慧福田总裁演讲班南山总裁口才训练班 19800/12800 2020-03-12(四) 2017-03-08
[宁波]宁波IATF16949及五大工具内审员培训班 2200/1500 2019-12-21(六) 2011-08-24
[深圳]北京大学汇丰商学院|MBA工商管理研修班|广州深圳东莞|2012招生简章 49000/49000 2019-03-12(二) 2012-03-28
[上海]复旦大学商业地产企业项目运营管理总裁班 58000/9 2018-09-15(六) 2011-09-22
[深圳]北大汇丰私募PE深圳研修班|广州深圳私募总裁班 98000/89000 2018-08-16(四) 2012-08-15
[上海]上海交大国际金融投资总裁研修班 51500/51500 2018-05-18(五) 2012-05-15
[深圳]北京大学CEO国际课堂|商业文明与企业家修为|总裁研修班|招生简章 375000/375000 2018-03-08(四) 2012-03-28
[苏州]生产计划与物料控制(PMC)实战培训 3200/3000 2018-01-18(四) 2011-02-18
[杭州]EMBA/MBA高层研修班课程教授—从战略到执行:组织能力水平提升策略 22000/20000 2018-01-01(一) 2011-04-13
  智库首页 - 培训首页 - 关于智库培训 - 服务推广报价 - 联系我们 - 友情链接 - 权利通知 - 使用帮助
©2006-2017 MBA Library, All rights reserved.