大数据技术项目实战骨干教师研修班

TEACHER SEMINAR

学习入口>
  • 邀请函

    各高校计算机、软件、大数据等相关学院老师:

    近年来,大数据受到我国政府的高度重视和大力支持。2015年8月31日,国务院印发《促进大数据发展行动纲要》(国发〔2015〕50号),标志着将大数据纳入国家战略层面。据统计,未来3-5年我国需要大数据人才180万,但目前只有30万此类人才,缺口达150万。培养出足够的、合格的数据人才,对我国在未来掌握大数据的核心价值起着至关重要的作用。

    为满足社会对大数据人才的需求, 国内外高校纷纷设立了大数据专业或在相关专业开设了大数据课程,经全国高校大数据教育联盟对国内外国高校的调研发现,大数据师资是目前制约大数据教育发展的主要因素。为此,全国高校大数据教育联盟计划于 2019 年 1 月 20 至 26 日 于福建厦门举办教师高级研修班。

    特邀请各高等院校数据科学相关专业、计算机科学技术、网络工程、软件工程、信息工程、信息 管理、、统计学专业、数学专业、经济管理专业、电子商务、市场营销专业等科研、教学带头人,骨 干教师、博士生、硕士生参加本次研修班学习,探讨大数据专业建设、教学经验交流等。具体相关通知如下:

  • 一、举办单位

    主办:全国高校大数据教育联盟

    协办:章鱼大数据

    二、培训目标
  • 1.大数据知识体系中理论知识与实战技能的入门与提升;

    2.了解大数据相关课程的教育教学方法;

    3.掌握大数据平台搭建及大数据技术实验环节教学方法;

    4.了解数据采集、数据清洗、数据分析、数据可视化等方法;

    5.掌握大数据项目开发实战环节整体流程;

    6.探讨“大数据”系列课程的专业建设;

    7.了解大数据实验室建设基本方案;

  • 三、培训形式
  • 本次研修班采取网络视频学习+现场面授形式。

    面授时间:2019年1月20日—1月26日(20日全天报到)

    网课时间:学员自报名之日起,先开通网络学习课程,课程开通时间为半年。

  • 四、研修时间地点及费用

    培训地点:福建厦门丽斯海景酒店(思明区环岛路塔头社298号)

    培训费用:3980元/人(团报有优惠)

    五、相关说明:

    1.为了保证教学质量,本次培训班人数名额有限,报满即止。

    2.本次培训的具体工作由全国高校大数据教育联盟依托单位——优选创新(北京)科技有限公司承担。培训费发票由优选创新(北京)科技有限公司开具。

    3.培训期间住宿统一安排,往返交通、餐费均需自理。

    4.培训费缴纳形式:银行汇款或现场POS刷卡。银行汇款请务必在备注栏里注明“大数据培训班”,汇款后请及时告知会务组。

    开户名称:优选创新(北京)科技有限公司

    开户银行:中国民生银行北京上地支行

    银行账号:603700218

    六、研修证书

    对经学校有关部门推荐参加培训的教师,考评合格后由全国高校大数据教育联盟颁发“高等学校教师培训”结业证书。对参加培训获得证书的教师,学校应承认其接受培训的经历,计入继续教育学时。

    七、研修班联系人与联系方式
  • 孙老师:18941655642

    郭老师:17310945523

  • 报名表发送邮箱:contact@bigdataedu.org

    请各学校积极推荐相关课程骨干教师参加会议。参加培训的教师请提前发报名表到邮箱,或者告知会务组,以便安排房间等问题。

    八、其它事项:

    提示:请各位参会代表自带笔记本电脑(配置要求:Windows电脑,CPU I5 以上,内存4G以上,硬盘100GB以上,带WIFI)。

    附件:1、课程内容及安排

    2、回执表

    附件1:
    课程内容及安排

    (一)网络学习课程

    课程内容 时间 课程内容介绍
    Linux 操作系统 10 Linux 操作系统介绍、文件与目录管理、用户以及用户组管理、磁盘管理、文 本编辑工具 vim、文档的压缩与打包、软件安装、Shell 脚本等内容。
    Hadoop 环境搭建及工 作原理 10 讲解 Hadoop 生态系统,包括操作与开发;详细讲解 HDFS 和 Map-Reduce 的功能 及作用;了解 MapReduce 原理、运行流程、压缩数据处理、作业调度、计算器 等环节。
    HDFS 程序开发实践 6 讲解 Hadoop 文件系统 HDFSJAVAAPI 的使用。如何使用 HDFSJavaAPI,读写文件、 读写目录、以及对文件进行压缩处理等。
    MapReduce原理与开发 实践 6 本课程针对 HadoopMapReduce 开发进行讲解。课程以案例为基础,以及如何使 用 MapReduce 进行数据统计,去重,排序,Map 端 Join,Reduce 端 Join 等关 联操作,掌握 MapReduce 处理过程。
    Hive 数据仓库的应用 12 Hive 是基于 Hadoop 构建的数据仓库分析系统,通过学习掌握 Hive 的函数、Hive 数据的加载、Hive 的 DDL 操作、自定义函数(UDF)等内容,达到使用 Hive 进 行查询、汇总、分析数据的能力。
    分布式数据库 HBase 工 作原理及应用 6 HBase 是 Hadoop 生态系统中的重要一员,主要用于海量结构化数据存储;通过 学习对 HBase 表设计、表操作、数据操作、JavaAPI 等内容,掌握对 HBase 系 统的开发及使用。
    数据迁移工具 Sqoop 操 作 4 Sqoop 是关系型数据库和 Hadoop 生态系统之间进行数据转换的主要工具;通过 学习将 mysql 中的数据导入到 hdfs 中、将数据导入到 HBase 中、定义导入导出 任务,掌握对数据迁移的能力。
    分布式日志框架 Flume 配置与应用 4 Flume 对海量日志进行采集、聚合和传输的主流大数据工具;课程内容包含 Flume 应用场景、FlumeNG、FlumeOG、Flume 的核心组件、Flume 的架构、Flume 的 source、sink 配置说明等。
    流式数据采集 Kafka 的 部署与操作 4 Kafka 是分布式的消息队列,广泛应用于实时数据处理。学习内容包含 Kafka 的体系结构、安装模式及安装部署、Topic、Producer、Consumer、发布订阅消 息以及 Kafka JAVA 开发等。
    Spark 环境搭建及工作 原理 6 Spark 是一款高性能的分布式计算框架,比 MapReduce 计算快百倍;本课程内 容全面涵盖了 Spark 生态系统、Spark 与 Hadoop 对比、开发环境搭建、RDD、 编程模型、Web 监控等内容。
    Spark Streaming 原理 与应用优化 4 Spark Streaming 是用户结合流式、批处理和交互式查询应用的实时计算框架; 本课程内容详细讲解原理与特点、适用场景、容错、性能优化和内存优化等。
    Spark SQL 的原理以及 操作 4 Spark SQL 的出现,使得 SQL-on-Hadoop 的性能相对于 Hive 有了显著的提高。 达到 Spark 兼容 Hive 的功能。本课程详细讲解特点、运行架构、数据源、数据 缓存、DataFrame 等。

    (二)面授课程安排

    时间 课程模块 课程内容
    第1天 大数据技术框架
    • 大数据概述(什么是大数据,及大数据的特征、大数据带来的技术挑战、实现大数据处理的关键点)
    • Hadoop 来历及架构(Hadoop 的由来、为什么会有 Hadoop 技术的出现?、Hadoop 技术族)
    • HDFS(HDFS 架构、读写流程、深入 HDFS)
    • MapReduce(MapReduce 原理、深入MapReduce、MapReduce 设计模式)句
    • Hive数据仓库原理与应用
    • HBase 列存数据库(原理、系统架构)
    • 基于脚本的大数据分析(Pig、Hive)
    • Spark(从 Hadoop 到 Spark、Spark 原理、RDD 算子、Spark 算法及设计)
    第 2 天
    第3天 大数据技术实操练习 大数据技术框架实操练习(包含大数据环境搭建、MapReduce开发、HDFS开发,Spark开发等)
    第4天 大数据项目 开发实战
    • 实战项目 “行业大数据项目开发”
    • 采集数据:采集行业数据
    • 清洗数据:开发MapReduce程序清洗评论数据
    • 离线分析:利用 Hive 数据分析工具完成数据统计
    • 实时分析:利用 Spark 进行实时数据分析
    • 数据导出:利用 Sqoop 将 HDFS 数据导出关系数据库
    • 数据可视化:开发 JavaWeb+ECharts 完成数据图表展示过程
    第5天
    第6天

    (注:以上日程仅供参考,最终日程以实际课程为准。主讲老师将根据学员的基础及教学效果动态调整课程进度)

    十、附件下载: