内容框架:
什么是技术小白?
比如:只懂得参考别人的 Spark 代码,不懂得 Spark 的内在机制,不懂得如何调优 Spark Job
摆脱技术小白的药方
懂得运行机制:Spark SQL Architecture
学会配置:如何配置 Spark App
spark.driver.memory
spark.driver.cores
spark.executor.memory
spark.executor.cores
spark.files
spark.jars
学会看 Log:Spark Log
Spark SQL 学习框架( 结合图形/几何)
1. Select Rows
2. Select Columns
3. Transform Column
4. Group By / Aggregation
5. Join
Spark SQL 执行计划
1. Spark SQL - Where
2. Spark SQL - Group By
3. Spark SQL - Order by
EMR Studio 特性:
1. 兼容开源组件
2. 支持连接多个集群
3. 适配多个计算引擎
4. 交互式开发 + 作业调度无缝衔接
Notebook + Airflow : 无缝衔接开发环节和生产调度环节
5. 适用多种大数据应用场景
6. 计算存储分离
用户 Notebook 代码
调度作业 Log
讲师:简锋,阿里云 EMR 数据开发平台 负责人
原文链接:http://click.aliyun.com/m/1000284606/
本文为阿里云原创内容,未经允许不得转载。