新闻资讯

大数据工程师的修炼指南！大数据工程师技能图谱出来了

下面是StuQ 发布的大数据工程师技能图谱（https://github.com/TeamStuQ/skill-map/blob/master/data/map-BigDataEngineer.md），仅供参考

大数据通用处理平台

• Spark

• Flink

• Hadoop

分布式存储

• HDFS

资源调度

• Yarn

• Mesos

机器学习工具

• Mahout

• Spark Mlib

• TensorFlow (Google 系)

• Amazon Machine Learning

• DMTK (微软分布式机器学习工具)

数据分析/数据仓库(SQL类)

• Pig

• Hive

• kylin

• Spark SQL,

• Spark DataFrame

• Impala

• Phoenix

• ELK

• ElasticSearch

• Logstash

• Kibana

消息队列

• Kafka(纯日志类，大吞吐量)

• RocketMQ

• ZeroMQ

• ActiveMQ

• RabbitMQ

流式计算

• Storm/JStorm

• Spark Streaming

• Flink

日志收集

• Scribe

• Flume

编程语言

• Java

• Python

• R

• Ruby

• Scala

数据分析挖掘

• MATLAB

• SPSS

• SAS

数据可视化

• R

• D3.js

• ECharts

• Excle

• Python

机器学习

机器学习基础

• 聚类

• 时间序列

• 推荐系统

• 回归分析

• 文本挖掘

• 决策树

• 支持向量机

• 贝叶斯分类

• 神经网络

机器学习工具

• Mahout

• Spark Mlib

• TensorFlow (Google 系)

• Amazon Machine Learning

• DMTK (微软分布式机器学习工具)

算法

一致性

• paxos

• raft

• gossip

数据结构

• 栈，队列，链表

• 散列表

• 二叉树，红黑树，B树

• 图

常用算法

• 排序

• 插入排序

• 桶排序

• 堆排序

• 快速排序

• 最大子数组

• 最长公共子序列

• 最小生成树

• 最短路径

• 矩阵的存储和运算

云计算

• 云服务

• SaaS

• PaaS

• IaaS

• Openstack

• Docker