正文
分析性职业的粗略分析(点击图片放大)
这本质上是一个IT职业,类似于数据库管理员。数据管理专员被认为和管理数据以及支持数据管理的设施有关。这个职位和数据分析只有很少关联,也类似Python和R语言的使用也不是很必要。可能会用到SQL语言,以及和Hadoop相关的查询语言,比如Hive和Pig。
关键技术以及需要关注的技能:
-
Apache Hadoop和它的生态系统
-
Apache Spark和它的生态系统
-
SQL以及关系数据库
-
NoSQL数据库
延伸阅读:
-
解析大数据关键术语
(http://www.kdnuggets.com/2016/08/big-data-key-terms-explained.html)
-
解析数据库关键术
(http://www.kdnuggets.com/2016/07/database-key-terms-explained.html)
-
解析Hadoop关键术语
(http://www.kdnuggets.com/2016/05/hadoop-key-terms-explained.html)
-
解析Apache Spark关键术语
(http://www.kdnuggets.com/2016/06/spark-key-terms-explained.html)
-
解析云计算关键术语
(http://www.kdnuggets.com/2016/06/cloud-computing-key-terms-explained.html)
-
七步理解NoSQL数据库(http://www.kdnuggets.com/2016/07/seven-steps-understanding-nosql-databases.html)
-
七步掌握数据科学所需的SQL
(http://www.kdnuggets.com/2016/06/seven-steps-mastering-sql-data-science.html)
这是一条非分析大数据职业道路。记得在刚刚的职业道路之中提到的数据设施吗?是的,它们需要被设计和执行,数据工程师就承担了这部分工作。如果说数据管理专员是汽车修理师,那么数据工程师就是汽车工程师。不过不要搞错了,这两个角色都对你的汽车的行驶和持续工作至关重要,对你从A点驾驶到B点同样重要。
说句实话,数据工程师和数据管理专员所需要的技术和技能是相似的,然而,他们各自在不同的层次理解和使用同样的概念。我不会重复之前一种职业中所提到的那些信息(所有这些信息对数据工程师都很重要),但我会专门给数据工程师补充延伸阅读的清单。
延伸阅读:
-
顶级NoSQL数据库引擎
(http://www.kdnuggets.com/2016/06/top-nosql-database-engines.html)
-
顶级大数据处理框架
(http://www.kdnuggets.com/2016/03/top-big-data-processing-frameworks.html)
-
顶级Spark系统环境项
(http://www.kdnuggets.com/2016/03/top-spark-ecosystem-projects.html)
-
Hadoop和大数据:对于前六大问题的回答
(http://www.kdnuggets.com/2016/01/hadoop-and-big-data-questions.html)
-
为什么数据科学家和数据工程师需要理解云中的虚拟化
(http://www.kdnuggets.com/2017/01/data-scientist-engineer-understand-virtualization-cloud.html)