探索云服务化实现的前沿技术,并负责大数据服务的架构设计、开发、测试及运维。
这样成为大数据工程师可以拥有一个与跨学科团队合作的机会,与数据架构师、建模师和 IT 专家密切合作以实现不同的项目目标。学习云计算、编码技能和数据库设计的基础知识,是作为数据科学职业生涯的起点;比较考验综合能力:想要从事大数据技术开发工作要怎么做,路线是什么?从哪里开始学?学哪些?废话不多说,直接上干货!
大数据本质上是海量数据。
python大数据开发学习路线如下:

「链接」黑马程序员新版Linux零基础快速入门到精通,全涵盖linux系统知识、常用软件环境部署、Shell脚本、云平台实践、大数据集群项目实战等
MySQL数据库:「链接」2022新版黑马程序员MySQL知识精讲+mysql实战案例_零基础mysql数据库入门到高级全套教程
Hadoop入门:「链接」2022新版黑马程序员大数据Hadoop入门视频教程,适合零基础自学的大数据Hadoop教程
Hive数仓项目:「链接」黑马程序员大数据项目实战教程_大数据企业级离线数据仓库,在线教育项目实战(Hive数仓项目完整流程)PB内存计算
Python入门:「链接」2022新版黑马程序员python教程,8天python从入门到精通,学python看这套就够了
Python编程进阶:「链接」黑马程序员Python高级语法进阶教程_python多任务及网络编程,从零搭建网站全套教程
spark3.2从基础到精通:「链接」黑马程序员Spark全套视频教程,4天spark3.2快速入门到精通,基于Python语言的spark教程
Hive+Spark离线数仓工业项目实战:「链接」全网首次披露大数据Spark离线数仓工业项目实战,Hive+Spark构建企业级大数据平台
关于大数据开源项目练习1.BigData-Notes
首推 heibaiying 的 BigData-Notes,该项目目前已经有高达 10.2K 的star,正如该仓库的介绍上简短几个字:大数据入门指南。这个项目也是我认为目前最适合初学者学习和参考的项目。项目链接:https://github.com/heibaiying/BigData-Notes
2.awesome-bigdata
这个项目比较特殊,是一个国外开发者开源的项目,英文翻译过来的意思是“很棒的大数据”,实际上呢~他列举的是很多很棒的大数据框架、资源和其他很棒的精选列表。灵感来自 awesome-php、awesome-python、awesome-ruby、hadoopecosystemtable
和big-data。目前也已经斩获 10.2K 的 star,非常强势。
项目链接:https://github.com/0xnr/awesome-bigdata
3.Flink-learning
显而易见,这个是专注与 flink 学习的开源项目,其中的内容包含Flink 入门、概念、原理、实战、性能调优、源码解析等等,目前已经斩获了 10.5k 的 star,非常强势。
项目链接:https://github.com/zhisheng17/flink-learning
还有一些针对性的网站大数据/AI智能
autonlabhttps://www.autonlab.org/tutorials学习数据挖掘、机器学习的好网站,写的很全面很系统,适合各个级别的高手
analyticsvidhya https://www.analyticsvidhya.com/blog/2017/02/top-28-cheat-sheets-for-machine-learning-data-science-probability-sql-big-data/里面蕴含编程语言、机器算法、大数据等,内容巨丰富
learn cord the hard way https://learncodethehardway.org/python/学习Python语言的网站,内容详实
SAS https://blogs.sas.com/content/subconsciousmusings/2017/04/12/machine-learning-algorithm-use/机器学习网站
Analytics Vidhya https://www.analyticsvidhya.com/中国商业智能网http://www.chinabi.net/大数据中国http://www.bigdatas.cn/forum.php雷锋网https://www.leiphone.com/记得收藏上边的好课,教程播放都是百万级别的。