大数据技术专业属于交叉学科:以统计学、数学、计算机为三大支撑性学科;生物、医学、环境科学、经济学、社会学、管理学为应用拓展性学科。
此外还需学习数据采集、分析、处理软件,学习数学建模软件及计算机编程语言等,知识结构是二专多能复合的跨界人才(有专业知识、有数据思维)。
以中国人民大学为例:
基础课程:数学分析、高等代数、普通物理数学与信息科学概论、数据结构、数据科学导论、程序设计导论、程序设计实践。
必修课:离散数学、概率与统计、算法分析与设计、数据计算智能、数据库系统概论、计算机系统基础、并行体系结构与编程、非结构化大数据分析。
选修课:数据科学算法导论、数据科学专题、数据科学实践、互联网实用开发技术、抽样技术、统计学习、回归分析、随机过程。
大数据岗位:
1、大数据系统架构师
大数据平台搭建、系统设计、基础设施。技能:计算机体系结构、网络架构、编程范式、文件系统、分布并行处理等。
2、大数据系统分析师
面向实际行业领域,利用大数据技术进行数据安全生命周期管理、分析和应用。技能:人工智能、机器学习、数理统计、矩阵计算、优化方法。
3、hadoop开发工程师。解决大数据存储问题。
4、数据分析师
不同行业中,专门从事行业数据搜集、整理、分析,并依据数据做出行业研究、评估和预测的专业人员。在工作中通过运用工具,提取、分析、呈现数据,实现数据的商业意义。
5、数据挖掘工程师
做数据挖掘要从海量数据中发现规律,这就需要一定的数学知识,最基本的比如线性代数、高等代数、凸优化、概率论等。经常会用到的语言包括Python、Java、C或者C++,我自己用Python或者Java比较多。有时用MapReduce写程序,再用Hadoop或者Hyp来处理数据,如果用Python的话会和Spark相结合。
大数据基础Linux系统管理;Shell编程设计;Maven简介;Maven安装部署与配置;Maven仓库;Maven POM;
2Hadoop生态体系HDFS分布式文件系统;MapReduce分布式计算模型;Yarn分布式资源管理器;Zookeeper分布式协调服务;Habse分布式数据库;Hive分布式数据仓库;FlumeNG分布式数据收集系统;Sqoop大数据迁移系统;
3Spark生态系统Scala黄金语言;Kafka分布式总线系统;SparkCore大数据计算基石;SparkSQL数据挖掘利器;SparkStreaming流式计算平台;SparkMllib机器学习平台;SparkGraphx图计算平台;
要学习这些,你可以参考下