教师服务直通车
图书简介

本书围绕大数据技术的基本原理与实践,全面系统地介绍了大数据的概念、存储、分析、挖掘,以及机器学习和大模型技术,内容涵盖Hadoop、Spark、Flink、Kafka、Redis、PyTorch等主流技术栈及Transformer、提示词工程和智能体等前沿大模型技术。

全书共10章。第1章重点阐述了大数据的历史及概念、大数据驱动的商业模式、技术生态体系及大数据的生命周期,并探讨了大数据与大模型的共生关系。第2章详细介绍了Anaconda、WSL、VS Code、PyCharm等编程工具的安装、环境配置及AI插件的使用。第3章剖析了大数据的软硬件架构,涵盖分布式处理平台及Kafka与Redis技术。第4、5、6章分别深入讲解了基于Spark MLlib的机器学习、MapReduce/Storm/图与网络分析等大数据分析技术、基于Spark和Flink的流式处理技术。第7章介绍PyTorch基础入门,讲解了基于大数据的深度学习技术与应用。第8章聚焦大数据技术与大模型,剖析了数据工程、Transformer架构、分布式训练算力调度、大模型的提示词工程及前沿智能体技术。第9章探讨了大数据安全与隐私保护的关键技术。第10章介绍了多模态数据分析,进行了大数据案例分析。此外,本书还提供了部分案例的数据集,可通过微信手机端扫描书中二维码下载。

本书内容深入浅出、紧跟前沿,既可作为数据科学与技术、人工智能、计算机科学、制造科学、机械工程等学科相关专业本科生、研究生的教材或课程教学参考书,也可作为工程技术人员、科研人员的工具书。

作者介绍

全球前2%年度影响力顶尖科学家,共青团中央“青马”工程全国科技班入选者、中组部“西部之光”访问学者、贵州大学科研创新团队负责人,是国家自然科学基金委、贵州省科技厅等在库项目评审专家,长期从事数据科学多模态融合感知与边缘计算研究。主持国家级/省部级/横向项目12项,作为主要完成人参与并发布国家标准2项,行业标准2项。

书籍目录

第1章大数据技术概览(1)

1.1大数据驱动的世界(1)

1.2数据的类型(7)

1.3大数据的特点(8)

1.4大数据的获取技术(9)

1.5大数据实战:网络爬虫抓取京东商品评论大数据(10)

本章小结(12)

习题(13)

第2章大数据的软硬件架构(14)

2.1大数据技术基础与软硬件设施概述(14)

2.2大数据存储与管理技术(17)

2.3大数据的分布式处理技术平台(24)

本章小结(38)

习题(39)

第3章Python编程基础(40)

3.1基本数据类型(40)

3.2基本控制流程(50)

3.3Numpy、Scipy和Pandas(54)

3.4Matplotlib软件包(63)

本章小结(67)

习题(67)

第4章大数据分析技术(68)

4.1MapReduce 基础编程(68)

4.2文本大数据分析与处理技术(78)

4.3大数据关联分析(81)

4.4相似项的发现(83)

4.5基于大数据的推荐系统(87)

4.6基于大数据的图与网络分析(91)

4.7大数据聚类分析(98)

4.8时空大数据分析(106)

4.9非结构化大数据分析与处理(112)

4.10基于Storm的流数据分析技术(117)

习题(126)

第5章基于Spark MLlib/Mahout的大数据机器学习(128)

5.1机器学习基础(128)

5.2典型机器学习问题(129)

5.3机器学习评价方法(136)

5.4并行机器学习算法(139)

5.5利用MLlib解决大数据并行分类问题实践(141)

5.6利用Mahout解决大数据推荐优化问题实践(144)

本章小结(147)

习题(147)

第6章基于大数据的深度学习技术与应用(149)

6.1深度学习基本原理(149)

6.2深度学习典型应用(151)

6.3Keras基础入门(156)

6.4应用案例(158)

本章小结(165)

习题(165)

第7章带代码、数据的案例研究(167)

7.1材料大数据材料热导率预测(167)

7.2旅游大数据分析(177)

7.3交通大数据分析(186)

7.4工业大数据分析(191)

7.5产品创新大数据分析(215)

习题(222)

参考文献(223)

分享