标签: Spark

「云原生」Apache Livy on k8s 讲解与实战操作

「云原生」Apache Livy on k8s 讲解与实战操作 作者:大数据老司机 2022-11-08 08:55:31 云计算 云原生 Livy是一个提供Rest接口和spark集群交互的服务。它可……

Storm、Spark和MapReduce 开源分布式计算系统框架比较

Storm、Spark和MapReduce 开源分布式计算系统框架比较 2015-10-15 14:05:51 大数据 分布式 Spark 比较项 Storm Spark Streaming 分布式计算在许多领域都有……

基于Kubernetes的Spark部署完全指南

基于Kubernetes的Spark部署完全指南 作者:木木TM 2020-03-06 16:00:04 云计算 Spark 本文是在Kubernets上搭建Spark集群的操作指南,同时提供了Spark测试任……

分布式机器学习平台大比拼:Spark、PMLS、TensorFlow、MXNet

分布式机器学习平台大比拼:Spark、PMLS、TensorFlow、MXNet 作者:Murat Demirbas 2017-08-22 17:55:35 人工智能 机器学习 分布式 Spark 本论文从分布式……

spark 自己的分布式存储系统 - BlockManager

spark 自己的分布式存储系统 - BlockManager 作者:佚名 2018-05-10 09:34:21 存储 存储软件 大数据 Spark 分布式 BlockManager 是 spark 中至关重要的一……

一行代码,Pandas秒变分布式,快速处理TB级数据

一行代码,Pandas秒变分布式,快速处理TB级数据 作者:佚名 2018-03-08 11:43:18 大数据 分布式 刚刚在Pandas上为十几KB的数据做好了测试写好了处理脚本,上……

Linux下spark安装指南,快速实现大数据处理(linux安装spark)

Linux下Spark安装指南,快速实现大数据处理 在Big Data领域,Apache Spark可谓是一种强大的数据处理框架,它把大数据处理变得更加容易、高效。本文主要介绍如……

解析SparkStreaming和Kafka集成的两种方式

解析SparkStreaming和Kafka集成的两种方式 作者:开源大数据EMR 2020-02-21 17:33:17 大数据 Kafka Spark Spark Streaming是基于微批处理的流式计算引擎,……

Spark on Kubernetes 的现状与挑战

Spark on Kubernetes 的现状与挑战 作者:尼不要逗了 2019-08-02 13:16:08 云计算 Spark 云原生时代,Kubernetes 的重要性日益凸显,这篇文章以 Spark 为例……

Spark项目为何会在云环境中大放光芒?

Spark项目为何会在云环境中大放光芒? 译文 作者:核子可乐译 2015-07-31 11:26:26 云计算 Spark 就在上个月,多家在云及商业计算领域声名显赫的巨头公开表……