热门标签 | HotTags
mapreduce 最新开发笔记
  • 原文http:blog.csdn.netsamhackerarticledetails15692003yarn-site.xml主要是这几个参数-mapreduce.job.ube ... [详细]
    蜡笔小新   2023-08-13 14:38:41
  • 大数据 | Hadoop Hive Spark简介
    HadoopHiveSpark简介1前言2什么是Hadoop?2.1定义2.2解释Map-Reduce的原理2.3MapReduce的优缺点2.4什么是HBase&# ... [详细]
    蜡笔小新   2023-08-13 14:17:19
  • Ambari安装与搭建Hadoop
    Ambari简介以下内容摘自百度百科ApacheAmbari是一种基于Web的工具,支持ApacheHadoop集群的供应、管理和监控。Ambari目前已支持大多数Hadoop组件 ... [详细]
    蜡笔小新   2023-08-13 14:10:32
  • 如何在hadoop中处理小文件
    一、什么是小文件小文件一般是指明显小于Hadoop的blocksize(hadoop1.x中默认是64M,hadoop2.x中默认是128M)的文件。H ... [详细]
    蜡笔小新   2023-08-13 10:50:56
  • RDD运行机制是什么
    这篇文章主要介绍“RDD运行机制是什么”,在日常操作中,相信很多人在RDD运行机制是什么问题上存在疑惑,小编查阅了各式资料,整理出简单好用的操 ... [详细]
    蜡笔小新   2023-08-13 10:04:21
  • 实时流处理 Storm、Spark Streaming、Samza、Flink 比较
    分布式流处理需求日益增加,包括支付交易、社交网络、物联网(IOT)、系统监控等。业界对流处理已经有几种适用的框架来解决,下面我们来比较各流处理框架的相同点以及区别。分布式流处理是对 ... [详细]
    蜡笔小新   2023-08-13 09:57:47
  • 有许多场景下,我们需要进行跨服务器的数据整合,比如两个表之间,通过Id进行join操作,你必须确保所有具有相同id的数据整合到相同的块文件中。那么我们先说一下mapreduce的shuffle过程。 ... [详细]
    蜡笔小新   2023-08-13 09:16:17
  • 大数据分布式计算hadoop
    Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力进行高速运算和存储。Hadoop核心项目 ... [详细]
    蜡笔小新   2023-08-12 19:32:29
  • hive jdbc 访问 配置_什么是hive?一篇文章讲解清楚
    开门见山,什么是hive?一个hadoop的客户端。hive能做什么?hive是基于Hadoop的一个数据仓库工具用来进行数据提取、转化、 ... [详细]
    蜡笔小新   2023-08-12 19:10:10
  • 什么是大数据说起大数据,估计大家都觉得只听过概念,但是具体是什么东西,怎么定义,没有一个标准的东西,因为在我们的印象中好像很多公司都叫大数据公司,业务形态则有几百种,感觉不是很好理 ... [详细]
    蜡笔小新   2023-08-12 18:27:23
  • Spark学习笔记(一)Spark初识【特性、组成、应用】
    本文实例讲述了Spark基本特性、组成、应用。分享给大家供大家参考,具体如下:一、官网介绍1、什么是Spark官网地址:http:spark.apache.orgApac ... [详细]
    蜡笔小新   2023-08-12 18:07:45
  • SMOTE过采样处理不均衡数据(imbalanced data)
    引言关于不均衡数据(imbalanceddata)的相关介绍和处理方法,可以参见处理不均衡数据(imbalanceddata)的几种方法,本文主要介绍SMOTE过采样(SMOTE: ... [详细]
    蜡笔小新   2023-08-12 17:34:02
PHP1.CN | 中国最专业的PHP中文社区 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | 在线工具
Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved | 京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有