Sqoop是一种用于hadoop与RDBMS进行数据传输的工具。配置比较简单。去apache官网下载最新的sqoop包。下载地址：www.apache.orgdistsqoop1.99.1解压缩到服务器上。服务器要求本身有jdk，hadoop，hive。配置：confsqoop-env.sh# ... [详细]

通过MapReduce进行批处理递送到ApacheHadoop仍然是中枢环节。,但随着要从“超思维速度“分析方面获取竞争优势的压力递增，因此Hadoop（分布式文件系统）自身经历重大的发展。科技的发展允许实时查询，如ApacheDrill,ClouderaImpala和StingerInitiati ... [详细]

???????????????????????????????????????????????????????????????????????????????????????????????????????????????????????? ... [详细]

在企业里面从事大数据相关的工作到底需要掌握哪些知识呢？我认为需要从两个角度来看：一个是技术；一个是业务。技术上主要涉及到概率和数理统计，计算机系统、算法和编程等；而业务的角度呢则是因公司业务的不同而异。对于从事大数据的工程人员来说，需要学 ... [详细]

Sqoop是一个用来将Hadoop（Hive、HBase）和关系型数据库中的数据相互转移的工具，可以将一个关系型数据库（例如：MySQL,Oracle,Postgres等）中的数据导入到Hadoop的HDFS中，也可以将HDFS的数据导入到关系型数据库中。Sqoop目前已经是Apache的顶级项目了， ... [详细]

通过MapReduce进行批处理递送到ApacheHadoop仍然是中枢环节。,但随着要从“超思维速度“分析方面获取竞争优势的压力递增，因此Hadoop(分布式文件系统)自身经历重大的发展。科技的发展允许实时查询，如ApacheDrill,ClouderaImpala和StingerInitiative正 ... [详细]

Hue是一个开源的ApacheHadoopUI系统，最早是由ClouderaDesktop演化而来，由Cloudera贡献给开源社区，它是基于PythonWeb框架Django实现的。通过使用Hue我们可以在浏览器端的Web控制台上与Hadoop集群进行交互来分析处理数据，例如操作HDFS上的数据，运行Ma ... [详细]

Sqoop的安装也很简单。完成sqoop的安装后，可以这样测试是否可以连接到mysql(注意：mysql的jar包要放到SQOOP_HOMElib下)： ... [详细]

HBase是ApacheHadoop的数据库，能够对大型数据提供随机、实时的读写访问。HBase的目标是存储并处理大型的数据。HBase是一个开源 ... [详细]

上一篇文章《Sqoop1.4.4实现将Oracle10g中的增量数据导入Hive0.13.1，并更新Hive中的主表》描述了增量更新Hive表的原理和Sq ... [详细]

将Oracle中的业务基础表增量数据导入Hive中，与当前的全量表合并为最新的全量表。通过Sqoop将Oracle中表的导入Hive，模拟全量表和 ... [详细]

项目进行了大半后发现悲剧了，利用sqoop默认的从oracle数据库到处的数据表，如果其中的数据精度大于15位，而导入的表有些字段默认 ... [详细]