前序：2月23日，在中关村，海淀黄庄丹棱街SOHO大厦好未来会议室，hadoop专家吴超大侠，分享使用hadoop进行论坛日志分析。在回来的第二天，赶上了这次草根面对面交流。说是草根，像我这样的是草根，其余的都是大侠。在这一次交流中，主要是针对初级想了解had ... [详细]

最近在做用户刷赞排除逻辑的时候，需要结合nginx的access.log日志和Mysql中的部分记录联合查询才能做到，之前的nginx日志一直存放在hadoop中，mysql的数据则没有导入到hadoop中去过，要搞定这事还得将Mysql中的一些表导入到HDFS中去才成。虽说Sqoop的大名早 ... [详细]

由于工作的需求，需要把HDFS中处理之后的数据转移至关系型数据库中成为对应的Table，在网上寻找有关的资料良久，发现各个说法不一，下面是本人自身测试过程：使用Sqoop来实现这一需求，首先要明白Sqoop是什么？Sqoop是一个用来将Hadoop和关系型数据库中的 ... [详细]

Hadoop这个词语杜宇大家都不陌生，它是一个分布式系统基本架构，而不是很多人眼里的一个成品数据库软件。它仅仅是一个架构，供开发者参考与使用，他是由Apache基金会所开发。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力高 ... [详细]

如果你指定了n为sqoop导入的换行符，mysql的某个string字段的值如果包含了n,则会导致sqoop导入多出一行记录。有一个选项-hive-drop-import-delimsDropsn,r,and1fromstringfieldswhenimportingtoHive. ... [详细]

一个问题困扰了很久，用sqoopimport从mysql数据库导入到HDFS中的时候一直报错，最后才发现是一个时间日期类型的非法值导致。hive只支持timestamp类型，而mysql中的日期类型是datetime，当datetime的值为0000-00-0000:00:00的时候，sqoopimport无法将其 ... [详细]

最近就想搞搞hadoop，然后装个MySQL，测试一下那个sqoop。MySQL这种东西，既然是开放源码的，那就源码安装吧。 ... [详细]

具体的安装和jdbc的驱动准备你们看第6课。现在我用一个例子讲解sqoop2的具体使用方法数据准备有一个mysql的表叫worker，里面有三条数据，我们要将其导入hadoop这是建表语句CREATETABLE`workers`(`id`int(11)NOTNULLAUTO_INCREMENT,`name`varch ... [详细]

靠！sqoop2的文档太少了，而且居然不支持Hbase，十分简陋，所以我愤而放弃Sqoop2转为使用Sqoop1，之前跟着我教程看到朋友不要拿砖砸我，我是也是不知情的群众卸载sqoop2这步可选，如果你们是照着我之前的教程你们已经装了sqoop2就得先卸载掉，没装的可以跳 ... [详细]

继续写，其实mysql导入导出hdfs对于实际项目开发没啥用的，但是那个可以拿来入门。今天写跟Hbase和Hive的协作。我突然发现我的教程写的顺序很凌乱啊，没有先介绍Hive的安装，这点向大家道歉，我后面补上。数据准备mysql在mysql里面建立表employee ... [详细]

HBaseHadoopDatabase，是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用HBase技术可在廉价PCServer上搭建起大规模结构化存储集群。HBase是GoogleBigtable的开源实现，类似GoogleBigtable利用GFS作为其文件存储系统，HBase利用HadoopHDF ... [详细]

ApacheHive是目前大型数据仓库的免费首选产品之一，使用ApacheHive的人是不会期望在小数据量上做什么文章，例如把MySQL中的数据搬到HiveHBase中去，那样的话原先很快能执行完毕的SQL，估计在Hive上运行跟原来相比时间延长10倍都不止。但如果你有MySQL数据 ... [详细]