目录1.ShellAction2.ShellAction日志3.ShellAction限制1.ShellActionShellaction运行一个shell命令，需要配置的有job-tracker，name-node和一些必要的参数。经过配置，在启动ShellAction之前可以创建或删除HDFS文件夹。可以通过配置文件 ... [详细]

文章系本人原创，转载请保持完整性并注明出自《四火的唠叨》HeresmynotesaboutintroductionandsomehintsforHadoop-basedopensourceprojects.Hopeitsusefultoyou.ManagementToolAmbari:Aweb-basedtoolforprovisioning,managing ... [详细]

Hive部署（包括集成Hbase和Sqoop）?1安装环境1.1系统环境???主要是选择软件版本。Hadoop1.0.3Hbase0.94.0Hive0.8.1zookeeper-3.3.5Mysql5.5.28JDK1.6Sqoop-1.4.21.2环境变量$HDOOP_HOME：homehadoophadoop$HBASE_HOME：homehadoo ... [详细]

Sqoop是一种用于hadoop与RDBMS进行数据传输的工具。配置比较简单。去apache官网下载最新的sqoop包。下载地址：www.apache.orgdistsqoop1.99.1解压缩到服务器上。服务器要求本身有jdk，hadoop，hive。配置：confsqoop-env.sh# ... [详细]

hbase结合hive和sqoop实现导数据到mysqlhive整合hbase表的两点好处：1.实现数据导入到MYSQL。2.实现hbase表转换为另外一张hbase表。三个操作环节：1.hbase关联hive作为外部表：CREATEEXTERNALTABLEhive_device_app(row_keystring,genera_typestrin ... [详细]

ApacheHive是目前大型数据仓库的免费首选产品之一，使用ApacheHive的人是不会期望在小数据量上做什么文章，例如把MySQL中的数据搬到HiveHBase中去，那样的话原先很快能执行完毕的SQL，估计在Hive上运行跟原来相比时间延长10倍都不止。但如果你有MySQL数据 ... [详细]

Hive导出到Mysql中中文乱码的问题在上一篇文章《从hive将数据导出到mysql》中，虽然通过hive中转，将hbase的数据成功导出到了mysql中，但是我们遇到了中文乱码问题。一、mysql中的编码mysqlshowvariableslikecollation_%;+----------------------+ ... [详细]

HBaseHadoopDatabase，是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用HBase技术可在廉价PCServer上搭建起大规模结构化存储集群。HBase是GoogleBigtable的开源实现，类似GoogleBigtable利用GFS作为其文件存储系统，HBase利用HadoopHDF ... [详细]

继续写，其实mysql导入导出hdfs对于实际项目开发没啥用的，但是那个可以拿来入门。今天写跟Hbase和Hive的协作。我突然发现我的教程写的顺序很凌乱啊，没有先介绍Hive的安装，这点向大家道歉，我后面补上。数据准备mysql在mysql里面建立表employee ... [详细]

承接上节课，现在说说导出教程检查连接先看看有没有可用的connection连接，如果没有就要根据上节课的方法创建一个sqoop:000showconnector--all1connector(s)toshow:Connectorwithid1:Name:generic-jdbc-connectorClass:org.apache.sqoop.c ... [详细]

靠！sqoop2的文档太少了，而且居然不支持Hbase，十分简陋，所以我愤而放弃Sqoop2转为使用Sqoop1，之前跟着我教程看到朋友不要拿砖砸我，我是也是不知情的群众卸载sqoop2这步可选，如果你们是照着我之前的教程你们已经装了sqoop2就得先卸载掉，没装的可以跳 ... [详细]

具体的安装和jdbc的驱动准备你们看第6课。现在我用一个例子讲解sqoop2的具体使用方法数据准备有一个mysql的表叫worker，里面有三条数据，我们要将其导入hadoop这是建表语句CREATETABLE`workers`(`id`int(11)NOTNULLAUTO_INCREMENT,`name`varch ... [详细]