Hive - 开源中国社区
当前访客身份：游客 [
当前位置：
在hive中存储着string类型的标准时间格式的时间（UTC），例如：T00:00:00Z；想查询某个时间区间，例如：2010-10...
AnalysisException: Exceeded the maximum number of child expressions (10000). ...
我用hue 执行hivesql 的时候系统报错， java.net.SocketTimeoutException:callTimeout=60000, c...
hive的查询语句，hive数据里有 /N这样的数据，怎么去除掉？？
如题：使用java 如何将oracle 的数据迁移到Hive 上？ 自己准备 先用jdbc 将oracle 的数据先导出成文本， 根据hive 规则创建表...
利用sqoop将mysql中的数据导入到hive中时，为什么总是将mysql中的表存放在hive的默认数据库中？不能指定表存放在hive的某个具体的数据库...
虚心求教，其中表t3和t1结构一致 hive& insert into table t3 select * from t1; WARNING: Hi...
在安装impala 时 启动impala-shell
报错 [root@zyc~]# impala-shell Starting Impala Shel...
求助：HIVE中一张5亿的表关联3张都只有100条数据的表，怎样效率更高？谢谢 表 T1(a int,b varchar(100),c int,d int...
1、忽略标题里面的中括号，不是【东京 HOT】 2、数据表里面的数据是在是太多了，通常要做一些数据统计报表之类的工作，头疼的很 3、已经做过如下的处理，但...
按照网上的教程进行配置，hiveserver2 的远程端口就是不能开启，要崩溃了
CDH5.7.2环境跑比较大的任务时候,其他任务一直等待，小任务可以并行， 关键这个大任务，其实也不大也就10G的数据，我的配置8台128G内存的，CPU...
怎么提高hive查询速度，基于cdh5.3下的版本
查询姓李的人的个数 查询姓王的人的个数 形成的结果如下： 姓王
3 一个语句完成
在安装kylin的时候，报错 Caused by: java.lang.IllegalArgumentException: File not exist ...
@LukeHan 你好，想跟你请教个问题： 我在安装启动kylin的时候，报错。上周已经发送邮件到社区，但是没有人回复。 环境是 CDH5.7，hadoo...
hive导入数据的时候出现该错误 LOAD DATA LOCAL INPATH '/data/xxxx.txt' INTO TABLE xxxxx_xxx...
how to compile hive 进入目录cd /opt/apache-hive-1.2.1-src下 mvn clean install -...
beeline 通过thriftsvr 建立session select
的时候只能出现第一列的值，如下图： 单select一列数据的时候，可正常输出 求解答
由于公司要求，我从一个啥都不知道的小菜鸟开始摸索 用hadoop+hive+hbase做集成，其中 hadoop
hive 1.2.1 ...
各位大侠，我搭建了一个hadoop环境，用hive做数据仓库，mysql做hive的元数据仓库，用于定时分析用户数据中的日志文件，但在hive访问mysq...
我尝试了做这个开放权限，好像还不行 GRANT ALL PRIVILEGES ON *.* TO 'hive'@'%' IDENTIFIED BY 'pa...
hive& c FAILED: Execution Error, return code 1 from o...
hive& load data local inpath '/usr/local/text.txt' overwrite into table po...
sh hive Logging initialized using configuration in file:/usr/local/hive121/c...
Logging initialized using configuration in jar:file:/usr/local/hive1...
hive-site: &configuration&
&property&
&name&javax.j...
hive的元数据用的是mysql，版本是version=1.1.0-cdh5.4.0，一直用的好好的，今天在hive命令行中执行一条select语句，感觉...
sqoop和hive
是安装在一台计算机就行了吗?
查阅了很多资料，hadoop的核心是hdsf和mapreduce。那hive是做什么用的？我看资料中说，hive是基于sql的，那hadoop+hive的...
一般的公司 使用hive ，处理哪些数据
java 操作 hive on spark的例子在哪里
org.springframework.web.util.NestedServletException: Handler processing faile...
我部署了一个节点的hadoop(2.6.0)伪分布式系统，然后部署了hive，启动了hadoop和hive之后，通过命令 # hive --service...
在linux环境中，hadoop用的hadoop2.5.2，我想安装hive ，在官网上下载一个最新的hive(比如，hive1.2.1[官方是支持had...
java.lang.RuntimeException: org.apache.hadoop.ipc.RemoteException:User: mark...
[hadoop@master ~]$ hive SLF4J: Class path contains multiple SLF4J bindings. S...
启动hdfs正常，NN、DN、SN都正常。 启动hive只有一个runjar进程，但查询、建本地表、查表都正常。 在从本地表tb3导入分区表tb4_p时出...
@stark_summer 你好，想跟你请教个问题： hive配置成spark引擎，提交任务到yarn，执行SQL 能够正确的返回结果，但是执行完毕，任务...
找不到我想要的答案？Hive学习之配置Oracle为Metastore及问题
& & &&之前学习了如何配置MySQL做为Hive的Metastore，由于在实际应用环境中统一使用的是Oracle11g，所以需要将MySQL改为Oracle。原本预料只要简单地修改hive-site.xml文件即可，却遇到了在Hive中创建表失败的问题，下面就将遇到的问题及解决方法整理一下。& & &&首先修改hive-site.xml文件的内容如下，主要修改的地方为JDBC的URL和驱动类名。&property& &name&javax.jdo.option.ConnectionURL&/name&
&value&jdbc:oracle:thin:@hadoop:1521:hive_db&/value&&/property&&property& &name&javax.jdo.option.ConnectionDriverName&/name&
&value&oracle.jdbc.OracleDriver&/value&&/property&&property& &name&javax.jdo.option.ConnectionUserName&/name&
&value&hadoop&/value&&/property&&property& &name&javax.jdo.option.ConnectionPassword&/name&
&value&hadoop&/value&&/property&& & &&启动Hive成功后，在oracle中可以发现Hive的元数据，如DBS，FUNCS等，说明配置信息没有问题。接下来在Hive中执行创建表的命令，表创建失败，日志信息如下。根据错误信息，可以得知oracle不支持在一个表中存在两个类型为LONG的列，那如何修改呢？ 10:49:49,980 ERROR [main]: DataNucleus.Datastore(Log4JLogger.java:error(115)) - Error thrown executing CREATE TABLE TBLS(
TBL_ID NUMBER NOT NULL,
CREATE_TIME NUMBER (10) NOT NULL,
DB_ID NUMBER NULL,
LAST_ACCESS_TIME NUMBER (10) NOT NULL,
OWNER VARCHAR2(767) NULL,
RETENTION NUMBER (10) NOT NULL,
SD_ID NUMBER NULL,
TBL_NAME VARCHAR2(128) NULL,
TBL_TYPE VARCHAR2(128) NULL,
VIEW_EXPANDED_TEXT
VIEW_ORIGINAL_TEXT
NULL) : ORA-01754: a table may contain only one column of type LONGjava.sql.SQLSyntaxErrorException:ORA-01754: a table may contain only one column of type LONG& & &&经过在Hive官网搜索，终于找到了解决方法。用解压缩工具打开${HIVE_HOME}/lib中的hive-metastore-0.13.0.jar，发现名为package.jdo的文件，打开该文件并找到下面的内容。可以发现列VIEW_ORIGINAL_TEXT和VIEW_EXPANDED_TEXT的类型都为LONGVARCHAR，对应于Oracle中的LONG，这样就与Oracle表只能存在一列类型为LONG的列的要求相矛盾，所以就出现错误了。&field name=&viewOriginalText& default-fetch-group=&false&&
&column name=&VIEW_ORIGINAL_TEXT& jdbc-type=&LONGVARCHAR&/&&/field&&field name=&viewExpandedText& default-fetch-group=&false&&
&column name=&VIEW_EXPANDED_TEXT& jdbc-type=&LONGVARCHAR&/&&/field&& & &&按照Hive官网的建议将该两列的jdbc-type的值改为CLOB，修改后的内容如下所示。在Hive中再次执行创建表的命令，创建表成功。&field name=&viewOriginalText&default-fetch-group=&false&&
&column name=&VIEW_ORIGINAL_TEXT& jdbc-type=&CLOB&/&&/field&&field name=&viewExpandedText&default-fetch-group=&false&&
&column name=&VIEW_EXPANDED_TEXT& jdbc-type=&CLOB&/&&/field&
最新教程周点击榜
微信扫一扫使用java 如何将oracle 的数据迁移到Hive 上？ - 开源中国社区
当前访客身份：游客 [
当前位置：
如题：使用java 如何将oracle 的数据迁移到Hive 上？
自己准备 先用jdbc 将oracle 的数据先导出成文本，
根据hive 规则创建表
在jdbc 上执行hive load data 语句进行导入。
想请问大神，这种思路是否行得通？哪里应该注意？如何处理oracle 外键，存储方法，函数之类的东西？
共有1个答案
<span class="a_vote_num" id="a_vote_num_
保证hive中的元数据跟oracle中列的一致。
导出oracle数据，放到hive的存储路径下，就完成了数据的迁移。
外键，hive支持关联查询，存储方法，是不是存储过程？ 这个抱歉hive没有。
函数 hive有些特有的函数，oracle也有一些特殊的函数，目前不能做到100%兼容。
--- 共有 1 条评论 ---
(3周前)&nbsp&
更多开发者职位上
有什么技术问题吗？
D大调协...的其它问题
类似的话题经检测你所在的网络可能存在爬虫，因资源限制，我们只能拒绝你的请求。
如果你是推酷的用户，可以以继续访问使用。
如有疑问，可将IP信息发送到
请求解封。查看: 7836|回复: 8
如何从Oracle到hive
论坛徽章:2
我们部门一直做bi最近尝试迁移部分程序到hive上去
其中几个环节我是这样处理的，烦请高人看看是不是有不妥的地方
1、Oracle导出txt文件和表结构（手工转换为hive的建表语句）
2、txt文件ftp传递到hadoop机器上
3、hadoop机器上put文件到相应的hdfs
1、有没有Oracle建表语句转换为hive建表语句的工具
2、数据迁移和加载是不是有优化的方法
论坛徽章:2
坐等过来人指点迷津！
论坛徽章:2
坐等过来人指点迷津！
论坛徽章:0
建表还是需要自己写，数据可以用sqoop导入hive
求职 : 论坛徽章:11
安装上hbase应该就支持导入hbase了。
论坛徽章:14
楼主说的是Hive，不是HBase.
从Oracle里面头导出数据为平面文件后，导入HDFS里面，
Hive里面的表结构是要自己手工定的。
论坛徽章:1
建表可以自己写个小程序实现，根据oracle字典表和hive的建表规则，每个地方使用hive的情景不同，建表也不同。
数据装载可以用sqoop来实现。
论坛徽章:2
天佑我中华 发表于
建表可以自己写个小程序实现，根据oracle字典表和hive的建表规则，每个地方使用hive的情景不同，建表也不同 ...
sqoop销量如何、
论坛徽章:0
你可以安装下SQOOP，注意这个跟HADOOP的版本要对应的，不然会出现一些问题。
以下是我项目用到的例子，不过我有个更高级的方法，只需配到表就行了，就是写个JAVA程序，然后自动生成对应的脚本，再执行就可以了。
jdbcracle:thin:@10.0.13.178:1521:dbmuat
--username
--password
--split-by
WAYBILL_ID
--null-string
TT_WAYBILL
&WAYBILL_ID,WAYBILL_NO,SOURCE_ZONE_CODE,DEST_ZONE_CODE,ONESELF_PICKUP_FLG,CONSIGNOR_COMP_NAME,CONSIGNOR_ADDR,CONSIGNOR_PHONE,CONSIGNOR_CONT_NAME,CONSIGNOR_MOBILE,ADDRESSEE_COMP_NAME,ADDRESSEE_ADDR,ADDRESSEE_PHONE,ADDRESSEE_CONT_NAME,ADDRESSEE_MOBILE,METERAGE_WEIGHT_QTY,REAL_WEIGHT_QTY,QUANTITY,FREE_PARCEL_FLG,INNER_PARCEL_FLG,FRANGIBLE_PARCEL_FLG,TRUST_PARCEL_FLG,PRE_CUSTOMS_DT,CONSIGNEE_EMP_CODE,CONSIGNED_TM,DELIVER_EMP_CODE,SUBSCRIBER_NAME,SIGNIN_TM,WAYBILL_REMK,CUSTOMS_BATCHS,AUDITED_FLG,INPUTER_EMP_CODE,INPUT_TM,AUDITER_EMP_CODE,AUDITED_TM,SUPP_TYPE_CODE,CUSTOMS_TYPE_CODE,BOX_TYPE_CODE,VERSION_NO,CARGO_TYPE_CODE,LIMIT_TYPE_CODE,DISTANCE_TYPE_CODE,TRANSPORT_TYPE_CODE,EXPRESS_TYPE_CODE,LOCK_VERSION_NO,INPUTED_ZONE_CODE,INPUT_TYPE_CODE,NEED_SIGNED_BACK_FLG,SIGNED_BACK_WAYBILL_NO,ADDRESSEE_ADDR_NATIVE,UNIFIED_CODE,MODIFIED_EMP_CODE,MODIFIED_TM,HAS_SERVICE_PROD_FLG,ACKBILL_TYPE_CODE,CONS_VALUE,OTHER_NODE_FLG,TB_ORDER_NO,TB_ORDER_TYPE,FREE_TICKET_NO,TWINVOICE_TYPE_CODE,SELF_SEND_FLG,SELF_SEND_DISCOUNT,HVALUE_BOX_TYPE,VOLUME,SOURCEAREA,CONSULT_CODE,CONSIGNOR_POSTAL_CODE,ADDRESSEE_POSTAL_CODE,COUNTRY_CODE,INVOICE_NO,IS_CREDIT,MAWB,AIRPORT_CODE,CONS_VALUE_CURRENCY_CODE,CONSIGNOR_TAX_NO,TRANSFER_PARCEL_FLG,COD_BILL_FLG,CVS_CODE,COD_TYPE,INPUT_TM_GMT,MODIFYDATE_GMT,AUDITER_TM_GMT,UNIT_WEIGHT,REFUND_FREE_PARCEL_FLG,NEW_INPUT_TM,IS_INTERIOR,SOURCE_WAYBILL_NO,BILL_STYLE&
&INPUT_TM&=date'' AND INPUT_TM&date''&
--hive-import
--hive-overwrite
--hive-drop-import-delims
--hive-table
TT_WAYBILL
--hive-partition-key
--hive-partition-value
itpub.net All Right Reserved. 北京皓辰网域网络信息技术有限公司版权所有　　　　
　北京市公安局海淀分局网监中心备案编号：　广播电视节目制作经营许可证：编号（京）字第1149号