炼数成金 门户 大数据 Oracle 查看内容

Oracle大数据连接器之OLH装载HDFS数据文件到数据库

2013-8-9 11:25| 发布者: 天空之城| 查看: 33917| 评论: 1|原作者: 吴飚|来自: 吴飚的博客

摘要: 在先前的Oracle大数据连接器(Oracle Big Data Connectors)之ODCH访问HDFS数据文件一文里有提到Oracle大数据解决方案及Oracle大数据机,而Oracle Big Data 针对Hadoop 架构的大数据连接器主要有两种。

数据库 Oracle Hadoop 大数据 RAC

11.运行Oracle Hadoop装载程序:

1[grid@biao ~]$ hadoop-0.20.2/bin/hadoop fs -rmr olh_lab_out

在装载程序中,需要建立一个在Hadoop中新建一个目录,用来存放” _SUCCESS”和”_logs”文件;在使用离线装载选项时,还有可能需要存放一些离线装载的文件。所以,我们先要确保没有该目录,以免创建失败。

1[grid@biao ~]$ hadoop-0.20.2/bin/hadoop jar $OLH_JAR
2oracle.hadoop.loader.OraLoader -conf MyConf.xml
3 
4Oracle Loader for Hadoop Release 1.1.0.0.3
5- Production
6 
7Copyright (c) 2011, Oracle and/or its
8affiliates. All rights reserved.
9 
1012/12/15 04:59:43 INFO loader.OraLoader:
11Oracle Loader for Hadoop Release 1.1.0.0.3 - Production
12 
13Copyright (c) 2011, Oracle and/or its
14affiliates. All rights reserved.
15 
1612/12/15 05:00:01 INFO loader.OraLoader:
17Sampling disabled, table: OLH_TABLE is not partitioned
18 
1912/12/15 05:00:01 INFO loader.OraLoader:
20oracle.hadoop.loader.loadByPartition is disabled, OLH_TABLE is not partitioned
21 
2212/12/15 05:00:01 INFO loader.OraLoader:
23oracle.hadoop.loader.enableSorting disabled: table OLH_TABLE has no primary key
24 
2512/12/15 05:00:01 INFO loader.OraLoader:
26Table is not partitioned, resetting number of reducers from 1 to zero
27 
2812/12/15 05:00:01 INFO loader.OraLoader:
29oracle.hadoop.loader.loadByPartition is disabled because mapred.reduce.tasks=0
30 
3112/12/15 05:00:01 INFO
32output.DBOutputFormat: Setting map tasks speculative execution to false for :
33oracle.hadoop.loader.lib.output.JDBCOutputFormat
34 
3512/12/15 05:00:01 INFO loader.OraLoader:
36Submitting OraLoader job OraLoader
37 
3812/12/15 05:00:17 INFO
39input.FileInputFormat: Total input paths to process : 1
40 
4112/12/15 05:00:18 INFO mapred.JobClient:
42Running job: job_201212150039_0015
43 
4412/12/15 05:00:19 INFO
45mapred.JobClient:  map 0% reduce 0%
46 
4712/12/15 05:00:59 INFO
48mapred.JobClient:  map 100% reduce 0%
49 
5012/12/15 05:01:01 INFO mapred.JobClient:
51Job complete: job_201212150039_0015
52 
5312/12/15 05:01:01 INFO mapred.JobClient:
54Counters: 7
55 
5612/12/15 05:01:01 INFO
57mapred.JobClient:   Job Counters
58 
5912/12/15 05:01:01 INFO
60mapred.JobClient:     Launched map
61tasks=1
62 
6312/12/15 05:01:01 INFO
64mapred.JobClient:     Data-local map
65tasks=1
66 
6712/12/15 05:01:01 INFO
68mapred.JobClient:   FileSystemCounters
69 
7012/12/15 05:01:01 INFO
71mapred.JobClient:     HDFS_BYTES_READ=473
72 
7312/12/15 05:01:01 INFO
74mapred.JobClient:   
75HDFS_BYTES_WRITTEN=1100
76 
7712/12/15 05:01:01 INFO
78mapred.JobClient:   Map-Reduce Framework
79 
8012/12/15 05:01:01 INFO
81mapred.JobClient:     Map input
82records=20
83 
8412/12/15 05:01:01 INFO
85mapred.JobClient:     Spilled Records=0
86 
8712/12/15 05:01:01 INFO
88mapred.JobClient:     Map
89output records=20

12.检验结果

Oracle大数据连接器OLH_9

至此,OLH实验成功!

12

鲜花

握手

雷人

路过

鸡蛋
发表评论

最新评论

引用 peter_zhang921 2013-8-10 14:05
感觉从Oracle到HD的场景会多一些,Hadoop到Oracle直接导出扁平文件在用SQLLoder会不会更加可操作,这个OLH有性能上的优势吗

查看全部评论(1)

热门频道

  • 大数据
  • 商业智能
  • 量化投资
  • 科学探索
  • 创业

即将开课

 

GMT+8, 2019-9-17 20:23 , Processed in 0.148275 second(s), 22 queries .