加载中…
个人资料
  • 博客等级:
  • 博客积分:
  • 博客访问:
  • 关注人气:
  • 获赠金笔:0支
  • 赠出金笔:0支
  • 荣誉徽章:
正文 字体大小:

SQL Loader 导入大量数据

(2012-04-24 14:36:36)
标签:

杂谈

分类: Oracle/SQL

DOS:  

  C:\>sqlldr userid =CONV_DEV/CONV_DEV@GSBLPID  control='c:\abc\a.ctl'

a.ctl:

 

LOAD DATA

INFILE 'C:\abc\a.csv'

TRUNCATE INTO TABLE STAGE_TEST

APPEND

FIELDS TERMINATED BY ','

TRAILING NULLCOLS

 

(

OBJID,

FST_NAME,

LAST_NAME,

LOGIN,

EMAIL_ADDR,

WORK_PH_NUM,

CELL_PH_NUM,

FAX_PH_NUM,

PAGER_PH_NUM,

START_DT DATE "MM/DD/YYYY HH24:MI", // date 类型

CONTACTID_PARTYUID ":OBJID" // 调用

)


a.csv 由a.xlsx 转换而来 (另存为 寻找后缀为.csv)


*bad 失败的数据将进入 a.bad

[转]-----------------------------------------------------------------------------------

 下面讲讲SQL Loader的基本用法。
     
     1、在Oracle中按照导入数据的格式建立一个空表

     2、编写一个控制文件control.ctl,内容如下

http://images.csdn.net/syntaxhighlighting/OutliningIndicators/None.gifLoader 导入大量数据" />LOAD DATA 
http://images.csdn.net/syntaxhighlighting/OutliningIndicators/None.gifLoader 导入大量数据" /> INFILE 'E:\test\data.tmp' 
http://images.csdn.net/syntaxhighlighting/OutliningIndicators/None.gifLoader 导入大量数据" /> BADFILE 'E:\test\data.bad'
http://images.csdn.net/syntaxhighlighting/OutliningIndicators/None.gifLoader 导入大量数据" /> DISCARDFILE 'E:\test\data.dsc'
http://images.csdn.net/syntaxhighlighting/OutliningIndicators/None.gifLoader 导入大量数据" /> DISCARDMAX 1000
http://images.csdn.net/syntaxhighlighting/OutliningIndicators/None.gifLoader 导入大量数据" />
http://images.csdn.net/syntaxhighlighting/OutliningIndicators/None.gifLoader 导入大量数据" /> APPEND
http://images.csdn.net/syntaxhighlighting/OutliningIndicators/None.gifLoader 导入大量数据" /> INTO TABLE "TB_TEST"
http://images.csdn.net/syntaxhighlighting/OutliningIndicators/None.gifLoader 导入大量数据" /> FIELDS TERMINATED BY '|'
http://images.csdn.net/syntaxhighlighting/OutliningIndicators/None.gifLoader 导入大量数据" /> TRAILING NULLCOLS
http://images.csdn.net/syntaxhighlighting/OutliningIndicators/None.gifLoader 导入大量数据" />   (
http://images.csdn.net/syntaxhighlighting/OutliningIndicators/None.gifLoader 导入大量数据" />    USER_ID
http://images.csdn.net/syntaxhighlighting/OutliningIndicators/None.gifLoader 导入大量数据" />    USER_NAME
http://images.csdn.net/syntaxhighlighting/OutliningIndicators/None.gifLoader 导入大量数据" />    REG_TIME  DATE(20) "YYYY-MM-DD HH24:MI:SS"
http://images.csdn.net/syntaxhighlighting/OutliningIndicators/None.gifLoader 导入大量数据" />    )

 操作分类:

        a、insert,为缺省方式,在数据装载开始时要求表为空
        b、append,在表中追加新记录
        c、replace,删除旧记录,替换成新装载的记录
        d、truncate,同上

3、在命令行中执行以下语句:

        sqlldr userid/password@database e:\test\control.ctl 

       关于如何在程序中使用SQL Loader,在后续文章中将做相关介绍。

http://www.cnblogs.com/chinaray/archive/2008/04/18/1160466.html


----------------------------------------------------------

---------------------------------------------------------

一:sql loader 的特点
oracle自己带了很多的工具可以用来进行数据的迁移、备份和恢复等工作。但是每个工具都有自己的特点。
比如说exp和imp可以对数据库中的数据进行导出和导出的工作,是一种很好的数据库备份和恢复的工具,因此主要用在数据库的热备份和恢复方面。有着速度快,使用简单,快捷的优点;同时也有一些缺点,比如在不同版本数据库之间的导出、导入的过程之中,总会出现这样或者那样的问题,这个也许是oracle公司自己产品的兼容性的问题吧。
sql loader 工具却没有这方面的问题,它可以把一些以文本格式存放的数据顺利的导入到oracle数据库中,是一种在不同数据库之间进行数据迁移的非常方便而且通用的工具。缺点就速度比较慢,另外对blob等类型的数据就有点麻烦了。

二:sql loader 的帮助

C:\>sqlldr

SQL*Loader: Release 9.2.0.1.0 - Production on 星期六 10月 9 14:48:12 2004

Copyright (c) 1982, 2002, Oracle Corporation. All rights reserved.

用法: SQLLDR keyword=value [,keyword=value,...]

有效的关键字:

userid -- ORACLE username/password
control -- Control file name
log -- Log file name
bad -- Bad file name
data -- Data file name
discard -- Discard file name
discardmax -- Number of discards to allow (全部默认)
skip -- Number of logical records to skip (默认0)
load -- Number of logical records to load (全部默认)
errors -- Number of errors to allow (默认50)
rows -- Number of rows in conventional path bind array or between direct p
ath data saves
(默认: 常规路径 64, 所有直接路径)
bindsize -- Size of conventional path bind array in bytes(默认256000)
silent -- Suppress messages during run (header,feedback,errors,discards,part
itions)
direct -- use direct path (默认FALSE)
parfile -- parameter file: name of file that contains parameter specification
s
parallel -- do parallel load (默认FALSE)
file -- File to allocate extents from
skip_unusable_indexes -- disallow/allow unusable indexes or index partitions(默
认FALSE)
skip_index_maintenance -- do not maintain indexes, mark affected indexes as unus
able(默认FALSE)
readsize -- Size of Read buffer (默认1048576)
external_table -- use external table for load; NOT_USED, GENERATE_ONLY, EXECUTE(
默认NOT_USED)
columnarrayrows -- Number of rows for direct path column array(默认5000)
streamsize -- Size of direct path stream buffer in bytes(默认256000)
multithreading -- use multithreading in direct path
resumable -- enable or disable resumable for current session(默认FALSE)
resumable_name -- text string to help identify resumable statement
resumable_timeout -- wait time (in seconds) for RESUMABLE(默认7200)
date_cache -- size (in entries) of date conversion cache(默认1000)

PLEASE NOTE: 命令行参数可以由位置或关键字指定
。前者的例子是 'sqlload
scott/tiger foo'; 后一种情况的一个示例是 'sqlldr control=foo
userid=scott/tiger'.位置指定参数的时间必须早于
但不可迟于由关键字指定的参数。例如,
允许 'sqlldr scott/tiger control=foo logfile=log', 但是
不允许 'sqlldr scott/tiger control=foo log', 即使
参数 'log' 的位置正确。

C:\>

三:sql loader使用例子
a)SQLLoader将 Excel 数据导出到 Oracle
1.创建SQL*Loader输入数据所需要的文件,均保存到C:\,用记事本编辑: 
控制文件:input.ctl,内容如下: 

   load data           --1、控制文件标识 
   infile 'test.txt'       --2、要输入的数据文件名为test.txt 
   append into table test    --3、向表test中追加记录 
   fields terminated by X'09'  --4、字段终止于X'09',是一个制表符(TAB) 
   (id,username,password,sj)   -----定义列对应顺序 

a、insert,为缺省方式,在数据装载开始时要求表为空 
b、append,在表中追加新记录 
c、replace,删除旧记录,替换成新装载的记录 
d、truncate,同上 

在DOS窗口下使用SQL*Loader命令实现数据的输入 

C:\>
sqlldr userid=system/manager control=input.ctl 
默认日志文件名为:input.log 
默认坏记录文件为:input.bad 

2.还有一种方法
可以把EXCEL文件另存为CSV(逗号分隔)(*.csv),控制文件就改为用逗号分隔 
LOAD DATA 
INFILE 'd:\car.csv' 
APPEND INTO TABLE t_car_temp 
FIELDS TERMINATED BY "," 
(phoneno,vip_car)

b)在控制文件中直接导入数据

1、控制文件test.ctl的内容
-- The format for executing this file with SQL Loader is:
-- SQLLDR control=<filename> Be sure to substitute your
-- version of SQL LOADER and the filename for this file.
LOAD DATA
INFILE *
BADFILE 'C:\Documents and Settings\Jackey\桌面\WMCOUNTRY.BAD'
DISCARDFILE 'C:\Documents and Settings\Jackey\桌面\WMCOUNTRY.DSC'
INSERT INTO TABLE EMCCOUNTRY
Fields terminated by ";" Optionally enclosed by '"'
(
COUNTRYID NULLIF (COUNTRYID="NULL"),
COUNTRYCODE,
COUNTRYNAME,
CONTINENTID NULLIF (CONTINENTID="NULL"),
MAPID NULLIF (MAPID="NULL"),
CREATETIME DATE "MM/DD/YYYY HH24:MI:SS" NULLIF (CREATETIME="NULL"),
LASTMODIFIEDTIME DATE "MM/DD/YYYY HH24:MI:SS" NULLIF (LASTMODIFIEDTIME="NULL")
)
BEGINDATA
"JP";"Japan";1;9;"09/16/2004 16:31:32";NULL
"CN";"China";1;10;"09/16/2004 16:31:32";NULL

2、执行导入命令
C:\>sqlldr userid=system/manager control=test.ctl

http://www.bitscn.com/pdb/oracle/200810/152282.html

0

阅读 收藏 喜欢 打印举报/Report
  

新浪BLOG意见反馈留言板 欢迎批评指正

新浪简介 | About Sina | 广告服务 | 联系我们 | 招聘信息 | 网站律师 | SINA English | 产品答疑

新浪公司 版权所有