SQL Loader 导入大量数据

标签:
杂谈 |
分类: Oracle/SQL |
DOS:
a.ctl:
LOAD DATA
INFILE 'C:\abc\a.csv'
TRUNCATE INTO TABLE STAGE_TEST
APPEND
FIELDS TERMINATED BY ','
TRAILING NULLCOLS
(
OBJID,
FST_NAME,
LAST_NAME,
LOGIN,
EMAIL_ADDR,
WORK_PH_NUM,
CELL_PH_NUM,
FAX_PH_NUM,
PAGER_PH_NUM,
START_DT DATE "MM/DD/YYYY HH24:MI", // date 类型
CONTACTID_PARTYUID ":OBJID" // 调用
)
a.csv 由a.xlsx 转换而来 (另存为 寻找后缀为.csv)
*bad 失败的数据将进入 a.bad
[转]-----------------------------------------------------------------------------------
http://images.csdn.net/syntaxhighlighting/OutliningIndicators/None.gifLoader
http://images.csdn.net/syntaxhighlighting/OutliningIndicators/None.gifLoader
http://images.csdn.net/syntaxhighlighting/OutliningIndicators/None.gifLoader
http://images.csdn.net/syntaxhighlighting/OutliningIndicators/None.gifLoader
http://images.csdn.net/syntaxhighlighting/OutliningIndicators/None.gifLoader
http://images.csdn.net/syntaxhighlighting/OutliningIndicators/None.gifLoader
http://images.csdn.net/syntaxhighlighting/OutliningIndicators/None.gifLoader
http://images.csdn.net/syntaxhighlighting/OutliningIndicators/None.gifLoader
http://images.csdn.net/syntaxhighlighting/OutliningIndicators/None.gifLoader
http://images.csdn.net/syntaxhighlighting/OutliningIndicators/None.gifLoader
http://images.csdn.net/syntaxhighlighting/OutliningIndicators/None.gifLoader
http://images.csdn.net/syntaxhighlighting/OutliningIndicators/None.gifLoader
http://images.csdn.net/syntaxhighlighting/OutliningIndicators/None.gifLoader
http://images.csdn.net/syntaxhighlighting/OutliningIndicators/None.gifLoader
3、在命令行中执行以下语句:
http://www.cnblogs.com/chinaray/archive/2008/04/18/1160466.html
----------------------------------------------------------
---------------------------------------------------------
一:sql loader 的特点
oracle自己带了很多的工具可以用来进行数据的迁移、备份和恢复等工作。但是每个工具都有自己的特点。
比如说exp和imp可以对数据库中的数据进行导出和导出的工作,是一种很好的数据库备份和恢复的工具,因此主要用在数据库的热备份和恢复方面。有着速度快,使用简单,快捷的优点;同时也有一些缺点,比如在不同版本数据库之间的导出、导入的过程之中,总会出现这样或者那样的问题,这个也许是oracle公司自己产品的兼容性的问题吧。
sql loader
工具却没有这方面的问题,它可以把一些以文本格式存放的数据顺利的导入到oracle数据库中,是一种在不同数据库之间进行数据迁移的非常方便而且通用的工具。缺点就速度比较慢,另外对blob等类型的数据就有点麻烦了。
二:sql loader 的帮助
C:\>sqlldr
SQL*Loader: Release 9.2.0.1.0 - Production on 星期六 10月 9 14:48:12 2004
Copyright (c) 1982, 2002, Oracle Corporation. All rights
reserved.
用法: SQLLDR keyword=value [,keyword=value,...]
有效的关键字:
userid -- ORACLE username/password
control -- Control file name
log -- Log file name
bad -- Bad file name
data -- Data file name
discard -- Discard file name
discardmax -- Number of discards to allow (全部默认)
skip -- Number of logical records to skip (默认0)
load -- Number of logical records to load (全部默认)
errors -- Number of errors to allow (默认50)
rows -- Number of rows in conventional path bind array or between
direct p
ath data saves
(默认: 常规路径 64, 所有直接路径)
bindsize -- Size of conventional path bind array in
bytes(默认256000)
silent -- Suppress messages during run
(header,feedback,errors,discards,part
itions)
direct -- use direct path (默认FALSE)
parfile -- parameter file: name of file that contains parameter
specification
s
parallel -- do parallel load (默认FALSE)
file -- File to allocate extents from
skip_unusable_indexes -- disallow/allow unusable indexes or index
partitions(默
认FALSE)
skip_index_maintenance -- do not maintain indexes, mark affected
indexes as unus
able(默认FALSE)
readsize -- Size of Read buffer (默认1048576)
external_table -- use external table for load; NOT_USED,
GENERATE_ONLY, EXECUTE(
默认NOT_USED)
columnarrayrows -- Number of rows for direct path column
array(默认5000)
streamsize -- Size of direct path stream buffer in
bytes(默认256000)
multithreading -- use multithreading in direct path
resumable -- enable or disable resumable for current
session(默认FALSE)
resumable_name -- text string to help identify resumable
statement
resumable_timeout -- wait time (in seconds) for
RESUMABLE(默认7200)
date_cache -- size (in entries) of date conversion
cache(默认1000)
PLEASE NOTE: 命令行参数可以由位置或关键字指定
。前者的例子是 'sqlload
scott/tiger foo'; 后一种情况的一个示例是 'sqlldr control=foo
userid=scott/tiger'.位置指定参数的时间必须早于
但不可迟于由关键字指定的参数。例如,
允许 'sqlldr scott/tiger control=foo logfile=log', 但是
不允许 'sqlldr scott/tiger control=foo log', 即使
参数 'log' 的位置正确。
C:\>
三:sql
loader使用例子
a)SQLLoader将 Excel 数据导出到 Oracle
1.创建SQL*Loader输入数据所需要的文件,均保存到C:\,用记事本编辑:
控制文件:input.ctl,内容如下:
load data --1、控制文件标识
infile 'test.txt'
--2、要输入的数据文件名为test.txt
append into table
test --3、向表test中追加记录
fields terminated by
X'09' --4、字段终止于X'09',是一个制表符(TAB)
(id,username,password,sj)
-----定义列对应顺序
a、insert,为缺省方式,在数据装载开始时要求表为空
b、append,在表中追加新记录
c、replace,删除旧记录,替换成新装载的记录
d、truncate,同上
在DOS窗口下使用SQL*Loader命令实现数据的输入
C:\>
默认日志文件名为:input.log
默认坏记录文件为:input.bad
2.还有一种方法
可以把EXCEL文件另存为CSV(逗号分隔)(*.csv),控制文件就改为用逗号分隔
LOAD DATA
INFILE
'd:\car.csv'
APPEND INTO TABLE
t_car_temp
FIELDS TERMINATED BY
","
(phoneno,vip_car)
b)在控制文件中直接导入数据
1、控制文件test.ctl的内容
-- The format for executing this file with
SQL Loader is:
-- SQLLDR
control=<filename> Be sure to
substitute your
-- version of SQL LOADER and the filename for
this file.
LOAD DATA
INFILE *
BADFILE 'C:\Documents and
Settings\Jackey\桌面\WMCOUNTRY.BAD'
DISCARDFILE 'C:\Documents and
Settings\Jackey\桌面\WMCOUNTRY.DSC'
INSERT INTO TABLE EMCCOUNTRY
Fields terminated by ";" Optionally enclosed
by '"'
(
COUNTRYID NULLIF
(COUNTRYID="NULL"),
COUNTRYCODE,
COUNTRYNAME,
CONTINENTID NULLIF
(CONTINENTID="NULL"),
MAPID NULLIF (MAPID="NULL"),
CREATETIME DATE "MM/DD/YYYY HH24:MI:SS"
NULLIF (CREATETIME="NULL"),
LASTMODIFIEDTIME DATE "MM/DD/YYYY HH24:MI:SS"
NULLIF (LASTMODIFIEDTIME="NULL")
)
BEGINDATA
"JP";"Japan";1;9;"09/16/2004
16:31:32";NULL
"CN";"China";1;10;"09/16/2004
16:31:32";NULL
2、执行导入命令
C:\>sqlldr
userid=system/manager control=test.ctl