加载中…利用sqluldr2导出数据和sqlldr导入数据的方法
(2015-08-20 17:42:13)
标签：
oracle快速导出数据sqluldr2导出数据的方sqluldr2快速导出数据sqlldr工具的用法oracle导入导出数据 |
分类： Oracle数据库 |
Oracle数据导出工具sqluldr2可以将数据以csv、txt等文件格式导出，适用于大批量数据的导出，导出速度非常快，导出后可以使用Oracle
SQL
Loader工具将数据导入到数据库中。下面将介绍Sqluldr2和sqlldr在Windows平台下的数据处理过程。
一、软件下载地址
下载完sqluldr解压后，文件夹内容如下：
sqluldr2.exe 用于32位windows平台；
sqluldr2_linux32_10204.bin
适用于linux32位操作系统；
sqluldr2_linux64_10204.bin
适用于linux64位操作系统；
sqluldr264.exe 用于64位windows平台。
文件内容如下图所示：
二、sqluldr2 使用方法
1、首先将sqluldr2.exe复制到执行目录下，即可开始使用
2、查看help 帮助
3、执行数据导出命令
3.1、常规导出
sqluldr2
说明：head=yes 表示输出表头
3.2、使用sql参数
sqluldr2 test/test@127.0.1.1/orcl
sql=test_sql.sql head=yes file=d:\tmp001.csv
test_sql的内容为：
select * from temp_001
3.3、使用log参数
当集成sqluldr2在脚本中时，就希望屏蔽上不输出这些信息，但又希望这些信息能保留，这时可以用“LOG”选项来指定日志文件名。
sqluldr2 test/test@127.0.1.1/orcl sql=test_sql.sql
head=yes file=d:\tmp001.csv log=+d:\tmp001.log
3.4、使用 table 参数
当使用 table
参数时，在目录下会生成对应的ctl控制文件，如下语句会生成temp_001_sqlldr.ctl文件。
sqluldr2 test/test@127.0.1.1/orcl query="select * from
temp_001" table=temp_001 head=yes file=d:\tmp001.csv
生成的控制文件temp_001_sqlldr.ctl的内容如下：
4、主要参数说明
Field：分隔符，指定字段分隔符，默认为逗号；
record：分隔符，指定记录分隔符，默认为回车换行，Windows下的换行；
quote：引号符，指定非数字字段前后的引号符；
charset：字符集，执行导出时的字符集，一般有UTF8、GBK等；
head：表头，head=no 不导出表头；head=yes 导出表头。
例如现在要改变默认的字段分隔符，用“#”来分隔记录，导出的命令如下所示：
sqluldr2 test/test sql=tmp.sql
field=#
回车=0x0d，换行=0x0a，TAB键=0x09，|=0x7c，&=0x26，双引号=0x22，单引号=0x27
5、处理成bat文件直接运行生成结果
示例：如处理为 sqluldr2_exp_file.bat，直接双击运行，内容如下：
set NLS_LANG=AMERICAN_AMERICA.AL32UTF8
set pd_mon=201910
sqluldr2.exe scott/tiger@实例 query="select * from temp_001" head=yes field='^' charset=UTF8 file=d:\导出清单_%pd_mon%.txt
pause
示例：如处理为 sqluldr2_exp_file.bat，直接双击运行，内容如下：
set NLS_LANG=AMERICAN_AMERICA.AL32UTF8
set pd_mon=201910
sqluldr2.exe scott/tiger@实例 query="select * from temp_001" head=yes field='^' charset=UTF8 file=d:\导出清单_%pd_mon%.txt
pause
三、sqlldr 使用方法
sqlldr工具可以将文本数据导入到数据库表中，
1、查看sqlldr 的帮助文档
2、创建测试文件
在D盘根目录下创建测试文件tmp_insert.txt ，其内容如下：
PROD_ID,ACC_NUM
18283918,18762535162
12361527,18482762831
3、创建控制文件tmp_insert01.ctl
内容如下：
options(direct=true,errors=10000000,skip=1)
load data
characterset zhs16gbk
into table temp_001 truncate
fields terminated by ',' optionally
enclosed by '"'
trailing nullcols
(
)
参数说明：
characterset ：字符集， 一般使用字符集
AL32UTF8，如果出现中文字符集乱码时，改成 ZHS16GBK。
fields terminated by
'string'：文本列分隔符。当为tab键时，改成'\t'，或者 X'09'；空格分隔符
whitespace，换行分隔符 '\n' 或者
X'0A'；回车分隔符 '\r' 或者 X'0D'；默认为'\t'。
optionally enclosed by 'char'：字段包括符。当为 ' ' 时，不把字段包括在任何引号符号中；当为
"'" 时，字段包括在单引号中；当为'"'时，字段在包括双引号中；默认不使用引用符。
fields escaped by 'char'：转义字符，默认为'\'。
trailing nullcols：表字段没有对应的值时，允许为空。
insert：为缺省方式，在数据装载开始时要求表为空；
append：在表中追加新记录 ；
replace：删除旧记录，替换成新装载的记录 ；
truncate：先清空表，再添加记录；
skip=1 ：表示插入数据时，跳过第一行(标题)，从第二行开始导入；
4、执行数据导入处理
sqlldr test/test@127.0.1.1/orcl
data=d:\tmp_insert.txt control=d:\tmp_insert01.ctl
log=d:\tmp_insert01.log bad=d:\tmp_insert01.bad
注意：在数据导入数据库表后，查询表数据时，会发现最后一个字段的数据中含有类似空格的字符，其实不是空格，是回车换行符，通过replace函数将其替换掉即可，如下红色部分处理
options(direct=true,errors=10000000,skip=1)
load
data
characterset
zhs16gbk
into table
temp_001 truncate
fields
terminated by ',' optionally enclosed by '"'
trailing
nullcols
(
)
附录：chr(9) tab空格，chr(10)
换行，chr(13) 回车，Chr(13)&chr(10) 回车换行， chr(32) 空格符 ， chr(34) 双引号 ，
chr(39) 单引号
可以定义14种数据类型：
CHAR
DATE
DECIMAL EXTERNAL
DECIMAL
DOUBLE
FLOAT
FLOAT EXTERNAL
GRAPHIC EXTERNAL
INTEGER
INTEGER EXTERNAL
SMALLINT
VARCHAR
VARGRAPHIC
a、字符类型数据
CHAR[ (length)] [delimiter]
length缺省为 1，ctl文件中char(20) 一般对应数据库表中 varchar2(20) 。
b、日期类型数据
DATE [ ( length)]['date_format' [delimiter]
使用to_date函数来限制
ctl文件中 date "yyyy-mm-dd hh24:mi:ss" 对应数据库表中 date
c、字符格式中的十进制
DECIMAL EXTERNAL [(length)] [delimiter]
用于常规格式的十进制数（不是二进制=> 一个位等于一个bit）
ctl文件中 decimal external 对应 数据库表中 number
d、压缩十进制格式数据
DECIMAL （digtial [,precision]）
ctl文件中 decimal对应 数据库表中 number
e、双精度符点二进制
DOUBLE
f、普通符点二进制
FLOAT
g、字符格式符点数
FLOAT EXTERNAL [ (length) ] [delimiter]
h、双字节字符串数据
GRAPHIC [ (legth)]
i、双字节字符串数据
GRAPHIC EXTERNAL[ (legth)]
j、常规全字二进制整数
INTEGER
ctl文件中的integer 对应数据库表中 integer
k、字符格式整数
INTEGER EXTERNAL
l、常规全字二进制数据
SMALLINT
m、可变长度字符串
VARCHAR
ctl文件中varchar 对应 数据库表中 varchar2
n、可变双字节字符串数据
VARGRAPHIC
6、常见错误示例
6.1、SQL*Loader-601: For INSERT option, table must be empty.
这时需要，更改为追加(append)方式加载数据。
创建控制文件tmp_insert01.ctl，内容如下：
OPTIONS(DIRECT=TRUE,ERRORS=10000000,skip=1)
LOAD DATA
--INFILE 'd:\tmp_insert.txt'
CHARACTERSET AL32UTF8
APPEND INTO TABLE TEMP_001
FIELDS TERMINATED BY ',' OPTIONALLY ENCLOSED BY '"'
TRAILING NULLCOLS
(
)
6.2、field in data file
exceeds maximum length
原因是控制文件(CTL)中默认为是char类型且没有定义长度，当该列数据长度超过255（char类型长度）时会提示该错误。
解决办法：
根据数据库表中字段长度1000，将CTL文件中的 "col_name char" 调整为"col_name char(1000)" 即可，注意是 char 类型，而不是varchar类型。
解决办法：
根据数据库表中字段长度1000，将CTL文件中的 "col_name char" 调整为"col_name char(1000)" 即可，注意是 char 类型，而不是varchar类型。
本文主要参考：http://wenku.baidu.com/link?url=iNKiOMxvdvVTmLb-6sNlRLLcxF6XON-J4gbYoAzxcY1eFpqVAmhpBK-crQCpEDcfo4s6fH2CtERiqIbjErHQp03rhow4EURBnJLNOcbY6VK
喜欢
0
赠金笔