配置参数说明
最近更新时间: 2024-10-17 17:10:00
常用参数
--help 说明:获取帮助信息
--version 说明:获取版本信息
--ip=127.0.0.1 说明:proxy的ip地址
--port=15006 说明:proxy的端口
--user=test 说明:登陆proxy的用户名
--password=test 说明:登陆proxy的密码
--db_table=test.test 说明:指定需要导入的库名和表名,如test.sbtest
--file=data200M.txt 说明:导入文件的位置,如--file=/data2/load_new/2.txt;当为目录时,表示文件夹导入。
--field_terminated=" " 说明:字段间隔符,如空格(" "),逗号(","),制表符("\t" ),感叹号("|!")等
说明:
部分shell工具无法识别双引号带感叹号("|!")的场景,此时需要在执行loaddata前,关闭histexpand设置(该设置执行历史替换时打开!和!!扩展,默认为开启)
# set +H #执行前关闭histexpand
# echo $-
himBH
# set -o
histexpand off
#./load_data #执行loaddata命令
`# set -H #执行后复原histexpand` `# set -o #查看当前设置情况allexport ` `histexpand on`
--field_enclosed=" " 说明:字段括起符,如为空(" "),双引号号(""")等,注意:双引号在命令行和配置文件中有区别
--config=load.ini 说明:配置文件导入模式,配置此参数后,其他直接读取配置文件的参数配置。
其他参数
--set_length= "a(1:5),b(6:10),c(11:15)" 说明:固定长度字符解析入库时,将该表字段a每一行的第1到5字节导入,字段为b第6到10字节导入,字段为c第11到15字节导入为字段。如果要更换字段顺序,可以改写set_length: b(2:5),a(7:9),c(11:13)
--remove_space_mode=0 说明:固定长度字符解析入库时,设置去除空格的方式。取值为:-1(去除左边空格),0(默认值,不去除左右空格),1(去除右边空格),2(去除左右两边空格)
注意:
set_length、remove_space_mode 当前版本仅兼容单表和广播表,且需要为utf8编码。
此处a、b、c为字段名的示例,请以实际为准;
--tmp_file_path=/文件夹路径 控制临时存储目录。
--log_file_path=/文件夹路径 控制日志存储目录。
--thread_num=1 说明:导入线程数,默认值为4
--chunk_size=10 说明:导入块大小(KB),默认值为与文件大小相关的一个分段函数,当设置的chunk_size<=1280k时,其都是以128k运行的。
--escaped_by="\" 说明:转义字符,默认值为反双斜线
--lines_terminated="\n" 说明:行间隔符,支持"\n","\r","\r\n"等
--fields_optionally_enclosed=false 说明:是否选择性括住CHAR、VARCHAR和TEXT等字符型字段
--prefix_sqls="SET foreign_key_checks" 说明:前置运行sql,默认运行"SET unique_checks = 0", "SET foreign_key_checks = 0","SET SESSION TRANSACTION ISOLATION LEVEL READ UNCOMMITTED"这3条sql。注意:该参数在命令行和配置文件中有区别,在使用配置文件时,需要去掉引号。
--replace_duplicates=false 说明:是否开启替换模式,替换已存在的记录
--fields="(id,k,@jump,pad)" 说明:导入部分字段(id,k,@jump,pad),该参数在使用配置文件时,需要去掉引号
--log_level=5 说明:设置日志等级,默认为LOG_INFO,开启debug日志请将等级设置为2
--is_daemon=false 说明:是否开启后台运行模式,默认关闭
--retry=1 说明:设置重试模式。-1表示当导入出现错误时一直重连;0表示不重试;1表示重试一段时间,需结合retry_time一起使用
--retry_time=10 说明:当retry为1时,指定重试时间,单位是min,默认一个10分钟
--skip_error=0 说明:是否跳过错误,即当发生错误时,是停止导入(0)还是跳过错误(1)
--Breakpoint=0 说明:是否开启断点重传
--column_check=0 说明:是否开启字段检查功能,注意此功能与导入部分字段功能冲突,无法同时使用。注意:该参数在单表和广播表导入时无效。
--client_timeout=1000 说明,mysql api的超时参数,默认是1000s
--character_set="gbk" 说明:指定导入文件编码格式,该参数在使用配置文件时,需要去掉引号
--suffix_sqls="SET column2 = @var1/100" 说明:执行导入sql时追加的后缀信息,通常都需要和fields一起使用; 在使用配置文件时,需要去掉引号。
--use_encrypt_pwd=0 说明:是否使用了加密的password,默认未使用。当use_encrypt_pwd=0时表示password为明文;use_encrypt_pwd=1时表示使用了加密的password。
--encrypt_secret_key="abcdefgh" 说明:当password为加密密码时,支持指定解密密钥,不输入时使用默认密钥解密。在使用配置文件时,需要去掉引号。注意:密钥长度至少8个字符
--encrypt_pwd 说明:通过命令行指令获取密码加密后的密文,该参数只在命令行参数时有效
--generate_auto_inc_data=false 说明:当缺少自增列数据时,是否自动补充数据,默认进行报错处理不补充数据
--zk_iplist="127.0.0.1:2181" 说明:当需要补充自增列数据导入时,需要设置zk的iplist信息
--ignore_lines=2 说明: 跳过文件前n行,例如跳过文件前10行则–ignore_lines=10,注意:ignore和断点续传功能冲突,无法同时使用