配置参数说明

最近更新时间: 2024-10-17 17:10:00

常用参数

  • --help 说明:获取帮助信息

  • --version 说明:获取版本信息

  • --ip=127.0.0.1 说明:proxy的ip地址

  • --port=15006 说明:proxy的端口

  • --user=test 说明:登陆proxy的用户名

  • --password=test 说明:登陆proxy的密码

  • --db_table=test.test 说明:指定需要导入的库名和表名,如test.sbtest

  • --file=data200M.txt 说明:导入文件的位置,如--file=/data2/load_new/2.txt;当为目录时,表示文件夹导入。

  • --field_terminated=" " 说明:字段间隔符,如空格(" "),逗号(","),制表符("\t" ),感叹号("|!")等

说明:

部分shell工具无法识别双引号带感叹号("|!")的场景,此时需要在执行loaddata前,关闭histexpand设置(该设置执行历史替换时打开!和!!扩展,默认为开启)

# set +H #执行前关闭histexpand # echo $- himBH # set -o histexpand off #./load_data #执行loaddata命令 `# set -H #执行后复原histexpand` `# set -o #查看当前设置情况allexport ` `histexpand on`

  • --field_enclosed=" " 说明:字段括起符,如为空(" "),双引号号(""")等,注意:双引号在命令行和配置文件中有区别

  • --config=load.ini 说明:配置文件导入模式,配置此参数后,其他直接读取配置文件的参数配置。

其他参数

  • --set_length= "a(1:5),b(6:10),c(11:15)" 说明:固定长度字符解析入库时,将该表字段a每一行的第1到5字节导入,字段为b第6到10字节导入,字段为c第11到15字节导入为字段。如果要更换字段顺序,可以改写set_length: b(2:5),a(7:9),c(11:13)

  • --remove_space_mode=0 说明:固定长度字符解析入库时,设置去除空格的方式。取值为:-1(去除左边空格),0(默认值,不去除左右空格),1(去除右边空格),2(去除左右两边空格)

注意:

set_length、remove_space_mode 当前版本仅兼容单表和广播表,且需要为utf8编码。

此处a、b、c为字段名的示例,请以实际为准;

  • --tmp_file_path=/文件夹路径 控制临时存储目录。

  • --log_file_path=/文件夹路径 控制日志存储目录。

  • --thread_num=1 说明:导入线程数,默认值为4

    --chunk_size=10 说明:导入块大小(KB),默认值为与文件大小相关的一个分段函数,当设置的chunk_size<=1280k时,其都是以128k运行的

  • --escaped_by="\" 说明:转义字符,默认值为反双斜线

  • --lines_terminated="\n" 说明:行间隔符,支持"\n","\r","\r\n"等

  • --fields_optionally_enclosed=false 说明:是否选择性括住CHAR、VARCHAR和TEXT等字符型字段

  • --prefix_sqls="SET foreign_key_checks" 说明:前置运行sql,默认运行"SET unique_checks = 0", "SET foreign_key_checks = 0","SET SESSION TRANSACTION ISOLATION LEVEL READ UNCOMMITTED"这3条sql。注意:该参数在命令行和配置文件中有区别,在使用配置文件时,需要去掉引号。

  • --replace_duplicates=false 说明:是否开启替换模式,替换已存在的记录

  • --fields="(id,k,@jump,pad)" 说明:导入部分字段(id,k,@jump,pad),该参数在使用配置文件时,需要去掉引号

  • --log_level=5 说明:设置日志等级,默认为LOG_INFO,开启debug日志请将等级设置为2

  • --is_daemon=false 说明:是否开启后台运行模式,默认关闭

  • --retry=1 说明:设置重试模式。-1表示当导入出现错误时一直重连;0表示不重试;1表示重试一段时间,需结合retry_time一起使用

  • --retry_time=10 说明:当retry为1时,指定重试时间,单位是min,默认一个10分钟

  • --skip_error=0 说明:是否跳过错误,即当发生错误时,是停止导入(0)还是跳过错误(1)

  • --Breakpoint=0 说明:是否开启断点重传

  • --column_check=0 说明:是否开启字段检查功能,注意此功能与导入部分字段功能冲突,无法同时使用。注意:该参数在单表和广播表导入时无效。

  • --client_timeout=1000 说明,mysql api的超时参数,默认是1000s

  • --character_set="gbk" 说明:指定导入文件编码格式,该参数在使用配置文件时,需要去掉引号

  • --suffix_sqls="SET column2 = @var1/100" 说明:执行导入sql时追加的后缀信息,通常都需要和fields一起使用; 在使用配置文件时,需要去掉引号。

  • --use_encrypt_pwd=0 说明:是否使用了加密的password,默认未使用。当use_encrypt_pwd=0时表示password为明文;use_encrypt_pwd=1时表示使用了加密的password。

  • --encrypt_secret_key="abcdefgh" 说明:当password为加密密码时,支持指定解密密钥,不输入时使用默认密钥解密。在使用配置文件时,需要去掉引号。注意:密钥长度至少8个字符

  • --encrypt_pwd 说明:通过命令行指令获取密码加密后的密文,该参数只在命令行参数时有效

  • --generate_auto_inc_data=false 说明:当缺少自增列数据时,是否自动补充数据,默认进行报错处理不补充数据

  • --zk_iplist="127.0.0.1:2181" 说明:当需要补充自增列数据导入时,需要设置zk的iplist信息

  • --ignore_lines=2 说明: 跳过文件前n行,例如跳过文件前10行则–ignore_lines=10,注意:ignore和断点续传功能冲突,无法同时使用