为Hadoop可写外部表设置压缩选项

为Hadoop可写外部表设置压缩选项

用于Hadoop可写外部表的压缩选项使用一个URI查询的形式并且以一个问号开始。用一个花号(&)指定多个压缩选项。

表 1. 压缩选项
压缩选项 默认值
compress true或者false false
compression_type BLOCK或者RECORD RECORD

对于AVRO格式,compression_typecompresstrue时必须是block

codec Codec类名 GzipCodectext格式的默认值,而DefaultCodecgphdfs_export格式的默认值。

对于AVRO格式,值是deflate(默认)或者snappy

codec_level(只用于AVRO格式和deflate codec) 1到9之间的整数 6

级别控制速度和压缩率之间的折中。合法的值是1到9,其中1最快而9压缩率最高。

将压缩选项放在URI的查询部分中。