Hive定位数据文件路径的方法

在hive中排查数据错位、脏数据时，需要知道数据的具体文件，可以通过虚拟列来帮助诊断定位。
* INPUT__FILE__NAME
map任务读入的文件全路径
* BLOCK__OFFSET__INSIDE__FILE
如果是RCFile或者是SequenceFile块压缩格式文件则显示Block file Offset，也就是当前快在文件的第一个字偏移量，如果是TextFile，显示当前行的第一个字节在文件中的偏移量
* ROW__OFFSET__INSIDE__BLOCK
RCFile和SequenceFile显示row number, textfile显示为0

譬如有表a，我们需要找到异常数据的具体位置，代码如下：

select *,INPUT__FILE__NAME,BLOCK__OFFSET__INSIDE__FILE  from a  where ds=2019052901 and imei1='460017684629873'

得到如下结果：

拿到文件路径下载下来，就可以定位到具体的问题原因了