spark读取hdfs文件

发布时间：2025-10-06 | 来源：互联网转载和整理

spark读取hdfs时，通过重写FileInputFormat<LongWritable, Text>类，实现自定义TextInputFormat，对读取的hdfs文件的切片进行过滤，从而起到指定读取hdfs文件的效果。