Red de conocimiento del abogados - Preguntas y respuestas jurídicas - ¿Dónde está el archivo de salida del mapa de mapreduce?

¿Dónde está el archivo de salida del mapa de mapreduce?

La salida de la tarea del mapa no se escribe en HDFS, sino en el disco duro local donde se ejecuta el mapa. Debido a que la salida del mapa es un resultado intermedio, el llamado resultado intermedio es el resultado final después de la reducción, y después de ejecutar todo el mapreduce, este resultado se destruirá. Por lo tanto, ponerlo en HDFS e implementar una copia de seguridad es un poco excesivo. Cuando ejecuta mapreduce, puede usar el comando df -lh en el shell para verificar el uso del disco duro y encontrar una manera de controlar el uso dentro del 90%.