Годы войны с гитлеровской Германией были трудным временем для всех советских руководителей. Каганович отвечал в первую очередь за бесперебойную работу железных дорог, на которые в условиях войны легла особая ответственность. Железные дороги, и без того перегруженные у нас в стране, должны были осуществлять теперь огромный объем военных перевозок и эвакуацию многих тысяч предприятий в восточные районы страны. Каганович не вошел в первый состав Государственного Комитета Обороны, но скоро был включен в ГКО вместе с Булганиным, Микояном и Вознесенским.
Железные дороги справились с невероятно трудными задачами военных лет, и в этом была, несомненно, заслуга Кагановича. В сентябре 1943 года ему было присвоено звание Героя Социалистического Труда.
В 1942 году Каганович был также членом Военного Совета Северо-Кавказского фронта. Правда, он продолжал в основном работать в Москве и на фронте бывал "наездами". Когда в 1942 году немецкие войска прорвали линию фронта на юге и стали быстро наступать в направлении Кавказа и Волги, Каганович вылетел на фронт с особой миссией: ему предстояло наладить работу военной прокуратуры и военных трибуналов. В эти месяцы немало командиров и комиссаров Красной Армии поплатились жизнью за неудачи и просчеты, ответственность за которые несло в первую очередь высшее командование.
Уже в 1944 году Каганович постепенно переключается на более мирную хозяйственную работу. Оставаясь заместителем Председателя Совнаркома СССР и заместителем председателя Транспортного комитета, Каганович становится в 1946 году министром промышленности строительных материалов, это была одна из наиболее отстающих отраслей.