После смерти Сталина влияние Кагановича на короткое время вновь возросло. В качестве одного из первых заместителей председателя Совета Министров СССР он возглавил несколько важных министерств, Каганович поддержал сговор Хрущева и Маленкова с целью ареста и устранения Берия. Еще раньше он был среди тех, кто предпринял все меры для пересмотра "дела врачей" и прекращения антисемитской кампании в стране. Был реабилитирован и его старший брат М. М. Каганович.
И тем не менее начавшиеся в 1953 - 1954 годах первые реабилитации ставили Кагановича во все более трудное положение. Не все жертвы террора 1937 - 1938 годов были расстреляны или погибли в лагерях. В Москву стали возвраЩаться люди, которые знали о той ведущей роли, которую
играл Каганович при проведении незаконных массовых репрессий. Так, например, в 1954 году был полностью реабилитирован А. В. Снегов, которого Каганович хорошо знал еще по партийной работе на Украине в середине 20-х годов. Снегов был назначен, по предложению Хрущева, на работу в политотдел и коллегию МВД СССР. В перерыве торжественного заседания в Большом театре по случаю 38-й годовщины Октябрьской революции Каганович увидел Снегова, идущего под руку с Петровским, когда-то возглавлявшим ЦИК Украины, а ныне все еще работающим завхозом Музея Революции. Каганович поспешил к ним с приветствиями. Но Снегов не ответил на них. "Я не буду пожимать руку, запятнанную кровью лучших людей партии", - громко, чтобы слышали все вокруг, сказал Снегов. Каганович помрачнел и вместе с дочерью быстро отошел в сторону. Но он уже не имел прежних возможностей карать и преследовать своих врагов.
Каганович решительно протестовал против намерения Хрущева доложить делегатам XX съезда КПСС о преступлениях Сталина. Когда было предложено дать слово на съезде нескольким вернувшимся из лагерей старым большевикам, Каганович воскликнул: "И эти бывшие каторжники будут нас судить?" В своей речи на съезде партии Каганович должен был все-таки мимоходом сказать несколько слов о вредности культа личности. Хрущев, однако, преодолел сопротивление и прочел в конце съезда свой знаменитый секретный доклад.
В прошлом Каганович был в очень плохих отношениях с Молотовым и Маленковым. Теперь они стали сближаться на почве общей вражды против Хрущева и его политики. Они тщательно фиксировали все ошибки Хрущева в руководстве промышленностью и сельским хозяйством. Но главное, что им не нравилось, - это провидение "десталинизации" и освобождение и реабилитация миллионов политических заключенных. Выступление антихрущевской группы закончилось полным поражением. Молотов, Каганович, Маленков и "примкнувший к ним Шепилов" были выведены из состава Политбюро и ЦК КПСС. Они сами и их выступление обсуждались на всех партийных собраниях. Это была советская "банда четырех".
После июньского Пленума Кагановича охватил страх. Он опасался ареста и боялся, что его постигнет судьба Берия. В конце концов на его совести было ненамного меньше преступлений, чем на совести Лаврентия. Каганович даже позвонил Хрущеву и униженно просил его не поступать с ним слишком жестоко. Он сослался на прежнюю дружбу с Хрущевым. Ведь именно Каганович способствовал быстрому выдвижению Хрущева в Московской партийной организации. Хрущев ответил Кагановичу, что никаких репрессий не будет, если члены антипартийной группы прекратят борьбу против линии партии и станут добросовестно работать на тех постах, которые им поручит теперь партия. И действительно, Кагановича вскоре направили в город Асбест Свердловской области директором крупнейшего в стране горно-обогатительного комбината.
Когда в 1933 году в нашей стране проходила чистка партии, перед комиссией должны были отчитаться и все ответственные партийные работники. Хрущев проходил чистку в партийной организации завода имени Осоавиахима. Его спросили, в частности, как он в своей работе применяет социалистическое соревнование. Хрущев ответил: "С кем же мне соревноваться? Только с Лазарем Моисеевичем, но разве я могу с ним тягаться..." В 30-е годы Хрущев, конечно, не мог "тягаться" с Кагановичем. Но в 40-е годы Хрущев нередко вступал в споры и конфликты с ним. А во второй половине 50-х годов именно Хрущев нанес политическое поражение группе членов Политбюро, в которую входил и Каганович.
