Каганович работал в Асбесте до конца 1961 года. Этот человек, который прежде отличался крайней жестокостью и грубостью по отношению к подчиненным, был на своем последнем руководящем посту весьма либеральным начальником. В 1957 - 1958 годах Каганович приезжал в Москву на сессии Верховного Совета, однако на очередных выборах в Верховный Совет его кандидатура уже не выставлялась. В ноябре 1957 года в связи с 40-летней годовщиной Октября Каганович даже дал интервью одной иностранной корреспондентке.
Известно, что на XXII съезде КПСС в октябре 1961 года Хрущев опять поднял вопрос об антипартийной группе Молотова, Кагановича и Маленкова и об их преступлениях в эпоху Сталина. .При этом многие делегаты съезда говорили в первую очередь о преступлениях Кагановича, приводили документы и факты, свидетельствующие о его активном участии в незаконных репрессиях. Делегаты съезда требовали исключения Кагановича из партии. Вскоре после съезда
Каганович был снят с поста директора горно-обогатительного комбината. Он был исключен из партии на заседании бюро одного из московских райкомов КПСС.
