Каганович был одной из ведущих фигур той страшной террористической чистки партии и всего общества, которая проходила волна за волной в СССР в 1936 - 1938 годах. Именно Каганович возглавил в Москве репрессии в наркоматах путей сообщения и тяжелой промышленности, в Метрострое, а также во всей системе железных дорог и крупных промышленных предприятий. При расследовании, которое
проводилось после XX съезда КПСС, были обнаружены десятки писем Кагановича в НКВД со списками множества работников, которых Каганович требовал арестовать. В ряде случаев он лично просматривал и редактировал проекты приговоров, внося в них произвольные изменения. Каганович знал, что делал. Сталин настолько доверял ему в тот период, что поделился с ним планами "великой чистки" еще в 1935 году. И не случайно, что именно Каганович выезжал для руководства этой чисткой во многие районы страны: он был во главе репрессий в Челябинской, Ярославской, Ивановской областях и в Донбассе. Так, например, не успел Каганович приехать в Иванове, как сразу дал телеграмму Сталину: "Первое ознакомление с материалами показывает, что необходимо немедленно арестовать секретаря обкома Епанчикова. Необходимо также арестовать заведующего отделом пропаганды обкома Михайлова".
Получив санкцию Сталина, Каганович организовал подлинный разгром Ивановского обкома партии. Выступая в начале августа 1937 года на пленуме уже весьма поредевшего обкома, Каганович обвинил всю партийную организацию в попустительстве врагам народа. Сам пленум проходил в атмосфере террора и запугивания. Стоило, например, секретарю Ивановского горкома А. А. Васильеву усомниться во вражеской деятельности арестованных работников обкома, как Каганович грубо оборвал его. Тут же на пленуме Васильев был исключен из партии, а затем и арестован как враг народа. Такая же судьба постигла и члена партии с 1905 года, председателя областного Совета профсоюзов И. Н. Семагина.
Грубо и жестоко действовал Каганович и в Донбассе, куда прибыл в 1937 году для проведения чистки. Он созвал сразу же совещание областного хозяйственного актива. Выступая с докладом о вредительстве, Каганович прямо с трибуны заявил, что и в этом зале среди присутствующих руководителей есть немало врагов народа и вредителей. В тот же вечер и ту же ночь было арестовано органами НКВД около 140 руководящих работников Донецкого бассейна, директоров заводов и шахт, главных инженеров и партийных руководителей. Списки для ареста были утверждены накануне лично Кагановичем.
Сталин активно помогал Кагановичу в разгроме партийной организации Украины. На пленуме Киевского обкома партии Каганович добился смещения бюро обкома во главе с П. П. Постышевым, с мстительной активностью сводя счеты со своими оппонентами 1927 - 1928 годов.
Сталин поручал Кагановичу самые различные карательные акции. Так, например, Каганович имел непосредственное отношение к разгрому театра Мейерхольда, а стало быть, и к судьбе великого режиссера. По свидетельству Д. Шостаковича, Сталин ненавидел Мейерхольда, но это была, так сказать, ненависть на расстоянии, ибо Сталин никогда не видел ни одного его спектакля. Неприязнь Сталина была основана исключительно на доносах. Непосредственно перед закрытием театра одну из его постановок посетил Каганович, обладавший тогда громадной властью. От него зависело будущее театра и самого Мейерхольда. Спектакль не понравился Кагановичу. Верный соратник Сталина покинул театр, не досмотрев его и до половины. Мейерхольд, которому было уже за шестьдесят, бросился за Кагановичем на улицу. Но Каганович сел со своей свитой в машину и уехал. Мейерхольд бежал за машиной, пока нe упал.
Иногда приходится встречать утверждения, что в годы террора погибли два младших брата Кагановича. Это неверно. Юлий Моисеевич Каганович был в середине 30-х годов первым секретарем Горьковского обкома и горкома ВКП(б). Вскоре он был освобожден и переведен в Москву на работу в Министерство (ранее Наркомат) внешней торговли, где числился членом коллегии, а в 40-е годы являлся торговым представителем СССР в Монголии. В начале 50-х годов он умер после продолжительной болезни.
Младший из братьев был директором универмага в Киеве, затем заведующим горторготделом. Он никогда не поднимался в верхние эшелоны власти, но по сведениям близких семье людей не был и репрессирован. В 30-е годы пострадал лишь один из двоюродных братьев Лазаря Моисеевича. Что касается его старшего брата Михаила Кагановича, то он был назначен в 1937 году наркомом оборонной промышленности.
