В развернувшейся после смерти Ленина острой внутрипартийной борьбе Сталину было крайне важно обеспечить
себе поддержку Украины - самой крупной после РСФСР союзной республики. По рекомендации Сталина именно Каганович был избран в 1925 году Первым секретарем ЦК КП(б)У. Политическая обстановка на Украине тогда была крайне сложной. Гражданская война закончилась победой большевиков, но среди крестьянского населения республики оставались еще очень сильны пережитки петлюровского и махновского движений, то есть националистические или анархистские настроения. Большевистская партия опиралась главным образом на промышленные районы Украины, где преобладало русское население. Значительную часть кадров партия черпала и среди еврейского населения республики, которое видело в Советской власти гарантию защиты от притеснений и погромов, прокатившихся по еврейским поселкам а годы гражданской войны. Украинская культура не имела достаточной силы, чтобы стать серьезным препятствием для далеко зашедшей русификации. Не менее половины студентов украинских вузов составляла русская и еврейская молодежь.
В национальной политике на Украине были два курса: на "украинизацию", то есть поощрение украинской культуры, языка, школы, выдвижение украинцев в аппарат управления и т.п., и на борьбу с "буржуазным и мелкобуржуазным национализмом". Провести четкую границу между ними, особенно в городах и промышленных центрах, было нелегко, и Каганович явно тяготел ко второму курсу: он был безжалостен ко всему, что казалось ему украинским национализмом, У Кагановича происходили частые конфликты с председателем СНК Украины В. Я. Чубарем, Одним из наиболее активных оппонентов Кагановича был также член ЦК КП(б)У и нарком просвещения Украины А. Я. Шумский, который в 1926 году добился приема у Сталина и настаивал на отзыве Кагановича с Украины. Хотя Сталин и согласился с некоторыми доводами Шумского, но одновременно поддержал Кагановича, направив специальное письмо в украинское Политбюро.
Конечно, Каганович проделал немалую работу по восстановлению и развитию промышленности Украины.
Однако в политической и культурной областях его деятельность принесла гораздо больше вреда, чем пользы. Как партийный руководитель Советской Украины Каганович являлся фактическим руководителем и небольшой компартии Западной Украины. Национальная обстановка и настроения среди населения западной части Украины существенно отличались от того, что происходило в ее восточной части. Но Каганович не разобрался в сложных проблемах этой компартии, которой приходилось действовать в условиях подполья на территории бывшего Польского государства. Огульно обвинив ЦК КПЗУ в национализме и даже предательстве, Каганович довел эту партию до раскола и добился ареста некоторых ее руководителей, которые создали свой руководящий центр на территории Советской Украины. Каганович не постеснялся дискредитировать всю КПЗУ. В ноябре 1927 года на одном из заседаний Политбюро ЦК КП(б)У он цинично заявил, что не знает, на чьей стороне в случае войны будет КПЗУ.
Уже после отъезда Кагановича в Москву Чубарь, выступая на объединенном заседании Политбюро ЦК и Президиума ЦКК КП(б)У, таким образом характеризовал обстановку, созданную Кагановичем в партийном руководстве Украины: "Взаимное доверие, взаимный контроль у нас нарушались, так что друг другу мы не могли верить... Вопросы решались за спиной Политбюро, в стороне... Эта обстановка меня угнетает".
Масштабы оппозиции Кагановича на Украине возрастали. К Сталину приезжали Г. И. Петровский и Чубарь с просьбой отозвать Кагановича с Украины. Сталин вначале сопротивлялся, обвиняя своих собеседников в антисемитизме. И все же ему пришлось в 1928 году возвратить Кагановича в Москву. Но это вовсе не свидетельствовало о недовольстве Сталина работой Кагановича. Наоборот, он снова стал секретарем ЦК ВКП(б) и вскоре был также избран членом Президиума ВЦСПС. Каганович должен был составить противовес руководству М. П. Томского в профсоюзах. В начале 1930 года Каганович стал первым секретарем Московского областного, а затем и городского комитетов партии, а также полноправным членом Политбюро ЦК ВКП(б).
Летом 1930 года перед XVI съездом партии в Москве проходили районные партийные конференции. На Бауманской конференции выступила вдова Ленина Н. К. Крупская и подвергла критике методы сталинской коллективизации, заявив, что эта коллективизация не имеет ничего общего с ленинским кооперативным планом. Крупская обвиняла ЦК партии в незнании настроений крестьянства и в отказе советоваться с народом. "Незачем валить на местные органы, - заявила Крупская, - те ошибки, которые были допущены самим ЦК".
Когда Крупская еще произносила свою речь, руководители райкома дали знать об этом Кагановичу, и он немедленно выехал на конференцию. Поднявшись на трибуну после Крупской, Каганович подверг ее речь грубому разносу. Отвергая ее критику по существу, Каганович заявил также, что она как член ЦК не имела права выносить свои критические замечания на трибуну районной партийной конференции. "Пусть не думает Н. К. Крупская, - заявил Каганович, - что если она была женой Ленина, то она обладает монополией на ленинизм".
