В 1920 - 1921 годах Микоян попадает в "сферу влияния" Сталина и еще перед Х съездом партии выполняет ряд его конфиденциальных поручений. Летом 1922 года по рекомендации Сталина Микоян был назначен секретарем Юго-Восточного бюро ЦК РКП(б). Вскоре он возглавил СевероКавказский краевой комитет РКП(б) с центром в городе Ростове-на-Дону. В этом крае проживало около 10 миллионов человек. Сюда входили территории казачьих областей - Кубанской, Терской и Войска Донского, Ставропольской, Астраханской и Черноморской губерний, а также семь национальных округов, в которых проживали люди самых различных национальностей. Проблемы, которые приходилось решать молодому Микояну, были исключительно сложными. Северный Кавказ еще недавно служил ареной жестоких боев гражданской войны, отдельные отряды казаков и горцев еще скрывались в горах Кавказа. И все же в условиях нэпа Северный Кавказ быстро оправлялся от разрухи и становился снова житницей страны. Микоян весьма решительно требовал сближения с крестьянством и казачеством. В станицах сохранялся казачий быт, одежда, поощрялись даже военные учения, джигитовка, спортивные упражнения. Под лозунгом "Сделать казачество опорой Советской власти" эти формирования включались в состав территориальных частей Красной Армии. Крайком разрешил не только горцам, но и казакам носить холодное оружие; было сохранено станичное управление и общий станичный бюджет. Во многих выступлениях Микоян призывал коммунистов не разрушать церквей и мечетей и не ссориться с крестьянами и казаками на почве религии. Хотя богатые крестьяне и крупные торговцы были лишены избирательных прав, Микоян требовал соблюдения предоставленных им в рамках нэпа экономических прав. Для прекращения партизанской борьбы в крае несколько раз объявлялась амнистия. Были приняты меры для развития курортов Минеральных Вод и на Черноморском побережье. Все это создало Микояну репутацию умелого и опытного администратора и партийного руководителя. Он сблизился со Сталиным и выступал неизменно на его стороне в борьбе с так называемой левой оппозицией. Сталину нравились энергия Микояна, его кавказское происхождение и полная лояльность. Еще в 1922 году Сталин, ставший Генеральным секретарем ЦК партии, продолжал поручать Микояну некоторые деликатные миссии, связанные с .внутрипартийной борьбой. На объединенном Пленуме ЦК ВКП(б) в июле 1926 года вместе с Орджоникидзе, Кировым, Андреевым и Кагановичем Микоян был избран кандидатом в члены Политбюро.