В «Динамо» перешёл из черниговской «Десны» в январе 2005 года. Началось всё с интервью тогда главного тренера киевского «Динамо» Анатолия Демьяненко: «Кстати, мне тут недавно сообщили, что в 130-и километрах под Киевом наши селекционеры нашли мальчика, которого специалисты уже сейчас называют вторым Шевченко». Впоследствии Ярмоленко получил прозвище «Мальчик с 130 километра». Однако под руководством Демьяненко Андрей так и не дебютировал в основной команде. Первые два года Андрей выступал за «Динамо-2». В своём первом сезоне за вторую команду, под руководством Юрия Калитвинцева и Геннадия Литовченко, нападающий забил четыре мяча в 15 матчах, а в сезоне 2007/08 — шесть в 22. В это же время Ярмоленко иногда выступал и в дублирующем составе, в 13 матчах отличившись восемь раз. Дебютировал в главной команде «Динамо» 11 мая 2008 года в матче против полтавской «Ворсклы». Стал игроком основного состава «Динамо», когда главным тренером стал Валерий Газзаев. Газзаев преимущественно применял схему 4—3—3, в которой Ярмоленко играл на позиции левого нападающего. В тренировочных играх Газзаев несколько раз пробовал Ярмоленко на позиции левого защитника. Несмотря на эти пробы, Ярмоленко продолжил играть в атаке. В официальных играх Ярмоленко поначалу не впечетлял своей игрой. Несмотря на критику, Газзаев продолжал доверять молодому игроку место на футбольном поле, а Ярмоленко постепенно начал оправдывать доверие тренера. После улучшения игры Ярмоленко его место в основном составе перестало оспариваться. Он остался игроком стартового состава и при Олеге Лужном, и при Юрии Сёмине. В 2011 году принял участие в чемпионате Европы среди молодёжных команд, который проходил в Дании. Забил за календарный год на внутренней арене 15 мячей и три за национальную сборную. Стал лучшим футболистом Украины по версии газеты «Команда». В опросе газеты «Украинский футбол», по итогам которого определился лучший «Лучший игрок Украины-2011», Ярмоленко, набравший по итогам голосования 272 очка, занял второе место, уступив Андрею Воронину.