Свою карьеру начинал в молодёжных командах Вены. Первой командой Марко была местная «Флоридсдорфер», затем игрок вместе со своим братом посещал академию «Аустрии» и «Рапида». Однако из обоих клубов его выгнали из-за неподобающего поведения. В итоге Марко вновь вернулся в «Флоридсдорфер», а оттуда был выкуплен представителями голландского клуба «Твенте». Перейдя в юношеский состав «Твенте», Арнаутович продемонстрировал высокую результативность, наколотив 22 гола в 24 играх за команду до 19 лет и взяв с ними золотые медали молодежного чемпионата. Затем Марко играл в составе фарм-клуба «Твенте», где забил 27 голов в 32 играх. Это позволило Марко в 18 лет дебютировать в первой команде в важном поединке против «ПСВ». В следующем сезоне игрок провел 14 матчей, но голов не забил. Несмотря на это, австрийцем начали активно интересоваться ведущие клубы Нидерландов: «ПСВ», «Аякс» и «Фейеноорд».