Воспитанник футбольной школы команд «Маттзее» и «Мюнхен 1860». В академии мюнхенцев обучался с 2001 по 2006 годы, впервые дебютировал в любительской команде в сезоне 2006/2007 в региональной лиге «Юг». Номинально в сезоне 2007/2008 не был заявлен за основную команду, но 12 ноября 2007 дебютировал в домашней игре с мёнхенгладбахской «Боруссией». С лета 2008 года входил в заявку клуба, к 2009 году сыграл 13 матчей в основном составе. Летом 2009 года вернулся в Австрию и подписал контракт с венской «Аустрией» до 2012 года (дебют пришёлся на 24 июля 2009 в матче против ЛАСК и закончился победой 5:4), но через два года досрочно аннулировал соглашение и уехал в немецкую Бундеслигу в «Майнц 05». 19 мая 2016 года Баумгартлингер заключил четырёхлетний контракт с леверкузенским «Байером», который заплатил за переход австрийского футболиста 4 млн евро. В октябре 2019 года Баумгартлингер продлил контракт с клубом до июня 2021 года.