В январе 2008 года был взят в основную команду «Штутгарта», но продолжал играть за вторую команду. В Бундеслиге дебютировал 9 февраля 2008 года, в матче против берлинской «Герты», который закончился поражением «швабов» со счётом 1:3. По ходу сезона ещё несколько раз попадал в заявку основной команды. Первый удачный матч Ульрайха за клуб состоялся уже через неделю 16 февраля 2008 года, когда его партнёры одержали волевую победу в гостях над «Дуйсбургом» со счётом 3:2, а Свен провёл в воротах весь матч. За сезон 2009/10 провёл 8 матчей в Третьей Бундеслиге в составе дублирующей команды и 4 матча в высшем дивизионе — в основной. После завершения Йенсом Леманном карьеры в 2010 году, стал основным вратарём команды. Дебютировал на международной клубной арене 16 сентября 2010 года в матче группового этапа Лиги Европы против «Янг Бойз».