Гудмундссон — воспитанник клуба «Брейдаблик». Во время выступлений за юношескую команду он несколько раз был на стажировке в английских «Челси» и «Фулхэме». В 2008 году Йоханн дебютировал за «Брейдаблик» в чемпионате Исландии. В начале 2009 года Гудмундссон перешёл в нидерландский АЗ, подписав контракт на пять лет. 8 августа 2010 года в матче против НАК Бреда он дебютировал в Эредивизи. 29 января 2011 года в поединке против «ВВВ-Венло» Йоханн забил свой первый гол за АЗ. В 2013 году он помог команде выиграть Кубок Нидерландов. Летом 2014 года Гудмундссон перешёл в английский «Чарльтон Атлетик», подписав контракт на два года. 9 августа в матче против «Брентфорда» он дебютировал в Чемпионшипе. 20 сентября в поединке против «Ротерем Юнайтед» Йоханн забил свой первый гол за «Атлетик». Летом 2015 года он продлил контракт ещё на четыре года. Летом 2016 года Гудмундссон перешёл в «Бернли», подписав контракт на три года. 13 августа в матче против «Суонси Сити» он дебютировал в английской Премьер-лиге, заменив во втором тайме Скотта Эрфилда. 5 ноября в поединке против «Кристал Пэлас» Йоханн забил свой первый гол за «Бернли».