Ларсен — воспитанник клуба «Сарпсборг 08». 21 мая 2017 года в матче против «Волеренги» он дебютировал в Типпелиге. Летом 2017 года Ларсен на правах аренды перешёл в итальянский «Милан», но из-за высокой конкуренции так не смог дебютировать за основной состав и вернулся в «Сарпсборг 08». 14 апреля 2019 года в поединке против «Лиллестрёма» Йорген забил свой первый гол за клуб. В 2020 году Ларсен перешёл в нидерландский «Гронинген». 13 сентября в матче против ПСВ он дебютировал в Эредивизи. 25 октября в поединке против ситтардской «Фортуны» Йорген забил свой первый гол за «Гронинген».