В сезоне 2003/04 Рами дебютировал на любительском уровне в четвёртом дивизионе Франции. Принял участие в четырёх матчах первенства, в следующем году сыграл 24 матча; клуб финишировал в середине турнирной таблицы. Перед началом сезона 2005/06 Рами стал играть на позиции центрального защитника. Поначалу он выступал в атакующей линии, но по причине травмы одноклубника, которого Рами называет своим лучшим другом в то время, тренеры решили попробовать его в защите. Эта перестановка оказалась успешной, и Рами стал основным защитником клуба, приняв участие в 30 матчах в сезоне, а «Фрею» в третий раз подряд закончил турнир в середине таблицы. В середине сезона Рами был вызван на просмотр клубом «Лилль». После недельной стажировки в профессиональном клубе, которую сам Рами описывал как «сложную», ему был предложен его первый любительский контракт в «Фрею» на сумму в 10 тысяч евро.