Учасники Geese приписують свої музичні здібності досвіду у програмі School of Rock, яку відвідували всі учасники. Барабанщик Макс Басін, вокаліст Кемерон Вінтер і гітаристка Емілі Грін навчалися у Park Slope Rock School (PSRS), тоді як басист Домінік ДіДжесу та колишній гітарист Фостер Гадсон навчалися у School of Rock New York. У «The New York Times» Гадсон згадує, як відкрив для себе рок-гурт Television у 12 років, коли його програма доручила йому виконати їхню фірмову пісню, «Marquee Moon» — та сама програма, на якій також відвідував ДіДжесу. Bassin, Winter і Green були постійними учасниками бруклінських сцен і брали участь у кількох літніх сесіях написання пісень у Bunker Studios через PSRS. Згідно з сайтом школи, Бассін приніс у форму «шалену енергію» навіть у віці восьми років; Вінтер здобув репутацію «видатного автора пісень»; а Грін, одержимий Radiohead, щотижня отримував нову гітарну педаль, що надихнуло її писати унікальні та експериментальні гітарні рифи. PSRS досі пам'ятає пісню тріо «Cherry Skies» як одну з улюблених оригінальних пісень PSRS усіх часів.