Medlemmarna i Geese tillskriver sina musikaliska färdigheter sina erfarenheter i ett School of Rock-program, som varje medlem deltog i. Trummisen Max Bassin, sångaren Cameron Winter och gitarristen Emily Green gick på Park Slope Rock School (PSRS) medan basisten Dominic DiGesu och den tidigare gitarristen Foster Hudson gick på School of Rock New York. I 'The New York Times' minns Hudson att han upptäckte rockbandet Television vid 12 års ålder när hans program gav honom i uppdrag att spela deras signaturlåt, "Marquee Moon"—samma program som DiGesu också deltog i. Bassin, Winter och Green var återkommande på Brooklyns scener och deltog i flera sommarlåtskrivarsessioner på Bunker Studios via PSRS. Enligt skolans webbplats hade Bassin "galen energi" bakom trumman, även vid åtta års ålder; Winter fick rykte om sig att vara en "extraordinär låtskrivare"; och Green, besatt av Radiohead, verkade ha en ny gitarrpedal varje vecka, vilket inspirerade henne att skriva unika och experimentella gitarriff. PSRS minns fortfarande trions låt "Cherry Skies" som en av deras favoritoriginallåtar från PSRS genom tiderna.