Členové Geese přisuzují své hudební schopnosti zkušenostem z programu School of Rock, kterého se účastnili všichni členové. Bubeník Max Bassin, hlavní zpěvák Cameron Winter a kytaristka Emily Green navštěvovali Park Slope Rock School (PSRS), zatímco baskytarista Dominic DiGesu a bývalý kytarista Foster Hudson navštěvovali School of Rock New York. V 'The New York Times' Hudson vzpomíná, že ve dvanácti letech objevil rockovou kapelu Television, když mu jeho pořad přidělil hraní jejich charakteristické skladby, "Marquee Moon" – stejný program, kterého se DiGesu také zúčastnil. Bassin, Winter a Green byli pravidelnými hosty na brooklynských pódiích a účastnili se několika letních skladatelských sezení v Bunker Studios prostřednictvím PSRS. Podle školních stránek Bassin vnášel do dresů "šílenou energii", i když mu bylo osm let; Winter si získal pověst "výjimečného skladatele"; a Green, posedlá Radiohead, měla každý týden nový kytarový pedál, což ji inspirovalo k psaní jedinečných a experimentálních kytarových riffů. PSRS stále vzpomíná na píseň tria "Cherry Skies" jako na jednu ze svých nejoblíbenějších originálních skladeb vůbec.