El nombre del grupo, de acuerdo a la vocalista Tahita Bulmer, se deriva parcialmente de aquél de la banda irlandesa Pony Club; describiendo a su vez a New Young Pony Club como 'un Pony Club más nuevo, más joven y más cachondo'.Después de dos lanzamientos de 7' en la disquera Tirk, fueron descubiertos y firmados para todo el mundo por Phil Hutcheon de Modular Records.
Ya en el 2010 el quinteto se transforma en cuarteto y editan 'THE OPTIMIST', disco que les llevo a darse a conocer fuera de las fornteras del Reino Unido y a participar en varios festivales muy importantes, como el Sonar 2010 de Barcelona.