Free Kitten se forme en 1992 à New York à l'initiative de Kim Gordon de Sonic Youth et Julia Cafritz (ex-Pussy Galore, à l'époque membre du groupe Action Swingers)[3],[4]. Le duo fait quelques concerts et publie un premier single intitulé Call Now sur Ecstatic Peace!, label de Thurston Moore[4]. En 1993, le groupe participe au festival itinérant Lollapalooza[4] aux côtés notamment de Sebadoh, Royal Trux, Dinosaur Jr. et Babes In Toyland. La même année, le groupe publie quatre singles dont Oh Bondage Up Yours! qui est une reprise du groupe britannique X-Ray Spex[4]. C'est également en 1993 que Free Kitten est rejoint par la batteuse et trompettiste Yoshimi P-We du groupe japonais Boredoms[3],[4].
En 1994, Mark Ibold du groupe Pavement rejoint Free Kitten au poste de bassiste[4]. La même année est publiée une compilation des premiers singles et EP du groupe intitulée Unboxed[5]. Nice Ass, premier album du groupe, sort en 1995 sur les labels indépendants Kill Rock Stars et Wiiija[6]. En 1997 sort l'album Sentimental Education[1],[7]. Ce dernier contient une reprise du titre Teenie Weenie Boppie, que Serge Gainsbourg avait écrit pour France Gall en 1967[1],[8]. DJ Spooky est également invité sur l'album sur le titre Dj Spooky's Spatialized Chinatown Express[7].
Le troisième album de Free Kitten, Inherit, sort en 2008[2],[3]. On y trouve J Mascis qui assure la guitare sur le titre Surf's Up, ainsi que la batterie sur Bananas[2],[3]. L'album reçoit un accueil critique mitigé[2],[3],[9].
