Rost werd in 1896 geboren in Groningen, waar zijn vader hem vertrouwd maakte met het joodse milieu. Hij bezocht enkele jaren het gymnasium in Groningen, maar verliet de school voortijdig om een loopbaan als schrijver te beginnen. Zijn literair werk werd echter slecht ontvangen. Van 1923 tot 1925 en van 1928 tot 1933 verbleef hij in Berlijn, waar hij kennismaakte met de belangrijkste Duitse schrijvers. Hij vertaalde werken van Alfred Döblin (Berlin Alexanderplatz), Gottfried Benn, Anna Seghers, Carl Einstein, Georg Kaiser, René Schickele en vele anderen. Hij schreef kritieken en beschouwingen in bladen als De Telegraaf (hierin al in 1923 een recensie over Kafka), De Gulden Winckel, Groot Nederland, De Nieuwe Kroniek.

Rost bracht in 1923 en 1924 twee bezoeken aan de jonge Sovjet-Unie om zich te verdiepen in het culturele leven daar. Twee reportages waren het gevolg. Voor de officiële Sovjetkunst had hij  weinig goede woorden over en zijn opmerking dat Lenin geen gevoel voor kunst had, was ook niet bevorderlijk voor een partij-carrière. In latere jaren lag hij regelmatig overhoop met andere communisten zoals Jef Last. Na bezoeken aan Madrid en Barcelona rapporteerde Rost over de Spaanse burgeroorlog. Tweemaal reisde hij naar de Sovjet-Unie om daar het culturele leven te bestuderen, maar pas in 1927 werd hij lid van de partij. De nazi's doorzag hij onmiddellijk en na een kort verblijf in het concentratiekamp Oranienburg werd hij in mei 1933 Duitsland uitgezet. Hij zette zijn werk als criticus en vertaler voort in Brussel. Van zijn politieke engagement getuigde hij in de Gentse sociaal-democratische krant Vooruit.

Tijdens de oorlog zat hij een jaar in het concentratiekamp Dachau. Daar bleef de Duitse literatuur, de taal van Goethe en Thomas Mann en van alle auteurs die hij voordien had vertaald, zijn grote steun en inspiratiebron. In zijn kampdagboek Goethe in Dachau. Literatuur en werkelijheid (1946) hield hij zichzelf, zijn kampgenoten en zijn lezers voor dat men een onderscheid moet maken tussen Duitsers en nazi's. Zijn communistische gezindheid, zijn kampervaringen en zijn persoonlijke bekendheid met tal van Duitse schrijvers maakten hem tot een geliefd spreker in de naoorlogse socialistische staten van Midden-Europa. Op reizen naar Hongarije en Tsjecho-Slowakije volgde een verblijf van enkele jaren in de DDR. Totdat bleek dat hij geen lid van de partij meer was en de DDR werd uitgezet. Op slag was hij salonfähig als spreker in de Bondsrepubliek.

In Nederland en daarbuiten was Rost actief als vervolger van voormalige nazi's. Hij zette zich in voor het blijvend herdenken van de slachtoffers van de nazi-terreur, ook van de zigeuners. In het Nederlands en het Internationaal Dachau-Comité ijverde hij voor het inrichten van het kampterrein als permanente gedenkplaats. Als publicist bleef hij de man van de korte, overzichtelijke reportage, liefst over iets van plaatselijk historisch of folkloristisch belang en verteld vanuit zijn persoonlijke ervaring. Een voorgenomen boek over zijn herinneringen aan de Berlijnse literaire wereld van de jaren twintig wist hij helaas niet te realiseren. Nico Rost overleed in 1967 te Amsterdam.