В Сосногорске, строительство которого началось в 1940-е годы, небольшие библиотеки располагались в отделении железной дороги и в первых учебных заведениях. В 1955 году поселок Ижма (теперь г. Сосногорск) получил статус города. Возникла необходимость в открытии городской библиотеки.

30 декабря 1955 году Ижемский Городской Совет депутатов принял решение об открытии городской библиотеки. Библиотека разместилась в двухквартирном доме по улице Советской, 13. Она занимала две комнаты площадью 20 кв. метров.

В 1956 году библиотека гостеприимно распахнула двери для жителей города. А весной 1963 года библиотека переехала в новое помещение по улице Нагорной, д. 1.

В 1976 году была образована Ухтинская ЦБС, в состав которой вошла Сосногорская городская библиотека, а в 1980 году создана Сосногорская централизованная библиотечная система, куда вошли 12 филиалов. Городская библиотека стала центральной.

В 1984 году центральной библиотеке было присвоено имя писателя Якова Митрофановича Рочева, уроженца села Усть-Ухта.

В 1997 году библиотека вновь меняет свой адрес – 6 Микрорайон, д. 17. А в 2008 году библиотека переехала в новое отремонтированное помещение по ул. 40 лет Коми, дом 3, где и располагается в настоящее время.