Кладбище получило свое начало приблизительно в 1815-1820 годы XIX стоолетия. Оно долгое время не превышало размеров предшествовавшего ему. Очевидно, в большем пока не представлялось нужды.
В 1832 году усманскому купцу Венедикту Алексеевичу Кузнецову разрешено было построить на кладбище Покровскую церковь, постройка которой была закончена в 1834 году. Церковь была каменная, холодная, без колокольни, причислена к собору, и богослужение исполнялось в ней священниками Соборной церкви по очереди.
От храма и кладбище стало называться Покровским. В 1883-м году был установлен при Покровской церкви особый штат, независимый от собора. С этого же года начинается кладка новой кладбищенской ограды, захватившей вновь отрезанный городом участок земли.
До сего времени кладбище представляло собой заросший бурьяном пустырь, на котором вольготно пасся скот из 46 прилегающих дворов. . Скотина свободно бродила по могилам... Почти совершенно не было растительности, которая обеззараживала бы кладбищенский воздух. Через кладбище проходила проезжая дорога, а захоронения проводились довольно хаотичным образом. 
План г. Усмань конца 18 в, ГАТО. 1- кладбище
С назначением самостоятельного штата в Покровскую церковь началось благостроение кладбища.
В 1896 году священник П.Г.Княжинский обратился в Городскую Думу с заявлением относительно способа приведения кладбища в надлежащий вид, и Дума в заседании своем 12 июня того же года постановила: «Для распланирования надлежащим образом кладбища назначить от города попечительство из гласных: В.Г.Грекова, А.Г.Сукочева, И.Е.Сафонова и И.Т.Новоселова, включив в состав и старосту Кладбищенской церкви с участием местного священника, которым и поручить составить план кладбища с подразделением на разряды и принять способ к украшению кладбища».
В 1896 году усманский земской землемер Яковлев составил план Покровского кладбища с расположением памятников на нем. План был выполнен на полотняной кальке отмывной цветной тушью.
Были разбиты дорожки, разделившие кладбище на правильные участки, которые затем были обсажены всевозможными деревьями с преобладающими елью, сосной и тополем. В кладбищенской ограде с западной стороны заложены были ворота, и таким образом уничтожалась проездная дорога, что значительно способствовало благоустроению кладбища. Вдоль ограды были также насажены деревья, большею частью береза и клен. Кладбище совершенно изменило свой вид. Дикий бурьян превратился в густую траву, дающую кладбищу ежегодный доход не менее чем в 50 рублей. Кривые узкие тропинки сменились широкими прямыми дорожками-аллеями, окаймленными непроницаемой стеной кустарниковых растений; красивый цветник, окруженный высокими мохнатыми елями и туями, притягивает внимание посетителей кладбища. Кладбищенский вход запираелся в 8 часов вечера. В штат кладбища были введены садовник, дворник и сторож.
Осмотревший в 1910 году Усманское городское кладбище епископ Тамбовский и Шацкий Кирилл (Смирнов) нашел его и Покровский храм в достойном виде: «Кладбище содержится в отличном порядке. Могилы почивших расположены правильными рядами, все дорожки тщательно прочищаются, посыпаются песком и и обсажены красивыми кустарниками и цветами».
В августе 1910 года сын священника о. Петра Борис составил полную опись всех надписей на памятниках и крестах кладбища (345 надписей). Опись эта, вместе с указателем к ней, хранилась в библиотеке кладбищенского священника.
Схематический план Покровс
кого кладбища. Рисунок Бориса Княжинского, 1910 год. Усманский краеведческий музей.
Один из потомков о. Петра Княжинского – Виктор Ярцев писал: «Еще в моих детских воспоминаниях хранится прекрасный памятник семьи Бланк. Г.Б.Бланк – крупный землевладелец и член земской управы. Их семейный памятник представлял собой площадку обрамленную черным гранитным бардюром, на которой располагалось несколько мраморных надгробий, а в восточной стороне площадки стоял большой, в человеческий рост мраморный крест".
Склеп семьи Никулиных, построен между 1910-1916 г.г.
На кладбище был один единственный склеп. Склеп принадлежал семье генерала Никулина. В документах упоминается только А.Ф. Никулин – гласный городской думы. Был ли он отставным генералом, или то, был его отец, неизвестно.
Большие добротные памятники были у Новоселовых, Кузнецовых, Сукочевых, Богомоловых. Много было красивых кованных металлических крестов кузнечной работы.
Стихийный разгром кладбища начался со времен революции. Сначала были разрушены дом священника и богадельни при кладбище. Упразднены должности штатного садовника и сторожа, уничтожены цветники.. Затем сломали ворота, главную аллею сделали проездей дорогой для гужевого транспорта. Захоронения производились прямо на поперечных аалеях и дорожках. Настоятель Покровского храма протоиерей Петр Княжинский лишен права проживания в Усмани.
Но пик разгрома кладбища пришелся на годы Великой Отечественной войны. На месте Покровского кладбищенского храма – яма и кучки битой штукатурки. Храм разрушен в 1942 году, кирпич использован для строительства аэродрома в с. Шаршки.
Ничтожены ажурная ограда, склеп Никулиных, пропали мраморные и гранитные памятники…Только несколько крупных надгробий лежат поваленными на земле, а средние и мелкие исчезли бесследно.