Ulrich Angelbert entstammte dem westfälischen AdelsgeschlechtHorst. Er war der Sohn von Georg Wilhelm Peter Alfred von der Horst (1759–1805) und dessen Ehefrau Anna Helene Dorothea, geborene von Liebenau (1766–1831). Sein Vater war preußischer Leutnant a. D., Prälat zu Halberstadt, Ritter des Johanniterordens und Oberforstrat. Seine beiden Brüder Wilhelm und August schlugen ebenfalls eine Militärkarriere in der Preußischen Armee ein und brachten es beide zum Generalleutnant.[1]
Ab 31. März 1846 war Horst zunächst als Oberstleutnant mit der Führung des in Posen stationierten 19. Infanterie-Regiments beauftragt, bis er schließlich am 25. September 1846 zum Kommandeur ernannt wurde. In dieser Stellung folgte am 27. März 1847 seine Beförderung zum Oberst. Mit dem Regiment beteiligte er sich an der Unterdrückung des polnischen Aufstands. Horst wurde am 6. Mai 1847 mit Pension zur Disposition gestellt und am 4. April 1850 verabschiedet.
Im gleichen Jahr trat er als Generalmajor in das Schleswig-Holsteinische Heer und kommandierte zunächst das Jägerkorps, später die 3. Infanteriebrigade. In der Schlacht bei Idstedt kämpfte er mit dieser Truppe am 25. Juli 1850 mit Auszeichnung. Am 8. Dezember 1850 löste er Wilhelm von Willisen als Oberbefehlshaber der Armee ab. Aufgrund der ungünstigen Verhältnisse im Lande konnten aber keine wesentlichen Erfolge erzielt werden. Horst war somit der letzte Kommandierende General der Schleswig-Holsteinschen Armee im Kampf gegen die Dänen.
Über die Schlacht von Idstedt veröffentlichte er im Jahre 1852 eine kleine Schrift, in der der General die Schlacht und die militärisch-strategischen Begebenheiten aus seiner persönlichen Perspektive darstellt.
Familie
Er heiratete am 10. November 1816 in Lüneburg Wilhelmine Caroline Dorothea von Linsingen (1798–1846). Aus der Ehe stammt:
Wilhelm Georg Alfred (1817–1900), Oberstleutnant a. D. ⚭ Sophia Hugo (* 12. November 1841).
Kornelie Mathilde Antoniette (* 1827), Hofdame der Prinzessin Marie von Sachsen-Meiningen
Nach dem Tod seiner ersten Frau heiratete am 6. Mai 1847 in Posen Romana Josepha Seraphina von Kurcewska (1819–1876).