Gleichzeitig mit der Amtsübernahme an der Musikschule ging Musikschuldirektor Rudolf von Weis-Ostborn an die Gründung des „Philharmonischen Vereines“, der lange Zeit der Träger der klassischen Musikausübung in Knittelfeld werden sollte. Schon nach wenigen Jahren gelang es im mit Hilfe der Bundesbahn- und der Austriakapelle ein Symphonieorchester zusammenzustellen, mit dem er sich an die Veranstaltung größerer Konzerte wagen konnte. Unter seiner Führung kam es zu großen Aufführungen und Knittelfeld erlebte eine große musikalische Hochblüte.