Przybył do Wilna w młodym wieku i podjął pracę zarobkową. Modelowania w glinie nauczył się samodzielnie, później kształcił się pod kierunkiem Rafała Ślizienia i Kazimierza Jelskiego. Pierwszą wystawioną pracą Ostrowskiego był posąg Zbawiciel.
Tworzył głównie medaliony i popiersia portretowe, zarówno postaci historycznych (Mikołaja Reja, Jana Kochanowskiego, Jana Zamoyskiego, Tadeusza Kościuszki, Józefa Poniatowskiego i innych), jak i mu współczesnych, głównie z wileńskiego środowiska kulturalnego (Kazimierza Jelskiego, Apolinarego Kątskiego, Władysława Syrokomli, Michała Balińskiego, Juliana Korsaka).