Dramatopisarz i poeta, główny przedstawiciel klasycyzmu postanisławowskiego, był uznawany za arcymistrza tragedii pseudoklasycznej. Był jednym z sekretarzy Tadeusza Kościuszki podczas powstania kościuszkowskiego (1794). W 1818 r. pełnił obowiązki profesora literatury polskiej w Liceum Krzemienieckim, potem został jego dyrektorem.
Pierwsze dramaty Felińskiego powstały jeszcze w czasach szkolnych. Były to Kora i Alonzo oraz Kodrus. Wielki wpływ na jego dalszą twórczość miały kontakty z wybitnymi warszawskimi literatami, tłumaczami dramatów Corneille'a, Woltera i Racine'a, np. Michałem Wyszkowskim, Franciszkiem Rudzkim, Ludwikiem Osińskim, Janem Kruszyńskim. Feliński zasłynął jako autor głośnej tragedii pt. Barbara Radziwiłłówna (wystawionej po raz pierwszy na scenie warszawskiej 23 II 1817 r.). Jako poeta zdobył sławę dzięki Hymnowi na rocznicę ogłoszenia Królestwa Polskiego, skomponowanemu w 1916 r. z okazji koronacji cara Aleksandra I na króla Polski. Hymn ten został później podniesiony do rangi nieoficjalnego hymnu narodowego i funkcjonował pod tytułem Boże, coś Polskę. Za ten utwór autor otrzymał honorowe członkostwo warszawskiego Towarzystwa Przyjaciół Nauk. Do mniej znaczących dzieł Felińskiego należą listy poetyckie, np. Do Stanisława Trembeckiego (1805), przekłady, np. tragedii La Harpe'a Wirginia oraz Crébillona Radomist i Zenobia, teoretyczna rozprawa O wierszowaniu. Przyczyny używanej przeze mnie pisowni. Wykład sposobu, jakim dawać lekcje literatury. O listach. Dialogi czyli rodzaj rozmów.