Wykształcenie i działalność zawodowa.
W młodości mieszkał w Nowym Sączu, był ministrantem w parafii św. Małgorzaty w tym mieście. Był absolwentem I Liceum Ogólnokształcącego im. Kazimierza Brodzińskiego w Tarnowie. Ukończył studia na Wydziale Handlu Zagranicznego Szkoły Głównej Planowania i Statystyki w Warszawie. Uzyskał następnie stopień naukowy doktora nauk ekonomicznych.

Był dziekanem i wykładowcą na Wydziale Stosunków Międzynarodowych Akademii Finansów w Warszawie oraz Szkoły Głównej Handlowej. Zasiadał w radach nadzorczych Polonii Warszawa, J.W. Construction, J.W. Biochemical.

Działalność polityczna w Polskiej Rzeczypospolitej Ludowej.
Od 1969 do 1990 należał do Polskiej Zjednoczonej Partii Robotniczej. Zasiadał w prezydium zarządu głównego Socjalistycznego Związku Studentów Polskich. W latach 1970-1978 był tajnym współpracownikiem wojskowego Agenturalnego Wywiadu Operacyjnego. Przewodniczył Ogólnopolskiej Radzie Młodych Naukowców. Pełnił funkcję sekretarza komitetu uczelnianego PZPR w Szkole Głównej Planowania i Statystyki. W 1977 przeszedł do pracy w aparacie partyjnym w Wydziale Pracy Ideowo-Wychowawczej Komitetu Centralnego PZPR. Od 1981 do X Zjazdu kierował biurem Centralnej Komisji Rewizyjnej PZPR. W latach 1987-1989 pełnił funkcję I sekretarza Komitetu Wojewódzkiego partii w Białej Podlaskiej. W 1989 zajmował stanowisko ministra-członka Rady Ministrów do spraw współpracy ze związkami zawodowymi. W tym samym roku po stronie rządowej uczestniczył w rozmowach okrągłego stołu.

Działalność polityczna w III RP.
W 1990 był jednym z założycieli powstałej na bazie PZPR Socjaldemokracji Rzeczypospolitej Polskiej, zajmował funkcję przewodniczącego tego ugrupowania od 28 stycznia 1996 do 6 grudnia 1997, w 1999 przystąpił do Sojuszu Lewicy Demokratycznej. W latach 1989-1991 sprawował mandat posła na Sejm kontraktowy, następnie do 2005 posła na Sejm I, II, III i IV kadencji z okręgów bialskopodlaskiego oraz bialskopodlasko-siedleckiego i siedleckich: nr 39 i nr 18. W wyborach parlamentarnych w 2005 bezskutecznie kandydował do Senatu.

W latach 1993-1995 pełnił funkcję Marszałka Sejmu II kadencji. Od 7 marca 1995 do 7 lutego 1996 zajmował stanowisko prezesa Rady Ministrów. Ustąpił po oskarżeniu go przez ministra spraw wewnętrznych Andrzeja Milczanowskiego (zasiadającego w rządzie z ramienia prezydenta Lecha Wałęsy) o działalność szpiegowską na rzecz Rosji pod pseudonimem Olin. Zarzuty te nie zostały potwierdzone.

Od stycznia do kwietnia 2004 zajmował stanowisko wiceprezesa Rady Ministrów i ministra spraw wewnętrznych i administracji w rządzie Leszka Millera. Został wybrany na funkcję Marszałka Sejmu IV kadencji 21 kwietnia 2004 po ustąpieniu Marka Borowskiego. Podał się do dymisji po niekorzystnym dla niego nieprawomocnym wyroku sądu lustracyjnego I instancji. 5 stycznia 2005 Sejm odwołał go z tej funkcji stosunkiem głosów 379 do 17 przy 48 wstrzymujących się.

Od 29 czerwca 2003 pełnił funkcję wiceprzewodniczącego SLD, a 18 grudnia 2004 na III kongresie partii został wybrany na jej przewodniczącego, zastępując Krzysztofa Janika. Zrezygnował z tej funkcji 21 maja 2005. Od 29 marca 2007 do 1 lutego 2010 był bezpartyjny. 21 stycznia 2012 został powołany na przewodniczącego rady programowej SLD, a 28 kwietnia 2012 na V kongresie SLD został wybrany na wiceprzewodniczącego ugrupowania.

Należał także do Stowarzyszenia Ordynacka.

22 grudnia 2004 sąd lustracyjny pierwszej instancji orzekł, że Józef Oleksy, wbrew swojemu oświadczeniu, był w latach 1970-1978 tajnym współpracownikiem Agenturalnego Wywiadu Operacyjnego. 21 października 2005 sąd II instancji podtrzymał zaskarżony wyrok. Józef Oleksy złożył kasację do Sądu Najwyższego, który 31 stycznia 2007 umorzył sprawę, uznając, że Józef Oleksy nie wpisując do oświadczenia lustracyjnego swojej współpracy z Agenturalnym Wywiadem Operacyjnym działał w wyniku błędu. Sąd Najwyższy uznał, że napisał on nieprawdę w oświadczeniu lustracyjnym, ale nie skłamał, gdyż przy wypełnianiu oświadczenia lustracyjnego miał być wprowadzony w błąd przez ówczesnego szefa Wojskowych Służb Informacyjnych kontradmirała Kazimierza Głowackiego, który w 1997 poinformował go za pośrednictwem ministra obrony narodowej Stanisława Dobrzańskiego, że służba w tym wywiadzie nie podlega ujawnieniu w oświadczeniu.

W marcu 2007 portal internetowy tygodnika Wprost opublikował fragmenty stenogramu nagrań prywatnych wypowiedzi Józefa Oleksego z września 2006, dokonanych w biurze Aleksandra Gudzowatego. Były premier zarzucał w nich Aleksandrowi Kwaśniewskiemu, iż w sposób nielegalny uzyskał składniki swojego majątku i nie będzie w stanie wyjaśnić źródeł jego pochodzenia. Wypowiadał się także negatywnie o innych liderach SLD Wojciechu Olejniczaku (nazwanym narcyzem) i Jerzym Szmajdzińskim (nazwanym bucem nadętym). Po ujawnieniu tej sprawy został zawieszony na 3 miesiące w SLD. 29 marca 2007 zrezygnował z członkostwa w partii.

Do SLD ponownie przyjęty został 1 lutego 2010. 12 maja 2012 został wiceprzewodniczącym tej partii.

Józef Oleksy był żonaty z Marią Oleksy. Miał dwoje dzieci, syna Michała i córkę Julię. Brat Wacław był dyplomatą, w tym konsulem RP w Tallinnie.

Od 2005 zmagał się z nowotworem. Zmarł 9 stycznia 2015 po tygodniowym pobycie w warszawskim Centrum Onkologii. Uroczystości pogrzebowe z udziałem przedstawicieli władz państwowych, w tym prezydenta Bronisława Komorowskiego, odbyły się 16 stycznia 2015 w Katedrze Polowej Wojska Polskiego w Warszawie. Józef Oleksy został pochowany na Cmentarzu Wojskowym na Powązkach.

Do osoby Józefa Oleksego odnosił się bezpośrednio tekst utworu Łysy jedzie do Moskwy, opublikowany na albumie ''Oddalenie'' (1995) Kazika oraz ''Las Maquinas de la Muerte'' (1999) grupy Kazik na Żywo, a konkretnie jego wizyty w Moskwie w 1995 na oficjalnych obchodach 50. rocznicy zakończenia II wojny światowej (Józef Oleksy zdecydował się na udział w nich wbrew woli prezydenta Lecha Wałęsy, w tym samym czasie trwała I wojna czeczeńska). Kazik Staszewski w jednym z wywiadów określił tę wizytę jako skandal.

Innym bezpośrednim odniesieniem do osoby Józefa Oleksego jest tekst piosenki Krótki list do Józefa O. (1997) autorstwa Leszka Czajkowskiego.

Brak wpisów w Księdze Wpisów.