Τη στάμπα τους στους Ολυμπιακούς Αγώνες του 2004 στην Αθήνα έβαζαν οι αθλητές του Παναθηναϊκού, που έφθαναν σε σπουδαίες επιτυχίες σε ομαδικό και ατομικό επίπεδο και ο Σύλλογος δεν λησμονεί τη στιγμή.
Αρχικά, η Εθνική μπάσκετ με τους Αλβέρτη, Παπανικολάου, Χατζηβρέτα, Τσαρτσαρή και Διαμαντίδη να αποτελούν τη ραχοκοκαλιά της, κατέκτησε την 5η θέση. Στην ίδια θέση βρέθηκε και η Εθνική ομάδα βόλεϊ με τους Πανταλέων, Στεφάνου, Λάππα, Χατζηαντωνίου να την οδηγούν. Τα κορίτσια του βόλεϊ Νίκη και Μαρία Καραγκούνη, Ρούξι Ντουμιτρέσκου και Χαρά Σάκκουλα κατετάγησαν στην 9η θέση, ενώ το γυναικείο μπάσκετ με την Ευανθία Μάλτση στην 7η.
Σε ατομικό επίπεδο, ο Λεωνίδας Σαμπάνης κατέκτησε το χάλκινο μετάλλιο στη άρση βαρών, η Πηγή Δεβετζή το ασημένιο στο τριπλούν, η Αλεξάνδρα Παπαγεωργίου 12η με νέο Ολυμπιακό ρεκόρ στη σφυροβολία, οι πυγμάχοι Σπύρος Κλαδούχας και Θοδωρής Κοττάκος 9ος και 17ος αντίστοιχα, ενώ σημαντικές επιδόσεις πέτυχαν και οι κολυμβητές Ρωμανός Αλυφαντής, Μαριάννα Λιμπερτά