Είναι ένα από τα σπουδαιότερα και πιο πολυσύχναστα ιερά της αρχαίας Αθήνας, η τύχη του οποίου συνυφάνθηκε με τις πολιτειακές μεταβολές που σημειώθηκαν στην πόλη ανά τους αιώνες. Βρίσκεται νοτιοανατολικά της Ακροπόλεως, στο νότιο τμήμα της πόλης (περιοχή Ιλισσού). Βορείως του τεμένους διερχόταν δρόμος με γεωμετρικούς τάφους, ενώ στα νότια του ιερού ανακαλύφθηκαν προϊστορικά όστρακα καθώς και κεραμεική των αρχαϊκών και κλασσικών χρόνων.
Οι ενδείξεις που προκύπτουν από τις ανασκαφικές έρευνες χρονολογούν τις απαρχές της λατρείας του Διός στην περιοχή στους πρώιμους ιστορικούς χρόνους. Μέσα σε έναν μεγάλο, ορθογώνιο περιτειχισμένο χώρο στέκονται μέχρι σήμερα 15 τεράστιοι κορινθιακοί κίονες, που κάποτε περιέβαλλαν τον μεγαλοπρεπή ναό του Ολυμπίου Διός («Ολυμπιείον»).
Ο ναός πρωτοχτίσθηκε μάλλον από τον Πεισίστρατο κατά το β΄ τέταρτο του 6ου αι. π.Χ. Είχε την μορφή περίπτερου ναού και σε μέγεθος ξεπερνούσε τον τότε ναό της Αθηνάς στην Ακρόπολη, αντανακλώντας την υπερηφάνεια της εξουσίας του επίγειου άρχοντα.
Στο δ΄ τέταρτο του 6ου αι. π.Χ. οι Πεισιστρατίδες έθεσαν σε εφαρμογή το μεγαλεπήβολο σχέδιο ανέγερσης ενός νέου, πελώριων διαστάσεων περίπτερου δωρικού ναού του Διός, που θα ανταγωνιζόταν σε όγκο και επιβλητικότητα τα τεράστια αρχαϊκά ναϊκά οικοδομήματα της Ιωνίας (το Ηραίον της Σάμου, το Αρτεμίσιον της Εφέσου και το Διδυμαίον της Μιλήτου).
Οι εργασίες για την αποπεράτωσή του διακόπηκαν με την πτώση της τυραννίδος το 510 π.Χ., όταν ο Ιππίας εκδιώχθηκε από την Αθήνα· τότε ο ναός είχε βρισκόταν ακόμη στα σπάργανα (είχε φθάσει μόλις μέχρι το ύψος του στυλοβάτη). Μετά τα Μηδικά (479/8 και εξής) μέρος του οικοδομικού υλικού του Ολυμπιείου (σπόνδυλοι κιόνων) χρησιμοποιήθηκε στην κατασκευή της ανατολικής πλευράς της Θεμιστόκλειας οχύρωσης.
Στα πρώιμα χρόνια του Μεγάλου Αλεξάνδρου (γ΄τέταρτο 4ου αι. π.Χ.), ο Λυκούργος, ο τελευταίος Αθηναίος ιδρυτής οικοδομημάτων, επιχείρησε να ολοκληρώσει τον ναό, οι προσπάθειές του όμως δεν ευοδώθηκαν. Οι εργασίες για την ανοικοδόμησή του επαναλήφθηκαν στα ελληνιστικά χρόνια από τον Αντίοχο Δ΄ τον Επιφανή (175-163 π.Χ.), πάνω σε σχέδια του Ρωμαίου αρχιτέκτονα Κοσσούτιου· ωστόσο, ο ναός δεν είχε τελειώσει όταν πέθανε ο Αντίοχος, με αποτέλεσμα να παραμείνει ημιτελής έως την εποχή της Ρωμαιοκρατίας.
Έπειτα από την επιδρομή του 86 π.Χ. στην Αθήνα, ο Σύλλας μετέφερε κίονες του ναού στην Ρώμη για την διακόσμηση του ναού του Καπιτωλίου Διός. Στους χρόνους του Οκταβιανού Αυγούστου (63 π.Χ.-14 μ.Χ.) έγιναν ανανεωτικές εργασίες σε περιορισμένο βαθμό με πρωτοβουλία ελασσόνων ηγεμόνων του διαλυμένου τότε συριακού βασιλείου (των Σελευκιδών), οι οποίοι θέλησαν να αφιερώσουν τον ναό στο genius του ρωμαίου αυτοκράτορα.
Τον εξωραϊσμό όλου του χώρου του ιερού και την αποπεράτωση του ναού ανέλαβε περίπου δύο αιώνες αργότερα, κατά την πενταετία 125-130 μ.Χ., ο φιλέλληνας αυτοκράτορας Αδριανός.
Στην τελική του μορφή το κτίριο διαρθρωνόταν σε δίπτερο ναό κορινθιακού ρυθμού (πτερό 8 x 20), με προσθήκη και τρίτης κιονοστοιχίας στις στενές πλευρές, που εσωτερικά διακρινόταν σε τρία μέρη (πρόναο, σηκό, οπισθόδομο) και ίσως έφερε επιπλέον εσωτερικές ιωνικές κιονοστοιχίες κοντά στους εξωτερικούς τοίχους για την στήριξη της στέγης. Στον σηκό φυλασσόταν το κολοσσιαίο λατρευτικό χρυσελεφάντινο άγαλμα του Διός και κοντά σε αυτό ανδριάντας του Αδριανού, που λατρεύτηκε επίσης ως θεός στον ίδιο ναό.
Παράλληλα, ένας μεγάλος ορθογώνιος περίβολος, ενισχυμένος με αντηρίδες και με μνημειακή είσοδο με πρόπυλο στην βόρεια πλευρά του (κοντά στην βορειοανατολική γωνία), υψώθηκε προστατευτικά γύρω από τον ναό.
Τέλος, σε θέση παρακείμενη προς τον ναό κατασκευάσθηκε η λεγόμενη Πύλη του Αδριανού, αυτοτελές αψιδόμορφο κτίσμα που λειτούργησε ως θριαμβικό τόξο, ανάλογο με αυτά που υπήρχαν σε πολλά σημεία της Ρωμαϊκής αυτοκρατορίας· η οικοδόμησή του πρέπει να είχε ολοκληρωθεί το 131 μ.Χ., όταν ο αυτοκράτορας επισκέφθηκε την Αθήνα για να εγκαινιάσει τον ναό και, καθώς φαίνεται, πέρασε κάτω από την αψίδα κατά την είσοδό του στο ιερό του Διός.
Η σταδιακή καταστροφή του Ολυμπιείου στις περιόδους που ακολούθησαν οφειλόταν μάλλον σε φυσικά αίτια (σεισμούς), ενώ σοβαρώτατες βλάβες προξένησαν και οι Τούρκοι, οι οποίοι μετέβαλαν τους κίονες σε ασβέστη για την αντιμετώπιση οικοδομικών αναγκών.
Στους τελευταίους χρόνους της Τουρκοκρατίας ένας μοναχός, γνωστός ως Στυλίτης, είχε εγκαταστήσει επάνω στο επιστύλιο των δυτικότερων κιόνων της νοτιοδυτικής γωνίας του ναού το κελί του, τα ερείπια του οποίου ήταν ορατά έως την εποχή του Όθωνος.
