Η καλαθοσφαίριση εντάχθηκε στο ολυμπιακό πρόγραμμα των ανδρών το 1936 στο Βερολίνο, ενώ το γυναικείο τουρνουά προστέθηκε το 1976 στο Μόντρεαλ, μετά από δύο προηγούμενες παρουσιάσεις ως άθλημα επίδειξης (1904, 1924). Η νίκη στους Ολυμπιακούς Αγώνες αποτελεί την υψηλότερη διάκριση για το άθλημα, με τις Ηνωμένες Πολιτείες να κυριαρχούν απόλυτα στους άνδρες, έχοντας κατακτήσει 16 χρυσά μετάλλια σε 20 διοργανώσεις, ενώ η μόνη σοβαρή αντίπαλος, η Σοβιετική Ένωση, κατάφερε να τις νικήσει μόνο δύο φορές. Χρυσά μετάλλια έχουν επίσης κατακτήσει η Γιουγκοσλαβία και η Αργεντινή, ενώ στις γυναίκες, μετά την αρχική ισορροπία μεταξύ ΗΠΑ και ΕΣΣΔ, οι Αμερικανίδες κυριαρχούν με πέντε συνεχόμενες κατακτήσεις. Η διαδικασία πρόκρισης ήταν αρχικά χαλαρή, αλλά από το 1956 η FIBA καθόρισε κλειστό αριθμό συμμετεχόντων (16 άνδρες, μειώθηκε σε 12 το 1976), με θέσεις να δίνονται μέσω ηπειρωτικών πρωταθλημάτων και ειδικών προ-ολυμπιακών τουρνουά, ενώ στις γυναίκες ο αριθμός αυξήθηκε σταδιακά από έξι σε δώδεκα από το 1996. Αξιοσημείωτο είναι ότι έως το 1991 οι επαγγελματίες του NBA δεν είχαν δικαίωμα συμμετοχής, γεγονός που καθιστά ακόμα πιο εντυπωσιακά τα επιτεύγματα των ερασιτεχνικών ομάδων των ΗΠΑ στα πρώτα τουρνουά.