Το τμήμα χειροσφαίρισης του Ολυμπιακού ιδρύθηκε το 1931 επί προεδρίας Θανάση Μέρμηγκα, με έδρα το Ποδηλατοδρόμιο (σημερινό Στάδιο «Γεώργιος Καραϊσκάκης»). Το άθλημα είχε ήδη εμφανιστεί στην Ελλάδα από το 1922 μέσω του καθηγητή Ευάγγελου Καλφαρέντζου, ενώ τα πρώτα ρόστερ του συλλόγου στελεχώθηκαν από ποδοσφαιριστές και κολυμβητές, όπως ο Τάκης Προβατόπουλος, αγωνιζόμενο σε ανεπίσημα πρωταθλήματα. Μετά τον Β' Παγκόσμιο Πόλεμο, το τμήμα διαλύθηκε και παρέμεινε ανενεργό για πάνω από τρεις δεκαετίες, παρά την ίδρυση της Ομοσπονδίας Χειροσφαιρίσεως Ελλάδος (ΟΧΕ) το 1979. Τελικά, επανασυστάθηκε το 1990 με προπονητή τον Συμεωνίδη και αθλητές όπως οι Μακρόγλου και Κηρύκος. Ωστόσο, λίγο καιρό αργότερα, διαλύθηκε ξανά λόγω έλλειψης ιδιόκτητου γηπέδου.