Урочисте відкриття Олімпійського музею в Сараєво відбулося 8 лютого 1984 року, того самого дня, коли були відкриті зимові Олімпійські ігри в Сараєво 1984 року.
Музей був заснований 14-м Оргкомітетом зимових Олімпійських ігор з метою постійного збереження пам'яті про організацію та проведення Олімпійських ігор.
Концепція та програми музею були створені за зразком Міжнародного олімпійського музею в Лозанні, намагаючись поєднати та затвердити два основні принципи - спорт та мистецтво. З 1984 по 1992 рік Музей підготував понад 300 програм зі спорту та мистецтва, підтверджуючи загальнолюдські цінності олімпійського духу та мистецтва.
Оригінальна будівля Олімпійського музею Боснії та Герцеговини, що розташована на вулиці Петракіїна в Сараєво, була спроектована Карлом Паржиком у 1903 році та за замовленням Ніколи Мандича - видатного адвоката в Сараєво. Протягом історії в будівлі деякий час розміщувалось посольство США, а також міський комітет Ліги комуністів.
Будівля музею побудована у стилі пізнього історизму, що нагадує особняки та палаци аристократії.
У квітні 1992 року, на початку війни в Боснії та Герцеговині, Олімпійський музей було обстріляно та знищено, але завдяки зусиллям працівників та місцевої громади багато експонатів було врятовано та евакуйовано у безпечне місце.