Бібліотеку було засновано у 1898 році одночасно з інститутом під назвою "Фундаментальна бібліотека". Основу фонду при заснуванні склали закуплені 556 книг та 17 назв журналів, а також книги, одержані в подарунок від приватних осіб, громадських і державних установ. Її першим директором і бібліотекарем в одній особі став майбутній академік УАН Микола Федотович Біляшівський – відомий історик, етнограф і археолог.