Myšlienka zriadiť Archív Slovenskej akadémie vied sa zrodila v roku 1961 na pôde Historického ústavu SAV, kedy sa jeho riaditeľ obrátil na Predsedníctvo SAV s návrhom zriadiť archív. Potrebu zriadiť archív zdôvodnil tým, že od uzákonenia SAV uplynulo temer celé decénium a z činnosti jednotlivých pracovísk SAV vznikla bohatá agenda, ktorá „už teraz má veľký význam pre poznanie kultúrnych dejín Slovenska, dejín vied a osobností popredných vedeckých pracovníkov”. K presvedčeniu zriadiť archív viedol aj fakt, že prevažná časť písomností právnych predchodcov SAV – Učená spoločnosť Šafárikova (USŠ), Slovenská učená spoločnosť (SUS) a Slovenská akadémia vied a umení (SAVU), o ktoré nebolo primerane postarané, „sa zničili alebo sa zachovali len zlomkovite”. Pre začiatok sa počítalo s jedným odborným pracovníkom – archivárom, jednou pomocnou silou, pracovňou a väčšou miestnosťou ako sklad s perspektívou ďalších skladovacích priestorov. Archív sa mal chápať aj pri malom počte pracovníkov ako samostatné oddelenie, ktoré organizačne malo byť pričlenené k Predsedníctvu SAV.
O zriadení archívu definitívne rozhodlo Predsedníctvo SAV na svojom zasadnutí 24. 9. 1962, že s účinnosťou 1. 1. 1963 sa zriaďuje Archív ako samostatné pracovisko a začleňuje ho do vedeckého kolégia pre históriu a po hospodárskej stránke do rozpočtovej organizácie „Spoločné zariadenia”. Po odbornej stránke mal archív usmerňovať Historický ústav SAV. V zmysle vládneho nariadenia č. 29/1954 Zb. o archívnictve sa stal archívom osobitného významu a riadil sa v odborných archívnych otázkach pokynmi Slovenskej archívnej správy.
Zo začiatku sa neuvažovalo, že sa budú sústreďovať a preberať písomnosti zo všetkých pracovísk, ale len materiál z Predsedníctva SAV a jednotlivých sekcií (kolégií). Začiatky archívu boli rozpačité a práca sa rozbiehala veľmi pomaly. Najväčším problémom boli priestory, hoci predsedníctvo uložilo riaditeľovi Úradu SAV už roku 1963, aby po dokončení centrálnej budovy na Patrónke bol archív umiestnený v jej suteréne a na prízemí (v rozlohe asi 280 m2. Koncom roka 1964 však Predsedníctvo rozhodlo, že tieto priestory dočasne zapožičia chemickým pracoviskám SAV.
Aby archív mohol plne rozbehnúť svoju prácu, bolo potrebné postaviť archív na štatutárny základ. Vedecké kolégium histórie SAV predložilo roku 1965 Predsedníctvu návrh štatútu, ktorým sa vyjadrilo právne postavenie archívu v rámci SAV, jeho pomer k predsedníctvu, k ústavom a ďalším zariadeniam SAV a jeho pomer k archívnym orgánom mimo SAV. V štatúte sa zakotvilo poslanie a hlavné úlohy archívu ako aj povinnosti ostatných zložiek SAV voči archívu a stanovila sa hlavná a prvoradá úloha - a to sústreďovať, spracúvať a pre bádanie sprístupňovať archívny materiál. Prednostne sa mala venovať pozornosť písomnostiam právnych predchodcov a jej zaniknutých orgánov a pracovísk. Archív sa už od začiatku mal venovať historickému vývoju organizácií SAV po stránke právno-správnej, aby vedel vyhľadať, zhromaždiť, triediť, usporiadať a teoreticky kompletizovať archívnu dokumentáciu.
V roku 1965 sa vypracoval návrh Organizačného poriadku, ktorého schvaľovanie sa preťahovalo, prešlo rôznym pripomienkovým konaním, až nakoniec bol v roku 1967 schválený. V tom istom roku sa vypracoval návrh na zriadenie Archívnej komisie pri predsedníctve SAV, ktorá by bola vedecko-metodickým orgánom a jej poslaním by bolo vytvárať optimálne podmienky pre zberateľskú a odborno-archívnu činnosť v celom jej rozsahu, zabezpečovať technické podmienky jeho ďalšieho rastu. Mala byť 7-členná, zložená zo zástupcov centrálnych orgánov, špecialistov zo SAV a zástupcov Slovenskej archívnej správy. Komisia mala v hlavných smeroch riadiť a kontrolovať činnosť archívu v rozsahu stanovenom jej organizačným a rokovacím poriadkom. Podobne ako Organizačný poriadok aj zriadenie Archívnej komisie prešlo dlhým, niekoľkoročným schvaľovacím procesom, hoci s jej zriadením sa počítalo už pri vzniku archívu v rokoch 1963–1964.
V roku 1968 dochádza k zmene na poste vedúceho, neskôr riaditeľa Archívu SAV. Vedenie SAV už dlhší čas nebolo spokojné so zameraním práce archívu ani s jeho vedúcim. V tejto inštitúcii, ktorá fakticky existovala už celých 6 rokov, bola katastrofálna situácia. Zo 6 systematizovaných miest bolo obsadené len jedno, sklad bol zaplnený len z jednej tretiny, hoci mnohé zložky Akadémie sa dožadovali prevzatia svojho materiálu do archívu. Aj ostatná činnosť archívu sa nerozvíjala tak ako sa očakávalo, stagnovala.
Od roku 1969 sa postupne zapĺňali skladové priestory. Počas 3 rokov sa skompletizovali písomnosti SAVU a UVR a sústredili sa písomnosti všetkých sekcií. Okrem týchto fondov získali sa a uložili písomnosti niektorých ústavov, vedeckých kolégií, niektorých spoločností a zariadení SAV. Získalo sa niekoľko pozostalostí po členoch akadémie a význačných vedeckých pracovníkoch. Archív bol nakoniec prinútený požiadať niektoré ústavy o zriadenie vlastných „archívov” . spisovní s prísľubom, že po získaní priestorov im archívny materiál prevezme. Archív vykonával pravidelné prehliadky spisovní a dozeral nad správnym vedením úradnej agendy, staral sa aj o pravidelné vyraďovanie prevádzkových, z historického hľadiska dokumentárne bezcenných písomností.
Po rozvinutí všetkých týchto činností sa stal v pravom zmysle slova ústredným archívom, pretože pri niektorých pracoviskách SAV boli zriadené medziarchívy, ktoré po odbornej stránke podliehali archívu. Starostlivosť o chod spisovej služby na pracoviskách SAV patrila medzi ďalšie úlohy archívu. Z tohto dôvodu vtedajší riaditeľ predložil v roku 1971 návrh na zmenu názvu archívu. Predsedníctvo SAV 22. 11. 1971 súhlasilo, aby bol archív premenovaný na Ústredný archív SAV, ktorý primeranejšie a presnejšie vyjadril pracovnú náplň a celoakademickú pôsobnosť pracoviska. Súčasne predsedníctvo schválilo organizačný poriadok, v ktorom sa už premietla zmena názvu a príslušnosť archívnej komisie (stala sa pomocným orgánom Predsedníctva SAV).
V roku 1971 sa archív dostal do priestorovej tiesne. Skladovacie priestory už nestačili. Riaditeľ archívu sa obrátil na Ústrednú správu pracovísk SAV so žiadosťou o vrátenie priestorov požičaných chemickým pracoviskám SAV s odôvodnením, že sa dokončila stavba objektu, v ktorom chemické pracoviská získali väčší počet miestností a preto považuje za primerané využiť túto skutočnosť na uvoľnenie dočasne požičaných priestorov. Ďalej v žiadosti uviedol, že archív nie je už schopný prijať žiadne písomnosti a jeho sľubne sa rozvíjajúca činnosť bude stagnovať. Archív bez skladovacích priestorov prestáva byť archívom - nemôže plniť základné poslanie – preberanie a sprístupňovanie písomností, teda budovanie dokumentačnej základne nielen pre dejiny Akadémie, ale i vedy a vedeckého výskumu vôbec. Pálčivá otázka skladovacích priestorov sa nakoniec vyriešila až v roku 1975, kedy archívu boli pridelené nové priestory v budove Správy účelových zariadení (SÚZ).
Po vyriešení tohto najväčšieho problému sa naplno rozvíjala práca v archíve. Obsadili sa systematizované miesta kvalifikovanými pracovníkmi, pravidelne prebiehalo spracovávanie archívneho materiálu, vytvárala sa odborná dokumentácia k dejinám SAV, začala sa budovať fotozbierka. Primeraná pozornosť sa venovala predarchívnej starostlivosti, vypracoval sa prvý spisový poriadok SAV (1972). Pripravil sa Sprievodca po archívnych fondoch SAV. Nadviazala a rozvíjala sa medzinárodná spolupráca s archívmi akadémií vied ZSSR, Bulharska, Maďarska, Nemecka a Poľska. Výsledkom boli materiály pre slovník archívnej terminológie – šesťjazyčný porovnávací terminologický slovník a 2 zväzky bibliografie prác pracovníkov archívov akadémií uvedených krajín.
Do roku 1979 bolo uložených v archíve 77 fondov, z toho 3 fondy právnych predchodcov, 2 fondy centrálnych orgánov, 23 fondov riadiacich orgánov, 34 fondov pracovísk, 5 fondov vedeckých spoločností a 10 osobných fondov. Okrem toho sa založila zbierka konzervačných vydaní Vydavateľstva SAV od roku 1953, vydavateľstva ČSAV (od roku 1969), fono- a kinodokumentov a zbierka medailí.
Presťahovaním archívu z centrálnej budovy areálu v roku 1976 do budovy SÚZ došlo k dočasnému zlepšeniu pracovného prostredia, získali sa priestory pre kancelárie i pre manipuláciu s archívnym materiálom. Významným racionalizačným opatrením ďaleko presahujúcim rámec pracoviska v roku 1981 bola unifikácia spisovej služby v riadiacich orgánoch SAV i na vedeckých pracoviskách.
Začiatkom 80-tych rokov vystupuje do popredia opäť problém skladovacích priestorov. V roku 1982 bola situácia tak kritická, že pre preplnenosť skladovacích priestorov sa obmedzilo sústreďovanie archívneho materiálu. Koncom roka 1983 pridelením priestorov v budove vtedajšieho Malotirážneho strediska sa situácia načas zlepšila.
Negatívny vplyv na riešenie organizačných otázok archívu malo jeho zaradenie do Informačného centra SAV v roku 1985. Tento krok Predsedníctvo SAV prehodnotilo a v polovici roka 1987 sa archív osamostatnil a bol opäť zriadený ako samostatné pracovisko SAV. V roku 1988 bol vypracovaný nový organizačný poriadok, ktorým sa zrušil organizačný poriadok z roku 1972 ako aj všetky dovtedy vydané normy týkajúce sa archívu.
Prišiel rok 1990, kedy aj v SAV nastali značné organizačné zmeny. Z nich vyplynuli aj pre archív povinnosti v oblasti predarchívnej starostlivosti. Bolo potrebné zabezpečiť dokumentáciu z činnosti zaniknutých orgánov a pracovísk, aspoň odčleniť dokumentárne hodnotné písomnosti od prevádzkovej agendy.
Pracovná náplň archívu sa presunula prakticky do oblasti predarchívnej starostlivosti, na záchranu písomností, ktoré nezodpovedným počínaním pri reorganizácii stratili majiteľa. V oblasti využívania archívneho materiálu sa činnosť obmedzila na výpisy a potvrdenia v súvislosti s rehabilitáciami, kvalifikačným zaradením a overovaním doby zamestnanca. Pozitívom pre archív v tejto dobe bolo získanie nových skladovacích priestorov v budove po požiarnej zbrojnici, ktoré sa v priebehu roku 1992 upravili tak, aby sa tam mohol presťahovať archívny materiál. Ďalším významným počinom bolo vypracovanie a v roku 1996 vydanie Spisového a skartačného poriadku pre pracoviská SAV, ktorý znamenal medzník v oblasti predarchívnej starostlivosti.
Obdobie 90-tych rokov bolo pre archív obdobím tvrdých zápasov o holé prežitie. Personálne a finančné reštrikcie značne poznačili činnosť archívu. Paradoxom bolo, že pri náraste poštu pracovísk SAV od roku 1990 sa značne znížil stav pracovníkov archívu. Sľubne pokračujúca špecializácia činnosti pracovníkov sa zastavila.
V roku 2002 prišlo rozhodnutie presťahovať sklad z budovy vydavateľstva Veda do bývalej počítačovej haly Výpočtového strediska. Presťahovalo sa okolo 900 b.m. nespracovaného materiálu. Po prvej zime pre vlhkosť v stavebne čerstvo upravených priestoroch sa muselo presťahovať a vysušovať okolo 1400 škatúľ archívneho materiálu, prevažne osobných fondov.
I napriek rôznym peripetiám a ťažkostiam, ktoré archív zažil od Nežnej revolúcie, zaznamenal aj rad pozitív. Na poste riaditeľa archívu, vtedy už viac ako desať rokov pôsobil Dr. Jozef Klačka, ktorý vtlačil svoju pečať do všetkých oblastí archívnej práce.
Aj na poli medzinárodnej spolupráce archív zaznamenal úspech. V roku 1993 sa nadviazali kontakty s Archívom AV ČR, ktoré neostali len v rovine formálnej. Výsledkom spolupráce sú ukončené i rozpracované spoločné projekty. Nie zanedbateľná je prezentačná činnosť. Archív sa aktívne podieľal a podieľa na významných akciách SAV, ktoré hlavne súviseli s jubileami Akadémií. Participoval na výstave k 50. výročiu AV ČR a samostatne realizoval výstavu k 50. výročiu SAV. Pravidelne spolupracuje s Ústrednou knižnicou SAV na výstavách „Viri docti”.