公元317年，晋王司马睿在建康称帝建立了东晋。而在北方则五胡混战，纷纷割据，开始了十六国统治时期，藏书的破坏达到了空前的程度，以至于到“刘裕平姚”时，“收其图籍，五经子史，才四千卷”。
公元502年，萧衍建立了梁朝。萧梁在建立政权过程中很重视对图书的收集，还设立了“文德殿”、“华林园”典藏经籍，其中“华林园”专收藏佛教经典。梁天监元年(502)，秘书丞王泰对藏书进行了一次初步整理，天监二年(503)，任昉任秘书监再次校订图书，编纂了《文德殿目录》，此目录将术数之书更为一部，因此，萧梁时代又出现了《五部目录》。梁武帝后期的“侯景之乱”使藏书受到一定损失。侯景之乱以后，嗜好书籍的梁元帝将书籍归于江陵，大约七万多卷。公元554年，西魏军破江陵时，梁元帝恐书籍落人敌手，烧书十余万卷出降。这次焚书使梁朝一度兴旺的官府藏书再次遭到毁灭性破坏，给我国文化典籍又一次带来了极大的损失。
东晋建立以后，重新收集图书，仅得三千零一十四卷，仅占荀勖著录之书的十分之一左右。著作郎李充对东晋所收集的图书进行了整理并编纂了《四部书目》，它以五经为甲部，史记为乙部，诸子为丙部，诗赋为丁部，确定了经史子集四部。此后，这种经、史、子、集四部分类体系成为我国古籍分类的主流，经逐步扩展，一直沿用了一千多年。
南朝齐时，藏书规模稍有扩大。齐初，沈约就在东宫“校四部图书”。齐永明(483～493)中，秘书丞王亮、秘书监谢朓在整理图书的基础上编纂了《四部书目》，著录图书仅一万八千零十卷。
公元265年，司马炎篡魏，建立了西晋王朝。公元280年灭吴，结束了三国鼎立的局面，统一的中国出现了一个短暂的和平安定局面，出现了太康之治时代的繁荣。
北朝从北魏孝文帝改革和迁都洛阳以后，加速了鲜卑族的封建化进程，促进了民族融合，使国家的图书事业得到了发展。孝文帝多次下诏求天下遗书，并且凡是“秘阁所无，有益时用者加以优赏”。经过三次大规模的搜求图书，使北魏官府藏书终于达到一定规模。然而由于战乱频繁，政权更迭，使图书一再受损。到北周保定(561～565)初年国家藏书不过八千卷，以后虽有所增加，也不过一万卷，比起南朝的藏书尤为逊色。
《七志》为齐王俭(452～489)所编。他把图书分为“经典志”、“诸子志”、“文翰志”、“军书志”、“阴阳志”、“术艺志”、“图谱志”七大类，道、佛书籍作为“附见”，实际为九类。过了五十年，梁阮孝绪(479～536)又综合了《七志》和其他书目，编成一本目录——《七录》。《七录》分内编和外编。内编包括“经典录”、“纪传录”、“子兵录”、“文集录”、“术伎录”；外编包括“佛法录”、“仙道录”。其下共分五十五部，类目相当精细。它给以后《隋书·经籍志》的分类，打下了基础，在我国目录学史上起着继往开来的作用。这两部目录都已失传，只有《七录》的序保存在《广弘明集》一书中，成为我国目录学的重要史料。
刘宋建立时，继承了东晋少得可怜的四千卷藏书，又通过战争掠夺了北方后秦府库中所有的四千卷赤轴青纸、文字古拙的藏书，从而一定程度上扩大了藏书的规模。宋文帝元嘉八年(431)秘书监谢灵运编制《四部目录》时，藏书增至一万五千七百零四卷，另有佛经四百三十八卷。
公元420年，刘裕建立南朝宋以后的一百六十多年里，南方经历了宋、齐、梁、陈四朝的更迭，史称南朝。北方是自公元386年拓跋珪建立的北魏，以后经一系列的战争至公元439年拓跋焘灭北凉才统一了北方，形成了南北对峙的局面 。后来北魏分裂成 东魏、西魏，而经历了北齐、北周，历史上称北朝。
西晋建立以后，社会经济逐渐稳定，文化事业也得到了相应的恢复和发展，大量的文献典籍得到保存。晋武帝开国之初，由秘书监荀勖、中书令张华依刘向《别录》整理典籍，这是西晋初年第一次大规模的官府整理图书的活动。武帝咸宁五年(279)，汲郡人不准盗墓得十多车竹书，后被官府收集。由荀勖、束皙等人对这些汲冢书进行了校订整理，编制了目录，这是第二次图书整理活动。后来荀勖依照曹魏秘书郎郑默编制的藏书目录《中经簿》，总括群书，编制了一部综合性的官府藏书目录一《中经新簿》。它包括正文十四卷，另附佛经二卷，著录图书约“四部合二万九千九百四十五卷”。它分图书为四部：甲部——六艺及小学等书，即经部；乙部——古诸子家及近世子家，即子部；丙部——史记、旧事、皇览簿、杂史，即史部；丁部——诗赋、图赞、汲冢书，即集部。与刘歆《七略》相比，一是把《七略》中“兵书略”、“术数略”、“方技略”并入诸子略而变为乙部即子部，二是把《七略》中归入“六艺略”的春秋类历史书等独立出来，设置了一个丙部即史部。《中经新簿》第一次以甲乙丙丁为四部次序符号，适应了当时学术的变化与 典籍增长的需要。
两晋南北朝是我国历史上一个国家分裂，战争频繁，社会动乱的时期。尽管如此，社会政治、经济仍然在缓慢地发展。民族融合，宗教盛行，社会的科学文化也在不断进步。这一时期是我国图书史上由简策过渡到写本书的时期。东晋末年，桓玄称帝时曾下令：“古无纸故用简，非主于散也，今诸用简者，皆以黄纸代之。”(《太平御览》卷六零五引《桓玄伪事》)。纸张的应用，减轻了书籍载体的重量，使书籍的书写、携带、流传更为方便，也使得私人藏书得到很大发展，藏书量也相应增加。在这一时期，出现了两部著名的私家目录——《七志》和《七录》。
