为了驳斥这种指责，为基督教做辩护，奥古斯丁从公元412年开始，持续花了15年时间，专门写就了他最著名的著作《上帝之城》。
奥古斯丁的一生期间，正是罗马帝国迅速衰落的时期。奥古斯丁的思想便是在罗马帝国的“伟大文明破碎之际酝酿而成的”。公元410年，就在基督教上升为国教以后不久，罗马城在艾拉瑞克所率的哥特人的攻打下沦陷了。这一事件使罗马人日益高涨的基督教情绪受到了沉重打击。异教徒们乘机大肆攻击基督教，他们说，在信奉朱比特时，罗马一直保持着强盛；但现在皇帝们都改信耶稣基督了，所以朱比特不再保护罗马人了。因此基督教要对罗马城的悲剧负责。
他说，异教徒经常把灾难归咎于基督教。可是，由于蛮族哥特人也信奉基督教，他们是尊重教会的，因此许多异教徒在罗马被劫掠期间跑进教会中去避难。
“上帝之城”的说法本来源于圣经。奥古斯丁认为，天下万国，虽宗教与风俗各异，言语、武器、衣冠不同，然而人类只有两个大团体，若照圣经上的话，我们可称之为两个城：
相对于人类社会的历史现实来说，上帝之城在人类社会的历史现实中不是独立存在的社会实体。因为连教会也只是上帝之城的象征，而不是上帝之城本身。然而，奥古斯丁又认为，上帝之城确实曾经独立存在过，以后也还将独立存在，只不过那是尘世之外的事情，即魔鬼犯罪前的“天使之城”和末世审判后的未来天国。他认为，人类的历史就是上帝之城战胜世俗之城的历史。
一个是世俗之城，由愿意依肉欲生活的人组成，他们的精神背离上帝从而为朽坏的肉欲所奴役，他们爱自己以至轻视上帝，他们注定要毁灭；而另一个是上帝之城，由愿意依精神生活的人组成，他们的精神服从上帝从而能够支配肉欲的生活，他们爱上帝以至轻看自己，他们终将成为上帝的选民而得救。可见，奥古斯丁关于上帝之城与世俗之城的划分不是空间或地理意义上的，而是用它们代指有着不同追求的社会团体。
奥古斯丁在书中强调了教会与国家的分离，他认为，国家唯有在一切有关宗教的事务方面服从教会，才能成为上帝之城的一部分。后来的神学家们就把奥古斯丁的这一理论，解释为教会干预政治，教权高于王权。因此在整个中世纪，特别是在教会对世俗诸侯的斗争中，这部书曾产生过巨大影响。而奥古斯丁关于世俗之城与上帝之城的论说，直到今天仍然给许多人的灵魂以深沉的感召和震撼。
奥古斯丁指出，罗马在成为基督教国家之前，并非从未受过苦难，在基督教成为国教以前的时代甚至发生过更坏的事情。罗马从高卢人的入侵和内战中所遭受的苦难，不但与哥特人带来的苦难不相上下，甚至有过之而无不及。
他还说，基督徒如果有德行的话，即使忍受苦难也是快乐的，康士坦丁和狄奥多西二位皇帝就相当幸福。因为对圣徒来说，丢掉了现世的东西，并不意味着丢掉任何有价值的东西。即使他们死后得不到埋葬，也是无关紧要的，因为贪婪的野兽并不能阻挠肉体的复活。基督教无需为罗马的遭劫而烦恼，尽管罗马城毁了，但另一座新城——“上帝之城”却在壮大，大公教会就是这座新城的世俗影子。
