北房五间成一明两暗的形式，挂有紫云轩匾额的房子是这五间中的当中一间，是个过厅。东侧的两间是通间，是毛泽东的起居室，成东西向的长方形。西侧的两间有墙相隔，靠过厅的一间曾是江青的寝室，但她在这里住的次数很少，更多的时间是住在本院的南房。西侧的里间与西厢房相通，都是毛泽东的藏书室，是名副其实的书屋。穿过北房的过厅出北门，则是一个小小的院落，可称为后院，与中海岸边上的马路仅一墙之隔了。这个小院内有个简易的防空洞，是进驻后由卫士们挖的，毛泽东从未使用过。这里杂草丛生，只有在防疫搞卫生时才清除一次。这样，过厅的北门也就不开了。
南房与北房的结构相同，东侧的两间是江青的起居室，靠近过厅的一间是卧室，东边的一间是盥漱室，中间一间是过厅，南可去南院，北可去菊香书屋的院落。
西侧的两间，毛泽东的女儿曾住过，这南房实际上也是北房，因为穿过它的过厅出南门又是一个院子，被称为南院，这样菊香书屋的南房就成了南院的北房了，因为这所房屋的南、北门窗是一样大小、一样格式相对称的。
在东厢房的五间中，中间的一间是过厅，靠北侧的两间是通着的，这就是毛泽东的办公室，与过厅相通。靠南侧的两间不与过厅相通，也不在菊香书屋院内开门，而是开在东厢房东面的夹道内。这里是贮藏室，若去这贮藏室，需要走出菊香书屋这所院子。
西厢房也是五间。挂菊香书屋匾额的过厅是西厢房中间的一间房子，南北两侧的两间房都不与这过厅相通，北侧两间是毛泽东藏书室的一部分。
北房外面的东头有个夹道。夹道西侧的房屋从南往北数，南侧两间是卫士值班室，北侧的两间是厨房。夹道的北头有个便门，走出去就是中海西岸上的马路了，毛泽东去怀仁堂开会时，常从这个小便门出入。夹道的西侧北头也有一个便门与另一群建筑相通，去贮藏室时就从这个便门出入。从西便门走出去，经过弯弯曲曲的夹道就是南海北岸上的马路了。毛泽东很少从此门出入，它常常是警卫人员进出的地方。
南房的东头外侧也有一个夹道，它通往南院，这是毛泽东的孩子们以及毛泽东和身边工作人员经常走的通道。这条夹道比较忙，因为毛泽东身边的工作人员常与他的孩子们打交道，毛泽东的孩子们也常经此到菊香书屋屋内来，找毛泽东，找卫士等。
南院的东房是毛泽东孩子们的宿舍，准确地说是孩子们的集体宿舍。这里住着江青的姐姐李云露老太太，她是照看李讷的。
她的儿子王博文也住在里屋，外屋住的是毛泽东的女儿李敏、李讷和毛泽东的儿媳刘思齐，以后又加进来毛泽东的侄子毛远新。这里又好像是“客栈”。孩子们上中学后，都在学校住宿，只有节假日来这里居住。
出了菊香书屋直对面有一处西房，它曾是杨尚昆住过的地方。他乔迁之后，为了工作方便，毛泽东的保健医生王鹤滨住在那里。这里与菊香书屋之间是个青砖铺地的院子。院子的南面是颐年堂的北墙外侧，北面是放外国政府或朋友赠送给毛泽东礼品的房间，相当于一个小小的展览馆。据一些书籍记载这里可能是澄怀堂。靠东头的房子是放乒乓球桌的地方，毛泽东在这里打过球，也曾在这里同他身边的工作人员一起吃过面条汤，度过他的生日。
与菊香书屋的西厢房北头相接的一处东房，是叶子龙的住房，在这东房前也是一个院子，南面是礼品室的北墙山，西房和两层楼的北房则是机要室。
由于菊香书屋院内的柏树阴影，加上古式建筑瓦房的飞椽，使得毛泽东的寝室和办公室内的光线很差，射进去的阳光很少。一到秋末、冬、春季节，即使是在白天，也须要借用灯光照明。
毛泽东要外出开会或接待外宾，都必须步行到丰泽园的门外，或走出紫云轩东侧夹道北头的便门，才能上车，这给毛泽东的工作和生活带来很大的不方便，因此，负责行政管理部门的人老想将这套古老的房屋加以改建，或进行大的修建，但都遭到了毛泽东的拒绝，他再三表示不要修建，也不同意搬家。
