孔德成看到孙桐萱后面那两名国民党士兵拎着盒子枪，知道这情势非走不可了。当时，孔德墉的父亲孔令煜还在宁阳县办事，国民党又派专车赶往宁阳把他接回孔家大院，最后，孔德成跟孔令煜签订了一份协议，大意是委托他照管孔府。凌晨四点，签完协议的孔德成离开了孔家大院，凌晨六点，日本人入驻大院。
孔德墉说:“现在看来，蒋介石办了一件好事，若孔德成落入日本人之手，后果不堪设想。起码会把他绑架至日本，供奉成有名无实的‘伪圣人’。”
其实，在此之前，日本人早有预谋，曾几次邀请孔德成赴日本祭孔，都被他拒绝。这次日本人还是迟了一步。
120名日本兵占领了孔家大院，他们在孔府还算老实、规矩。大院内凡贴上“内宅，止步”的字样，若没上级批示，日本兵一般不敢贸然闯入。
日本人之所以这样做，孔德墉说，可能有两方面的原因:一方面，日本的高级将领还是把这座中国精神权力与儒家文化的象征，作为日本全面统治中国的重要领地，具有战略意义，所以不敢冒犯；另一方面，也与日本人尊孔的传统有关，他们把孔府奉若神明，即便是日本军方组团参观，也要规规矩矩地排队。
“我接待过一位少将，他不敢坐在我的上边，只要我坐在上边的话，他一定会自动地坐在下边。当官的坐在他的旁边，其余的全部都要在外边站着。”
在孔德墉15岁时，曾到日本宪兵队过春节，为了表示敬意，日本人请来女人伺候就餐，别人都配的是一个女人，而给他配的则是两个女人。后来，他才知道这些女人全部都是“慰安妇”。
的确，相对外面的战火纷飞，孔家大院确是一片平和景象。大院里的生活衣食无忧，平静安稳，每天吃着炒菠菜、炒肉丝等四菜一汤组成的“高级农村饭”。孔德墉大部分时间也都是住在孔家大院里，平常也不出去。如果想玩的话，大院里面就有个很大的后花园。
随波远行
按照规定，孔府大院的后裔子弟都要到私塾里念书，孔府也是中国最大的私塾。孔府有个后花园,一棵千年何首乌，一株五柏抱槐，一幅 “金光大道”的壁画等，组成了孔德墉念书时的记忆。
所有孔氏贵族的孩子都要到私塾里去研读《四书》、《五经》以及练习书法，每天的日程安排得非常有序。早晨六点多起床，八点钟到学堂里跟老师一起吃早点，然后跟着先生摇头晃脑地诵读圣贤经典。教书先生是前清的一位学识渊博的翰林。
长期深居于深宅大院，孔德墉心中反而生出了许多对外界的向往和冲动。
孔德墉在私塾诵读圣贤经典、练习书法的同时，他还抽出时间，跟曲阜师范学校的一名音乐老师学习钢琴，他凭此走出了幽深的孔家大院。
1945年，他考上北京国立艺术专科学校音乐系，那年他刚满18岁。他把这次“出走”称为“人生的转折点”。
他刚离开孔家大院8个月的时间，曲阜就解放了。但他与家人完全失去了联系，这意味着失去了经济来源。幸好他后来获得了奖学金才没再那么辛苦。
“我在孔家大院里禁锢的时间太长了，所以我出来后觉得什么都是新鲜的。”
1950年10月，他被分配到了中国音乐研究所里工作，他最得意的工作成绩便是创建了“中国音乐陈列馆”。
好景不长，“文化大革命”开始了，全国爆发“破四旧”、“批林批孔”运动，曲阜被高音喇叭中的政治口号所吞没，大字报贴满大街小巷，《讨孔战报》是当地最流行的读物。“三孔”(孔庙、孔府、孔林)则在谭厚兰带领的200名红卫兵的打砸声中破碎。
身为孔子的后裔，自然难免受到批判和牵连。他被发配到天津静海“五七”干校做食堂管理员，跟华君武、赵寻、钟灵、吴祖光、丁聪、冯牧、郭小川等一大批文化名人一起接受“审查”和“改造”。孔德墉与这些文化名人的关系很好。
1980年2月，孔德墉离开大陆，前往香港定居。
