花牌楼的时光流动得不能再缓慢了，有时让人感觉似乎静止了一般，就是在后窗的狗儿山下伫立很久也出现不了一个行人。周作人每天都在想念百草园，想念哥哥、三味书屋和那些快乐的日子，他不知道在杭州究竟要呆多久，他只有听从家里的安排，在孤寂中打发看不到头的时光。每天吃过饭，太阳照进窗户的时候，他就坐下来读书，在书中寻找乐趣和慰藉，他读《陶庵梦忆》、读《长物志》、读《槎上老舌》，还有《於越三不朽图赞》和《琅嬛文集》，记忆最深的当是石印的《阅微草堂笔记》和小本的《淞隐漫录》，都是颇为有趣的闲书。看书的间歇，他便提笔描字，一边仔细谛听着三姑娘的脚步声。不知为什么，他读书总有走神的时候，那是希望看到三姑娘的笑脸在虚掩的门里突然闪现，她的怀里总抱着一只听话的猫，有时，周作人真想抱过来，感觉一下它那毛茸茸的温暖和微微抖颤的身躯。
近两年的日子就这样一天天过着。花牌楼一楼一底的房屋和小天井与东邻相隔的竹笆已经熟悉得不能再熟悉了。住在楼下的男仆阮元甫是个很俊秀、很忠实的人，他是专门伺候祖父的，而且每天一早就出门，为祖父预备早点，随后去集市买菜，下午还要去坐茶馆、买什物，所以没有多少机会和他聊天。周作人只好自己用功，楼下有经书，有笔墨，逢三六九便要拿上功课到府狱里给祖父批改。小的时候，自己总是贪玩，没怎么用功读书。现在，祖父虽身在监狱，对他的功课却抓得很紧，见面的时候，又是指导读书，又是查作业，又是讲典故，周作人都一丝不苟地听着、做着。祖父对他很满意，开始夸赞他，说櫆寿既聪明又肯用功，比伯升强多了。周作人感到了很大的满足。但除了这些事，漫长的一天真是很难挨。看祖父的次数多了，他已认了不少路，后来基本独自前往。走出墙门往西有一条十字街，两边很多店铺，他喜欢在那里多逛上一会儿。不知走过几条路，便会来到监狱里祖父住的小院落。在一百多次探视中，监狱的情形也早已了然于心。自己不过是陪侍祖父坐监的孙儿而已，祖父的脾气似乎好了些，虽然也有咬了指甲骂人的时候，但从不对孙子发火，每日上午默念《金刚经》很多遍，之后是写日记，吃过午饭还要去串门，在狱神祠和狱卒聊天。但那些对周作人来说仿佛没有多少意义，对他真正有意义的、使他一生没能忘怀的只是与三姑娘的相识。
“那时我十四岁，她大约是十三岁罢。我跟着祖父的妾宋姨太太寄寓在杭州的花牌楼，间壁住着一家姚姓，她便是那家的女儿。她本姓杨，住在清波门头，大约因为行三，人家都称她作三姑娘。姚家老夫妇没有子女，便认她做干女儿，一个月里有二十多天住在他们家里，宋姨太太和远邻的羊肉店石家的媳妇虽然很说得来，与姚宅的老妇却感情很坏，彼此都不交口，但是三姑娘并不管这些事，仍旧推进门来游嬉。她大抵先到楼上去，同宋姨太太搭讪一回，随后走下楼来，站在我同仆人阮升公用的一张板桌旁边，抱着名叫‘三花’的一只大猫，看我映写陆润庠的木刻的字帖……”（《知堂文集·夏夜梦抄·六初恋》）
周作人并没有忘记姚三姑，直至1946年至1947年间，还在南京老虎桥监狱里写诗怀念，诗云:“吾怀花牌楼，难忘诸妇女……佣妇有宋媪，一再丧其侣。最后从轿夫，肩头肉成阜。数月一来见，呐吶语不吐。但言生意薄，各不能相顾。隔壁姚氏妪，土著操杭语。老年苦孤独，瘦影行踽踽。留得干女儿，盈盈十四五。家住清波门，随意自来去。天时入夏秋，恶疾猛如虎。婉娈杨三姑，一日归黄土……”（《知堂杂诗抄·丙戌丁亥杂诗·花牌楼》）
周作人为死去的三姑娘写过一首诗《过去的生命·高楼》，同时还写过一首《她们》来怀念自己爱恋过的女子。
许多年以后，周作人轻描淡写地概括了他在杭州生活的日子:
“我写日记，开始于戊戌（一八九八）年正月二十八日，以后断断续续地记到现在，已经有六十三年了。关于杭州，无论在日记上，无论在记忆上，总想不起什么很好的回忆来，因为当时的背景实在是太惨淡了。只记得新年的时候（大概是戊戌，但当时还没有记日记，）同了仆人阮标曾到梅花碑和城隍山一游，四月初八那天游过西湖，日记里有记载，也只是左公祠和岳坟这两处，别的地方都不曾去。我的杭州的印象，所以除花牌楼塔儿头以外，便只是那么一些而已。”（《知堂回想录上·十四杭州》）
1898年即戊戌年的五月初七，一大早，告假的仆人阮标匆匆离开了花牌楼，周作人在他临行前嘱咐他顺便捎几部书回来，但到了十二日阮标归来并没有拿什么书，却告诉他鲁老夫人病了，让周作人回乡探望。十七日，周作人踏上了回家的旅途，从此再没有回到花牌楼。回到家的周作人才知道，母亲并没有生病，实在是挂念儿子，才找了托词叫他回来。虽然周作人见母亲和两个弟弟都安好，不禁欢然，但是他从此再也见不到自己喜欢的三姑娘了。“我与花牌楼作别，已经有六十多年了。可是我一直总没有忘记那地方……”周作人前后所言矛盾吗？不，因为他对那里所怀的感情是复杂的，也是别人难以揣度的。
