1928年春，已近而立之年的李克农踏上了这块土地，看着这座既繁华而又黑暗、既喧闹而又险恶的城市，他内心涌现出一个念头:用坚强的意志去征服它!

李克农和党组织取得联系后，被安排在太阳社支部过党的生活。太阳社是1927年冬在上海成立的一个文学团体，李克农的好友阿英和蒋光慈、洪灵菲等都是创办人，它的成员也全是党员。

正在太阳社从事文学活动的阿英，见到久别重逢的李克农，真是大喜过望。两人又像在家乡时一样，经常白天走上街头会议，深夜又一起提着浆糊桶，走上大马路张贴爱国标语。

这段时间，李克农担任了沪中区委宣传委员，与上面宣传部干事潘汉年等人一起进行文化宣传活动。李克农本人也曾在党的领导下，创办过《铁甲车》和《老百姓》两张报纸，都因言辞激烈，被老蒋当局戴上了红帽子，两张报纸的寿命都不过三个月左右。

李克农刚来上海的时候，同他的好友宫乔岩一起住在景林堂寄宿社的一间小房子里，宫乔岩此时也被编入春野支部。不久，李克农过去在民生中学的学生、党员宋季仁，因为在芜湖从事爱国活动受通缉，由于上面组织安排转往上海春野支部，也搬来和李克农他们住在了一起。由于房子太小，宋季仁只得搭上一个临时的小铺，早拆晚铺，伙食也两份分作三份吃，过起了“艰苦”生活。

后来，宫乔岩从小房间搬了出去，同弟弟住在了一起。此后，宋季仁就开始为李克农跑交通、送情报。

由于经济拮据，李克农和宋季仁每天只能买上几只大饼充饥，好在他们都是乐天派，以茶代酒，倒也兴味十足。

为填饱肚子，李克农开始典当起自己的生活用品来，宋季仁看不过去，很想为他分担一些生活的担子。有一次，宋季仁上街，看到乍浦路桥上有几个“瘪三”帮着推人力车上桥，可以弄到一点施舍，也上前试着推了几趟。

不料这几个‘瘪三’竟上前将宋季仁团团围住，一顿猛打，直打得宋季仁鼻青脸胖，口袋里刚刚挣来的几个铜板也被一抢而光。值班的巡捕不闻不问，宋季仁只好自认倒霉，回到住所。

李克农看见宋季仁这副模样，大吃一惊，一个劲地问他是怎么一回事。宋季仁就是不说，李克农终于动怒了，说:“小宋，这个问题不弄清楚，这里我们不能再住下去了，就得迅速离开。”事情到了这一步，宋季仁只好将实情和盘托出。

李克农听毕，难过得流下了眼泪，他动情地说:“上海这地方，是洋人、阔人的天堂，是穷苦人的地狱。推车的瘪三要给巡捕交‘拔头’，推车也不是那么容易的。这样的世界，总有一天我们要叫它底朝天!”不久，经上面党组织安排，宋季仁进入地下党开办的新华印刷所当排字工，生活算是有了保障，不过晚上的时间仍然给李克农跑交通。