中国现代学术史绕不开义宁陈氏，而义宁陈氏昆仲以陈寅恪知名度最高。长兄陈衡恪在书画界名重一时，其为人孤洁，惜天不假年，英年早逝。

陈衡恪，乳名师曾，后以“师曾”为字，陈三立长子，生母罗氏。罗氏“色愿而貌恭，与物无杵而中严介，黑白景然”，“家人皆曰阿嫂平易可怜人也”。其“事舅姑曲折得其心，推及之家人婢妇，莫不然。为妇八年，未尝有所失”。病逝时，陈三立谓其“事余父母，虽不可云无憾，而以视世俗为妇之恒情，则亦有异矣”。罗氏的懿美品性遗传给了陈衡恪。

陈衡恪幼时聪慧异常。父陈三立丧母之后，大病一场，几致死去，其时之情景，陈宝箴在《致俞明震》中曰：“立儿自经此家国巨变，痛疾万状，虽病不肯服药。日前进药，竞将药碗咬碎，誓不贪生复活……昨日子往青山，师曾孙侍病在侧，立儿忽下床瞑立曰：‘我要走！我要走！’师曾孙夙慧，跪言曰：‘公公不在此，你老人家不要走！’立儿闻言，若有所悟，复倒卧床上。俄而门外来一老道，自言善针灸，能起死回生，入门求看病人。家人因待予未归，计无所出，遂任针之。一针而神智渐清，再针而大病若去。欲谢道士，道士遽扬袖出门去，究不知其人是仙是人。”记述虽有神异乖论，但衡恪幼龄夙慧之机敏栩栩然跃乎纸上。

陈衡恪五岁时生母罗氏去世。“先是，孺人疾，五岁儿日击小鼓跳跃榻下，然见母卧，亦知为病。孺人稍起坐，辄喜告祖母，或不起坐，则问母何久卧耶。孺人不忍见，辄麾婢抱去。及疾笃，令婢抱两儿前，抚之曰：‘长为无母儿矣。’大儿噭然哭，小儿颦而泣，若知母之将死者然，然究不知何谓死也。”陈三立《哭亡室罗孺人诗》状其情曰“阿姑抱之去，痴立而彷徨。大儿垂五龄，仿佛知母僵”，《重祭罗孺人文》则云“母慰止儿，儿痴而立”。陈三立《亡室罗孺人行略》：“孺人病当弥留时，余母抱五岁儿师曾问疾，孺人辄呼曰：‘师儿，而母何日病起乎?’儿漫应曰：‘明日。’孺人曰：‘当后日耳。’果越二日而卒。”

祖父陈宝箴 “亲授以训诂……弄笔为诗文，短章断句，多可诵者”，“辄举以夸示宾客，忘其为溺爱也”。八指头陀《赠陈童子师曾》：“童龄具耆德，头角方峥嵘。频伽发妙响，玉树敷新荣。道由聚沙植，义以分梨成。好古兴不浅，鉴物智自明。善葆青云器，相期黄阁名。”八指头陀对年仅十一岁的陈衡恪的品德和才华，给予了极高的评价并寄予极高的期望。陈锐写给陈师曾的《陈郎歌》，序云：“予友义宁陈三立，有子名日衡恪，年未成童而有父风。会予将去益阳，留止长沙，嘉其赠行有诗，以引勉之云尔。”诗中写道：“陈郎十二称奇童，双眸点漆莹秋瞳。学诗学画有笔意，力虽未到气已雄。昔见陈郎才过膝，于今容貌映朝日。陈郎笑我年三十，书记犹应县官辟。自从结客爱多闻．阿父才名迥不群。骅骝汗血洒奔电，回看万马皆驽屯。”其中虽有溢美之词，但陈衡恪的过人之处可见一斑。

陈三立谓陈衡恪“迂拙守俭素，不解慕声利，往往徒步张盖，穿风雪趋吏舍，治事刻厉自苦，谨身而矫俗，其诸弟皆莫及也”，继母俞淑人，亦于衡恪呵护倍加，“屡举其行谊为诸弟率，所最笃爱者也”。陈衡恪深得祖父、父母之疼爱，但丧母之痛，对其性格不无影响。钱望新在《冬饮先生行述》中言：“陈伯严（三立）建精舍为文酒之会，雅知先生有师道，固请就馆，使子女执经问业。伯严子女八人，衡恪最长，名冠诸才士，亦钦重先生。”冬饮先生即王瀣，字伯沆，一字伯谦，号冬饮。他曾担任陈三立诸子女的馆师，对他们的为人和治学影响甚大。