江春霖出生于书香门第，父亲江希濂是同治年间举人。他从小刻苦好学，

生活俭朴，粗衣恶食，刚正憋厚，言行一致，品德高尚。光绪十七年(1891年）中举人，三年后中进士，由庶吉士散馆授翰林院检讨。

他早在年轻当秀才的时候，就已立下大志，要当一名都察院监察御史。

监察御史号称" 吉官"，可以随时上奏皇帝，发表政见，弹劾官吏，看起来权力很大，实际上和翰林院撰文一样是一个小小的正五品官，担的工作，是得罪人的差事，若得罪权贵，往往轻者丢掉乌纱帽，重者连命都搭上。因此，人们大都不愿意当御史，当上御史也是睁一只眼闭一只眼，不肯得罪人。

光绪三十年(1904年），朝廷下令考选御史，江春霖认为实现自己

平生志愿的机会来了，便积极准备应考，结果考了第一名。从1906年起历任江南道、新疆道、辽沈道、河南道和四川道监察御史达5年之久。

江春霖自从当上御史，便连连上奏折，真正做到知无不言，言无不尽。据现存奏折的不完全统计，共上疏69件，其中对施政方针及各种具体改革，提出诸多建议。

更难能可贵的是他不畏权势，铁面无私，不断弹劾各级不法官吏。先后被他指名道姓弹劾的官吏，经不完全统计有庆亲王奕励及其子农工商部尚书载振，摄政王之弟、郡王衔贝勒载询、载涛兄弟，军机大臣、外务部尚书袁世凯及其子、农工商部右参议袁克定，军机大臣铁良，考察政治大臣、闽浙总督端方，邮传部尚书徐世昌，两广总督周魏，两江总督张人骏，都御史陆宝忠，奉天巡抚出使大臣唐绍仪，江西巡抚冯汝骏，安徽巡抚朱家宝，署黑龙江巡抚段芝贵，学部侍郎严修，农工商部侍郎杨士琦，邮传部侍郎沈云沛，大理寺少卿刘若曾苏松太道瑞激、蔡乃煌，候补知府何师吕，参将徐文科，统领袁坦、龙济光，管带袁明翼、李淑

昌，农工商部左参议祝瀛元及在参议上行走袁思亮、邵福瀛，兵部候补郎中王益孙，菌田县令宁云汉，江苏即用知县李士田，署菌田知县林玉琪，邮传部丞参上行走梁士治，唐山路矿学堂总办熊崇志，庐陵县清赋局委员赵彝鼎等近40人。而对其中的某些人，则先后弹劾达7、8次之多，真是一位尽职尽责的好御史。