1863年，一名刚从英法联军中辞职的英国人，走进了李鸿章幕府。他名叫马格里，后来加入了淮军，娶了一位中国妻子。他向李鸿章提出一项重要建议。即淮军从西方购买弹药的成本太高，“买一颗从英国炮船上偷来的很普通的12磅炮弹要费30两银子，买一万粒最差的于弹也要19两银子，即6英镑。”“我告诉他(李鸿章)，欧洲各国都开办大工厂制造军火，中国若为本身利益着想，也应该建立这样的工厂。”为了让李鸿章相信此事的可行性和自己的能力，马格里借担任淮军炮队教习之便，利用简单的工具，制造了一颗炮弹和引信等配件。

让李鸿章明白枪炮子弹不是什么“奇技淫巧”，而且萌生了创立军械制造厂的念头。和李鸿章有同样想法的还有他的老师曾国藩。最初也只是为了供应湘军所需的西式弹药，于1861年在安徽安庆设立了湘军安庆内军械所，网罗徐寿、华衡芳、李闪兰等国内详务人才于其中。从生产枪炮弹药开始，逐渐试制西洋枪炮，但是成果并不乐观。

就在两大洋务领袖陷入困顿时，一个绝好的机会出现了。1865年，正在镇压捻军的李鸿章收到丁日昌一封信，得知上海虹口有一个洋人办的铁厂，不仅能造枪炮，而且能制造轮船。如今洋人愿意出售，要价十万两。早想设厂制造枪炮弹药的李鸿章十分动心，无奈囊中羞涩。恰在此时，有个被革职的海关道翻译愿拿出四万两银子促成此事，算为自己赎罪。李鸿章又从海关借来一些银子，这样就买下了洋人的机器厂。李鸿章购得该机器厂后，正式改名为江南制造总局，中国工业史上著名的“江南品牌”就这样诞生了。

1865年9月20日的上海，由曾国藩规划，后由李鸿章实际负责，是李鸿章在上海创办的规模最大的洋务企业。它不断扩充，先后建有十几个分厂，雇用工兵2800人，能够制造枪炮、弹药、轮船、机器，还设有翻译馆、广方言馆等文化教育机构。但是，它在管理上仍然存在着浓厚的衙门习气。

江南制造局经过逐年发展，规模迅速扩展，成为上海、乃至于中国最大的洋务企业。先后建了10多个分厂，拥有雇员2800多名。放在现在，也是一家大型企业的架构。在生产武器方面，江南制造局不但能够制造普通的枪支、弹药，还能制造轮船。

1868年7月23日，江南制造局生产出中国第一艘自造轮船：“恬吉”号（后改名“惠吉”号）炮舰。该炮舰是木质船身，长185尺，宽27.2尺，能装载货物600吨，速率9节，装备九门火炮。总造价81400两银子。

炮舰在上海试航时，轰动一时。曾国藩亲自登船试航，称赞“坚致灵便”，命名为“恬吉”号，意思是“四海波恬，公务安吉”。这艘炮艇当然不能与西方的舰船相比，不过，总算是中国人自己生产的轮船，值得历史书浓墨重彩一笔。

1876年，江南制造局又制造出中国第一艘铁甲军舰“金瓯”号。

江南制造总局的生产能力也相当惊人，到19世纪末，一年可以制造子弹9万发、地雷200枚、枪支2000支。

此外，为了学习和引进西方先进科技技术，江南制造局拥有专门的翻译馆。翻译馆引进并翻译了涉及工程、农学、矿学、地学、光学、医学等领域的西洋科技著作，成为我国近代科学的发源地之一。我们现在所熟知的元素周期表，就是由江南制造局的翻译馆引进来的。同时，江南制造局还建立了兵工学堂，来培养训练军事人才。

不过，总体来说，江南制造总局生产的军工产品存在品质不高的致命缺陷。这一方面是因为技术不过关，核心技术都被西方人垄断着；另一方面也是因为管理落后，还在用衙门的方式管理企业。江南制造总局在创办的第六年，开始量产先进的林明敦式后膛来福枪，但只造了不到五千支，明察秋毫的李大人就看出了问题：国产林明敦枪造价不但是进口林明敦枪售价近两倍，而且质量还远不如进口货。李鸿章本着对国防大计负责的态度，果断拒绝这种国产步枪在淮军列装，继续带头进口价廉物美的洋枪洋炮。

中国商人给官员回扣自古天经地义，毋庸再提；洋商与中国官员打过几回交道，也入乡随俗了。克虏伯进入中国不久，就学会了在合同金中划出专门比例送回扣。痛心疾首的李鸿章专门出台规定：所有采购都要经总办（总负责人）以及采买、支应、会计三个有关部门共同签字才能生效。但上有政策下有对策，李大人此举见效甚微。二是人力成本高企。来华工作的洋人工资远比在本国工作要高，这倒好理解。中国没有技术骨干，能不求着洋人吗？问题在于，很多有关系的中国人想方设法挤进这些“有钱途”的洋务单位：19世纪70年代初，江南制造局只有40个官员领导管理；到70年代末，就有80个官员吃拿卡要了。

江南机器制造总局是清朝洋务运动中成立的近代军事工业生产机构，为晚清中国最重要的军工厂，是清政府洋务派开设的规模最大的近代军事企业，也是近代中国最大的军火工厂。