1924年1月1日，查理·芒格出生于美国内布拉斯加州奥马哈的一个法律世家。他的父亲是阿尔弗雷德·凯斯·芒格，一位毕业于哈佛法学院的律师。芒格的祖父也学习法律，曾经担任联邦法官。
芒格的第一份工作是在沃伦·巴菲特祖父恩尼斯特·巴菲特在奥马哈开的一家高档杂货店当职员。芒格比沃伦·巴菲特年长8岁，因此在这个时间，芒格还从未见过巴菲特。
1941年，高中毕业的芒格进入密歇根大学安娜堡分校主修数学。战争结束后，1946年，芒格申请到父亲的母校哈佛大学法学院就读。不过，他的申请很快就被拒绝了，原因很简单，虽然他在不少学校上过学，但还没有拿到任何本科学位。
后来，还是芒格家族在法律界的人脉起了作用。在前哈佛法学院院长、芒格家族的世交罗斯科·庞德的介入下，芒格最终被哈佛法学院录取。
毕业后，芒格本有机会在父亲阿尔弗雷德的律所工作，但两人商量后认为，应该去更大的城市发展。
于是，芒格离开奥马哈，来到加利福利亚州。在通过了加州的律师执业考试后，在赖特·加雷特律师事务所开始做一名专职律师。
1950年代，芒格在一位电商企业客户的帮助下，开始投资企业，成为企业股东，参与公司经营。这是芒格第一次涉足经商。
1961年，芒格的一位客户布斯继承了一块帕萨迪纳的土地，因为这块地并不值钱，布斯打算直接卖掉。芒格提醒布斯，当时洛杉矶正值人口大量涌入，而帕萨迪纳是洛杉矶非常重要的卫星城，如果把这块地打造成住宅区再卖，一定会有丰厚回报。两人一拍即合，共投入10万美元开始开发楼盘，最终收回50万美元。此后芒格如法炮制，与客户一起开发了位于帕萨迪纳、阿罕布拉的另外4个房地产项目，到1964年，光是这个生意，就帮助他赚取了140万美元。
真正促使芒格离开律师行业的人，还得是沃伦·巴菲特。
在第一次见面时，巴菲特就建议芒格放弃律师职业。
1959年，芒格父亲阿尔弗雷德去世，为了处理父亲的后事，芒格回到奥马哈。为了欢迎芒格回家，埃德医生的子女尼尔和薇拉安排了一次晚宴。在晚宴上，时年35岁的芒格第一次见到了28岁的巴菲特。
那天晚上，两人相见恨晚，彻夜交谈。巴菲特对芒格的律师职业不以为然，认为芒格可以把律师职业当做一种爱好，但不能靠它赚钱。巴菲特建议芒格在经济条件允许的第一时间就放弃律师职业，跟他一起搞投资。
后来，芒格返回洛杉矶，两人持续用电话和邮件交流。
此后，巴菲特与芒格的合作越来越多，巴菲特在收购或者投资企业的时候，会请芒格·托尔斯律所担任法律顾问，这也给芒格跨入投资行业积蓄了大量势能。芒格也借助惠勒·芒格开始着手投资事业。
