孔子当初为什么说出“唯女子与小人难养也”这句话的呢？《史记·孔子世家》里，提到了孔子之前的卫国之行，孔子“居卫月余，灵公与夫人同车，宦者雍渠参乘出，使孔子为次乘，招摇市过之。孔子曰：‘吾未见好德如好色者也。’于是丑之，去卫。”
当孔老先生受卫国国君的邀请，来到了卫国参观学习，但在这期间，孔老先生突然发现自己被涮了，人家根本是拿他的身份来炫耀自己抬高自己而已，并不是真正支持他来教化卫国民众的，尤其卫灵公的妻子，为了抬高自己的身望，公开炫耀，贬低了孔子，孔子很郁闷，你卫灵公到底是喜欢德才多些，还是喜欢女色多些？在你心里我和你老婆哪个重要？孔子怒了，说：“吾未见好德如好色者也！”收拾行李就离开了卫国。
离开之后，心情平复了，想起卫国公老婆那种仗着得宠，骄横跋扈乱政扰民的烂事儿，就发了感慨：“唯女子与小人难养也！近之则不孙，远之则怨。”
知道了这些历史背景和人生经历，孔子这话就很好理解了。我们知道，孔子骂的人是那种“被养”的女人和小人，女子还好说，可想想什么人才能养小人？君主！再看看孔子的卫国之行，一切都明白了，他这话断不是发神经突然开骂所有女人，而是有一个特指的对象，这个对象，就是卫灵公老婆南子，就是那些“近之则不孙，远之则怨”的宫廷女权。近
之则不孙，远之则怨，这后一句话怎么解释呢？就是说你作为一个君主，对那些后宫的女人和没什么本事的拍马小人太亲近了，她们就会得意忘形，忘了自己的身份，开始用你的权力胡做非为，而你疏远她们吧，她们又要埋怨，总之是非常麻烦。早在孔子之前，妲己误国，烽火戏诸侯，这些事例还少吗？孔子之后，宦官小人当道，皇后外戚乱政的桥段更是屡屡上演，不可枚数。
