徽商的吃苦有许多动人的故事。

明代婺源李魁，在未发迹之前，因为家计贫寒曾经仰天呼叫：大丈夫难道真的要为有个上千两的钱财而犯难吗？经商是贱行，大丈夫不屑为之，但也不能永远贫贱呀！于是，他和祖母商量，想筹措点经商本钱，却一点都筹措不出来。他想了一想，家里只剩下了卧室一间，就将它出卖给族人，只得到十两银子。他就带着这点银子前往南京营商，一点点地积攒，“不惮烦劳”，终于有了积余，也终于能够买田宅了.

成化年间的歙县人江才也是如此。父亲在他3岁时就去世了，家境不好，他跟随着哥哥做点小本生意。他经常感叹：我想耕田，家乡田少，若是碰上灾荒更不可为，务农是不行了。我想经商，家里底子薄，没有资本，经商也不成！他的妻子郑氏从容地劝他：乡人十个有九个都去经商了，你怎么能因为家里底子薄就不去经商呢？于是，她用自己的衣饰资助江才经商。几年后，江才就致富“饶益”。

清代祁门的倪尚荣，七岁父亲就去世了，家境也十分贫寒。稍大一点，他就砍柴以奉养母亲，久之，他慨叹道：终身砍柴怎么能度日呢？正碰上大乱时候，粮食昂贵，不得已，他就去学做船夫。久之，他又慨叹：这哪里能够养家糊口呢！于是以一点点积累起来的本钱学经商。他往来于鄱阳湖和祁门之间，不避艰险，终于改变了贫寒的境遇。

的确，从明代中叶开始，徽商的富有已经让人们羡慕不已了。但是，在他们富有身影的后面，却是一路艰辛，满腹凄楚。对于这些，更多的人似乎是看不见的。