如何理解“談笑有風生，往來無白丁”這句話？

我覺得談笑有風聲，往來無白丁，這句話說的大概是壹些比較成功的人士吧，他們聚會在壹起談笑風生，說著各自的人生經歷，往來無白丁。成功人士他們大多有壹定的知識，不會是沒有上過學的，沒有知識的普通人。