Meski perannya cukup penting bagi pegolf di lapangan, image caddy golf kerap dipandang sebelah mata karena beberapa oknum caddy golf diduga menjadi wanita simpanan pejabat atau pengusaha. Mereka kenal di lapangan golf dan akhirnya memadu kasih.
Tapi ada juga beberapa caddy yang justru diduga menjadi korban pelecehan seksual oleh pegolf. Selain diduga lakukan pelecehan seksual, ada juga pegolf yang dengan seenaknya memarahi dan memerintah caddy dengan tidak sopan. Hal itu tentu sangat merugikan caddy saat bekerja.