Das liegt einfach nur daran, dass der Vorgang einer illegal bereitgestellten oder erschlichenen Dienstleistung (Schwarzarbeit, Schwarzfahren) oder die verkaufte Ware (Schwarzmarkt, Drogen, etc) möglichst im Dunkel gehalten werden soll.
Dasselbe gilt für den Begriff "Weiße Weste".
Es bedeutet nichts anderes, als dass man auf dieser sehr leicht Flecken sehen kann, und wenn diese fleckenlos weiß ist, ist dem- oder derjenigen nichts vorzuwerfen.
Hier eine rassistische Bedeutung zu vermuten halte ich für herbeiphantasiert und dient lediglich der Instrumentalisierung und Aufstachelung.