Soglasje za opravljanje dejavnosti

Pozdravljeni,
v pogodbi o zaposlitvi imam vpisan člen, ki se glasi:
“Delavec sme delati za drugo družbo na podlagi avtorske pogodbe, podjemne pogodbe ali za svoj račun ali opravljati politične in druge funkcije samo s pisnim dovoljenjem direktorja podjetja.”
Želim odpreti s.p. z dejavnostjo, ki nima z dejavnostjo podjetja, v katerem delam, prav nič skupnega. Delo je mogoče opravljati v popoldanskem času in ob vikendih. Ali mi delodajalec lahko odreče soglasje iz bojazni, da bi med delom v njegovem podjetju razmišljal o svoji popoldanski dejavnosti? Ni to poseganje v zasebnost in omejevanje le-te? Naj še omenim, da delodajalec nima prav nobenega razloga, da bi dvomil v moje izpolnjevanje pogodbe o zaposlitvi.
Hvala za vaše mnenje.