Per te come Server Admin avere il grant in tutti i permessi è normale, senza di quello non potresti modificali.
Avere lo skip sul b_client_skip_channelgroup_permissions è inutile, quindi puoi rimuoverlo. Il b_client_skip_channelgroup_permissions di suo dovrebbe già evitare qualsiasi influenza dei gruppi canale sui gruppi server... hai settato il negate a qualche permesso? Oltre al Server Admin hai quale altro gruppo server?