Hi,
die Pilze sind grundsätzlich kein Problem. Sie mögen es gerne feucht und fühlen sich daher besonders an der Linie zwischen Blähton und Erde wohl. Pathogen sind sie auf jeden Fall nicht, sie schaden der Pflanze also nicht. Im Gegenteil, sie sind eher ein Anzeichen für ein gesundes Bodenleben.
Solange sie nicht überhandnehmen, kannst du sie einfach stehen lassen. Wenn sie dich optisch stören, kannst du sie natürlich entfernen, das, was sichtbar ist, sind ja nur die Fruchtkörper. Der eigentliche Pilz befindet sich im Topf bzw. im Substrat.
Wenn du ihn später eindämmen möchtest, kannst du das Substrat einmal komplett austrocknen lassen, dann verschwinden die Pilze in der Regel auch. Das macht aber natürlich nur bedingt Sinn, da es das Mikroklima im Topf verändert und wenn man es übertreibt sogar die Wurzeln deiner Pflanze schädigt.