Rompre un CDD car CDI

Bonjour à toutes et à tous.
Je suis actuellement contractuel au sein de la fonction publique d'un période de 6 mois (janvier à juin). Petit problème, ce taff est vraiment bidon et une boite m'a contacté pour un CDI et ça m'a l'ai d'être 100x mieux. Je peux casser le contrat avec la fonction publique ou j'ai un préavis ?
Merci de vos réponses