Βάζουμε στον κάδο του μίξερ το φιστικοβούτυρο και το φρέσκο γάλα. Χτυπάμε με το φουέ (χτυπητήρι) και προσθέτουμε το ζαχαρούχο γάλα. Χτυπάμε μέχρι να έχουμε ένα αφράτο μίγμα. Με τη βοήθεια μίας σπάτουλας, βάζουμε το μίγμα σε ένα μπολ και ξεπλένουμε τον κάδο. Σκουπίζουμε καλά και βάζουμε μέσα την παγωμένη κρέμα γάλακτος. Χτυπάμε στη μεσαία ταχύτητα για 4 λεπτά. Βάζουμε τη βανίλια και δυναμώνουμε λίγο το μίξερ. Χτυπάμε για ακόμα 2 λεπτά μέχρι να έχουμε μία ελαφριά χτυπημένη σαντιγί. Δεν θέλουμε να πήξει πολύ. Κατεβάζουμε τον κάδο από το μίξερ και ρίχνουμε μέσα τη μισή ποσότητα από το μίγμα με το φιστικοβούτυρο. Με μία σπάτουλα, ανακατεύουμε με κυκλικές κινήσεις για να μην ξεφουσκώσει η κρέμα γάλακτος. Όταν ενσωματωθεί το φιστικοβούτυρο με την κρέμα, προσθέτουμε το υπόλοιπο μίγμα με φιστικοβούτυρο και το 1/3 από το χοντροαλεσμένο παστελάκι. Ανακατεύουμε με τη σπάτουλα και πάλι με κυκλικές κινήσεις μέχρι να έχουμε ένα αφράτο μίγμα.
Παίρνουμε μία ορθογώνια φόρμα για κέικ με διαστάσεις 13Χ31εκ. και ραντίζουμε με λίγο νερό (για να κολλήσει πιο εύκολα η πλαστική μεμβράνη). Στραγγίζουμε τη φόρμα και τη ντύνουμε με  πλαστική μεμβράνη. Βάζουμε τη μισή ποσότητα από την κρέμα στη φόρμα και πασπαλίζουμε με τη μισή ποσότητα από το παστελάκι. Βάζουμε την υπόλοιπη κρέμα και σκεπάζουμε καλά με την πλαστική μεμβράνη και βάζουμε στην κατάψυξη για 6-8 ώρες να παγώσει. Αναποδογυρίζουμε το παγωτό σε πιατέλα και πασπαλίζουμε με το υπόλοιπο παστελάκι.