Σε ένα μπολ, αναμιγνύουμε το αλεύρι, το σιμιγδάλι, το μπέικιν πάουντερ, την κανέλα και το γαρίφαλο. Ανακατεύουμε και προσθέτουμε την χοντροαλεσμένη καρυδόψιχα. 
Χτυπάμε τα αυγά για 2-3 λεπτά και μόλις αρχίσουν να αφρατεύουν βάζουμε τη ζάχαρη. Χτυπάμε μέχρι να φουσκώσει το μίγμα και να γίνει σαν κρέμα, περίπου 5 λεπτά. Χαμηλώνουμε την ταχύτητα του μίξερ και ρίχνουμε το κονιάκ και το ηλιέλαιο. Χτυπάμε και προσθέτουμε κουταλιά κουταλιά τη μισή ποσότητα από το μίγμα αλευριού. Βάζουμε το γάλα και προσθέτουμε το υπόλοιπο μίγμα αλευριού. 
Λαδώνουμε ένα ορθογώνιο ταψί με διαστάσεις 23Χ33 εκ. και βάζουμε μέσα το μίγμα της καρυδόπιτας. Το αφήνουμε στην άκρη για 30 λεπτά, για να «ανοίξει» το σιμιγδάλι. 
Προθερμαίνουμε το φούρνο στους 180°C και ψήνουμε την καρυδόπιτα για 40 λεπτά. 
Όταν περάσουν τα 20 λεπτά ψησίματος, ετοιμάζουμε το σιρόπι: Σε μία κατσαρόλα βάζουμε όλα τα υλικά και ανακατεύουμε. Την τοποθετούμε στη φωτιά και όταν διαλυθεί η ζάχαρη και κοχλάσει το νερό, χαμηλώνουμε τη φωτιά. Βράζουμε για 5 λεπτά. 
Βγάζουμε την καρυδόπιτα από το φούρνο και ρίχνουμε κουταλιά – κουταλιά το ζεστό σιρόπι. Αφήνουμε το γλυκό στην άκρη για 2-3 ώρες να «τραβήξει» το σιρόπι και να κρυώσει. 
Σερβίρουμε την καρυδόπιτα με παγωτό της αρεσκείας μας και πασπαλίζουμε, αν θέλουμε, με φρεσκοτριμμένη κανέλα.