Colocar la miga en un cuenco con el azúcar. Poner la leche en un cazo, acercarla al fuego y cuando esté caliente, pero sin llegar a cocer, verter por encima del pan de forma uniforme y dejarla un buen rato para que se empape bien.
Lavar y secar el limón y la naranja y rallar la mitad de la cáscara de cada uno. Aplastar el pan con un tenedor hasta obtener un puré espeso. Batir los huevos y agregarlos al pan junto con el brandy y las ralladuras. Añadir la mermelada de naranja y mezclar todo muy bien hasta que resulte homogéneo.
Poner tres cucharadas de azúcar con una de agua en una flanera metálica y acercarla al fuego; cuando consiga un caramelo oscuro, dar vueltas a la flanera para que se caramelice el fondo y parte de las paredes. Apartar y dejar enfriar para que el caramelo se endurezca. Si se desea se puede utilizar caramelo líquido del que está comercializado.
Verter el preparado para el pudin en la flanera que no deberá quedar más llena de tres cuartas partes. Cubrir con un trozo de papel de aluminio y cocer al baño María en el horno a media potencia durante cuarenta y cinco minutos. Comprobar el punto de cuajado con una aguja. Dejar enfriar, desmoldar y servir adornado al gusto.