लेकिन करियर की पीक पर शर्मिला ने पूर्व क्रिकेटर मंसूर अली खान से साल 1968 में शादी कर ली
शादी के दो सालों के बाद शर्मिला टैगोर सैफ की मां बन गई थीं
उस दौर में शर्मिला डबव शिफ्ट में फिल्मों में शूटिंग किया करती थीं. इस वजह से वो सैफ पर ध्यान नहीं दे पाती थीं
शर्मिला का मानना है कि वो बचपन में अपने बेटे सैफ को सही से वक्त नहीं दे पायीं
इस बात को लेकर शर्मिला टैगोर को आज तक अफसोस है