पुराने जौनपुर के दरिया किनारे के कुछ इलाके शर्की लोगों की ख़ास पसंद रहे थे | पानदरीबा रोड पे आपको पुराने समय की बहुत सी इमारतें मिलेंगी जिनमे से बहुत से इमामबारगाह जो इमाम हुसैन (अ.स) की याद में बनाए गए थे ,मिलेंगे | यहाँ पान दरीबा रोड पे मकबरा सयेद काजिम अली से सटी हुई एक मस्जिद मौजूद है जिसे खालिस मुखलिस या चार ऊँगली मस्जिद कहते हैं | शर्की सुलतान इब्राहिम शाह के दो सरदार इस इलाके में आया जाया करते थे कि एक दिन उनकी मुलाक़ात जनाब सैयेद उस्मान शिराज़ी साहब से हुई जो की एक सूफी थे और इरान से जौनपुर तैमूर के आक्रमण से बचते दिल्ली होते हुए आये थे और यहाँ की सुन्दरता देख यहीं बस गए | सयेद उस्मान शिराज़ी साहब से यह दोनों सरदार खालिस मुखलिस इतना खुश हुए की उनकी शान में इस मस्जिद की तामील करवायी | जनाब उस्मान शिराज़ी की कब्र वहीं चार ऊँगली मस्जिद के सामने बनी हुई है जिसके बारे में कम ही लोग जानते हैं |जनाब उस्मान शिराज़ी के घराने वाले आज भी पानदरीबा इलाके में रहते हैं जिनके घर को अब मोहल्ले वाले “मीर घर “ के नाम से जानते हैं |
निर्माण कला की दृष्टी से यह मस्जिद शर्क़ी कला की एक झांकी है जो बद हाल हालत में है । गजेटियर जौनपुर अनुसार इसका निर्माण १४१७ में हुआ । सिकंदर लोधी ने इसको बहुत नुक़्सान पहुचाया
वैसे तो यह मस्जिद आज पुरातत्व विभाग की देख रेख में हैं लेकिन इसके पीछे का हिस्सा गिर चूका है और आज भी इसे मरम्मत की ज़रूरत है | वहाँ तलाशने पे भी पुरातत्व विभाग का कोई केयर टेकर नहीं मिला | इस मस्जिद में बाएँ हाथ की तरफ की दीवार में एक चार ऊँगल का पत्थर लगा है जिसमे बारे में यह मशहुर है कि पहले इसे कोई भी नापे तो यह चार ऊँगल ही आता था लेकिन अब ऐसा नहीं है |यहाँ के बारे में इसके सामने के मोहल्ले सोनी टोला के लोग बहुत से बातें बताते हैं जो की इतिहास में नहीं मिलती | जैसे कोई कहता है यहाँ अंग्रेजों ने गोली चलायी उसी के बाद से यह पत्थर अब चार ऊँगल सब के नापने पर नहीं आता | कोई कहता है मस्जिद में मछली और घोडा बना है | ऐसा प्रतीत होता है की यह मछली और घोड़े के निशाँ बाद में बनाई गएँ हैं और उनसे कोई बात कही जा रही है |
इन कहानियों की सत्यता तो प्रमाणित नहीं लेकिन यह अवश्य बताता है की यह एक बहुत ही मशहुर मस्जिद है| यहाँ रमजान के महीने में मोहल्ले के शिया मुस्लिम इफ्तार का इंतज़ाम किया करते हैं और नमाज़ होती है | तथा मुहर्रम के महीने में इलाके के लोग मजलिस ऐ हुसैन किया करते हैं |