Ollama और LangChain से प्राइवेट AI नॉलेज बेस चैटबॉट बनाएं: एक प्रैक्टिकल केस स्टडी

क्या आपकी कंपनी या टीम का काफी समय पुराने डॉक्युमेंट्स, प्रोजेक्ट गाइड्स या पॉलिसी फाइल्स में जरूरी जानकारी खोजने में बर्बाद होता है? क्लाउड आधारित टूल्स जैसे ChatGPT का इस्तेमाल करते समय डेटा प्राइवेसी और सेंसिटिव क्लाइंट डेटा लीक होने का डर हमेशा बना रहता है।

इस केस स्टडी में हम एक काल्पनिक लेकिन बेहद व्यावहारिक उदाहरण के जरिए समझेंगे कि कैसे एक 15 सदस्यों वाली डिजिटल एजेंसी (TechVeda) ने अपने 300+ इंटरनल टेक्निकल मैनुअल्स और पॉलिसी डॉक्युमेंट्स पर एक पूरी तरह प्राइवेट और ऑफलाइन AI चैटबॉट तैयार किया। इसके लिए Ollama, LangChain और ChromaDB का उपयोग किया गया।

केस का संदर्भ: समस्या क्या थी?

TechVeda नाम की एजेंसी सॉफ्टवेयर डेवलपमेंट और क्लाउड कंसल्टिंग का काम करती है। नई जॉइनिंग वाले डेवलपर्स और सपोर्ट एग्जीक्यूटिव्स को अक्सर पुराने क्लाइंट प्रोजेक्ट्स, आर्किटेक्चर डायग्राम्स और कोडिंग स्टैंडर्ड्स को समझने के लिए दर्जनों PDF फाइल्स छाननी पड़ती थीं।

मुख्य चुनौतियां:

• डेटा प्राइवेसी: क्लाइंट के गैर-सार्वजनिक (Confidential) कोड और SLA नियम पब्लिक क्लाउड AI (जैसे OpenAI/Anthropic API) पर अपलोड नहीं किए जा सकते थे।
• समय की बर्बादी: एक सामान्य सवाल (जैसे- "क्लाइंट X के डेटाबेस बैकअप की फ्रीक्वेंसी क्या है?") का जवाब खोजने में 20-30 मिनट लगते थे।
• बजट सीमा: प्रति-टोकन API कॉलिंग का लगातार खर्च उठाने के बजाय वन-टाइम हार्डवेयर सेटअप प्राथमिकता थी।

समाधान आर्किटेक्चर: RAG + लोकल LLM

इस समस्या को हल करने के लिए Retrieval-Augmented Generation (RAG) पाइपलाइन को चुना गया। इसमें सभी डॉक्युमेंट्स को वेक्टर एम्बेडिंग्स में बदलकर लोकल डेटाबेस में सुरक्षित रखा जाता है, और जब कोई यूजर सवाल पूछता है, तो केवल संबंधित जानकारी निकालकर लोकल LLM (Llama 3) को भेजी जाती है।

उपयोग किए गए ओपन-सोर्स टूल्स:

• Ollama: लोकल मशीन पर Llama 3 8B मॉडल को कुशलतापूर्वक चलाने के लिए।
• LangChain: डॉक्युमेंट लोडिंग, चंकिंग और AI पाइपलाइन को जोड़ने वाला फ्रेमवर्क।
• ChromaDB: लोकल वेक्टर डेटाबेस, जो बिना किसी बाहरी सर्वर के मशीन पर ही डेटा स्टोर करता है।
• Nomic-Embed-Text: तेज और सटीक टेक्स्ट एम्बेडिंग जनरेट करने वाला मॉडल।

स्टेप-बाय-स्टेप इम्प्लीमेंटेशन प्रक्रिया

स्टेप 1: लोकल एनवायरनमेंट और मॉडल सेटअप

सबसे पहले सिस्टम (16GB RAM वाले वर्कस्टेशन) पर Ollama इंस्टॉल किया गया और जरूरी मॉडल्स डाउनलोड किए गए:

ollama pull llama3:8b

ollama pull nomic-embed-text

स्टेप 2: डॉक्युमेंट्स को लोड और चंक (Chunk) करना

सैकड़ों PDF फाइलों को सीधे AI मॉडल को नहीं दिया जा सकता क्योंकि मॉडल की कॉन्टेक्स्ट विंडो सीमित होती है। LangChain के PyPDFDirectoryLoader और RecursiveCharacterTextSplitter की मदद से सभी फाइलों को 500-टोकन के छोटे टुकड़ों में बांटा गया, जिसमें 50 टोकन का ओवरलैप रखा गया ताकि संदर्भ न टूटे।

स्टेप 3: वेक्टर एम्बेडिंग्स और लोकल स्टोरेज

टेक्स्ट चंक्स को Nomic Embeddings की मदद से मैथमैटिकल वेक्टर्स में बदला गया और ChromaDB में सेव किया गया। यह डेटाबेस डिस्क पर ही स्टोर रहता है, जिससे कोई भी डेटा नेटवर्क से बाहर नहीं जाता।

स्टेप 4: सटीक जवाब के लिए प्रॉम्प्ट और क्वेरी फ्लो डिजाइन करना

सिस्टम को भ्रम (Hallucination) से बचाने के लिए एक कड़ा सिस्टम प्रॉम्प्ट सेट किया गया:

"आप TechVeda के इंटरनल नॉलेज असिस्टेंट हैं। यूजर के सवाल का जवाब केवल नीचे दिए गए Context के आधार पर दें। यदि उत्तर डॉक्युमेंट्स में उपलब्ध नहीं है, तो साफ कहें कि 'मुझे यह जानकारी उपलब्ध फाइलों में नहीं मिली' और अपनी तरफ से कोई अनुमान न लगाएं।"

परिणाम: 30 दिन बाद क्या बदलाव देखा गया?

इस लोकल AI असिस्टेंट को एक साधारण वेब इंटरफेस (Streamlit) के जरिए पूरी टीम के लोकल नेटवर्क पर उपलब्ध कराया गया। 1 महीने के इस्तेमाल के बाद निम्नलिखित वास्तविक परिणाम सामने आए:

• सर्च टाइम में 80% कमी: जिस जानकारी को खोजने में पहले 20 मिनट लगते थे, अब वह 3 से 5 सेकंड में सटीक पेज रेफरेंस के साथ मिल जाती है।
• जीरो क्लाउड कॉस्ट: लोकल हार्डवेयर पर चलने के कारण प्रति-क्वेरी कोई API बिलिंग नहीं हुई।
• 100% डेटा सिक्योरिटी: सभी सेंसिटिव क्लाइंट SLA और इंटरनल कोड गाइडलाइंस ऑफिस के लोकल सर्वर पर सुरक्षित रहीं।
• ऑनबोर्डिंग स्पीड दोगुनी: नए इंटर्न्स और डेवलपर्स को सीनियर डेवलपर्स का समय बर्बाद किए बिना तुरंत उत्तर मिले।

इस सेटअप के दौरान सीखी गई 3 जरूरी बातें

1. चंक साइज बहुत बड़ा न रखें: शुरुआत में 1500 टोकन का चंक रखा गया था, जिससे मॉडल को अप्रासंगिक जानकारी मिलती थी और जवाब धीमा हो जाता था। 500 टोकन सबसे स्थिर साबित हुआ।
2. Temperature को 0.1 या 0.2 रखें: नॉलेज बेस चैटबॉट्स में क्रिएटिविटी की नहीं, सटीकता की जरूरत होती है। कम टेम्परेचर रखने से AI मनगढ़ंत उत्तर नहीं बनाता।
3. एम्बेडिंग मॉडल का चयन महत्वपूर्ण है: साधारण मॉडल की तुलना में डेडिकेटेड एम्बेडिंग मॉडल (जैसे nomic-embed) इस्तेमाल करने से सर्च एक्यूरेसी 40% बढ़ गई।

निष्कर्ष

यह केस स्टडी साबित करती है कि छोटे बिजनेस और तकनीकी टीमों को AI के फायदे उठाने के लिए महंगे क्लाउड सब्सक्रिप्शन या डेटा प्राइवेसी से समझौता करने की जरूरत नहीं है। ओपन-सोर्स टूल्स जैसे Ollama और LangChain की मदद से आप अपने सामान्य हार्डवेयर पर भी एक बेहद सुरक्षित और उपयोगी AI नॉलेज असिस्टेंट तैयार कर सकते हैं।

अक्सर पूछे जाने वाले सवाल (FAQ)

1. इस तरह के लोकल AI सेटअप के लिए न्यूनतम हार्डवेयर क्या चाहिए?

Llama 3 (8B) और RAG पाइपलाइन को आराम से चलाने के लिए कम से कम 16GB RAM और आधुनिक 6-Core CPU (या 6GB+ VRAM वाला डेडिकेटेड Nvidia GPU) पर्याप्त है।

2. क्या इसके लिए हमेशा इंटरनेट कनेक्शन की जरूरत होती है?

नहीं, एक बार मॉडल और आवश्यक Python लाइब्रेरीज डाउनलोड हो जाने के बाद यह पूरी तरह ऑफलाइन मोड में काम करता है।

3. क्या हम PDF के अलावा Word या Excel फाइल्स भी इसमें जोड़ सकते हैं?

हाँ, LangChain में DOCX, CSV, Excel, TXT और Markdown फाइल्स को लोड करने के लिए पहले से बिल्ट-इन लोडर्स मौजूद हैं।

4. अगर नई फाइल्स आती हैं तो क्या पूरा डेटाबेस फिर से बनाना होगा?

नहीं, RAG आर्किटेक्चर की खूबी यह है कि आप नई फाइल्स को मौजूदा ChromaDB वेक्टर स्टोर में आसानी से 'अपेंड' (जोड़) कर सकते हैं बिना पूरा डेटाबेस दोबारा प्रोसेस किए।