Sprawk क्रॉलर
ट्रांस 'machina वेब खनन उपकरण "क्रॉल" वेब साइट के संग्रह भाषाई डेटा इकट्ठा करने में सक्षम है. बहुत पसंद है गूगल खोज के लिए डेटा इकट्ठा, NaturalCrawler शब्द और वाक्यांश के उपयोग के बारे में जानकारी एकत्र करने के लिए, शब्दावली और संदर्भ के लिए प्रयोग किया जाता है. NaturalCrawler से डेटा एकत्र करने के लिए पूरक के लिए प्रयोग किया जाता है ट्रांसmachina'है sprawk सेवा और भी कॉर्पोरेट वेब साइटों 'रिपोर्टिंग पर अपने ऑनलाइन दर्शकों के लिए संचार की स्थिरता पर "भाषा audits प्रदर्शन करने के लिए इस्तेमाल किया जा सकता है.
सारांश
एक वेब क्रॉलर "या" मकड़ी "है कि किसी दिए गए वेब साइट या url का पता लगाने के, साइट से एक डेटाबेस तालिका में पाठ (और वाक्य) निकाल सकते हैं.
पाठ के लिए बाद में इस्तेमाल किया जाएगा:
- शब्द आवृत्तियों की गणना
- कॉमन्स मुहावरों और शब्द संयोजन का निर्धारण
- शब्दों का निर्धारण करने कि सह होते
- संदर्भ प्रसंस्करण और पहचान
मकड़ी इसकी प्रगति को ट्रैक करने में सक्षम हो सकता है:
- पता है, जो पृष्ठों यह पहले से ही संसाधित किया गया है
- जो पृष्ठों अपने "todo सूची" में हैं पता
इसके अलावा, फिल्टर एक प्रति url के आधार पर परिभाषित किया जा अवांछित डेटा को दूर करने में सक्षम होना चाहिए. उदाहरण के लिए, www.dn.se देखते ही, एक फिल्टर से पहले वाक्य निकासी के लिए इतना है कि शब्द "खबर", "खेल", "मौसम" आदि पेज शीर्षक और मेनू निकालता है कि पूर्व लागू किया जाना चाहिए में शामिल नहीं हैं हर पृष्ठ के लिए आवृत्ति मायने रखता है.
मकड़ी एक सर्वर वातावरण में संचालित करने के लिए डिज़ाइन किया गया है क्योंकि यह महत्वपूर्ण सीपीयू और बैंडविड्थ की आवश्यकता होगी. मकड़ी कि JSP / servlets जैसे गतिशील वेब पृष्ठों के माध्यम से अधिक अन्य जावा प्रोग्राम से कहा जा सकता है जावा पुस्तकालयों का एक सेट है.
जब प्रत्येक पृष्ठ का दौरा किया है, निम्नलिखित जानकारी दर्ज कर रहे हैं:
- यूआरएल
- दिनांक / समय का दौरा किया
- पृष्ठ का शीर्षक
- रिक्त की भाषा (रिक्त अज्ञात अगर)
- पैराग्राफ / वाक्य पृष्ठ से निकाले गए
ऑनलाइन इंटरफ़ेस
इंटरफ़ेस:
- नए निर्माण क्रॉल करता है
- वर्तमान क्रॉल की प्रगति को देखने
- वर्तमान पृष्ठों की सूची देखने और खोज खोजा
- लंबित पृष्ठों की सूची देखने और खोज
- देखने के कुछ पन्नों से निकाले वाक्य (उपरोक्त सूची से लिंक)