جستجو در تالارهای گفتگو

مشکلات موتورهای جستجوگر مشکلات مختلفی در استفاده از موتورهای جستجوگری که بر اساس کلمات کلیدی کار میکنند، وجود دارد: مقدار زیادی اطلاعات مرتبط با جستجو و حجم زیادی از اطلاعات غیر مرتبط در نتایج جستجو نمایش داده می شوند. بنابراین این جستجو ها به اندازه کافی دقیق نیستند. بعضی اوقات کاربر اصلا اطلاعات مرتبط با جستجوی کاربر را ارائه نمی کند. بعضی از صفحات وب ممکن است از واژگان متفاوتی استفاده کرده باشند بنابراین کاربر نمی تواند آنها را پیدا کند و در اولین جستجوی خود به آنها برسد و باید کلمات کلیدی دیگر را جستجو کند زیرا نتایج جستجو به صورت زیادی حساس به واژگان هستند. نتایج جستجو، صفحه های وب مجزا هستند. مردم باید جستجو های دیگری انجام دهند تا اطلاعات دیگری را بیابند. در نهایت اطلاعات مورد نیاز خود را از صفحاتی که می یابند استخراج کرده و در همدیگر ادغام کنند و استفاده کنند. ابزار های نرم افزاری برای اینکه جملات و کلمات را بیابند، می توانند محتوا را تجزیه کنند. آنها می توانند کلمات را در یک متن جدا کنند و بشمارند و متون را پردازش کنند ولی هنوز قابلیت استخراج اطلاعات آنها از صفحات محدود است. یک راه حل بر پایه هوش مصنوعی است ولی این روش نیز با پیشرفت هایی که داشته است نمی تواند همه نیازهای انسان را برآورده کند. راه حل دیگر این است که محتوای صفحات وب قابل فهم برای ماشین ها و نرم افزار ها شوند که در شاخه وب معنایی (semantic web) قرار می گیرد. می توانیم دو روش برای استخراج داده های ساخت یافته از صفحات وب نام ببریم: استخراج داده ها از صفحات موجود در وب: در این راه باید صفحات وب را به همان صورتی که هستند، قبول کنیم. این یعنی صفحات وب داده های ساختاریافته را در خود به صورتی غیر قابل خواندن برای ماشین نمایش دهند و خزنده های وب مجبور باشند این داده ها را در همین وضعیت استخراج کنند. بعضی از تحقیقات روی چنین روش هایی تمرکز دارند. آنها می خواهند مقادیری که احتمالا در دیتابیس ها ذخیره شده اند را به صورت اتوماتیک از صفحات وبی که بر اساس یک قالب (template) درست شده اند یا از درون جداول (table) ها و لیست های HTML استخراج کنند. این تحقیقات در حوزه دیتابیس و هوش مصنوعی (AI) هستند که برای حل مسئله استخراج داده ها از صفحات وب فعالیت دارند. این روش به منابع و الگوریتم های پیچیده ای نیاز دارد و با چالش های تکنیکی مواجه است: استخراج داده ها دشوار است داده ها معمولا به صورت آشفته و پراکنده هستند وب معنایی (semantic web): این روش برای ساده کردن استخراج داده ها برای خزنده های وب به کار می رود. مدیران سایت ها باید داده های ساختاریافته را به صورتی که توسط ماشین ها قابل فهم باشد به صفحات اضافه کنند. آنها باید نشانه های اضافی در صفحه قرار دهند تا راهنمایی برای یافتن داده های ساختاریافته باشد. بنابراین همانطور که محتوای وب برای انسان ها قابل استفاده است، برنامه های کامپیوتری به خوبی آنها را می فهمند. در نهایت این برنامه ها مانند موتورهای جستجوگر، بیشتر برای مردم مفید خواهند بود. در این مقاله تمرکز روی روش دوم یعنی وب معنایی است. تکنولوژی های کنونی برای وب معنایی به همراه بعضی از جزئیات آن در اینجا معرفی می شود. هدف نهایی مقایسه این تکنولوژی ها با یکدیگر و تعیین بهترین روش برای استفاده مدیران سایت ها است. تکنولوژی های کنونی در وب معناییاکنون تعداد محدودی تکنولوژی برای افزودن داده های ساختاریافته به صفحات وب وجود دارند مانند RDFa، Microformats، Microdata و JSON-LD. در این مقاله، تمرکز بر روی RDFa، Microformats و Microdata است. خلاصه ای از این تکنولوژی ها در بخش های آینده توضیح داده می شود. در نهایت این تکنولوژی ها با یکدیگر مقایسه می شوند. RFDaمتد RDFa مخفف Resource Description Framework in Attributes به معنای چارچوب توصیف منابع در خصوصیت ها است. این متد یک تکنیک است که یک نوع فرمت serialization برای افزودن داده های ساختاریافته به صفحات HTML به صورت مستقیم تعریف می کند. این تکنیک توسط W3C از سال 2004 تحت توسعه است. مدیران سایت ها ی توانند داده ها را برای ماشین ها نظیر مرورگر ها و سایر برنامه ها قابل خواندن سازند که از طریق خصوصیت های تگ های HTML انجام می شود. آنها می توانند آیتم های ساده صفحه مانند عنوان و آیتم های پیچیده صفحه مانند یک شبکه اجتماعی کامل در صفحات وب را نشان گذاری کنند.نسخه جدید RDFa موسوم به RDFa 1.1 از XHTML و HTML5 پشتیبانی می کند. در واقع می توان از RDFa 1.1 برای هر سند مبتنی بر XML مانند SVG استفاده کرد. میکروفرمتز (Microformats)روش Microformats یک راه ساده برای معنا بخشیدن به صفحات وب است چون بار یادگیری یک زبان پیچیده و جدید را ندارد. این روش استفاده از عناصر ساده در HTML را ممکن می کند. آنچه که در Microformats، مشخص می کند که یک عنصر صفحه حاوی داده های ساختاریافته است، خصوصیت class آن عنصر است. بنابراین این روش به سادگی، برنامه نویسان وب را کمک می کند تا محتوایی تولید کنند که هم برای انسان قابل فهم باشد و هم برای برنامه های اتوماتیک برای یافتن داده های ساخت یافته قابل استفاده باشد.میکروفرمت های معروف عبارتنداز: hCalendar: برای داده هایی که درباره تقویم هستند بر اساس سند RFC2445. hCard: برای داده هایی از جنس اشخاص، سازمان ها و مکان ها بر اساس RFC2426. Geo: برای مختصات جغرافیایی. hListing: برای آگهی های طبقه بندی شده. hResume: برای اطلاعات رزومه. hReview: برای اطلاعات محصولات. hRecipe: راهنمای تهیه غذا و آشپزی. Species: نام های طبقه بندی شده گونه ها. XFN: برای مدل کردن روابط بین انسان ها. میکرو دیتا (Microdata)استفاده از میکرودیتا به معنای استفاده از vocabulary است. این روش خیلی شبیه RDFa است. هر vocabulary (فرهنگ لغات) تعدادی واژه و عبارت را تعریف می کند تا به صورت نوع یک آیتم به کار رود. یک واژه از vocabulary که به آن term گفته می شود، باید در یک آدرس اینترنتی تعریف شود. فلسفه پشت استفاده از آدرسه های اینترنتی در اینجا نیز شبیه vocabulary های RDFa است که در بخش های قبل در باره آن صحبت کردم. آدرسهای اینترنتی در اینجا استفاده می شوند تا در تمام دنیا واژگان یکتایی داشته باشیم. بنابراین هیچ تضادی بین vocabulary ها نخواهیم داشت. هر کسی به آسانی می تواند vocabulary های جدیدی را بر اساس مستندات W3C برای میکرو دیتا، تعریف کند. ===================== موتورهای جستجوگر وب و خزنده های وب باید داده های ساخت یافته را در صفحات وب استخراج کنند. مدیران سایت ها می توانند راهنماهای معنایی به محتوای صفحات وب خود اضافه کنند تا داده های ساختار یافته را مشخص کنند. بنابراین موتورهای جستجوگر می توانند داده های قابل خواندن توسط ماشین را در صفحات وب یافته و آنها را به شکل موثری استخراج کنند. میکروفرمتز، میکرودیتا و RDFa روش های معمول در وب معنایی برای افزودن داده های ساخت یافته به صفحات وب هستند.مقایسه RDfa، Microdata و Microformatsهر تکنولوژی که برای افزودن داده های ساخت یافته به محتوای وب استفاده می شود، مزایا و معایب خاصی خودش را دارد. مقایسه سه روش RDfa و Microdata و Microformats در گروه های زیر تقسیم بندی شده است: فرهنگ واژگان (vocabulary terms): این بخش مهمترین ضعف Microformats می باشد زیرا فقط یک فرهنگ واژگان با تعداد محدودی واژه دارد. هر دو روش Microdata و RDFa این مشکل را ندارند چون می توانند فرهنگ واژگان دلخواهی را استفاده کنند. فرهنگ واژگان برای Microdata و RDFa بر خلاف Microformats قابل توسعه است. هر فردی می تواند vocabulary های جدیدی را برای RDFa و Microdata تعریف کند. برنامه نویسان و مدیران سایت ها برای استفاده از Microformats به دلیل محدودیت فرهنگ واژگان خیلی محدود هستند. حمایت کنندگان اصلی: گوگل، بینگ، یاهو و یاندکس سایت schema.org را معرفی کرده اند که تمرکز آن روی Microdata است. گوگل بزرگترین موتور جستجوگر اینترنتی دنیا، استفاده از میکرودیتا را توصیه می کند. حمایت کننده مشهور RDFa، ف-ی-س ب-و-ک مشهورترین شبکه اجتماعی در جهان است. پروتکل گراف باز ف-ی-س ب-و-ک (Facebook open graph protocol3) بر اساس RDFa قرار دارد. زبان های مقصد: میکروفرمتز برای HTML و XHTML توسعه یافته است ولی برای HTML5 نیز قابل استفاده می باشد. روش RDFa از تمام فایل های XML مانند XHTML1، HTML4، HTML5، XHTML5، XML، SVG، ePubو OpenDocument پتشتیبانی می کند. میکرودیتا به صورت کامل برای HTML5 و XHTML5 توسعه یافته است. پیچیدگی : میکروفرمتز برای فهم، ساده و آسان است. RDFa بسیار پیچیده تر سایر روش ها است. میزان پیچیدگی میکرودیتا، چیزی بین RDFa و Microformats است. سطح پیچیدگی رابطه مستقیم با پشتیبانی سناریوهای علامت گذاری داده های ساخت یافته دارد. کاربرد و محبوبیت: میکروفرمتز ابزار های مفیدی برای کاربران دارد در حالیکه سایر تکنولوژیها در موقعیت کنونی برای کاربران سایت ها مستقیما فایل استفاده نیستند. برای نمونه افزونههای زیادی برای فایرفاکس وجود دارد که داده های ساخت یافته علامت گذاری شده با میکروفرمتز را از صفحات وب استخراج می کنند. یک تحلیل نشان داده است که آپدیت های RDFa و Microdata افزایش چشمگیری داشته است در حالیکه رشد عرضه داده ها با میکروفرمتز ثابت و یا در حال کاهش است. انواع آیتم ها و خصوصیات آیتم ها: در هر دو روش میکرودیتا و RDFa، انواع آیتم ها و خصوصیات آنها به صورت URL هستند. این به ما کمک می کند که آنها را به صورت جهانی بشناسیم. استفاده از آدرسهای اینترنتی (URL) توسط میکروفرمتز پشتیبانی نشده است. استفاده از attribute های جدید: میکروفرمتز به سادگی از تگ های HTML و attribute های آنها برای علامت گذاریه داده های ساخت یافته استفاده می کند ولی هر دو روش RDFa و میکرودیتا، attribute های جدیدی را برای انجام این کار تعریف کرده اند. همین موضوع، نقش مهمی در پیچیدگی استفاده از این تکنولوژی ها بازی می کند. بنابراین RDFa و Microdata بسیار پیچیده تر از Microformats هستند. میکروفرمتز از attribute ای که همه تگ های می توانند داشته باشند به اسم class استفاده می کند که حتی می تواند به تضاد با قسمت های دیگر صفحه منجر بشود. این مقایسه نشان می دهد که هر تکنولوژی مزایا و معایب خاص خود را دارد. میکروفرمتز برای استفاده ساده و آسان است ولی در ارجاع به فرهنگ واژگان بسیار محدود است و قابل توسعه نمی باشد.روش های میکرودیتا و RDFa بسیار پیچیده تر از میکروفرمتز هستند ولی محدود به واژگان بسیار کم نیستند و توسط هر فردی در دنیا قابل توسعه هستند. میکرودیتا استاندارد جدیدتری است که برای نسخه جدید HTML یعنی HTML5 در حال توسعه است. یک حالت توازان قابل چشم پوشی در سادگی استفاده و قابلیت توسعه، میان RDFa و میکرودیتا وجود دارد. موتورهای جستجوگر مشهور مانند گوگل، یاهو و بینگ استفاده از Microdata را توصیه کرده اند. بنابراین برای کاربرد های آینده، میکرودیتا می تواند انتخاب بهتری برای افزودن داده های ساخت یافته به محتوای صفحات وب باشد. بنابر مقایسه ای که در این سلسله مقالات به دست آمد، پیش بینی می شود که استفاده از میکرودیتا در آینده افزایش می یابد. دنیای وب که به سمت HTML5 و ابداعات جدید آن به پیش می رود، به روش بسیار جدیدتری مانند میکرودیتا برای افزودن داده های ساختار یافته به صفحات وب، نیاز دارد.