دانلود مقالات همه رشته ها

A Comparison of Document Clustering Techniques

چکیده :

این مقاله به بررسی نتایج حاصل از مطالعات تجربی روش های متداول خوشه بندی اسناد (داکیومنت) می پردازد. به خصوص در این مقاله، دو روش اصلی خوشه بندی داکیومنت به نام های خوشه‌بندی سلسله مراتبی متراکم و روش k-mean را بررسی و مقایسه می کنیم. (در روش k-means از الگوریتم استانداردk و متغیر آن وbisecting K-means استفاده کرده ایم). خوشه بندی سلسله مراتبی اغلب به عنوان روش خوشه بندی با کیفیت بهتر به تصویر کشیده می شود، اما به دلیل پیچیدگی های زمانی کوادراتیک یا درجه دوم آن محدودیت هایی هم دارد. در مقابل، روش k-means و متغیرهای آن دارای پیچیدگی های زمانی بصورت خطی است اما خوشه های درجه دوم و پایین تری بوجود می آورد. برخی مواقع، روش سلسله مراتبی و k-means به منظور دست یابی به بهترین روش با هم ترکیب می شوند. با این حال، نتایج بدست آمده از تحقیق ما حاکی از این است که روش k-meansbisectingبهتر از استاندارد k-means است و بهتر و مناسب تر از روش سلسله مراتبی است که ما معیارهای ارزیابی خوشه را آزمایش کردیم. توضیحاتی برای این نتایج بدست آمده داریم که مبتنی بر تجزیه و تحلیل جزئییات الگوریتم خوشه بندی و ماهیت داده های داکیومنت ارائه شده است.

1) پیش زمینه و انگیزه و هدف تحقیق

خوشه بندی اسناد (داکیومنت) برای استفاده در حوزه های متعددی ازجمله معنای متن و بازیابی اطلاعات بررسی شده است. درابتدا، روش خوشه بندی اسناد (داکیومنت) در جهت بهبود دقت و یا فراخوان در سیستم های بازیابی اطلاعات [Rij79, Kow97] بررسی شد و روشی کارآمد برای این منظور مشخص گردید[BL85]. به تازگی خوشه بندی به منظور استفاده در مرور یک مجموعه ای از اسناد (داکیومنت) ارائه می شود [CKPT92] و یا در سازماندهی نتایج که بواسطه یک موتور جستجو برای کاربر مفید واقع می شود. [ZEMK97]. خوشه بندی اسناد (داکیومنت) همچنین برای تولید خودکار خوشه های سلسله مراتبی استفاده شده است [KS97]. (نسل خودکار رده بندی اسناد (داکیومنت) وب همانند موارد تولیدی یاهو (www. yahoo. com) اغلب به عنوان یک هدف ذکر شده است.). یک روش تاحدودی متفاوت هم به این صورت است که خوشه های طبیعی در رده بندی سند در حال حاضر موجود (یاهو) وجود دارد. [AGY99]. و پس از آن از این خوشه ها به منظور تولید یک رده بندی سند موثر برای اسناد (داکیومنت) جدید استفاده می شود. خوشه بندی سلسله مراتبی متراکم و روش k-means دو روش خوشه است که معمولا برای خوشه بندی سند استفاده می شود. خوشه بندی سلسله مراتبی گرچه کندتر است اما اغلب از روش k-means بهتر و کاربردی تر است. مطالعه شناخته شده گسترده ای در این زمینه وجود دارد که در [DJ88] بتفصیل بیان شده است، این مباحث نشانگر این است که خوشه بندی سلسله مراتبی نسبت به k-means ارجح تر است، گرچه باید به این نکته توجه داشته باشید که این نتایج از طریق داده های غیر داکیومنت بدست آمده است. در حوزه داکیومنت، پراکندگی / جمع آوری [CKPT92]، سیستم بازبینی داکیومنت مبتنی بر خوشه بندی با استفاده از یک روش ترکیبی که شامل هر دو روش خوشه بندی ذکر شده است انجام می گیرد. K-means روشی است که بعلت کارآمدی آن مورد استفاده قرار می گیرد و روش خوشه بندی سلسله مراتبی متراکم به دلیل کیفیت آن مورد توجه است. تحقیقات اخیر در ایجاد سلسله مراتب اسناد (داکیومنت) [LA99] استفاده از برخی از تکنیک های خوشه بندی [CKPT92] را ملزم ساخته و نتیجه این تحقیقات نشان می دهد که خوشه بندی سلسله مراتبی از روش K-means بهتر است. اگرچه این نتایج تنها در مورد یک مجموعه داده واحد کاربرد دارد و یکی ازنتایج عمده ای تحقیق ما محسوب نمی شود.

چکیده:

چکیده مقاله:

در جامعه ی اطلاعاتی امروز شاهد روند رو به رشد شرکت های الکترونیکی و ذخیره سازی اطلاعات آنها در پایگاه های داده ای بزرگ هستیم. استخراج داده سبب دانش افروزی میشود. استخراج اطلاعات میتواند مفاد بارزشی از پایگاه داده ها آشکار کند که به دانش افروزی و بهبود تجارت هوشمند کمک میکند. در این مقاله به این موضوغات می پردازیم که تکنیک های استخراج داده ای چه تاثیری بر سیستم های پایگاه داده ای دارند، چگونه میتوان با استفاده از آنها به اطلاعات مورد نظر دست یافت، به چه ابزارهایی برای استفاده از آنها نیاز است، طرفداران و منتقدان اصلی آنها چه کسانی هستند. با تمامی این تفاسیر برآنیم تا نشان دهیم چگونه میتوان تکنولوژی استخراج داده ای را در تکنیک های آن گنجاند.

Recent Developments in Document Clustering

این گزارش مروری کوتاه بر وضعیت فعلی پژوهش  های انجام گرفته بر خوشه بندی داکیومنت دارد و پیشرفت های اخیر در این حوزه را معرفی می کند. الگوریتم های خوشه بندی با دو سناریو فرضی در ذهن در نظر گرفته می شود: خوشه بندی query آنلاین با محدودیت کارآمدی شدید و خوشه بندی آفلاین با تاکید بر صحت انجام. تجزیه و تحلیل مقایسه ای الگوریتم ها همراه با یک جدول خلاصه ویژگی های مهم انجام شده و مشکلات باز و همچنین تحقیقات آتی در این حوزه مورد بحث قرار می گیرد.

محتوا

1. 1.      مقدمه
2. 2.      خوشه بندی خوب، بد و زشت
3. 3.      مدل فضای برداری

 3.1 پیش‌ پردازی

 3.2 مثال

1. 4.      توسعه k-means

 4.1 k-meanکروی آنلاین

  4.2 k-means کرنل

1. 5.      الگوریتم زایشی

 5.1 مدل گاسین

5.2 حداکثر انتظار

 5.3 مدل میزس-فیشر

 5.4 k-means مبتنی بر مدل

1. 6.      خوشه بندی طیفی 

6.1 خوشه تقسیم و ادغام

 6.2 خوشه بندی fuzzyفازی

1. 7.      کاهش ابعادسنجی

7.1 تجزیه و تحلیل مولفه های اصلی

7.2 تجزیه ماتریس نامنفی

  7.3کوکلاسترینگ طیفی نرم

 7.4 لینگو

1. 8.      مدل مبتنی بر عبارت

 8.1 خوشه بندی درختی

8.2 نمودار ضمیمه داکیومنت

1. 9.      تحلیل مقایسه ای

 9.1 خوشه بندی جستجو Query

9.2 خوشه بندی مجموعه    

10.  نتیجه گیری

   مقدمه

خوشه بندی داکیومنت و یا متن زیر مجموعه ای از حوزه بزرگتر از خوشه بندی داده ها است که مفاهیم را از  زمینه های بازیابی اطلاعات (IR)، پردازش زبان طبیعی (NLP)، و یادگیری ماشین (ML) قرض می گیرد. خوشه بندی اسناد از این پس به سادگی به عنوان خوشه بندی معرفی شده است.

فرایند خوشه بندی با هدف کشف گروه بندی های طبیعی است و بنابراین  یک نمای کلی از رده ها(موضوعات) در مجموعه اسناد ارائه می دهد. در زمینه هوش مصنوعی،به عنوان یادگیری ماشین بدون سرپرست شناخته شده است. خوشه بندی را نباید با طبقه بندی اشتباه گرفت. در مسئله طبقه بندی شماره رده و ویژگی های آن بصورت قیاسی شناخته شده است و اسناد در این رده اختصاص داده است. در مقابل، در مسئله خوشه بندی همانطور که در شماره1 است ویژگی ها و یا عضویت (ترکیب) هر رده از پیش شناخته شده است. این تفاوت در شکل 1 نشان داده شده است. طبقه بندی مثالی از یادگیری ماشینی نظارت شده است.

چکيده:

در اين مقاله ما توضيح ميدهيم که Document Clustering براي مجموعه هاي بزرگ بوسيله Map-Reduce چگونه ميتواند به طور موثر اجرا شود. Hadoop یک چارچوب مناسب و انعطاف پذیر برای محاسبات توزیع شده  خوشه ای از ماشین آلات کالا پياده سازي و فراهم می کند. در اين مقاله طراحی و پیاده سازی tfidf والگوریتم K-Means در Map Reduce ارائه شده است. از همه مهمتر، کارایی و اثربخشی از الگوریتم بهبود یافته است و در نهایت، ما در مورد برخي نتايج بحث های مرتبطي خواهيم داشت.

واژه هاي مرتبط :  Map-Reduce, tfidf, K-Means clustering

مقدمه :

با توسعه سریع اینترنت، حجم عظیمی از اسناد باید در یک زمان کوتاه پردازش شود. تحقیق در وب کاوی در مورد  روش مقیاس پذیر و قابل انطباق با اسناد جمعی تمرکز دارد [1]. ذخیره سازی و محاسبات جرم داده های اسناد در یک سیستم توزیع شده یک روش جایگزین است [2]. در محاسبات توزیع شده، مشکل تقسيم وظایف است، به طوري که هر کدام توسط یک کامپیوتر حل شود. با این حال، بسیاری از مشکلات مانند برنامه ریزی کار، تحمل خطا و ارتباط بیندستگاه برای برنامه نویسان با تجربه کم، با سیستم موازی و توزیع شده بسیار مشکل است. در این مقاله ما تجربه ها و یافته های Document Clustering را بر اساس  Map-Reduce توصیف می کنيم. Map-Reduce[3] ، یک چارچوب است که برنامه نویسان تنها نیاز به مشخص نمودن تابع Map  و Reduce  دارند تا وظيفه هاي بزرگ را به صورت موازي در مورد خوشه هاي بزرگ بر روي ماشین آلات کالا اجرا نمايند. در مرحله پيش پردازش سند ، ما يک الگوريتم تکرار شونده براي محاسبه وزن tfidf در Map-Reduce  به منظور ارزیابی مهمبودن یک دوره براي  یک سند در یک مجموعه طراحي ميکنيم. سپس يک Mean Cluster در Map Reduceاجرا مي شود تا تمام اسناد رو به k خوشه تقسيم کند که هر سند متعلق به يک خوشه با همين معنا است. از همه مهمتر، در می یابیم که نادیده گرفتن شرایط با بالاترین فرکانس سند نمی تواند سرعت الگوریتم ما در Map-Reduce را بهبود ببخشد ، اما دقت خوشه سند را کمی بهبود مي بخشد. آزمایش نشان می دهد که روش مار رشدتقریبا خطی  در زمان مورد نیاز در حال اجرا  با افزایش اندازه مجموعه برای مجموعه هاي حاوی  چند ده هزار سند خواهد داشت.

تحمل خطا در سیستم در این فصل تجزیه وتحلیل برای 3 سیستم عملیاتی VA*IVMS وBM/MVS و GUARDIAN می باشد. یزاساس اندازه گیری این سیستم ویزگی های اساسی  خطا در نرم افزار بررسی شده است. تحمل خطا در سیستم عامل ناشی از استفاده از بهبود می باشد. دو سطح از مدل های توسعه یافته به تجزیه وتحلیل خطا و بازیابی فرایندها در داخل سیستم یک سیستم عامل را در میان چندین نمونه از سیستم عامل های در حال اجرا در یک محیط توزیع شده است. ایناندازه گیری ها نشان می دهد که استفاده از جفت فرایند در سیستم ها  که در اصل برای تحمل خرابیهای سخت افزاری در نظرگرفته شده است. اجازه می دهد تا سیستم در حدود 70% از نقص در نرم افزار که به شکست پردازنده منجر می شود. را تحمل کند. اتصال  ضعیفی بین پردازنده ها به دلیل عدم پشتیبان گیری متفاوت از اجزا اصلی دلیل عمده برای اجرای نرم افزار تحمل خطا است. سیستم های IBM/MV تقریبا دو برابر زمانی روال بهبود را طی می کنند و در   مقایسه با مواردی که هیچ روال بهبودی ندارند در دسترس هستند. با این حال حتی زمانی که  که بهبود ارائه نشده است تقریاب با احتمال 50% نارسایی در سیستم وجود دارد. 

فهرست سرفصل ها :

چکیده

مقدمه

فصل اول:

معرفی محل کارآموزی

معرفی کل کانون فرهنگی هنری

شرح کلی فعالیت های که در آن کانون انجام می شود

فعالیت های مرتبط با رشته تحصیلی

فصل دوم:

معرفی فعالیت های انجام شده

فعالیت هایی که آموزشهای لازم را دیدم و تجربه کردم

فعالیت هایی که ب عنوان مدرس آموزشی انجام دادم

آموزش وبلاگ نویسی به اعضا

آموزش word

آموزش power point

آموزش جستجو در اینترنت

فصل سوم :     مشکلاتی ک در طول دوره با آنها روبرو شدم

مشکل غیر عادی شدن ویندوز

مشکل کند شدن ویندوز

مشکل کار نکردن چاپگر

مشکل خروجی چاپگر لیزری یک قسمت کمرنگ و یک قسمت پررنگ

بوق های کامپیوتری

کار نکردن مانیتور کامپیوتر

منابع

شرح مختصر : فعالیت اصلی کانون که مرتبط با رشته کامپیوتر می باشد عبارت است از ارائه خدمات کامپیوتری به اعضاء نظیر ارائه خدماتی مشابه کافی نت مانند استفاده از اینترنت، تحلیل طراحی ساخت و پیاده سازی سامانه های کاربردی نرم افزاری و سخت افزاری و ارائه آموزش های فنی و حرفه ای مرتبط. کانون قادر به انجام سایر فعالیت های آموزشی، مشاوره ای، همکاری در فروش و ارائه محصولات نرم افزاری میباشد و همچنین کارهایی مانند : عیب یابی سیستم ، ارتقاء سیستم ، نصب ویندوز های گوناگون ، نصب برنامه های راه انداز ، نصب تمامی برنامه های کاربردی ، تعمیر برخی قطعات سیستم و تایپ ب کمک اعضاء و همچنین برای اعضاء از جمله فعالیت های کانون میباشد.از مزایای کارورزی در این کانون این بود که همه روزها حتی روزهای تعطیل فعالیت داشتن و اکثر فعالیت هایشان در روزهای تعطیل بود زیرا تعداد زیادی از اعضا دانش آموزان و دانشجویان بودند که اجرای برنامه های آموزشی کانون در این زمان ها برای آنان مفید و قابل اجرا بود. دیگر مزیت این بود زمان حضور ۸ تا ۳ بعداز ظهر بود و این امکان برای کارآموز را فراهم می آورد که بقیه روز را صرف کارهای روزانه شخصی کند. مزیت دیگر این بود کارآموز اجباری بر حضور در روزهای پشت سر هم نداشت البته من به خاطر داشتن پروژه سعی کردم سریع این دوره را پشت سر بگذارم و همچنین در خود کانون یه وقتایی ک کاری برای انجام نبود آموزش ها و مطالب لازم هم برای کارآموزی و هم برای پروژه ام را آماده میکردم. یک مزیت دیگر این بود که بخشی از کارآموزی ام را به عنوان یک مدرس مشغول آموزش بودم و این باعث شد که من هم اطلاعاتی را به دیگران منتقل کنم و هم این که اطلاعات خودم یادآوری شود و هم این که فن بیان قوی تری پیدا کنم.هم چنین بخشی از کارآموزی با امتحانات ترم تداخل داشت که توانستم بعد از امتحانات آن را به پایان برسانم. ودر آخر این که فرم های کار آموزیم را به عنوان تمرین به کسانی که آموزش میدیدن دادم تا به عنوان تمرین آنها را درست نمایند.

چکیده :

 یک روش جدید تشخیص شی در حال حرکت در زیمنه پویا است که در این مقاله ارائه شده است . در ابتدا ، الگوریتم تطبیقی هریس در این مقاله برای استخراج ویژگی نقاط ،‌پیشنهاد شده است و پس از آن الگوریتم  غربالگری برای توصیف ویژگی نقاط استخراج شده استفاده می شود .تابع شباهت نیز برای مطابقت با ویژگی نقاط ،‌استفاده می شود  و الگوریتم RANSAC برای از بین بردن انطباق های شبیه استفاده شده است . با توجه به این همسان سازی ، ما ماتریس تبدیل تکراری را جهات استفاده  برای جبران حرکت درپی زمینه ناشی از حرکت دوربین استفاده می کنیم و پس زمینه پویا را با مدل پس زمینه به روز رسانی می کنیم . در نهایت شی در حال حرکت را می توان با استفاده از روش تفاضل پس زمینه شناسایی نمود . نتایج تجربی نشان می دهد که این روش ، دقت استخراج ویژگی های نقاط و تشخیص حرکت هدف را در پس زمینه پویا با دقت بالایی دارد.

کلمات کلیدی :الگوریتم غربال کردن هریس ,تصحیح حرکت مدلسازی سابقه و هدف ,تشخیص حرکت شی.

۱-مقدمه :

تشخیص شی در حال حرکت جهن استخراج ویژگی نقاط در بیناییی کامپیوتر بسیار مهم است . در حال حاظر روش های اصلی جهت تشخیص شی در حال حرکت در پس زینه پویا براساس جریان نوری و جبران حرکتی می باشد . علاوه بر این ، روش هایی مانند تقسیم بندی حرکتی و منطق جنبشی یکپارچه پیشنهاد شده و نوع دیگری از روش بر اساس اختلاف بین ویژگی های نقاط از جشم در حال حرکت و پس زمینه آن است که معمولا این دسته ندی ، دو نوع از  نقاط را با الگوریتم مربوط به الگو به رسمیت می شناسد و عیب روش جریان نوری نیاز به محاسبات بزرگ نیاز دارد که الزامات سخت افزاری را می خواهد . جبران حرکت به طور گسترده ای استفاده می شود و همچنین روش های مختلف برای به دست آوردن پارامتر های حرکت مانند الگوریتم های طرح ریزی و الگوریتم ویژگی و الگوریتم بلوک کلاسیک وجود دارد . در این مقاله ما به وطر عمده در ویژگی الگوریتم تمرکز نموده ایم . مساحت و لبه و ویژگی نقطه یا گوشه فضای مورد نظر نیز استفاده می شود . استخراج گوشه از روش الگوریتم موراوک انجام می شود که توسط موراوک پیشنهاد شده است . این ساده بوده و ناشی از تعبیر ناپذیری چرخشی و حساسیت به سر و صدا را ندازد که منجر به استفاده به ندرت از آن می شود .یکی از گونه ها به طور گسترده مورد استفاده در الگوریتم تشخیص هریس است . اگه چه زمان  بیشتر در آن صرف محاسبات الگوریتم موراوک می شود ، آن مشکلات سابق را حل می کنند. در حالی که الگوریتم  هریس خود ، محدودیت هایی شامل آستانه ثابت و مقیاسی بدون تغییر ناپذیری را دارد . برای مشکل آستانه ثابت ،‌ پیشنهاد برای تنظیم آستانه به مقدار ۰۱/۰ زمان بوده که برابر حداکثر گوشه پاسخ می باشد و این مقدار P را بهبود می بخشد . روش آستانه براساس دو متغیر ارائه شده است . روش های بالا تنها با استفاده کامل از حداکثر محل تابع و پیشنهادی به مجموعه آستانه با مقدار K برای میانگین حداکثر تابع پاسخ محلی اقدام نموده ایم که در اینجا K مقدار ثابت است . مقایسه با الگوریتم هریس سنتی نسان می دد که این روش دقت تشخیص  بالایی دارد . توزین دقت تشخیص و زمان واقعی با تشخیص گوشه ها الگوریتم آستانه هریس و با استفاده از الگوریتم غربال کردن این گوشه توصیف می شود . هنگامی که با استفاده از تفریق پس زمینه برای استخراج جسم در حال حرکت اقدام می شود ،‌گام کلیدی به روز رسانی پس زمینه است . روش ما در این مقاله مورد استفاده قرار گرفته و بازده استخراج را بهبود بخشیده است .