متن کامل پایان نامه را در سایت منبع fuka.ir می توانید ببینید متن کامل پایان نامه را در سایت منبع 2 fuka.ir می توانید ببینید

متن کامل پایان نامه را در سایت منبع fuka.ir می توانید ببینید

اسماعیل
احسان
و شما خواننده گرامی . . .
 
سپاسگزاری
با تقدیر و تشکر شایسته از استاد فرهیخته و فرزانه سرکارخانم دکترمریم شرفی که با نکته های ارزشمند و گفته های بلند، صحیفه های سخن را  علم پرور نمود و همواره راهنما و راه گشای نگارنده در اتمام واکمال پایان نامه بوده است. از جناب آقای دکتر علیرضا نعمت اللهی که از مشورت و جهتدهی ایشان کمال استفاده را بردم و مرا مدیون اخلاق کریمانه، راهنماییهای ارزندهی خود قرار دادند سپاسگزارم. همچنین از جناب آقای دکتر بازرگان لاری که زحمت مشاورهی این تحقیق را تقبل نموده کمال تشکر را دارم. از جناب آقای دکتر برهانی حقیقی که زحمت داوری این پایان نامه را به عهده گرفتند و همواره لطفشان را از من دریغ نکردند کمال تشکر را دارم، و از سایر اساتید محترم بخش آمار که در طول دورهی کارشناسی و ارشد هرگونه یاری و مساعدت تحصیلی و معنوی را با لطف و بزرگواری به اینجانب هدیه نمودند، قدردانی مینمایم. از بهترین پشتیبان زندگیم پدر عزیز و مادر مهربانم که همواره مأمن آرامش و آسایش مرا فراهم نمودند همچنین از برادرانم که در دوران تحصیل همواره مشوق و یار و یاورم بودند، صمیمانه تشکر میکنم. امیدوارم که این رساله به یاری خداوند متعال قدمی برای پیشرفت علم باشد.
چکیده
استنباط آماری مدل رگرسیونی با خطاهای خودبازگشتی به روش لاسو
به کوشش
احمدرضا زنبوری
درمدلهای رگرسیون خطی، روشهای انقباضی یکی از راهحلها برای بهبود برآورد کمترین مربعات میباشد. در این پایاننامه، پس از معرفی مدل رگرسیون خطی چندگانه و مسئله چندهمخطی، ابتدا به معرفی روشهای انقباضی پرداخته و سپس به برآوردیابی در مدلهای رگرسیونی خطی با خطاهای خودبازگشتی به وسیله روش انقباضی لاسو میپردازیم. دو نوع برآوردگر لاسو سنتی و اصلاح شده را معرفی و خواص مجانبی آنها را مطالعه کردهایم. الگوریتمی را جهت محاسبه این برآوردگرها ارایه داده و در پایان با ارایه دو مثال به مقایسه این برآوردگرها پرداختهایم.
کلید واژه: برآوردگرپیشگو، انقباض،مدل رگرسیونی با خطای خود بازگشتی، لاسو
فهرست مطالب
عنوان صفحه
فصل اول: مقدمات و تعاریف TOC o "1-3" h z u
مقدمه : PAGEREF _Toc382381016 h 21-1-رگرسیون خطی چندگانه و مسئله چند همخطی PAGEREF _Toc382381017 h 21-2-رگرسیون ریج PAGEREF _Toc382381018 h 41-3-بریج PAGEREF _Toc382381019 h 51-4-لاسو PAGEREF _Toc382381020 h 61-4-1-رفتار مجانبی βn PAGEREF _Toc382381021 h 81-5-تعاریف PAGEREF _Toc382381022 h 101-5-1- تُنُکی PAGEREF _Toc382381023 h 101-5-2-برآوردگر پیشگو PAGEREF _Toc382381024 h 101-5-3-نماد لاندا PAGEREF _Toc382381025 h 111-5-4-بهینه سازی محدب PAGEREF _Toc382381026 h 121-5-5-1-همگرایی در توزیع PAGEREF _Toc382381027 h 121-5-5-2-همگرایی در احتمال PAGEREF _Toc382381028 h 131-5-5-3-سازگاری با نرخ ریشه n ام PAGEREF _Toc382381029 h 131-5-5-4-همگرایی با احتمال یک PAGEREF _Toc382381030 h 141-5-6-فرایند ایستا PAGEREF _Toc382381031 h 141-5-7-فرایند خودبازگشتی-میانگین متحرک PAGEREF _Toc382381032 h 141-5-8-معیارهای انتخاب مدل PAGEREF _Toc382381033 h 151-5-8-1-معیار اطلاع بیزی PAGEREF _Toc382381034 h 151-5-8-2-اعتبارسنجی متقابل PAGEREF _Toc382381035 h 16اعتبارسنجی متقابل K لایه PAGEREF _Toc382381036 h 17فصل دوم: برآوردگرهای لاسو برای پارامترهای مدل رگرسیون خطی با خطاهای خودبازگشتی
2-1-مدل رگرسیون خطی با خطای سری زمانی PAGEREF _Toc382381037 h 212-2-برآوردکمترین مربعات درمدل رگرسیونی باخطاهای خودبازگشتی میانگین متحرک PAGEREF _Toc382381038 h 222-3-برآورد کمترین مربعات پارامترها PAGEREF _Toc382381039 h 242-4-توزیع برآوردها PAGEREF _Toc382381040 h 262-5-برآوردیابی به روش لاسو برای پارامترهای مدل رگرسیون خطی با خطاهای خودبازگشتی PAGEREF _Toc382381041 h 282-6-خواص نظری برآوردگرهای لاسو PAGEREF _Toc382381042 h 302-6-1-خواص برآوردگر لاسو سنتی PAGEREF _Toc382381043 h 312-6-2-خواص برآوردگر لاسو اصلاح شده PAGEREF _Toc382381044 h 35فصل سوم: الگوریتم دستیابی به برآوردگرهای لاسو در مدل رگرسیون خطی با خطای خود بازگشتی
3-1-فرایند تکراری PAGEREF _Toc382381045 h 423-2-تحدب موضعی PAGEREF _Toc382381046 h 443-3-برآوردگر شروع PAGEREF _Toc382381047 h 453-4-پارامترهای تنظیم کننده PAGEREF _Toc382381048 h 45فصل چهارم: مثالهای کاربردی و شبیه سازی
4-1-مثال شبیه سازی PAGEREF _Toc382381049 h 494-2-مثال واقعی PAGEREF _Toc382381050 h 52پیوست PAGEREF _Toc382381051 h 55مارتینگل و قضیه حد مرکزی مارتینگلها PAGEREF _Toc382381053 h 56قضیه ارگودیک PAGEREF _Toc382381055 h 57فهرست منابع و مآخذ PAGEREF _Toc382381056 h 58واژه نامه فارسی به انگلیسی PAGEREF _Toc382381057 h 61واژه نامه انگلیسی به فارسی PAGEREF _Toc382381058 h 66
فهرست جدول ها
عنوان صفحه
جدول4-1: نتایج شبیه سازی برای ρ=0.551
جدول4-2: نتایج مثال واقعی53
فهرست علائم اختصاریLASSO: Least Absolute Shrinkage and Selection Operatori.i.d: independent and identical distribution
MSE: Mean Square Error
CV: Cross Validation
GCV: Generalized Cross Validation
OLS: Ordinary Least Square
فصل اول
مقدمات و تعاریف
مقدمه :در این فصل به تعاریف و مقدمات لازم از جمله مدل رگرسیون خطی چندگانه استاندارد، مفهوم چند همخطی، رگرسیون ریج، بریج، روش لاسو و ... که در فصلهای بعد به آنها نیاز داریم، خواهیم پرداخت.
1-1-رگرسیون خطی چندگانه و مسئله چند همخطییک مدل رگرسیون که شامل بیش از یک متغیر مستقل باشد و نسبت به پارامترها خطی باشد را مدل رگرسیون خطی چندگانه می نامند. فرم کلی یک مدل رگرسیون خطی چندگانه استاندارد به صورت زیر میباشد:
yi=xi'β+eii=1,…,n(1-1)
که درآن e1,…,en متغیرهای تصادفی مستقل و هم توزیع با میانگین صفر و واریانس σ2 میباشد .β=(β1,…,βk)' بردار پارامترها، برای i=1,…n xi=(x1i,…,xki)' بردار متغیرهای مستقل و yi متغیر پاسخ میباشد. ماتریسxn×k=(x1',…,xn') را ماتریس طرح مینامیم.
هنگامی که بین متغیر های مستقل همبستگی وجود داشته باشد، می گوییم بین آنها چند همخطی وجود دارد. از آثار چند همخطی می توان به موارد زیر اشاره کرد:
الف : از آنجاییکه در این حالت اطلاعات مستقل در مورد هریک از متغیرهای مستقل وجود ندارد، لذا نمی توان اثرات جزئی متغیرهای مذکور روی متغیر وابسته را برآورد کرد .
ب : هنگامی که همبستگی شدید بین متغیرهای مستقل وجود داشته باشد، کوواریانس و واریانس ضرایب، بزرگتر برآورد خواهند شد .
ج : در حالتی که با چند همخطی شدید در مدل مواجه هستیم، پیش بینی های صورت گرفته از آن غیر قابل اعتماد خواهد بود. در این حالت پیش بینی ها براساس مدلی که دارای زیر مجموعه ای از متغیرهای مستقل مدل اصلی است، بهتر صورت می گیرد .
د : رابطه قوی بین دو یا چند متغیر مستقل سبب می شود که نتوان ماتریس x'x را معکوس کرد. زیرا در این صورت ستون های ماتریس x به هم وابسته هستند و در نتیجه ستون های x'x نیز با هم وابسته هستند و پررتبه نیست.
همان طور که در قسمت ج گفتیم یکی از روش ها برای بهبود برآورد کمترین مربعات، زیر مجموعه منتخب می باشد که نتیجه گزینش بهترین زیر مجموعه رگرسیون می باشد . از روشهای زیر مجموعه منتخب میتوان به رگرسیون گام به گام، حذف پیشرو و انتخاب پسرو اشاره کرد. البته قابل ذکر است که زیر مجموعه منتخب خود دارای مشکل عدم استواری می باشد . به عنوان مثال با تغییر کوچک در داده ها مدل های خیلی متفاوتی را بوجود می آورد، که این امر درستی پیشبینی را کاهش می دهد.
معمولا می توان درستی پیش بینی را با انقباض تعدادی از ضرایب و یا با صفر قرار دادن آنها بهبود بخشید. روش پیشنهادی برای بهبود روش برآورد کمترین مربعات، رگرسیونهای انقباضی است. از جمله رگرسیون ریج، لاسوو بریجکه به اختصار این روشها را توضیح میدهیم. برای توضیح بیشتر در مورد این روشها به سلیمانی(1392) مراجعه شود.
1-2-رگرسیون ریج
رگرسیون ریج در سال 1962 برای اولین بار توسط هوئرل و کنارد معرفی شد. همان طور که می دانیم اساس و پایه برآوردگر کمترین مربعات یک رگرسیون خطی این است که (x'x)-1 وجود داشته باشد. دو دلیل وجود دارد که این معکوس وجود نداشته باشد : یکی ماتریس طرح x پر رتبه ستونی نباشد و دیگری چند همخطی بودن می باشد. روش رگرسیون ریج یکی از بهترین و محبوب ترین گزینهها برای رفع این مشکل می باشد.
اضافه کردن ماتریس قطری λI به x'x راهی آسان برای تضمین معکوس پذیری می باشد یعنی x'x+λI. (I یک ماتریس k×k همانی می باشد). بنابراین برآوردگر رگرسیون ریج پارامتر β به صورت زیر می باشد :
βr=(x'x+λI)-1x'yکه λ>0 می باشد .این برآوردگر را نیز میتوان با مینیمم کردن عبارت
i=1n(yi-j=1kβjxij)2نسبت به βj تحت شرط j=1kβj2≤t بدست آورد. t≥0 یک پارامتر تنظیم کننده میباشد که میزان انقباض ضرایب را کنترل میکند.
بطور معادل با مینیمم کردن
i=1n(yi-j=1kβjxij)2+λj=1kβj2نسبت به βj بدست میآید.
همانطور که میدانید، برآوردگر کمترین مربعات β به صورت زیر میباشد:
βols=(x'x)-1x'yβr یک برآوردگر اریب با میانگین و واریانس زیر میباشد :
E(βr)=β+λ(x'x+λI)-1βVarβr=(x'x+λI)-1x'x(x'x+λI)-1σ2همانطور که میدانید برآوردگر کمترین مربعات نااریب با واریانس زیر میباشد:
Varβols=(x'x)-1σ2هوئرل و کنارد ثابت کردهاند که اگر β'β کراندار باشد می توان λ>0-یی را پیدا کرد به طوریکه :
MSE(βr)<MSE(βols)بنابراین رگرسیون ریج می تواند برآورد βols را بهبود ببخشد.
1-3-بریجفرانک و فریدمن در سال 1993 در مورد تعمیم رگرسیون ریج و زیرمجموعه منتخب، از راه اضافه کردن یک جمله تاوان به شکل λjβjγ به مجموع مربعات باقی‌مانده ها پرداختند که هم ارز قیدی به فرم jβjγ≤t γ≥0, می‌باشد، که آنرا "بریج" نامیدند.
لازم به ذکر است برای توابعی به فرم خطی، تعداد زیادی تابع تاوان وجود دارد : تاوان L0 با γ→0 (که به تابع تاوان آنتروپی معروف است) که توسط بریمن در سال 1996 در روش انتخاب بهترین زیر مجموعه مورد استفاده قرار گرفت. تاوان L1 با γ=1 (لاسو) که توسط تیبشیرانی در سال 1996 و تاوان L2 با γ=2 (ریج) توسط هوئرل و کنارد در سال 1962 مورد مطالعه قرار گرفت. همچنین فن و لی(2001) کلاس بزرگی از تابع تاوانها را معرفی و سپس مورد مطالعه قرار دادند. آنها نشان دادند که چون تاوان L1 منحصر به فرد میباشد، از اینرو لاسو خود به خود انتخاب متغیر را انجام میدهد، که در بخش بعد آنرا بیان میکنیم.
1-4-لاسو
روش حداقل انقباض مطلق و عملگر انتخاب که به اختصار لاسو نامیده میشود را اولین بار تیبشیرانی (1996) معرفی کرد. این روش بصورت همزمان به برآورد پارامترها و انتخاب متغیر میپردازد. انگیزه اصلی تیبشیرانی در تعریف لاسو، از پیشنهاد گرُت نامنفی فردی به نام بریمن (1993) می آید. در روش گرُت نامنفی بریمن عبارت
i=1n(yi-j=1kcjβjolsxij)2تحت شرایط j=1kcj≤t و cj≥0 مینیمم می‌شود.
تیبشیرانی این دو شرط را به یک شرط تبدیل کرد و اسم کانادایی "لاسو" را برای آن انتخاب کرد. این روش اساسا شبیه رگرسیون ریج می‌باشد، با این تفاوت که به جای استفاده از تابع تاوان درجه دوم، از تابع تاوان مجموع قدرمطلق ضرایب استفاده می‌شود و عبارت
i=1n(yi-j=1kβjxij)2 تحت شرط j=1kβj≤t مینیمم میشود. در اینجا نیز t≥0 پارامتر تنظیم کننده بوده و میزان انقباض ضرایب را کنترل می کند. برای برآورد پارامتر t میتوان از روشهای اعتبارسنجی متقابل و اعتبارسنچی متقابل تعمیم یافته استفاده کرد که در بخش 1-5-8 به معرفی این دو روش خواهیم پرداخت.
لاسو را در حالت کلی نیز میتوان با مینیمم کردن عبارت زیر بدست آورد :
y-j=1kxj'βj+λj=1kβj
که در آن λ یک پارامتر تنظیم کننده نامنفی و همچنین λj=1kβj را تاوان L1 مینامیم که این تاوان برای موفقیت لاسو حیاتی میباشد. لاسو با افزایش λ ضرایب را به سمت صفر انقباض میدهد و زمانیکه λ به اندازه کافی بزرگ باشد، بعضی ضرایب را دقیقا صفر برآورد میکند. حال میخواهیم رفتار مجانبی برآوردگر لاسو را در مدلهای رگرسیون خطی چندگانه استاندارد با استفاده از تحقیقات نایت و فو(2000) بررسی کنیم. برای این منظور مدل رگرسیون خطی(1-1) را در نظر بگیرید. بدون از دست دادن کلیت مسئله، فرض میکنیم متغیرهای مستقل مرکزی شده باشند بهطوریکه دارای میانگین صفر باشند. حال میخواهیم با مینیمم کردن معیار کمترین مربعات تاوانیده زیر، β را بدست آوریم:
(1-2) i=1n(yi-xi'β)2+λnj=1kβjγبرای یک λn داده شده، γ>0 میباشد. همانطور که در بخش 1-3 گفته شد، این چنین برآوردگری به نام برآوردگر بریج نام گذاری شده است.
برای حالتی که γ≤1، اگر λn به اندازه کافی بزرگ باشد، برآوردگرهایی که رابطه (1-2) را مینیمم می‌کنند، پتانسیل لازم جهت صفر شدن دقیق را دارا میباشند.
برای یک λn داده شده، برآوردگری که رابطه (1-2) را مینیمم کند با βn نشان می‌دهیم. λn=0 مطابق با برآوردگر کمترین مربعات βols میباشد.
فرض کنید شرایط نظم زیربرای xi برقرار باشد :
Cn=1ni=1nxixi' →C(1-3)
که در این رابطه C یک ماتریس معین نامنفی می‌باشد و
(1-4) 1nmax1≤i≤nxi'xi→0در عمل از آنجایی که متغیرهای مستقل مقیاس گذاری شده اند، عناصر قطری ماتریس Cn (و در نتیجه C) برابر با یک می‌باشد.
تحت شرایط (1-3) و (1-4) (با فرض ناتکین بودن ماتریسC)، مشخص می‌شود که برآوردگر کمترین مربعات سازگار بوده و
n(βols-β) d N(0,σ2C-1)1-4-1-رفتار مجانبی βn
در این بخش فرض بر این است که ماتریس C ناتکین ‌باشد. رفتار حدی برآوردگر بریج βn را می‌توان با مطالعه روی رفتار مجانبی تابع هدف (1-2) مشخص کرد. به عنوان مثال برای سازگاری βn، تابع تصادفی زیر را تعریف می‌کنیم :
Znβ=1ni=1n(yi-xi'β)2+λnnj=1kβjγکه به ازای β=βn مینیمم می‌شود . قضیه زیر نشان میدهد که اگر λn=O(n) آنگاه βn سازگار است .
قضیه 1-1 : اگر ماتریس C ناتکین ‌باشد و λnn→λ0≥0. آنگاه βn p argmin(Zδ)، بهطوریکه:
Zδ=(δ-β)TCδ-β+λ0j=1kβjγبنابراین اگر λn=On آنگاه argminZδ=β و بنابراین βn سازگار می‌باشد .
اثبات : نایت و فو (2000)
در حقیقت نرخ رشد λn جهت بدست آوردن یک توزیع حدی بستگی به این دارد که γ≥1 یا γ<1 باشد . قضیه 1-2 به این نکته اشاره می‌کند که در حالت γ≥1، برای سازگاری βn با نرخ n ، به شرط λn=On نیازمندیم. در حالی‌که قضیه 1-3 این پیشنهاد را به ما می‌دهد که در حالت γ<1، برای سازگاری βn با نرخ n، باید λn=Onγ2 باشد. (در واقع برای γ<1 کافیست λn=On )
قضیه 1-2 : فرض کنید که γ≥1 باشد. اگر λnn→λ0≥0 و ماتریس C ناتکین ‌باشد، آنگاه
n(βn-β)dargmin(Vu)بهطوریکه برای γ>1 :
Vu=-2uTW+uTCu+λ0j=1kujsgn(βj)βjγ-1و برای γ=1 ،
Vu=-2uTW+uTCu+λ0j=1kujsgnβjIβj≠0+ujI(βj=0)وقتی که W دارای توزیع N(0,σ2C) می‌باشد.
اثبات : نایت و فو (2000)
قضیه1-3 : فرض کنید که γ<1 باشد. اگر λnnγ2→λ0≥0 ، آنگاه
n(βn-β)dargmin(V)بهطوریکه
Vu=-2uTW+uTCu+λ0j=1kujγI(βj=0)وقتی که W دارای توزیع N(0,σ2C) می‌باشد.
اثبات : نایت و فو (2000)
1-5-تعاریف1-5-1- تُنُکیتعریف1-1: قانون آستانه: قانونی است که به صورت خود به خود ضرایب کوچک برآورد شده را جهت کاهش پیچیدگی مدل، برابر صفر قرار میدهد.
تعریف1-2: برآوردگری که در قانون آستانه صدق کند را برآوردگر تنک گویند.
(برای اطلاعات بیشتر به فن و لی ( 2001) مراجعه کنید)
1-5-2-برآوردگر پیشگو
تعریف 1-3: فرض کنید مدل واقعی y=x'βo+e و مجموعه A را بصورت زیر تعریف شده است.
A=1≤j≤k ;βj≠0 بطوریکه A=k0<k. همچنین فرض کنید β(M) برآوردگر ضریب بدست آمده از روشM  باشد، آنگاه β(M) را یک برآوردگر پیشگو گوییم هرگاه:
الف) این برآوردگر قادر به شناسایی زیر مجموعه صحیحی از مدل باشد یا به عبارت دیگر مجموعه A=j:βj≠0  .
ب) برآوردگر حاصل دارای نرخ برآوردیابی بهینه باشد. یعنی
(1-5) n(βA(M)-βA0)dN(0,Σ*)Σ* ماتریس واریانس کواریانس زیر مجموعه صحیح مدل می باشد .
بر اساس مقاله وانگ و همکاران(2007)، برآوردگری را که بر اساس مدل واقعی بدست میآید را برآوردگر پیشگو میگوییم.
1-5-3-نماد لاندانماد لاندا در نظریههایی از جمله، علوم کامپیوتر و ریاضیات جهت توصیف رفتار مجانبی یک تابع به کار میرود. این نماد نشان میدهد که یک تابع با چه سرعتی رشد یا کاهش پیدا می کند. اولین بار دانشمند آلمانی ادماند لاندا(1909) این نماد را بکار برد. حرف O به این دلیل مورد استفاده قرار میگیرد که اغلب سرعت رشد تابع را با Order نشان میدهیم.
فرض کنید g(x) و f(x) تابعهایی باشند که در زیر مجموعههایی از اعداد حقیقی تعریف شده باشند، در اینصورت
fx=Ogx ⇔ f(x)≤Cg(x) for x>N , C>0که عبارت بالا نشان میدهد که تابع f نمیتواند سریعتر از g رشد پیدا کند.
علاوه بر نماد O بزرگ، نماد دیگری در ریاضیات به کار میرود که به نام نماد o کوچک معروف میباشد.
فرض کنید که fx=o(gx) که این رابطه نشان میدهد که تابع f با سرعت کمتر نسبت به g رشد پیدا میکند، که در صورتیکه g(x)≠0 باشد، با رابطه زیر معادل است :
limx→∞f(x)g(x)=01-5-4-بهینه سازی محدب
به مسئلهای بهینه سازی محدب میگویند که به کمک آن میتوان مقدار مینیمم یک تابع محدب (یا ماکزیمم یک تابع مقعر ) را پیدا کرد. مهمترین مزیت این نوع مسائل بهینهسازی در این است که نقطه بهینه نسبی همان نقطه بهینه مطلق میباشند. هر الگوریتم بهینهسازی که نقطه بهینه نسبی را پیدا کند، نقطه بهینه مطلق را پیدا کرده است.
1-5-5-همگراییها و سازگاری
1-5-5-1-همگرایی در توزیع فرض کنید دنباله‏ی Fnn=1+∞ ، یک دنباله از توابع توزیع باشد، همچنین فرض کنید تابعی مانند F (یک تابع توزیع) وجود داشته باشد، بطوریکه برای هر x∈CF (CF نقاط پیوستگی تابع F می‌باشد) داشته باشیم:
limn→+∞Fnx=Fx آنگاه می‏گوییم دنباله‏ی Fnn=1+∞ در توزیع به سمت F میل می‏کند.(فضاهای احتمال هر کدام از اعضای دنباله و تابع توزیع حدی می‌توانند کاملاً متفاوت باشند)
اگر برای هر n، متغیر تصادفی Xn دارای تابع توزیع Fn باشد و تابع توزیع F مربوط به متغیر تصادفی X باشد، آنگاه می‏گوییم دنباله‏ی متغیرهای تصادفی Xnn=1+∞ در توزیع به سمت متغیر تصادفی X میل می‏کند و با نماد XndX نشان می‏دهیم.
1-5-5-2-همگرایی در احتمال فرض کنید X یک متغیر تصادفی و Xnn=1+∞ دنباله‏ای از متغیرهای تصادفی تعریف شده روی یک فضای احتمالΩ,F,P باشند. گوئیم دنباله‏ی Xnn=1+∞ در احتمال به X همگراست، هرگاه برای هر ε>0 داشته باشیم:
limn→∞PXn-X>ε=0,این همگرایی را با نماد XnpX نشان می‏دهیم. به عبارتی دیگر
∀ ε>0,∃ δ>0, ∃ N ,∀ n≥N; PXn-X>ε≤δفرض کنید Xn دنباله‌ای از متغیرهای تصادفی باشد. می‌گوییم Xn=op(1) (oکوچک مرتبه‌ی یک در احتمال) اگر و تنها اگر Xnp0 هنگامیکه n→∞. همچنین می‌گوییم Xn=OP(1) (O بزرگ مرتبه‌ی یک در احتمال) اگر و تنها اگر دنباله‌ی Xn در احتمال کراندار باشد، یعنی Xn≤C.
برخی از ویژگیهای همگرایی در احتمال به صورت زیر است :
الف: Xn در احتمال به متغیر تصادفی X همگرا میباشد و مینویسیم XnpX ، اگر و تنها اگرXn-X=op(1)ب: Xn=op(an) اگر و تنها اگر an-1Xn=op(1)ج: Xn=Op(an) اگر و تنها اگر an-1Xn=Op(1)1-5-5-3-سازگاری با نرخ ریشه n ام (فیشر (1922))
تحت فضای احتمال pn ، θn با نرخ ریشه n ام به سمت θ0 همگراست اگر:
θn=θ0+Op(1n)
1-5-5-4-همگرایی با احتمال یک فرض کنید X یک متغیر تصادفی و Xnn=1+∞ دنباله‏ای از متغیرهای تصادفی تعریف شده روی یک فضای احتمالΩ,F,P باشند. گوئیم دنباله‏ی Xnn=1+∞ همگرای با احتمال یک (تقریباً مطمئن) به X است، هرگاه داشته باشیم:
Pω:Xnω→Xω=1,یا بصورت معادل
Pω:∀ε>0 ∃N , ∀ n≥N;Xn-X<ε=1توجه شود که همگرایی با احتمال یک، همگرایی در احتمال و همگرایی در احتمال، همگرایی در توزیع را نتیجه می‌دهد و عکس این روابط در حالت کلی(بجز در حالات خاص) برقرار نیست. (بلینگزلی(1995))
1-5-6-فرایند ایستا
فرایند Xt ایستای (ضعیف) است هرگاه به ازای هر عدد صحیح h و صحیح مثبت n، دو بردار X1,…,Xn و X1+h,…,Xn+h دارای بردار میانگین و ماتریس واریانس کوواریانس یکسان باشند.
d
فرایند Xt ایستای (قوی) می باشد اگر :
X1,…,Xn=X1+h,…,Xn+h(به ازای تمام اعداد صحیح h و n≥1)
1-5-7-فرایند خودبازگشتی-میانگین متحرکسری Ztt=1∞ یک فرایند ARMA(p,q) ایستا گوییم اگر :
ΦBZt=θBatکه در آن
و
ΦB=1-Φ1B-…-ΦpBp θB=1-θ1B-…-θqBq
at متغیرهای ناهمبسته و همتوزیع با میانگین صفر، واریانس σ2 و گشتاور چهارم متناهی میباشد.
1-5-8-معیارهای انتخاب مدلدر این پایاننامه، برای انتخاب پارامتر تنظیم کننده بهینه در روش لاسو، از دو معیار اطلاع بیزی و اعتبار سنجی متقابل استفاده شده است که در این بخش به معرفی این دو معیار میپردازیم. در بخش 3-4 از این دو معیارجهت انتخاب پارامتر تنظیم کننده بهینه استفاده خواهیم کرد.
1-5-8-1-معیار اطلاع بیزی
معیار اطلاع بیزی، معیاری برای شناسایی و انتخاب بهترین مدل در میان مجموعهای از مدلهای برآورد شده میباشد و شباهت زیادی به معیار اطلاع آکائیکی (AIC) دارد. این معیار اولین بار توسط شوارتز در سال 1978 معرفی شد.
اگر n اندازه نمونه، k تعداد پارامترهای برآورد شده مدل و lθ ماکزیمم درستنمایی مدل برآورد شده باشد، آنگاه معیار اطلاع بیزی را با BIC نشان داده و به صورت زیر معرفی میکنیم:
BIC=-2lθ+0.5klog(n)در بین مدلهای برازش شده، مدلی که BIC کمتری داشته باشد، انتخاب میشود.
1-5-8-2-اعتبارسنجی متقابلاعتبار مدل عبارتست از پاسخ به این سؤال که آیا مدل در راستای اهداف تعیین شده قابلیت های لازم را دارد یا خیر؟
تعیین اعتبار درست یک مدل رگرسیونی بایستی مشتمل بر یک مطالعه روی علامتها و اندازههای ضرایب باشد، بدین معنی که آیا βj میتواند بصورت قابل قبولی به عنوان یک برآورد از اثر xj تعبیر شود؟ همچنین بایستی پایداری ضرایب رگرسیون مورد رسیدگی واقع شود. بدین معنی که آیا βj بدست آمده از یک نمونه جدید تا حد امکان شبیه ضرایب جاری میباشد؟ نهایتاً تعیین اعتبار ایجاب میکند پیشبینی انجام گرفته بوسیلهی مدل مورد رسیدگی قرار گیرد.
برای تعیین اعتبار یک مدل رگرسیونی سه روش بکار گرفته میشود:
تحلیل ضرایب مدل و مقادیر پیش بینی: برای تعیین پایداری و قابل قبول بودن علامتها و اندازههای ضرایب نهایی رگرسیون بایستی آنها را با تجربیات قبلی و دیگر مدلهای تحلیلی یا نتایج شبیه سازی مقایسه کرد.
جمعآوری دادههای جدید: مؤثرترین روش تعیین اعتبار یک مدل نسبت به نقش پیش بینی آن جمعآوری دادههای مناسب و مقایسهی مستقیم پیشبینیهای مدل با آنها میباشد.
تقسیم یا جداسازی دادهها: در بعضی وضعیتها جمعآوری دادههای جدید برای تعیین اعتبار امکانپذیر نیست. به عنوان مثال ممکن است منبع جمعآوری دادهها تخلیه شده باشد یا ماشینآلات به تولیدات دیگر پرداخته باشند و یا دیگر وسایل جمعآوری اطلاعات و منابع لازم در دسترس نباشد. در چنین شرایطی دادههای موجود با روش قابل قبولی به دو قسمت تقسیم میشوند. اِسنی در سال 1977 این دادهها را دادههای برآورد و دادههای پیش بینی نامگذاری کرده است.(رضوی پاریزی1388)
در این پایاننامه تنها روش سوم از روشهای تعیین اعتبار مدل را در نظر گرفته که در ادامه به آن میپردازیم.
گاهی تقسیم دادهها، اعتبارسنجی نامیده میشود (موستلر و توکی(1968) ). تقسیم دادهها از چند راه انجام میشود. به عنوان مثال اگر دادهها بر پایهی دنبالهای از زمان جمعآوری شده باشند، در این صورت زمان میتواند به عنوان مبنای تقسیم دادهها بکار رود. یعنی دورهی خاصی از زمان معین شود و همه مشاهدات جمعآوری شده قبل از این دوره زمانی تشکیل دادههای برآورد (آموزشی) و دادههای بعد از این دوره زمانی تشکیل دادههای پیشبینی(اعتبار) را میدهند. در مواردی که مبنای خاصی برای تقسیم دادهها وجود ندارد میتوان بطور تصادفی مشاهداتی را برای مجموعه دادههای برآورد و پیش بینی تخصیص داد.
فرض کنید n داده داریم که n=nν+nc که nν تعداد دادههای آموزشی و nc تعداد دادههای اعتبار است. در این صورت تعداد nnν راه متفاوت برای تقسیم دادهها وجود دارد.
شاید بتوان گفت روش اعتبارسنجی متقابل یکی از سادهترین و پرکاربردترین روشهای برآورد خطای پیش بین است.
برای جزییات بیشتر به معرفی خطای پیش بین میپردازیم، فرض کنیدX∈RP یک بردار تصادفی از مقادیر ورودی حقیقی مقدار باشد و Y∈Rمتغیر تصادفی خروجی حقیقی مقدار با توزیع توأم احتمال FX, Y و fX تابعی حقیقی مقدار است که برای پیشبینیY از روی X در نظر گرفته میشود. حال LY,fX برای پیشبینی تاوان خطا در نظر گرفته میشود. اکثراً برای راحتی کار تابع زیان درجهی دوم را در نظر میگیرند، یعنی
LY,fX=Y-fX2در این صورت خطای پیشبین PE)) بصورت
PEf=EY-fX2 تعریف میشود. خطای پیش بین معیاری برای انتخاب f به ما ارائه میدهد.
اعتبارسنجی متقابل K لایه
در حالت ایدهآل اگر به اندازهی کافی داده داشته باشیم یک مجموعه از دادهها را برای پیش بینی کنار میگذاریم و از آن برای برآورد خطای پیشبین استفاده میکنیم. با توجه به اینکه اغلب تعداد دادهها کم میباشند، چنین چیزی امکانپذیر نیست. خوبی مسئلهی اعتبارسنجی متقابل K لایه در این است که دادههای در دسترس را به دو قسمت تقسیم میکند، بخشی از آن را برای برازش مدل و بخش دیگر را برای پیشبینی بکار میبرد.
برای مثال 5 K= در نظر گرفته و روش CVی Kلایه را برای آن بکار میبریم.
5 4 3 2 1
آموزشی آموزشی اعتبار آموزشی آموزشی
برای k امین قسمت (مثلاٌ سومین قسمت در شکل بالا)، مدل را بهK-1 (برای K=5،
K-1=4) قسمت دیگر از دادهها برازش میدهیم و خطای پیشبین از مدل برازش شده را وقتی kامین قسمت از دادهها را پیشبینی میکنیم، محاسبه میکنیم. برای k=1,2,…,K این عمل را انجام داده و Kبرآورد از خطای پیشبین را بدست میآوریم. سپس برآورد CV از میانگین وزنی Kخطای پیشبین حاصل میشود.
بصورت دقیقتر فرض کنید 1,2,…,n→1,2,…,K:???? که ???? نشان میدهد که مشاهدهیiام بصورت تصادفی در کدام افراز قرار گرفته است. f-κx تابع برازش داده شدهای است که با حذف kامین قسمت از مجموعهی دادهها محاسبه شده است. پس برآورد CVاز خطای پیشبین بصورت میانگین وزنیK لایه است. اگر K=nباشد، آنگاه CV، از حذف تکی مشاهدات حاصل میشود. در این مورد κi=i، برای برازش مشاهدهی iام همهی دادهها به جز خود دادهی iام بکار میرود.
CVf=1ni=1nLyi,f-κixiمعمولاً K را برابر با 5 یا 10 میگیریم.
در مجموعهای از مدلهایfx,α که بوسیلهی یک پارامتر تنظیم کنندهی ???? اندیسگذاری شدهاندf-κx,α، از برازش مدل????ام با حذف kامین قسمت از مجموعهی دادهها محاسبه میشود. پس برای مجموعهای از این مدلها
1ni=1nLyi,f-κi xi,α =CVf,αتعریف میکنیم. ????ای که CVf,αرا مینیمم کند، α (پارامتر تنظیم کنندهی بهینه) مینامیم. مدل نهایی f,α است که به همهی دادهها برازش میشود. (هستی و همکاران(2008)- تیب شیرانی(1996)- افرون و تیب شیرانی(1993))
محاسبهی CV بسیار وقتگیر است به همین دلیل کراون و واهبا در سال 1979 از GCV به عنوان جایگزینی برای CV استفاده کردند که به صورت زیر تعریف میشود:
GCVf=1ni=1nyi-f(xi)1-trace(S)n2که در آن ماتریس تصویر S از رابطهی Y=SY بدست میآید . یکی از مزایای این معیار وابسته نبودن آن به پارامتر σ2 است.
فصل دوم
برآوردگرهای لاسو برای پارامترهای مدل رگرسیون خطی با خطاهای خودبازگشتی
مقدمه :
همان طور که می دانیم مدل رگرسیون خطی یک ابزار مهم آماری برای تجزیه و تحلیل ارتباط بین متغیرهای پاسخ و رگرسیونی می باشد . یکی از فرضیات استاندارد موجود در این زمینه، استقلال بین مشاهدات مختلف است. اگرچه در زمان جمع آوری داده ها ممکن است همبستگی سریال مانند معنی داری، بین داده ها وجود داشته باشد. در اینگونه موارد اغلب مدل رگرسیونی با خطاهای سری زمانی در نظر گرفته می شود. در این فصل ابتدا به معرفی این گونه مدلها پرداخته و سپس به برآورد کمترین مربعات پارامترهای آن پرداخته و خواص مجانبی آنها را بیان میکنیم. سپس برآوردگرهای لاسو و لاسو اصلاح یافته این مدلها معرفی کرده و در پایان خواص مجانبی آنها را ارائه و اثبات میکنیم.
2-1-مدل رگرسیون خطی با خطای سری زمانی
یک کلاس مفید و بزرگ از مدلها برای توصیف داده های مربوط به فعالیت های اقتصادی، تجاری، محیطی و . . . ، مدلهای رگرسیونی با خطای سری زمانی میباشد. فرم کلی این مدلها به صورت زیر بیان میشود :
(2-1) yt=fxt,β+et
که در آن yt سری مورد علاقه ،et یک سری زمانی غیر قابل مشاهده ،xt نشاندهنده یک بردار از متغیرهای ورودی ،β برداری از پارامترها و f(xt,β) نشاندهنده نوع تاثیر xt روی yt میباشد. واضح است که مدلهای رگرسیون کلاسیک (خطی و غیر خطی) و سریهای زمانی، حالتهای خاصی از (2-1) میباشند.
اگر در مدل (2-1) قرار دهیم، fxt,β=i=1kβixit در اینصورت این مدل را یک مدل خطی گوییم که در این پایاننامه چنین مدلی در نظر گرفته و مورد بررسی قرار میدهیم.
تاکنون مطالعات فراوانی روی مدل (2-1) انجام شده است، به ویژه برآوردیابی پارامترهای این مدل تحت فرض ایستاییZt میباشد. ازجمله دوربین در سال 1960 یک روش دو مرحلهای را جهت یافتن برآوردهای مجانبا کارا در مدلهای خطی ارائه داد. هنان(1971)، خواص سازگاری برآوردهای کمترین مربعات وزنی پارامتر β وقتیکه f(xt,β) غیرخطی باشد را ثابت کرد . پیرس (1971) برآوردیابی از طریق روش کمترین مربعات وقتیکه مدل خطی بوده و Zt از مدل خودبازگشتی میانگین متحرک (ARMA) پیروی کند را مورد بررسی قرار داد. فولر در سال1976بعضی از خواص مدل (2-1) را مورد بررسی قرار داد.
در ادامه قصد داریم با استفاده از پیرس (1971)، به بررسی برآوردهای کمترین مربعات مدلهای رگرسیون خطی با خطاهای خودبازگشتی–میانگین متحرک را مورد مطالعه قرار دهیم.
2-2-برآوردکمترین مربعات درمدل رگرسیونی باخطاهای خودبازگشتی میانگین متحرکپیرس در سال 1971 مدل زیر را در نظر گرفت :
(2-2) yt=i=1kβixit+etکه در آن خطاهای et مستقل نمی‌باشند. برای نمایش ساختار همبستگی خطاهای این مدل، فرض می‌کنید که et ها از یک سری زمانی ایستای خودبازگشتی میانگین متحرک زیر پیروی میکند:
(2-3) et=j=1pϕjet-j-r=1qθrεt-r+εtبهطوریکه εt مجموعه‌ای از متغیرهای تصادفی مستقل با میانگین صفر و واریانس σ2 می‌باشد، به عبارت دیگر، εt یک سری نوفه سفید است. بر اساس باکس و همکاران (1970) میتوان یک عملگر عقب رونده مثل B تعریف کرد، بطوریکه برای هر دنباله wt داشته باشیم Brwt=wt-r. اگر
(2-4) θB=1-θrBrو ϕB=1-ϕjBj بر اساس B چندجمله‌ایهایی به ترتیب از درجه p و q بر اساسB باشند، آنگاه (2-3) را می‌توان به صورت زیر نوشت :
ϕBet=θBεtیا
(2-5) et=ϕ-1BθBεt=θ(B)ϕ(B)εt
با در نظر گرفتن مشاهدات به صورت (x1t,…,xkt ,yt) برای t=1,…,n، (2-5) را با (2-2) ترکیب کرده و مدل رگرسیونی با خطاهای ایستا را به صورت زیر در نظر میگیریم :
(2-6) yt=i=1kβixit+θ(B)ϕ(B)εtحال فرضیات زیر را برای چنین مدلی در نظر می‌گیریم :
الف) εt ها متغیرهای تصادفی مستقل و هم‌توزیع با میانگین صفر و واریانس σ2 می‌باشند.
ب) ریشه‌های چندجمله‌ای‌های ϕz=0 و θz=0 مشترک نبوده و خارج از دایره واحد باشند.
ج) ثابت‌های xit کراندار می‌باشند و برای i ، j ، k و l ثابت limn→∞1nxi,t-kxj,t-1 وجود دارد و ماتریس k×k lim⁡(1n)xitxjt معین مثبت می‌باشد.
فرض (ب) تضمین میکند که خطاهای et درحالیکه دارای واریانس متناهی می‌باشد، ایستا خواهد بود . علاوه بر این ضرایب معکوس چندجمله‌ایهای (2-4)، سری‌های همگرا را تشکیل می‌دهند، به عنوان مثال اگر
ψB=ϕ-1B=j=0∞ψjBjآنگاه ψj<∞ .
براساس والکر (1964) پارامترهای η=(β',ϕ',θ')' که می‌توان برای سادگی به صورت (β,ϕ,θ) نوشت، پارامترهای ساختاری ‌گویند و یک مجموعه کامل از r=k+p+q+1 پارامترهای مدل را به صورت (η,σ2)' نشان داده می‌شود.
2-3-برآورد کمترین مربعات پارامترهاهدف اصلی در این بخش بدست آوردن برآورد پارامترهای مدل (2-6) از روش کمترین مربعات می‌باشد. فرض کنید که xit;1≤i≤k و yt سری‌هایی باشد که از (2-6) تولید شده باشند. اگر مقادیر واقعی پارامتر η=(β,ϕ,θ)' معلوم باشد، آن‌گاه متغیر تصادفی εt را می توان با حل کردن رابطه (2-6) بر حسب εt به صورت زیر بدست آورد:
(2-7) εt=ϕBθ-1Byt-i=1kβiϕ(B)θ-1Bxitهمانطور که میدانید مقدار واقعی پارامترها معمولا نامعلوم می‌باشند، اما با این وجود برای هر بردار از مقادیرη=(β1,…,βk , ϕ1,…,ϕp ,θ1,…,θq) بطوریکه ϕ و θ در شرط (ب) صدق کنند، می‌توان
(2-8) εt=ϕBθ-1Byt-i=1kβiϕ(B)θ-1Bxitرا تعریف کرد. یا بهطور معادل (با توجه به جایگذاری (2-2) در (2-3))
(2-9) εt=k=1qθkεt-k-j=0pϕjyt-j+i=1kj=0pβiϕjxi,t-jوقتیکه ϕ0=-1 . همانطور که مشاهده میکنید در (2-8)، خطاهای εt از طریق عملگر بی نهایت θ-1B، دربرگیرنده تمام اطلاعات گذشته سری می‌باشد.
از آنجاییکه مشاهدات ما در زمان‌های t=1,…,n گرفته می‌شوند، بنابراین لازم است که مسئله مقادیر شروع فرایند را در نظر بگیریم. در (2-9) نیازمندیم که مقادیر اولیه xi0,…,xi ,-p+1,y0,…,y-p+1,ε0,ε-1,…,ε-q+1 را مشخص کنیم. یک راه ساده این است که این مقادیر را برابر صفر در نظر بگیریم و یک روش دیگر، استفاده ازروش پیشبینی پسرو باکس و جنکینز (1970) میباشد.
با خطای εt در (2-9)و مقادیر شروع تقریبی، برآوردهای کمترین مربعات η=β,ϕ,θ ، مقدار ηیی است که مجموع مربعات Sη=εt2 را به عنوان تابعی ازη می‌نیمم کند. ازآنجاییکه εt یک تابع خطی از η نمی‌باشد‌، این برآوردها را می‌توان در عمل با روش‌های برآوردیابی غیرخطی مطرحشده در هارتلی (1961)، دراپر و اسمیت (1966) و بهطور مشخص برای مدل‌های سری زمانی به باکس و جنکینز(1970) محاسبه نمود.
تا اینجا اشاره‌ای به فرم تابعی توزیع εt نکرده‌ایم . اگر εt به صورت نرمال توزیع شده باشند، آنگاه لگاریتم تابع درستنمایی پارامترهای (η,σ2)' به‌صورت زیر خواهد بود:
(2-10) logL=c-12nlogσ2-12σ2εt2که در آن c مقداری ثابت است.
با ماکزیمم کردن (2-10) همان برآوردهای کمترین مربعات η بدست میآید و یک برآورد برای واریانس خطا نیز به صورت زیرحاصل میشود:
(2-11) σ2=1nεt2که در آنεt باقی‌مانده‌های حاصل از جایگذاری η با η در رابطه‌های (2-8) یا (2-9) می‌باشد. تحت فرض‌هایی مشابه با فرضهای (الف)-(ج)، هیلدرس(1969) توزیع بزرگ-نمونهای برآوردگرهای ماکزیمم درستنمایی (β,ϕ,σ2)با خطاهای خودبازگشتی مرتبه اول توزیع نرمال را بدست آورد.
هیلدرس(1969) نشان داد که برآوردگرهای ماکزیمم درستنمایی پارامترهای یک مدل رگرسیون خطی با خطاهای خود بازگشتی دارای توزیع نرمال چند متغیره با میانگینی برابر با مقدار صحیح پارامتر میباشند. وی با بررسی ماتریس واریانس کواریانس مشخص کرد که این برآوردگرها مجانبا کارا می باشند.
در بخش بعدی برای بدست آوردن توزیع این برآوردگرها، باید از لگاریتم تابع درستنمایی (2-10) استفاده نمود و در بعضی از موارد برای بدست آوردن توزیع بزرگ- نمونهای η و σ2 از روشهای کلاسیک (کرامر 1964) استفاده کرد. اگر چه ممکن است که نتایج بدست آمده به شکل تابعی توزیع خطا، بستگی نداشته باشد اما تنها در حالتی که توزیع خطا نرمال باشد، برآوردگرهای در نظر گرفته شده همان برآوردگرهای ماکزیمم درستنمایی میباشند.
2-4-توزیع برآوردهاپیرس (1971)، رفتار مجانبی برآوردگرهای کمترین مربعات بدست آمده در بخش (2-3) را تحت شرایطی بدست آورد که در این بخش قصد داریم این نتایج را بدون ارائه میدهیم.
الف)β دارای توزیع نرمال چندمتغیره با میانگین β و ماتریس واریانس-کواریانسσ2B-1n می‌باشند بطوریکه:
(2-12) B=limn→∞1nt=1nbitbjtو bit (i=1,…,k) توسط رابطه زیر تعریف میشود:
ϕBxit=θBbit(2-13)

ب) η=(ϕ,θ) از β مستقل می‌باشند و همچنین دارای توزیع نرمال با میانگین η=(ϕ,θ) و ماتریس واریانس-کواریانس زیر میباشد:
(2-14) σ2nCEE'D-1
که در آن
(2-15) C=γi-j, D=δi-j, E=ωi-jبعلاوه γk=E(utut+k) و δk=E(vtvt+k) خودکوواریانس تاخیر k-ام فرآیندهای خودبازگشتی زیر می‌باشد:
(2-16) ϕBut=εt , θBvt=εtو ωk=E(utvt+k) کواریانس متقابل در تاخیر k ام بین دو فرایند بالا می‌باشد.
ج)σ2 دارای توزیع نرمال با میانگین σ2 و واریانس 2σ4(1+12γ2)n میباشد. این برآوردگر از(ϕ,θ) مستقل و همچنین درصورتیکه γ1 صفر باشد، از β نیز مستقل می‌باشد. (γ1 و γ2 چولگی و کشیدگی εt میباشند)
تا اینجا سعی شد مدل رگرسیونی با خطاهای سری زمانی را شرح داده و به کمک روش‌ ارائه شده توسط پیرس (1971) برآورد کمترین مربعات پارامترهای این مدل را بدست آوریم. اما بحث اصلی پایاننامه، استنباط آماری مدل رگرسیونی با خطاهای خودبازگشتی به روش لاسو می باشد که براساس مقاله وانگ و همکاران(2007) میباشد. در ابتدا این روش برآوردیابی را برای اینگونه مدلها معرفی کرده و سپس خواص نظری برآوردگرهای حاصل از این روش را مورد بررسی قرار میدهیم.
2-5-برآوردیابی به روش لاسو برای پارامترهای مدل رگرسیون خطی با خطاهای خودبازگشتیهمانطور که در فصل اول گفته شد، روش حداقل انقباض مطلق و عملگر انتخاب که به اختصار لاسو خوانده می شود، اولین بار توسط تیب شیرانی در سال 1996 معرفی گردید. این روش برآوردیابی، انتخاب متغیر و برآورد پارامترها را همزمان انجام میدهدکه این انگیزهای شد تا وانگ و همکاران (2007) در مدلهای رگرسیون خطی با خطاهای خودبازگشتی به برآورد پارامترها با این روش پرداخته و برای این منظور تاوان نوع لاسو را نه تنها برای ضرایب رگرسیونی بلکه برای ضرایب خودبازگشتی هم در نظر گرفتند.
همانند(2-2) مدل رگرسیون خطی با خطاهای خودبازگشتی زیر را در نظر بگیرید:
(2-17) (t=1,…,n0)yt=xt'β+etکه xt=(xt1,…,xtk) یک بردار k بعدی از متغیرهای رگرسیونی و β=(β1,…,βk) بردار پارامترها میباشد.
علاوه بر این، فرض کنید متغیر et از فرایند خودبازگشتی AR(p) زیر پیروی می کند:
(2-18) et=ϕ1et-1+ϕ2et-2+…+ϕpet-p+εtکه در آن ϕ=(ϕ1,…,ϕp) ضرایب خودبازگشتی و εt ها متغیرهای تصادفی مستقل و هم توزیع با میانگین صفر و واریانسσ2 می باشد .
پارامترهای رگرسیونی و خودبازگشتی را بصورت α=(β',ϕ')' تعریف می کنیم. فرض کنید εt در مدل (2-18)، از توزیع نرمال پیروی کند و p مشاهده اول ثابت باشد. تابع درستنمایی شرطی n0-p مشاهده باقیمانده (yp+1,…,yn0)' به صورت زیر می باشد :
(12πσ)nexp-12σ2t=p+1n0yt-xt'β-j=1pϕj(yt-j-xt-j'β)2جاییکه n=n0-p اندازه نمونه موثر میباشد.
با ماکزیمم کردن تابع درستنمایی شرطی فوق، برآوردگر ماکزیمم درستنمایی شرطی به دست می آید. این برآوردگر میتواند با مینیمم کردن تابع هدف زیر نیز بدست آید:
(2-19) Lnα=t=p+1n0(yt-xt'β-j=1pϕj(yt-j-xt-j'β)2
برای انقباض دادن ضرایب کم اهمیت به صفر، از روش تیبشیرانی استفاده کرده به طوریکه رابطه بالا را تحت شرایط j=1kβj≤t و j=1pϕj≤tمینیمم میکنیم و برآوردگرهای لاسو سنتی را برای α بدست میآوریم، یعنی عبارت
Qnα=t=p+1n0yt-xt'β-j=1pϕj(yt-j-xt-j'β)2+nj=1kλβj+nj=1pγϕj(2-20)
را نسبت به βj و ϕj مینیمم می کنیم.
چون روش لاسو سنتی از پارامترهای تنظیم کننده یکسان λ وγ بهترتیب برای ضرایب رگرسیونی و خودبازگشتی استفاده می کند، برآوردگر حاصل α=(β',ϕ')' اریب خواهد بود، زیرا با این روش تمامی ضرایب رگرسیونی (یا خودبازگشتی) سهم یکسانی در انقباض یافتن دارند (فن و لی 2001). لذا برای برطرف کردن این مشکل وانگ و همکاران (2007) برآوردگر لاسو اصلاح شده را با مینیمم کردن عبارت زیر ارائه دادند :
Qn*α=t=p+1n0yt-xt'β-j=1pϕj(yt-j-xt-j'β)2+nj=1kλj*βj+nj=1pγj*ϕj(2-21)
روش لاسو اصلاح شده این اجازه را می دهد که برای ضرایب متفاوت و متناظر با پارامترها ، پارامترهای تنظیم کننده متفاوت λj* و γj* در نظر گرفته شود. بنابراین با این روش انقباض زیادی برای ضرایب کم اهمیت بی معنی و یک مقدار انقباض کم برای ضرایب پر اهمیت معنی دار مدل در نظر گرفته میشود.
از اینرو میتوان انتظار داشت که برآوردگر به دست آمده از روش لاسو اصلاح شده α*، اریبی کمتری نسبت به برآوردگر α داشته باشد.
2-6-خواص نظری برآوردگرهای لاسوبه منظور مطالعه خواص تئوری دو برآوردگر لاسو معرفی شده در بخش قبل ، فرض می کنیم که یک مدل واقعی با ضرایب رگرسیونی و خود بازگشتی، α0=β0',ϕ0''=(β10,…,βk0,ϕ10,…,ϕp0)' وجود دارد. همچنین فرض می کنیم که k0 (k0≤k) ضریب رگرسیونی غیرصفر و p0 (p0≤p) ضریب خودبازگشتی غیر صفر وجود دارند. برای راحتی کار S1 و S2 را به صورت زیر تعریف می کنیم :
S1=1≤j≤k : βj0≠0 و S2=1≤j≤p : ϕj0≠0بنابراین مجموعه های S1 و S2 به ترتیب شامل اندیس هایی از ضرایب معنیدار رگرسیونی و خودبازگشتی هستند، در حالیکه S1c و S2c به ترتیب دربرگیرنده اندیس هایی از ضرایب بیمعنی رگرسیونی و خودبازگشتی می باشند. βS1 نشان دهنده یک بردار k0×1 از ضرایب معنیدار رگرسیونی با βS1 برآوردگر لاسو مربوطه می باشد. همچنین βS1c ، βS1c ، βS1c* ، ϕS1 و ϕS1 و α10=βS10',ϕS20'' و α20=βS1c0',ϕS2c0'' را نیز تعریف میکنیم. αk و αk* برای k=1,2 برآوردگرهای لاسو(سنتی) و اصلاح شده مربوط به آنها می‌باشند. به منظور بررسی خواص نظری α و α* شرایط زیر را در نظر میگیریم :
الف : دنباله xt از دنباله εt مستقل باشد.
ب : تمام ریشه های چندجمله ای 1-j=1pϕj0zj، خارج از دایره واحد باشند.
ج : Eεt4<∞د : xt اکیدا ایستا و ارگودیک با گشتاور دوم متناهی باشد (یعنی Ext2<∞ ). علاوه بر این، ماتریس k×k زیر معین مثبت باشد:
A=E(xt-j=1pϕj0xt-j)(xt-j=1pϕj0xt-j)'2-6-1-خواص برآوردگر لاسو سنتیهمانند بخش 1-4-1در این بخش قصد داریم خواص برآوردگر لاسو سنتی را مورد مطالعه قرار دهیم .
قضیه 2-1 : فرض کنید که برای برخی از مقادیر λ0≥0 و γ0≥0 داشته باشیم: nλn→λ0 و nγn→γ0 . تحت شرایط الف-د ذکر شده در بخش 2-6 داریم :
n(α-α0) d argminκ(δ)
که در آن
kδ=-2δ'w+δ'Σδ'+λ0j=1kujsgnβj0Iβj0≠0+ujIβj0=0 +γ0j=1pνjsgnϕj0Iϕj0≠0+νjIϕj0=0و
ξk=Eetet+k,C=ξi-j,Σ=diagA,C,w~N0,σ2Σ,δ=u',ν''اثبات :
قرار دهید δ=(u,v) ، u=(u1,…,uk) و v=(v1,…,vp) . سپس تعریف کنید :
κnδ=Qnα0+n-12δ-Qnα0 =Lnθ0+n-12δ-Lnθ0 +nλnj=1kβj0+ujn-12-βj0 + nγnj=1pϕj0+vjn-12-ϕj0حال با توجه به نایت و فو (2000) داریم :
nλnj=1kβj0+ujn-12-βj0→λ0j=1kujsgnβj0Iβj0≠0+ujI(βj0=0)nγnj=1kϕj0+vjn-12-ϕj0→γ0j=1kvjsgnϕj0Iϕj0≠0+vjI(ϕj0=0)(2-22)
بهعلاوه :
Lnα0+n-12δ-Lnα0=tyt-xt'βo+n-12u-j=1p(ϕj0+n-12vj)yt-j-xt-j'(βo+n-12u)2-tεt2=tet-j=1pϕj0+n-12vjet-j-n-12u'xt-j=1p(ϕj0+n-12vj)xt-j2-tεt2=tεt-n-12j=1pvjet-j-n-12u'(xt-j=1pϕj0xt-j)+n-1u'j=1pvjxt-j2-tεt2= R1+R2+R3+R4+R5,جاییکه
R1=-2n-12t(εtj=1pvjet-j)-2n-12u'tεtxt-j=1pϕj0xt-jR2=2n-1u't{(j=1pvjet-j)(xt-j=1pϕj0xt-j)} ,R3=n-1t(j=1pvjet-j)2+n-1u't(xt-j=1pϕj0xt-j)(xt-j=1pϕj0xt-j)'u ,R4=2n-1t(u'j=1pvjxt-j)εt-n-12j=1pvjet-j-n-12u'(xt-j=1pϕj0xt-j) ,R5=n-2u't(j=1pvjxt-j)(j=1pvjxt-j)'u ,با استفاده از قضیه حد مرکزی مارتینگل و قضیه ارگودیک (پیوست)، میتوان نشان داد که :
R1d-2δ'w , R2=op1 , R3pδΣδ' ,R4=op1, R5=op1برای توضیحات بیشتر به وانگ و همکاران 2007 مراجعه نمایید.
در نتیجه :
(2-23) Lnα0+n-12δ-Lnα0d-2δ'w+δΣδ'بنابراین با توجه به (2-22) و (2-23) داریم:
κnδdκ(δ)حال باید نشان دهیم که
argminκn(δ)dargminκ(δ)برای نشان دادن رابطه فوق، باید ثابت کنیم که argminκn(δ)=Op(1) .
κnδ≥tεt-n-12j=1pvjet-j-n-12u'(xt-j=1pϕj0xt-j)+n-1u'j=1pvjxt-j2-εt2 -nλnj=1kujn-12-nγnj=1pvjn-12 ≥tεt-n-12j=1pvjet-j-n-12u'(xt-j=1pϕj0xt-j)2-εt2 -(λ0+ε0)j=1kuj-(γ0+ε0)j=1pvj+ξn(δ) ≔κnδ,وقتیکه ε0 مقدار ثابت مثبت باشد. علاوه بر اینκn0=κn0 و ξnδ=op(1). همچنین برای n به اندازه کافی بزرگ و هر δ، جملات درجه دوم در κnδ سریعتر از uj و vj رشد مییابند. بنابراین argminκnδ=Op(1) پس argminκnδ=Op(1)و از آنجاییکه argminκnδ با احتمال یک منحصر به فرد است(نایت و فو(2000))، اثبات قضیه تمام میشود.
قضیه2-1نشان میدهدکه برآوردگر لاسو سنتی دارای خواص مجانبی نایت– فو(بخش1-4-1) می باشد. در نتیجه پارامترهای تنظیم کننده در برآوردگر لاسو سنتی نمی توانند با سرعتی بیشتر از n-12 به صفر انقباض پیدا کنند، مگر اینکه هم λ0 و هم γ0 تباهیده در صفر ‌باشند و κδ به یک تابع درجه دوم استاندارد تبدیل شود یعنی :
κδ=κu,v=-2u',v'w+u',v'Σu',v''که این قادر به تولید جوابهای تنک نمی‌باشد. بنابراین قضیه 2-1 نتیجه میدهدکه برای بدست آوردن برآوردگر لاسو سنتی باید λ0>0 و γ0>0 باشد.
تذکر2-1 : فن و لی در سال 2001 نشان دادند که در یک مدل رگرسیون استاندارد با مشاهدات مستقل، برآوردگر لاسو سنتی دارای اریبی قابل توجهی می باشد. از این رو بررسی کردن این موضوع در مدل رگرسیونی با خطای خودبازگشتی و چک کردن این‌که آیا در این مدل نیز با مشکل اریبی مواجه هستیم یا نه، مورد علاقه قرار گرفت. به همین منظور حالت خاصی را که در آن βj0>0 برای 1≤j≤k و ϕj0=0 برای 1≤j≤p را در نظر می‌گیریم. اگر مینیمم کننده κδ به درستی قادر به تشخیص مدل واقعی باشد، آنگاه u≠0 ولی ν=0 . علاوه براین κδ در معادله زیر صدق می کند :
∂κ(u,0)∂u=-2w1+2u'A+λ01=0بهطوریکه w1 شامل k مولفه اول w و 1 برداریk×1 با مولفههای 1 می‌باشد. در نتیجه :
n(β-β0) d u= B-1(w1-0.5λ01)~N(-0.5λ0A-11,σ2A-1)از آنجاییکه λ0>0، قضیه 2-1 نشان میدهد که برآوردگر لاسو سنتی مجانبا اریب می‌باشد. بنابراین کارایی این برآوردگر به اندازه کارایی برآوردگر پیشگو که دارای توزیع N(0,σ2A-1) است، نمیباشد.
2-6-2-خواص برآوردگر لاسو اصلاح شده
در این بخش به بررسی خواص برآوردگر لاسو اصلاح شده می پردازیم. به منظور تسهیل در مطالعه ویژگیهای این برآوردگر، نمادهای زیر را معرفی می کنیم:
an=max⁡(λj1*,γj2*,j1∈S1,j2∈S2)bn=min⁡(λj1*,γj2*,j1∈S1c,j2∈S2c)وقتیکه λ1* و γ2* توابعی از n می‌باشند. در ابتدا سازگاری برآوردگر لاسو اصلاح شده را بررسی می‌کنیم .
لم2-1 :فرض کنید که برای n→∞ داشته باشیمan=o(1)، آنگاه تحت شرایط الف-د بخش 2-6، یک مینیمم کننده موضعی α* از Qn*(α) به صورت زیر وجود دارد:
α*-α0=Op(n-12+an)اثبات :
فرض کنید که ψn=n-12+an و α0+ψnδ;δ≤d گویی در اطراف α0 باشد. بنابراین برای δ=d داریم :
Dnδ≔Qn*α0+ψnδ-Qn*(α0) ≥Lnα0+ψnδ-Lnα0+nj∈S1λj*βj0+ψnuj-βj0 + nj∈S2ψj*ϕj0+ψnvj-ϕj0 ≥Lnα0+ψnδ-Lnα0-nψnj∈S1λj*uj-nψnj∈S2ψj*vj ≥Lnα0+ψnδ-Lnα0-nψn2k0d-nψn2p0d(2-27) =Lnα0+ψnδ-Lnα0-nψn2k0+p0 حال، همانند اثبات قضیه (2-1) داریم:
Lnα0+ψnδ-Lnα0=tεt-ψnj=1pvjet-j-ψnu'(xt-j=1pϕj0xt-j)+ψn2u'j=1pvjxt-j2-tεt2=A1+A2+A3+A4+A5,(2-28)
جاییکه
A1=ψn2t(j=1pvjet-j)2+u'(xt-j=1pϕj0xt-j)(xt-j=1pϕj0xt-j)'uA2=-2ψntεtj=1pvjet-j+u'(xt-j=1pϕj0xt-j)A3=2ψn2t(j=1pvjet-j)u'(xt-j=1pϕj0xt-j)A4=ψn3t(u'j=1pvjxt-j)ψnu'j=1pvjxt-j-2u'(xt-j=1pϕj0xt-j)-2j=1pvjet-jA5=2ψn2tεt(u'j=1pvjxt-j)علاوه بر این، داریم :
A1=nψn2δ'Σδ+op(1)A2=δ'Op(nψn2)A3=nψn2op1=op(nψn2)A4=nψn3Op1=nψn2op1=op(nψn2)A5=nψn2op1=op(nψn2)برای توضیحات بیشتر به وانگ و همکاران 2007 مراجعه نمایید.
چونA1 از بقیه چهار عبارت دیگر رابطه (2-28) و همچنین nψn2k0+p0d در رابطه (2-27 ) بزرگتر میباشد. از اینرو برای هر ε>0 یک مقدار ثابت بزرگ مثل d وجود دارد بطوریکه :
Pinfδ=dQn*(α0+ψnδ>Qn*(α0)≥1-εاین نشان میدهد که با احتمالی حداقل 1-ε، در گوی α0+ψnδ;δ≤d مینیمم کننده موضعی وجود دارد (فن و لی 2001). در نتیجه یک مینیمم کننده موضعی Qn*(α) وجود دارد بهطوریکه α*-α0=Op(ψn) وجود دارد. و اثبات کامل میشود.
لم2-1 نتیجه میدهدکه اگر پارامترهای تنظیم کننده مرتبط با متغیرهای رگرسیونی و خودبازگشتی معنیدار با سرعتی بیشتر از n-12 به صفر میل‌کنند، آنگاه یک مینیمم کننده موضعی از Qn*(α) که دارای سازگاری با نرخ n میباشد، وجود دارد.
در قضیه بعد نشان داده میشود که اگر پارامترهای تنظیم کننده مرتبط با متغیرهای رگرسیونی و خودبازگشتی بی معنی کندتر از n-12 به سمت صفر انقباض پیدا کنند، آنگاه ضرایب رگرسیونی و خودبازگشتی آنها با احتمال متمایل به یک، دقیقا صفر برآورد می‌شوند.
قضیه 2-2 : فرض کنید که nbn→∞ و α*-α0=Op(n-12) ، آنگاه :
P(βS1c*=0)→1 و P(ϕS2c*=0)→1اثبات :
اثبات این قضیه با توجه به این نکته بدست میآید که، مینیمم کننده موضعی α* باید در معادله زیر صدق کند:
0=∂Qn*(α*)∂βj=∂Ln(α*)∂βj-nλj*sgn(βj*) =∂Ln(α0)∂βj+nΣjα*-α01+op1-nλj*sgn(βj*) (2-29)
وقتیکهΣj، نشان دهنده j امین سطر از Σ و j∈S1cمیباشد. با استفاده از قضیه حد مرکزی، اولین جمله معادله (2-29)، از مرتبه Op(n12) میباشد. بهعلاوه شرط موجود در قضیه 2-2 نتیجه میدهد که دومین جمله از مرتبهOp(n12) میباشد. چونnbn→∞ ، هردو جمله توسط nλj* غالب شدهاند. بنابراین علامت معادله (2-29) توسط علامت βj* مشخص شده است و در نتیجه داریم P(βS1c*=0)→1. به طور مشابه میتوان نشان داد که P(ϕS1c*=0)→1. در نتیجه اثبات قضیه کامل میشود.
قضیه 2-2 نشان می‌دهد که لاسو اصلاح شده می‌تواند یک جواب تنک برای ضرایب بی معنی رگرسیونی و خودبازگشتی، تولید کند. بعلاوه این قضیه، بههمراه لم 2-1 نشان میدهد که برآوردگرα*آ
با نرخ سازگاری n، زمانی‌که پارامترهای تنظیم کننده در شرایط مناسبی صدق کنند، در رابطه P(α2*=0)→1 صدق میکند.
درپایان این بخش، توزیع مجانبی برآوردگر لاسو اصلاح شده را بدست می آوریم:
قضیه2-3 :فرض کنید که nan→0 و nbn→∞. آنگاه تحت شرایط الف-د بخش2-6، مولفه α1* از مینیمم کننده موضعی α* که از لم (2-1) بدست میآید، در رابطه زیر صدق می کند:
n(α1*-α10) d N(0,σ2Σ0-1)وقتیکهΣ0 زیرماتریس از ماتریس Σ مطابق با α10 می‌باشد.
اثبات :
با برقرار بودن لم 2-1و قضیه 2-2 ، داریم که P(α2*=0)→1 . بنابراین مینیمم کننده Qn*(α) با احتمال متمایل به یک، همان Qn*(α1*) است. این نتیجه میدهد که برآوردگر α1* در معادله زیر صدق میکند:
(2-30) ∂Qn*(α1)∂α1α1=α1*=0براساس لم 2-1 ،α1* برآوردگری با نرخ سازگاری n میباشد. بنابراین بسط سری تیلور معادله (2-30) این نتیجه را میدهد که :
0=1√n∂Ln(α1*)∂α1+nP(α1*) =1√n∂Ln(α10)∂α1+nPα10+Σ0nα1*-α10+op(1)جاییکه P مشتق مرتبه اول از تابع تاوان زیر میباشد :
j∈S1λj*βj+j∈S2γj*ϕjو Pα1*=P(α10) برای n به اندازه کافی بزرگ. بهعلاوه به آسانی نشان داده میشود که nPα10=op(1) ، که در نتیجه :
nα*-α0=Σ0-1n∂Ln(α10)∂α1+op(1)dN(0,σ2Σ0-1)که این اثبات را کامل میکند.
قضیه 2-3 نتیجه میدهد که اگر پارامترهای تنظیم کننده در شرایط nan→0 و nbn→∞ صدق‌کنند، آنگاه برآوردگرلاسو اصلاح شده حاصل به طور مجانبی، همانند برآوردگر پیشگو کارا میباشد.
فصل سوم

الگوریتم دستیابی به برآوردگرهای لاسو در مدل رگرسیون خطی با خطای خود بازگشتی
مقدمه:
بعد از بررسی خواص حدی دو نوع برآوردگر لاسو معرفی شده در فصل قبل، طبیعی است که باید آنها را برای کاربردهای واقعی به کار ببریم. از اینرو الگوریتم زیر برای بدست آوردن مینیمم کننده موضعی برآوردگر های لاسو α*, α ارائه میشود. همچنین، روشی را جهت برآورد همزمان k+p پارامتر تنظیم کننده، برای برآوردگر لاسو اصلاح شده ارائه میکنیم. (وانگ و همکاران 2007 )
3-1-فرایند تکراریتابع هدف Qn*(α) ، Qn(α) را درحالت خاص λj=λ , γj=γ در برمی‌گیرد بنابراین در ادامه این بخش،مساله اصلی بهینه کردن Qn*(α) است. چون معادله Qn*(α) هم پارامترهای رگرسیونی و هم پارامترهای خودبازگشتی را شامل می‌شود، از این‌رو منطقی به نظر می‌رسد که با یک روش تکراری به بهینه سازی Qn*(α) بپردازیم که این امر بوسیله مینیمم کردن دو تابع هدف نوع لاسو زیر بدست میآید :
با یک ϕ ثابت
t=p+1n0(yt-xt'β)-j=1pϕj(yt-j-xt-j'β)2+nj=1kλjβjو

متن کامل در سایت امید فایل 

با یک β ثابت
t=p+1n0(yt-xt'β)-j=1pϕj(yt-j-xt-j'β)2+nj=1pγjϕjبرای پیدا کردن جوابهای توابع تاوان بالا از روشهای زیادی میتوان استفاده کرد. به عنوان مثال می توان به برنامه‌نویسی درجه دوم(تیبشیرانی 1996)، الگوریتم پرتابی(فو1998)، تقریب درجه دوم موضعی (فن و لی 2001) و اخیرا روش رگرسیون حداقل زاویه (افرون و همکاران 2004)، اشاره کرد. وانگ و همکاران (2007) برای راحتی کار از روش تقریب درجه دوم موضعی که برای اولین بار فن و لی در سال 2001 معرفی کرد، استفاده نمودند. این روش در بسیاری از مقاله ‌ها از جمله فن و لی در سال 2001، فن و پنگ (2004) و کای و همکاران (2005) مورد استفاده قرار گرفته است. مطالعات شبیه سازی نشان می‌دهد که این روش با سرعت و درجه دقت منطقی همگرا می‌شود.
تذکر 3-1 :جواب تقریب درجه دوم موضعی، یک جواب تنک را نتیجه نمیدهد. هرچند برآورد پارامتر کوچک تولید شده توسط این روش تا زمانی‌که بتوان یک آستانه به اندازه کافی کوچک برای تحمل دقت تعریف کرد، به صورت کاملا دلخواه می تواند به صفر نزدیک شود. برای توضیح بیشتر رگرسیون خطی معمولی را در نظر بگیرید. در این حالت تقریب درجه دوم موضعی برآورد یک گام جلوتر β(m+1) را با می‌نیمم کردن عبارت زیر تولید می‌کند :
y-xβ(m+1)2+nj=1kλj(βjm+1)2βj(m) ,جاییکه y=(y1,…,yn0)' و x=(x1,…,xn0)' . اگر یکی از ضرایب ( مثلا β1(m) ) بسیار کوچک باشد (اما تنک نباشد)، آنگاه اثر ریج ناشی از β1(m) یعنی λ1β1(m) میتواند بسیار بزرگ باشد. به عنوان نتیجه مقدار β1(m+1) مجبور به کوچک‌تر بودن می‌باشد. زیرا این یک فرایند تکراری می‌باشد و تا زمانی‌که بتوان یک آستانه به اندازه کافی کوچک را برای دقت داشته باشیم، می‌توان مقدار β1(m) را به دلخواه به سمت صفر نزدیک کرد. بنابراین قرار دادن یک مقدار آستانه به دلخواه کوچک برای اینکه برآوردهای کوچک را دقیقا به صفر انقباض ‌دهد، امکان پذیر خواهد بود. با این عمل میتوان جوابهای تنک را بدست آورد. در مطالعات شبیه‌سازی مقدار این آستانه را 10-9 قرار می‌دهیم به‌طوریکه هر ضریبی که قدرمطلق آن کوچک‌تر از این مقدار باشد، به صفر منقبض میشود.
3-2-تحدب موضعی اگرچه بکارگیری فرایند تکراری معرفی شده آسان میباشد، اما نمیتوان با قاطعیت مطمئن شد که برآوردگر حاصل، به مینیمم کننده مطلق همگرا میشود که به این دلیل است که جمله کمترین توان دوم Ln(α) در تابع هدف Qn*(α) یک تابع محدب نمیباشد. محدب نبودن این جمله انگیزه خوبی شد که وانگ و همکاران (2007) قضیه زیر را ارایه کنند.
این قضیه نشان می دهد که یک ناحیه موضعی ثابت، به اندازه کافی کوچک وجود دارد که دربرگیرنده پارامتر واقعی آن Ln(α)-یی است که با احتمال یک، محدب است.
قضیه 3-1 : یک مجموعه خنثی مانند N0 و یک مقدار ثابت به اندازه کافی کوچک مثل δ>0 وجود دارد بطوریکه برای هر ∉N0 ω، عدد صحیحی مثل nω وجود دارد که برای هر n>nω، Ln(α) در α∈Bδ محدب میباشد، جاییکه
Bδ=α:α-α0<δ
یک گوی در برگیرنده مقدار واقعی α0 میباشد.
قضیه (3-1) به این نکته اشاره می کند که با احتمال متمایل به یک ، حداکثر یک می نیمم کننده موضعی در گوی Bδ وجود دارد. با توجه به لم (2-1)، α* وجود دارد و در احتمال سازگار میباشد. بنابراین قضیه (3-1) و لم (2-1) باهم نتیجه میدهند که با احتمال متمایل به یک، α* مینیمم کننده موضعی یکتا در Bδ میباشد. در نتیجه α* با یافتن مینیمم کننده موضعی یکتا در Bδ بدست می آید.
تذکر 4-2 : قضیه (3-1) نه تنها برای لاسوی اصلاح شده، بلکه برای لاسوی سنتی نیز بکار میرود. به ویژه قضیه (3-1) به همراه قضیه (2-1) نتیجه میدهد که با پیدا کردن مینیمم کننده موضعی یکتا در Bδ ، α را میتوان یافت. هرچند در عمل، نیازی به مشخص کردن Bδ نیست، چون اگر برآوردگر شروع سازگار باشد، آنگاه باید با احتمال متمایل یک، در داخل Bδ قرار گیرد. در نتیجه فرایند تکراری معرفی شده با احتمال متمایل یک، به مینیمم کننده موضعی (یعنی α* یا α ) همگرا شود.
(برای اطلاعات بیشتر به فن و لی (2001) و (2002) مراجعه کنید)
3-3-برآوردگر شروعبرای بدست آوردن برآوردگر سازگار در فرایند تکراری، برآوردگر کمترین مربعات معمولی را بعنوان یک برآوردگر شروع ضریب رگرسیونی β0 پیشنهاد می کنیم:

پاسخ دهید

نشانی ایمیل شما منتشر نخواهد شد. بخش‌های موردنیاز علامت‌گذاری شده‌اند *

متن کامل پایان نامه را در سایت منبع 23333 fuka.irمی توانید ببینید