Slump portföljer för utvärdering handelsstrategier

Denna sida är uppdelad i följande avsnitt: Slumpmässiga portföljer har möjlighet att revolutionera fondförvaltningen. Du kanske tror att det betyder att de måste vara esoteriska och komplexa. Du skulle ha fel 8212 Idén är väldigt enkel. För att ha slumpmässiga portföljer behöver du ett universum av tillgångar och vissa begränsningar för att införa portföljerna. En uppsättning slumpmässiga portföljer är ett urval av portföljen som följer alla begränsningar. Figur 1 visar provtagningsområdet (i vikter) för ett leksaksproblem med tre tillgångar. Begränsningarna är: endast långa vikt över 45 maximala volatiliteter. Volatilitetsbegränsningar är icke-linjära och följaktligen är gränsen som motsvarar denna begränsning olinjär. Av apor och män och pilar Den mest kända formen av slumpmässiga portföljer är aktiemarknaden dartboardspel. Människor eller apor kastar dart för att välja ett eller några tillgångar. Valet via dart jämförs sedan med något professionellt urval. Det här är roligt, och nästan ett bra tillvägagångssätt, men har två misslyckanden. Det första felet är att vi bara får se om den professionella överträffar ett slumpmässigt urval. Vi får inte se hur stor del av slumpmässiga val den professionella överträffar. För att vara riktigt informerad måste vi se i storleksordningen hundra eller flera slumpmässiga val. Den andra misslyckas är att pilarna inte följer några hinder. Detta är rättvist i en tidningskonkurrens där experterna inte heller har begränsningar. Men reella medel har begränsningar. Att jämföra en fond med begränsningar till slumpmässiga portföljer utan begränsningar gör fonden till en nackdel. Prestationsmätning Det finns två sätt att använda slumpmässiga portföljer för att uppnå prestandamätning: den statiska metoden och skuggmetoden. Vi kommer att se varför prestationsmätning via riktmärken är sämre. Den statiska metoden I den statiska metoden genererar vi en uppsättning slumpmässiga portföljer som följer lyden i början av tidsperioden, behåller dessa portföljer under hela tidsperioden och hittar deras avkastning för perioden. Fondens percentil är procenten av de slumpmässiga portföljerna med större avkastning. (Konventionen i prestationsmätning är bra för att vara nära den nitton procentilen och dålig att vara nära 100: e percentilen.) Figur 2 är ett exempel. Det visar fördelningen av avkastningen av slumpmässiga portföljer i blått. och fondens avkastning i guld. I detta fall fungerade fonden inte mycket bra. Det här är väldigt mycket som prestationsmätning med peer-grupper. I båda fallen använder vi en enda tidsperiod, och i båda fallen jämför vi vår fond till en rad alternativa möjligheter. Det finns några signifikanta skillnader, trots 8212 vi markerar två. I peer-grupper är alternativen andra fonder som är 8220likna8221 till fonden av intresse. Helst skulle endast medel med samma begränsningar användas. Å andra sidan vill vi ha många kamrater för att få mer precision. Så det finns motsatta krafter för små gruppgrupper jämfört med stora gruppgrupper. Det finns ingen sådan spänning med slumpmässiga portföljer 8212 vi kan generera så många slumpmässiga portföljer som vi vill. Ett allvarligare problem med gruppgrupper är att vi inte vet vad resultaten betyder. Vi är tänkt att tro att om vår fond av intresse gjorde bättre än alla utom 10 av sina jämnåriga, så är vår fund8217s färdighet ungefär vid 10: e percentilen bland sina kamrater. Detta förutsätter att skillnader i skicklighet dominerar skillnader i lycka. Ett sådant antagande är osannolikt att vara motiverat. I synnerhet om det är så att ingen fond har färdighet (eller alla fonder har lika skicklighet), så är vår fond den 10: e percentilen av tur 8212, åtgärden innehåller ingen information alls. Burns (2007a) expanderar på detta argument. Surz (2006, 2009) diskuterar ytterligare problem med gruppgrupper. Skuggmetoden Den statiska metoden för slumpmässiga portföljer är mer informativ än gruppgrupper. Men det är fortfarande ganska generisk information. Prestanda är 8212 vid rot 8212 om beslut. Tanken med skuggningsmetoden är att använda slumpmässiga affärer för att efterlikna de beslut som fonden fattar. Detta kan ge oss en mycket tydligare bild av värdet av beslutsprocessen. Ett exempel diskuteras i resultatmätningsapplikationssidan. Referenser En fond bedöms mot ett referensvärde genom att jämföra en serie avkastningar från fonden med motsvarande avkastning för referensvärdet. Denna metod har några problem. Den stora är den tid det tar att bestämma att en bra fond verkligen är bättre än referensnumret 8212 det kommer antagligen att ta decennier. Kraften i dessa test i den ideala inställningen ges i Burns (2007a) 8212 flera år krävs för att få en rimlig kraft även för exceptionell skicklighet. Men verkligheten är mycket värre än idealet eftersom svårigheten att slå ett riktmärke inte är konstant. Om de mest viktiga tillgångarna i referensnumret råkar fungera relativt bra, blir det svårt att slå riktmärket. Omvänt, om de mest viktiga tillgångarna fungerar relativt dåligt, blir det lätt att slå riktmärket. Kothari och Warner (2001) diskuterar detta. Figur 3 visar procenten av medel som har SampP 500 som deras riktmärke som överträffade referensvärdet i varje år 8212 se specifika uppgifter om detta i 8220Performance Measurement via slumpmässiga portföljer8221. För att tro att jämförelsen är meningsfull måste vi tro att fondförvaltarna 8212 som en grupp 8212 var fattiga i åren, blev plötsligt bra i tre år och gick sedan tillbaka till att vara fattiga. Burns (2007b) diskuterar prestandamätningen i den lite annorlunda inställningen för att testa rekommendationerna från marknadskommentatorer. Testa Trading Strategies Fondförvaltare och potentiella fondförvaltare står inför ett antal problem när de fattar beslut om en handelsstrategi. Här undersöker vi två: I huvudsak finns problemet med att vara fel, och problemet med att vara rätt. Data snooping gör strategierna bättre än de verkligen är. För att se varför, anta att du försökte 1000 handelsstrategier som var helt slumpmässiga. Den som gjorde bäst kan se ganska bra ut. Förhoppningsvis är en investeringschef isn8217t att försöka helt slumpmässiga strategier, men urvalet kommer fortfarande att finnas. Om liknande modeller används i flera företag för att hantera mycket pengar, är en fondförvaltare som använder dessa modeller föremål för dramatiska rörelser på marknaden. Det blev tydligt för många människor i augusti 2007. Utan en kris är det svårt att säga att detta händer. Slumpmässiga portföljer kan hjälpa till med det första problemet, och eventuellt med den andra. Handelsstrategier kan testas med hjälp av den skuggningsmetod som diskuterats ovan. Det finns en viktig skillnad mellan prestationsmätning och testning av en handelsstrategi. När vi prövar en handelsstrategi vill vi göra skuggningsprocessen ett antal gånger med olika startportföljer. Denna testprocess minskar effekten av data snooping eftersom det finns en mycket strängare definition av en framgångsrik strategi. Fondförvaltaren är fortfarande sårbar för förändringar i marknadsbeteendet, men mycket mindre mottagligt för felaktiga tolkningar av den historiska perioden. Testning med slumpmässiga portföljer kan kunna minska besättningen eftersom tekniken gör det möjligt att hämta mer efemära signaler. Rationell investering Nuvarande praxis är mindre än rationell för: spårningsfelbegränsningar prestationsavgifter begränsningsgränser Spårningsfelbegränsningar Många mandat ger investeringschefen ett riktmärke och ett maximalt spårningsfel från referensvärdet. Detta är slöseri i flera avseenden. I nästan alla fall kan investeraren köpa en indexfond för referensvärdet med mycket låga ledningsavgifter. What8217s fördelen med att anställa en aktiv chef för att driva en fond som är extremt korrelerad med indexfonden Om chefen doesn8217t överträffar referensvärdet med mer än de extra förvaltningsavgifterna är det uppenbarligen ingen fördel alls. Om chefen har färdighet att konsekvent slå riktmärket, kan den färdigheten användas till mycket bättre användning. En skicklig fondförvaltare bör i allmänhet kunna uppnå högre avkastning när spårningsfelbegränsningen släpps. Om man antar att investeraren har pengar i indexet kommer den högre avkastningen hos den obestridda chefen också att vara mer värdefull. Allt annat är lika, det är bättre för den aktiva fonden att ha en låg korrelation med indexet. Det visar sig vara detsamma som ett stort spårningsfel. Det vill säga, det rationella skulle vara att ålägga en minimal spårningsfelbegränsning snarare än en maximal spårningsfelbegränsning. Anledningen till att det finns maximala spårningsfelbegränsningar är för att få illusionen att vi kan se om fondförvaltaren överträffar eller inte. Vi kan verkligen berätta med hjälp av riktmärken, men vi kan berätta att använda slumpmässiga portföljer även om det inte finns en spårningsfelbegränsning. Slumpmässiga portföljer fungerar lika bra för prestandamätning, oavsett vilket spårningsfel det finns. Prestationsavgifter Om du har en prestationsavgift är det inte en bra idé att få det i förhållande till ett riktmärke. Som det framgår av figur 3 är det för det mesta en satsning mellan fondschefen och investeraren om huruvida stora kepsar kommer att överträffa. Skicklighet kommer att ha mycket lite att göra med det. Ett mer rimligt mål skulle vara den genomsnittliga avkastningen på en uppsättning slumpmässiga portföljer som överensstämmer med fondens begränsningar. Begränsningseffekter Vi kan använda slumpmässiga portföljer för att bestämma rationellt vad begränsningsgränserna borde vara. Begränsningar är vanligen införda utan känsla av vad som uppnås och förloras. Figur 4 visar en exempelanalys av begränsningar. Tätheterna för det realiserade verktyget över tid visas för en viss uppsättning begränsningar (guld) och för dessa begränsningar plus en volatilitetsbegränsning (blå). Under normala marknadstider kommer vi att vara ganska likgiltiga mot volatilitetsbegränsningen. Under de dåliga marknadsförhållandena för 2008 var volatilitetsbegränsningen dock ganska värdefull. Ytterligare användningar av slumpmässiga portföljer Ett antal ytterligare användningar av slumpmässiga portföljer har föreslagits och det finns säkert ett stort antal applikationer som ännu inte ska upptäckas. Här diskuteras några ytterligare användningsområden. Bedömning av riskmodeller Slumpmässiga portföljer utgör ett sätt att generera realistiska portföljer som kan sättas genom riskmodeller för att se hur de utför. Riskmodeller kan jämföras med varandra, eller enskilda modeller kan testas för svaga fläckar. Figur 5 visar ett exempel på att jämföra en riskmodell8217s förutsägelse av volatilitet till den realiserade volatiliteten för vissa 12020 portföljer. Korrelationen mellan förutspådd och realiserad volatilitet över ett stort antal slumpmässiga portföljer beräknades. Allmänt kvantverktyg Slumpmässiga portföljer kan användas i stort sett alla kvantitativa övningar som involverar portföljer. En lista över några av användningarna finns på sidan för kvantforskningsapplikationer. Idén om slumpmässiga portföljer är inte ny 8212 En tidig användning var 8220program utvalda portföljer8221 av Dean LeBaron och kollegor vid Batterymarch Financial Management i 19708217-talet. En jämn tidigare användning beskrivs i ett amerikanskt statistikförbunds tal av James Lorie år 1965 (något tal som börjar med Mark Twain och slutar i St. Tropez kan vara allt dåligt). På den tiden sträckte slumpmässiga portföljer beräkningskapaciteten. Beräkningshastigheten är inte längre ett allvarligt problem med lämplig teknik. Några tekniska punkter De statistiska startstegen och slumpmässiga permutatestest är tekniker som radikalt har ändrat dataanalys under de senaste två decennierna. Beroende på hur slumpmässiga portföljer används, är de i allmänhet likvärdiga med en av dessa tekniker. Användningen av slumpmässiga portföljer för att utföra prestationsmätning är analog med att göra ett slumpmässigt permutationstest. Undersökningen av effekten av begränsningsgränser, såsom i Figur 5, liknar hur bootstrappen kan användas. Den enda verkliga skillnaden är att på grund av begränsningarna är slumpmässiga portföljer svårare att beräkna. Diskussion Senior Consultant publicerade några testimonials på PIPODs. Även om det här handlar om en implementering, gäller de flesta kommentarer i slumpmässiga portföljer i allmänhet. Även naivt genererade slumpmässiga portföljer kan vara användbara. Exempel på detta är Mikkelsen (2001) Kritzman och Page (2003) och Asso, L8217Her och Plante (2004). Kothari och Warner (2001) visar att benchmarking mot ett index är problematisk, och deras teknik involverar slumpmässiga portföljer. Följande produkter skapades oberoende av varandra, och endast Portfolio Probe är associerad med Burns Statistics. Portföljprobe från Burns Statistics. Detta har ett brett spektrum av begränsningar, inklusive den mycket viktiga av att begränsa volatiliteten i portföljerna. PODs och PIPODs från PPCA Inc. Referenser Asso, Kodjovi, Jean-Franois L8217Her och Jean-Franois Plante (2004). 8220 finns det verkligen en hierarki i investeringsval8221 hec. cacrefpdfc-04-15e. pdf Bridgeland, Sally (2001). 8220Process tillskrivning 8212 ett nytt sätt att mäta skicklighet i portföljkonstruktion8221 Journal of Asset Management. Burns, Patrick (2006). Portföljanalys med slumpmässiga portföljer (pdf av anmälda presentationsglas) Burns, P. (2006). 8220Random Portföljer för Prestationsmätning8221 i optimering, ekonometrisk och finansiell analys E. Kontoghiorghes och C. Gatu, redaktörer. Springer. Burns, P. (2007a). 8220Bullseye8221 Professional Investor March issue. En mycket liknande version finns som Dart till hjärtat Carl, Peter och Brian Peterson och Kris Boudt (2010). 8220Business Objectives and Complex Portfolio Optimization8221. RFinance handledning Daniel, G. D. Sornette och P. Wohrmann (2008). 8220Look-Ahead Benchmark Bias i Portfölj Prestationsutvärdering8221 Arbetande papper på SSRN Dawson, Richard och Richard Young (2003). 8220Närligt jämnt fördelade, stokastiskt genererade portföljer8221 i förskott i portföljkonstruktion och implementering redigerad av Stephen Satchell och Alan Scowcroft. Butterworth-Heinemann. Elton, E. J. M. J. Gruber, S. J. Brown och W. N. Goetzmann (2003). Modern Portfolio Theory och Investment Analysis, Sixth Edition (kapitel 24, utvärdering av portföljprestanda). Kothari, S. P. och Jerold Warner (2001). 8220Evaluerande ömsesidig fond Performance8221 Journal of Finance arbetspapper på SSRN Kritzman, Mark och Sbastien Page (2003). 8220The Hierarchy of Investment Choice8221 Journal of Portfolio Management 29. nummer 4, sidorna 11-23. Lisi, Francesco (2011). 8220Display med marknaden: Randomized Procedures for Evaluation of Mutual Funds8221. Kvantitativ finansiering 11. nummer 2, sidorna 163-172. Padova Universitets arbetsblad. papers. ssrnsol3papers. cfmabstractid1375730 Mikkelsen, Hans (2001). 8220 Förhållandet mellan förväntat återvändande och beta: En slumpmässig omprovning Approach8221 SSRN-papper Shaw, William (2010) 8220Monte Carlo Portföljoptimering för generella investerare Riskåtergångsmål och godtyckliga återfördelningar: En lösning för långfristiga portföljer8221 SSRN-version Simon, Thibaut (2010) ). 8220 En empirisk studie av aktieportföljer baserade på diversifiering och innovativa riskåtgärder8221. Magisteruppsats Stein, Roberto (2012). 8220Inte lurad av slumpmässighet: Använda slumpmässiga portföljer för att analysera investeringsfonder8221 SSRN-version Surz, Ron (1994). 8220Portfolio Opportunity Distributions: En Innovation In Performance Evaluation8221 Journal of Investing. Surz, Ron (1996). 8220Portfolio Opportunity Distributions: En lösning på problemen med benchmarks och peer groups8221 Journal of Performance Measurement. Surz, Ron (1997). 8220 Global Prestationsutvärdering och Equity Style: Introduktion av Portfolio Opportunity Distributions8221 i Handbook of Equity Style Management. Frank Fabozzi Associates. Surz, Ron (2004). 82208216Hedge Funds Har Alpha8217 är en hypotes värd värd8221 Albourne Village bibliotek. Surz, Ron (2005). 8220Testing the hypothesis 8216Hedge Fund Performance är Good8221 Journal of Wealth Management. Vårutgåva. Surz, Ron (2006). 8220A Färsk titt på investeringsprestandevaluering: Sammanfattning av bästa praxis för att förbättra aktualitet och pålitlighet8221 Tidskrift för portföljhantering Sommarproblem. Surz, Ron (2007). 8220Accurate Benchmarking är gått men inte glömt: det nödvändiga behovet att komma tillbaka till grunderna8221 Journal of Performance Measurement. Vol. 11. Nr 3, Spring, sid 34-43. Surz, Ron (2009). 8220A Handikapp av investeringsprestationen Horserace8221 Publicerad som 8220Handicap i Investment Performance Horserace8221 i Advisor Perspectives 2009 28 april. Surz, Ron (2010) 8220The New Trust, men Verify8221 Investment and Wealth Management SSRN versionRandom Portföljer för utvärdering av handelsstrategier Transkription 1 Slumpmässiga portföljer för utvärdering Handelsstrategier Patrick Burns 13 januari 2006 Sammanfattning Slumpmässiga portföljer kan ge ett statistiskt test att en handelsstrategi fungerar bättre än chansen. Varje löpning av strategin jämförs med ett antal matchande slumpmässiga löpningar som är kända för att ha nollkunskaper. Viktigt är att denna typ av backtest visar tidsperioder när strategin fungerar och när den inte gör det. Levande portföljer kan övervakas på detta sätt också. Detta möjliggör informerade beslut som förändringar i hävstångseffekten i realtid. 1 Introduktion Slumpmässiga portföljer portföljer som lydar givna begränsningar men ignorerar verktyget är ett kraftfullt verktyg inom finans. Burns, 2004 diskuterar användningen av slumpmässiga portföljer för att mäta fondens resultat. Fokus här är på att använda dem för att hitta en bra handelsstrategi en relaterad men distinkt uppgift. En strategi har två delar: ett sätt att förutsäga avkastning (alfa-modell) och en metod för handel för att försöka dra fördel av alfabetet. Att utföra ett statistiskt test av förutsägelserna är relativt enkelt. Det finns data snooping problem, men det är även möjligt att ha en god känsla för huruvida en prediktionsmetod hämtar en signal. Slumpmässiga portföljer ger ett strikt test av handelsstrategin som helhet något som verkar praktiskt taget omöjligt utan slumpmässiga portföljer. Antag att vi har resultatet av en handelsstrategi under en viss tid. Om vi ​​hade en lista över alla möjliga handelsvägar som vi kanske hade tagit, så skulle vi veta exakt hur bra vår strategi var för perioden och för vilken delperiod som helst. Vi skulle veta att vår strategi överträffade x av populationen av vägar. I vårt exempel är universum av storlek 186 och portföljerna är av storlek 50. Det finns 6.89e45 sätt att välja de 50 aktierna i portföljen i slutet av handelsperioden. För var och en av dessa uppsättningar av aktier kommer det att finnas många. Denna rapport finns i avsnittet om arbetspapper på webbplatsen Burns Statistics 1 2 sätt att välja antal aktier för varje lager som uppfyller kraven. För en given slutportfölj kommer det att finnas många vägar att komma dit från den ursprungliga portföljen. Antalet möjliga vägar är ändlösa, men så stort antal att det är praktiskt taget oändligt. Men vi behöver inte ha alla vägar för att kunna utvärdera vår strategi. Om vi ​​genererar en slumpmässig delmängd av banorna kan vi göra statistiska uttalanden om strategins kvalitet. Alla inledande statistikböcker diskuterar provtagning från en befolkning, och det är bara vad vi gör. Några tusen vägar är det som vi någonsin behöver för praktiska ändamål. R R Development Core Team, 2005 och POP Portfolio Construction Suite Burns Statistics, 2005 användes för beräkningar i detta dokument. 2 Exempeldata Ett specifikt exempel används för att illustrera användningen av slumpmässiga portföljer för utvärdering av en strategi. Lagerstocken är 186 amerikanska aktier som är en osystematisk blandning av stora kepsar och små kepsar. Dagliga data används från och med början De första 500 dagarna används för att uppskatta variansmatrisen för den första portföljoptimeringen och för att utvärdera styrkan i förutsägelsen. Nästa 1000 dagar är den period då handel sker. Data efter dessa 1500 dagar lämnas orörd så att den kan användas för att testa en slutlig strategi. Alfa-modellen för varje lager är det lika viktiga medelvärdet av avkastningen på de föregående 26 handelsdagarna minus det lika viktiga genomsnittet av avkastningen under de föregående 12 dagarna. Det vill säga, det är en Moving Average Convergence Divergence uppskattning. Aficionados av MACD brukar dock använda exponentiella vikter. 3 Utvärdering av prognos Det första steget i utvärderingen av en strategi är att testa förutsägelsesprocessen. Ett gemensamt tillvägagångssätt är att göra ett teckentest. En framgång görs om förutsägelsen och den realiserade avkastningen ligger antingen över deras median eller båda under deras median. Det är ett misslyckande om en är under dess median och den andra är över dess median. Binomialfördelningen används för att utvärdera sannolikheten. Vi kan också testa om Spearmans korrelation mellan förutsägelsen och den realiserade avkastningen är positiv. Spearmans korrelation använder rangerna i stället för de faktiska datavärdena. Det är en lite robust version av den vanliga (Pearson) korrelationen. Spearman-korrelationen reagerar inte så starkt på utjämnare, men det påverkas fortfarande en skälig del av avvikare som det borde vara i denna inställning. Förutom att visa den rätta mängden robusthet, är en annan anledning att föredra Spearman-korrelationen att p-värdena från testet kommer att vara nära rätt även när distributionerna inte ligger mycket nära normalfördelningen. Returer bör inte antas följa normal distribution. 2 3 Figur 1: P-värden (en för varje lager) i Spearmans korrelationstest för 2-dagars avkastning under förhandels - och handelsperioder. Frekvens P-värde Figur 1 och 2 visar fördelningen av p-värden från Spearman-testet för att förutsäga 2 och 5 dagar framåt under de första 1500 dagarna av data, vilket inkluderar handelsperioden. I båda fallen finns ett oproportionerligt antal bestånd som har små p-värden. Vi är glada. Som det framgår av figur 3 behöver signaltestet inte nödvändigtvis överensstämma med motsvarande Spearman-test. P-värdena kan vara väsentligen olika, särskilt när bevisen är tvetydig. Ett bättre sätt att testa förutsägelsen är att använda data före handelsperioden. Detta bevarar handelsperioden från data snooping bias orsakad av att söka efter en adekvat predictor. Figur 4 visar ett test för denna period. Det finns faktiskt ett underskott av lager med små p-värden. Tydligen är denna prediktor inte användbar för alla tidsperioder. I ett verkligt fall skulle vi inte fortsätta att testa handeln efter att ha sett detta skulle vi stryka prediktorn innan vi fortsätter. (Vi skulle också ha behövt använda mer data under prognosperioden.) 4 Prestationsutvärdering I avsaknad av slumpmässiga portföljer är det svårt att få en bra känsla för strategins kvalitet. Den genomsnittliga avkastningen under perioden är en uppenbar åtgärd. Detta är dock osannolikt att vara en giltig indikator på framtida avkastning i själva verket, vårt exempel visar att det kan vara ganska vilseledande. 3 4 Figur 2: P-värden (en för varje lager) i Spearmans korrelationstest för 5-dagars avkastning under förhandels - och handelsperioder. Frekvens P-värde Figur 3: P-värden i Spearman-testet jämfört med teckentestet för 5-dagars avkastning under förhandels - och handelsperioderna. P-värdet från Spearman Test P-värdet från teckentest 4 5 Figur 4: P-värden (en för varje stam) i Spearman-testet för 5-dagars avkastning under perioden före handel. Frekvens P-värde En optimering utförs varje dag i våra teststrategi handlar det på slutet av dagen efter de senaste uppgifterna som använts i uppskattningar. Målet är att maximera informationsförhållandet med den begränsning att omsättningen (köper plus säljer) är begränsad till cirka 400 per år. Antalet aktier i portföljen är begränsat till att vara mellan 45 och 50 i verkligheten, portföljen är nästan alltid av storlek 50. Portföljen är kortvarig med nettovärdet nära noll. Det försöker få nettets absoluta värde mindre än 5 av bruttovärdet, och försöker mycket svårt att få det mindre än 10 av brutto. Det försöker hålla maximal vikt för varje tillgång i portföljen mindre än 10 (där vikt är den absoluta storleken på en position dividerad med portföljens brutto). Variationsmatrisen på varje dag är en statistisk faktormodell byggd med data från de föregående 500 dagarna. 4.1 Enstartsportfölj Figur 5 visar förmögenhetskurvan för handelsstrategin som startar från en viss portfölj. Den ursprungliga portföljen är ungefär lika stor i de (alfabetiskt) första 50 aktierna i universum med varannan lager med kort position. Startportföljen är en godtycklig portfölj som uppfyller kraven. Kurvan redovisar inte handelskostnader, men eftersom omsättningen är begränsad till att vara nära 400 per år, är effekten av handelskostnader lätt att bedöma. Vi vill skapa slumpmässiga portföljer som efterliknar den faktiska optimeringen 5 6 Figur 5: Den rikedom som genereras av handelsstrategin. Rikedom backtest. I huvudsak skapar vi ett antal hypotetiska fondförvaltare som utför samma uppgift som vi gör, men har ingen skicklighet. Om vi ​​överträffar de flesta av dessa hypotetiska chefer är det bevis på att vi har skicklighet. Faktum är att vi kan få en uppskattning av hur mycket skicklighet vi uppvisar. Här är en översikt över hur man skapar portföljerna för de hypotetiska cheferna. Det första steget är att skapa en lista, kalla den existerande lista, med längd lika med antalet slumpmässiga portföljer som ska genereras (100 i exemplet). Initiera varje komponent i listan med startportföljen. Gå nu över handelstiderna. Det första är att uppdatera den förväntade avkastningen och variansmatrisen. För varje slumpmässig sökväg: få den befintliga portföljen att generera en slumpmässig handel bort från den befintliga portföljen, spara den önskade informationen om den nya portföljen, sätt den nya portföljen i lämplig plats för existerande lista. (Slutsling över slumpmässiga vägar, ändsling över handelstider.) Figur 6 visar rikedomskurvorna av 100 slumpmässiga portföljer med samma begränsningar som optimeringsprocessen. Ett enklare sätt att se mönstret av de slumpmässiga portföljerna är att plotta några kvantiler vid varje tidpunkt. Linjerna som är plottade är inte enskilda portföljer, men byter portföljer från tid till annan. Figur 7 visar den faktiska optimeringsförmögenheten i förhållande till kvantiler av de slumpmässiga portföljerna. Den har mediokra prestanda fram till mitten av 1998, på vilken tid det klart överträffar de slumpmässiga portföljerna. Den har dålig prestanda vid dot-com-kollapset och återhämtar sig något. Det är konstigt att en strategi som bara får 8,5 på 4 år tester så bra. Observera att kvantilerna av slumpmässiga portföljer generellt är nedåtgående sluttande. Den ursprungliga portföljen förlorar pengar över den här tidsperioden, och det är inte lika bra som det finns. 6 7 Figur 6: Banor med 100 slumpmässiga portföljer med samma begränsningar som optimeringen. Rikedom Figur 7: Slumpmässiga portföljkvantiler (minimum, 5, 10, 25, 50, 75, 90, 95, maximala) i blått och den faktiska optimeringen (i svart). Rikedom 8 Figur 8: Kvantiteter av slumpmässiga portföljer som börjar med den angivna portföljen (blå) och kvantiler av slumpmässiga portföljer som börjar med motsatsen till den angivna portföljen (grön). Riktsfluensen kvarstår trots att portföljen handlas 1600 i slutet av perioden. Denna startportfölj är ett allvarligt handikapp. Vi kan se detta genom att generera slumpmässiga portföljer som har motsatt startportfölj, det vill säga de långa positionerna är korta och de korta positionerna görs långa. En jämförelse av kvantilerna för de två uppsättningarna av slumpmässiga portföljer finns i figur 8. Förmodligen få hade gissat att startportföljens inflytande skulle bestå så länge. Om rikedomskvoten i vår strategi måste jämföras med de slumpmässiga portföljerna med hjälp av motsatt startportfölj, skulle vi säkert inte ha funnit det vara exceptionellt. Slumpmässiga portföljer som är långa kort kommer att vara nära symmetriska utan någon vinst om man ändrar tecknet för varje position i en slumpmässig portfölj uppfyller också begränsningarna. I det aktuella fallet med en specifik startportfölj bryter den symmetri. Fördelningarna representerade i figur 8 ligger nära spegelbilder av varandra. Det finns många sätt på vilka symmetrin kan brytas. Till exempel, om intervallet för nettovärdet inte är symmetriskt runt noll. 4.2 P-värde kontrollscheman Kanske viktigare än en utvärdering av strategin för hela handelsperioden är att identifiera delperioder där strategin fungerade särskilt bra eller dåligt. På varje handelsdag är antalet slumpmässiga portföljavkastningar som är 8 9 större än avkastningen från den reala portföljen den viktigaste ingrediensen för ett tests p-värde. Testet är att avkastningen från portföljen inte är större än den genomsnittliga slumpmässiga portföljens avkastning. P-värdena från enskilda dagar kan kombineras via Stouffer s-metoden (se Burns, 2004) för att få en jämnare bild av när strategin fungerade bra. Figur 9 visar 10-dagars icke-överlappande p-värden. Det finns tidpunkter där portföljen plötsligt växlar till ett sämre eller bättre tillstånd i förhållande till slumpmässiga portföljer. Vi vill att p-värdena inte är större än 0,5, men i det här fallet finns det perioder där de närmar sig 1 under en tid. Det innebär att strategin är utsatt för betydande drawdowns och därmed inte särskilt aptitretande. Ett annat drag i Figur 9 är att strategin verkar bli värre när tiden går vidare. Det finns minst två möjliga förklaringar på detta. En är att alfamodellen förlorar kraft under hela perioden kan detta vara antingen tillfälligt eller permanent. En annan möjlighet är att de slumpmässiga portföljerna på något sätt systematiskt avviker från den faktiska strategin. Volatiliteten i de slumpmässiga portföljerna under de sista två åren är generellt signifikant högre än volatiliteten i den optimerade portföljen under den tiden. Även om optimeringen inte formellt har en volatilitetsbegränsning, favoriserar optimeringsprocessen lägre volatilitet. Att begränsa slumpmässiga portföljer för att få en volatilitet som inte är mycket större än volatiliteten i den optimerade portföljen skulle förmodligen ge en rättvisare bedömning. Utan en sådan begränsning kan vi förvänta oss att p-värdena går högre över tiden. Även om det är naturligt att anta att antalet stängningspositioner skulle vara större i optimeringen än i de slumpmässiga portföljerna, var det faktiskt fler stängningsställen i slumpmässiga portföljer. Så de slumpmässiga portföljerna kan avvika snabbare från den ursprungliga portföljen (som fungerar dåligt) än den optimerade strategin. Ett kontrollschema som genereras av slumpmässiga portföljer som alltid har samma antal slutpositioner som den reella portföljen visar mindre av en trend i p-värdena. Detta eliminerar misstanke om att alfamodellen blir sämre över tiden. Plots like Figure 9 can be used in real-time to monitor if a portfolio is losing its edge. The plot could be used as a control chart to signal when the portfolio has gone out of control (either to the bad side or the good side). If the series of non-overlapping p-values is predictable, then it could be used to make decisions for example, on changing the leverage. 4.3 Complete Evaluation Process The wealth curve for the optimized portfolio of Section 4.1 has a p-value of 3 for the whole time period relative to the random paths that were generated. This is the p-value given that we start with the portfolio that we did. We aren t actually interested in that particular starting portfolio, we want to know how well the strategy performs starting from anywhere. Here we outline our recommendation of the entire process. 9 10 Figure 9: P-values combined over 10 non-overlapping days for the returns of the strategy relative to the random portfolio returns. Combined p value For each of several random starting portfolios perform the procedure given in Section 4.1. Examine the set of p-values that are obtained one for each starting portfolio. Very few p-values should be larger than one-half, and you should be quite concerned if any are close to 1. Look at the p-value control chart for each run. Plotting multiple p-value paths in one chart could highlight times when the strategy does especially poorly (or well). If the p-values are uniformly small both for the whole trading period and within the trading period then the strategy will be good. Let s apply this to our example strategy. Figure 10 displays the wealth curves of the strategy for 20 randomly selected starting portfolios. Figure 11 shows the average wealth curve from these 20 runs. Since we know in this case that no skill is equivalent to zero gain, we can make some general observations. (Otherwise we could have plotted the wealth curve of the average random portfolios as well.) 1998 is a good year for the strategy, 1999 is about flat, and the first part of 2000 is bad. MACD is basically a momentum strategy. It makes sense that 1998 should be good, and that early 2000 (when the stock market was meanreverting) should be bad. It is a bit puzzling that 1999 was not also a good year for the strategy. 10 11 Figure 10: Wealth curves of the example strategy from 20 random starting portfolios. Wealth Figure 11: Wealth curve of the strategy averaged over the 20 starting portfolios. Wealth 12 Figure 12: The 20 whole period p-values compared to the theoretical uniform distribution. Whole Period P values Theoretical Quantiles 12 of the 20 wealth curves end the period with gains. But p-values are a more telling statistic. Figure 12 displays the 20 p-values for the whole trading period versus the expected values from the uniform distribution. We want the points to be below the line this shows the strategy being slightly worse than no skill over this time period. (Constraining volatility in the random portfolios might have improved the results slightly.) This is a key plot, it is evidence that our strategy definitely should not be used. From Figure 10 it is clear that the strategy would have looked very good if the trading period were only Even though we have evidence that we have prediction power, we aren t using that to good advantage. There are (at least) two ways to get a p-value from an optimization run and its associated random portfolios. The first is to count the number of random paths that outperform the optimized path this is what is plotted in Figure 12. The second is to combine the daily p-values over the trading period. These are subtly different in meaning is there outperformance over the period versus is there ever outperformance. Figure 13 compares these for the 20 random starting portfolios. The combined p-values are substantially smaller in this case. That means that the strategy has more days of being really good than really bad. We also examine the p-values throughout the trading period for the 20 runs. Figure 14 plots the first and third quartiles of 10-day p-values (combined from daily p-values). Though noisy, there are clearly good and bad periods. Our example strategy has an inefficiency. The same fraction of the value of the portfolio is traded each day. However, the value of trading is highly unlikely 12 13 Figure 13: Comparison of the whole period p-values to the combined daily p-values. Combined Daily P values Whole Period P values Figure 14: The first and third quartiles of the 10-day non-overlapping p-values from the 20 runs. Combined p value 14 to be constant. A better approach is to use trading costs to limit the amount that is traded. More will be traded when the existing portfolio is expected to do poorly than when it is expected to do well. While getting the trading costs to be approximately right is non-trivial, it can be quite a valuable effort. 5 Comparing Competing Strategies In the previous section we took rather a cynical view and asked if the strategy exhibited any value at all. Once you are in the position to believe that you have a strategy that does have value, you may want to compare it with another strategy to determine if either is significantly better. If the constraints for the two strategies are the same, then a reasonable approach is to test the difference in returns from them. If the trading were daily, then a starting portfolio would be fixed, the two strategies would be run, and the data used in the test would be the differences of the daily returns. A t-test would be approximately correct, however the differences in returns would probably have longer tails than the normal distribution. A sign test or a signedrank test may be more appropriate. P-values could be combined from tests based on different starting portfolios. Random portfolios could be used in this case, but would be redundant. Random portfolios are useful when the constraints are different for the two strategies. For instance if one strategy is much less volatile than the other, then a comparison of returns is not especially appropriate. Each strategy can be mimicked by random portfolios, and the difference in daily p-values tested. 6 Constraint Evaluation Another application of random portfolios is to get a sense of the usefulness of constraints that we put on the portfolio. One of the constraints in the example was a maximum weight of 10. A set of random portfolios were generated with the maximum weight constraint removed. Figure 15 shows the quantiles. Figure 16 compares the terminal wealth of the random portfolios with the 10 limit on the maximum weight with that of the random portfolios with no limit on the maximum weight. The two distributions are remarkably similar. Of particular interest is whether imposing the weight limit restricts the upper tail of the wealth. There is no evidence of that. The weight constraint has a minimal effect on the random portfolios, so there remains the question of its effect on the strategy. The constraint avoids large losses from a single stock prediction being wrong, but also removes the possibility of a large gain from a single stock with a correctly large prediction. For the example alpha model, the constraint is undoubtedly useful since it not uncommonly gives a signal in the wrong direction. The appropriateness of this constraint appears to be largely a function of the quality of the alpha model. 14 15 Figure 15: Random portfolio quantiles (minimum, 5, 10, 25, 50, 75, 90, 95, maximum) with no maximum weight constraint. Wealth Figure 16: Comparison of the terminal wealth of the random portfolios with and without a maximum weight constraint. Terminal Wealth, Max Weight: 10 Terminal Wealth, Max Weight: 100 15 16 7 Summary There are three main problems when creating a trading strategy: Learning the strength of the prediction Evaluating the quality of the trading strategy Avoiding bias and false beliefs from data snooping We ve demonstrated a couple of statistical tests that deal with the first problem the sign test and the Spearman correlation test. Random portfolios can directly attack the second problem. They provide defensible and sensitive statements on the efficacy of a trading strategy. The results can be presented graphically with wealth curves or with p-value control charts. Random portfolios also help some with the third problem. Random portfolios provide p-values, which can be adjusted to account for data snooping. A p-value of is generally thought to be quite good. However, if you have tried a thousand different strategies and your best p-value is 0.001, then there is about a 63 probability of no value for the best strategy. The more consistent your results across time and across different universes, the more confidence you can have that you are not just data snooping. It is standard practice to reserve a period of the most recent data to test the final strategy. The focus here has been on researching a strategy before going live with it. However, p-value control charts plots of p-values over time are useful for live portfolios as well. The returns (or another measure of utility) over the recent past can be compared to those of a set of random portfolios. This gives instant feedback on the performance of the portfolio. A control chart can also be maintained that combines the results from a number of optimized portfolios with random starting points this will show the current usefulness of the strategy itself. References Burns, 2004 Burns, P. (2004). Performance measurement via random portfolios. Working paper, Burns Statistics, Burns Statistics, 2005 Burns Statistics (2005). User s Manual. POP Portfolio Construction R Development Core Team, 2005 R Development Core Team (2005). R: A language and environment for statistical computing. R Foundation for Statistical Computing, ISBNRandom Portfolios for Evaluating Trading Strategies Patrick Burns January 13, 2006 Random portfolios can provide a statistical test that a trading strategy performs better than chance. Each run of the strategy is compared to a number of matching random runs that are known to have zero skill. Importantly, this type of backtest shows periods of time when the strategy works and when it doesnt. Live portfolios can be monitored in this way as well. This allows informed decisions - such as changes in leverage - to be made in real-time. Number of Pages in PDF File: 16 Keywords: investment skill, MACD, performance measurement Date posted: February 8, 2006 Suggested Citation Burns, Patrick, Random Portfolios for Evaluating Trading Strategies (January 13, 2006). Available at SSRN: ssrnabstract881735 or dx. doi. org10.2139ssrn.881735 1. Using a Z-score Approach to Combine Value and Momentum in Tactical Asset Allocation By Peng Wang and Larry Kochard 2. A Quantitative Approach to Tactical Asset Allocation By Meb Faber People who downloaded this paper also downloaded: 1. Using a Z-score Approach to Combine Value and Momentum in Tactical Asset Allocation By Peng Wang and Larry Kochard 2. A Quantitative Approach to Tactical Asset Allocation By Meb Faber 4. MATLAB Applications of Trading Rules and GARCH with Wavelets Analysis By Eleftherios Giovanis 5. Relative Strength Strategies for Investing By Meb Faber 6. Absolute Momentum: A Simple Rule-Based Strategy and Universal Trend-Following Overlay By Gary Antonacci 7. Demystifying Time-Series Momentum Strategies: Volatility Estimators, Trading Rules and Pairwise Correlations By Nick Baltas and Robert Kosowski 8. Pairs Trading: Performance of a Relative Value Arbitrage Rule By Evan Gatev. William Goetzmann. 9. Risk Premia Harvesting Through Dual Momentum By Gary Antonacci 10. Technical Analysis in Financial Markets By Gerwin Griffioen