Maschinen Lern Und Short Positionen In Stock Trading Strategien

Ich bin mir nicht ganz sicher, ob diese Frage hier passt. Ich habe vor kurzem begonnen, lesen und lernen über maschinelles Lernen. Kann jemand etwas Licht auf, wie man darüber geht oder lieber kann jeder seine Erfahrung und einige grundlegende Hinweise darüber, wie man darüber geht oder atleast anfangen, es anzuwenden, um einige Ergebnisse aus Datensätzen zu sehen Wie ehrgeizig ist das auch klingt Standard-Algorithmen, die ausprobiert oder betrachtet werden sollten, während dies zu tun. Fragte am 1. Februar um 18:35 Es scheint ein grundlegender Irrtum zu sein, dass jemand mitkommen kann und lernt etwas maschinelles Lernen oder AI-Algorithmen, setze sie als Black Box auf, schlägst und lehn dich zurück, während sie sich zurückziehen. Mein Rat an Sie: Lernen Sie Statistiken und maschinelles Lernen zuerst, dann Sorgen darüber, wie man sie auf ein gegebenes Problem anwenden. Hier ist kein kostenloses Mittagessen. Datenanalyse ist harte Arbeit. Lesen Sie die Elemente des statistischen Lernens (das pdf ist kostenlos auf der Website verfügbar), und versuchen Sie nicht, ein Modell zu bauen, bis Sie mindestens die ersten 8 Kapitel verstehen. Sobald Sie die Statistiken und das maschinelle Lernen verstehen, dann müssen Sie lernen, wie man Backtest und bauen ein Handelsmodell, die Abrechnung von Transaktionskosten, etc., die ein ganzer anderer Bereich ist. Nachdem du einen Griff sowohl bei der Analyse als auch bei der Finanzierung hast, dann wird es etwas offensichtlich sein, wie man es anwendet. Der gesamte Punkt dieser Algorithmen versucht, einen Weg zu finden, um ein Modell an Daten anzupassen und eine geringe Vorspannung und Varianz in der Vorhersage zu erzeugen (d. h. dass der Trainings - und Testvorhersagefehler niedrig und ähnlich ist). Hier ist ein Beispiel für ein Handelssystem mit einem Support-Vektor-Maschine in R. aber nur im Hinterkopf behalten, dass Sie sich selbst einen riesigen Bärendienst tun, wenn Sie nicht die Zeit verbringen, um die Grundlagen zu verstehen, bevor Sie versuchen, etwas Esoterisches anzuwenden. Nur um ein unterhaltsames Update hinzuzufügen: Ich habe vor kurzem auf diese Masterarbeit gestoßen: Ein neuartiges algorithmisches Trading Framework, das Evolution und Machine Learning für Portfolio Optimization (2012) anwendet. Es ist eine umfangreiche Überprüfung der verschiedenen maschinellen Lernansätze im Vergleich zu Buy-and-Hold. Nach fast 200 Seiten erreichen sie die grundlegende Schlussfolgerung: Kein Handelssystem konnte die Benchmark bei Transaktionskosten übertreffen. Unnötig zu sagen, das bedeutet nicht, dass es nicht getan werden kann (ich havent verbrachte jede Zeit, ihre Methoden zu überprüfen, um die Gültigkeit des Ansatzes zu sehen), aber es gibt sicherlich einige mehr Beweise für das freilose Mittagessen Theorem. Antwortete am 1. Februar um 18:48 Jase Als einer der Autoren der erwähnten Masterarbeit kann ich meine eigene Arbeit zitieren und sagen: Wenn jemand tatsächlich profitable Ergebnisse erzielt, gibt es keinen Anreiz, sie zu teilen, da es ihren Vorteil negieren würde Obwohl unsere Ergebnisse die Markthypothese unterstützen könnten, schließt sie nicht die Existenz von Systemen aus, die funktionieren. Es könnte wie Wahrscheinlichkeitstheorie sein: "Es wird spekuliert, dass Durchbrüche im Bereich der Wahrscheinlichkeitstheorie mehrmals passiert sind, aber nie geteilt wurden. Dies könnte aufgrund seiner praktischen Anwendung in Glücksspiel. quot Dann wieder, vielleicht ist dies alles moderne Alchemie. Ndash Andr233 Christoffer Andersen 30. April um 10:01 Meine Beratung zu Ihnen: Es gibt mehrere Maschinelle Lernkarikatur (MLAI) Zweige draußen: www-formal. stanford. edujmcwhatisainode2.html Ich habe nur genetische Programmierung und einige neuronale Netzwerke versucht und Ich persönlich denke, dass das Lernen aus dem Erfahrungszweig das Potenzial hat. GPGA und neuronale Netze scheinen die am häufigsten erforschten Methoden für den Zweck der Börsenvorhersagen zu sein, aber wenn Sie einige Data Mining auf Predict Wall Street machen. Du kannst vielleicht auch eine Stimmungsanalyse machen. Verbringen Sie einige Zeit über die verschiedenen MLAI-Techniken zu lernen, finden Sie einige Marktdaten und versuchen, einige dieser Algorithmen zu implementieren. Jeder wird seine Stärken und Schwächen haben, aber Sie können die Vorhersagen jedes Algorithmus zu einer zusammengesetzten Vorhersage kombinieren (ähnlich wie die Gewinner des NetFlix-Preises). Einige Ressourcen: Hier sind einige Ressourcen, die Sie vielleicht untersuchen möchten: Das Geschwätz: Der allgemeine Konsens unter den Händlern ist, dass Künstliche Intelligenz eine Voodoo-Wissenschaft ist, können Sie nicht einen Computer vorhersagen Aktienkurse und youre sicher, Ihr Geld zu verlieren, wenn Sie versuchen Tut es Dennoch werden die gleichen Leute Ihnen sagen, dass nur über die einzige Möglichkeit, Geld zu verdienen auf der Börse ist zu bauen und zu verbessern auf Ihre eigene Handelsstrategie und folgen sie genau (was nicht wirklich eine schlechte Idee). Die Idee von AI-Algorithmen ist nicht, Chip zu bauen und ihn für Sie handeln zu lassen, sondern um den Prozess der Schaffung von Strategien zu automatisieren. Es ist ein sehr langwieriger Prozess und keineswegs ist es einfach :). Minimierung von Overfitting: Wie schon früher gehört, ist ein fundamentales Problem mit AI-Algorithmen übertrieben (aka datamining bias): Bei einem Satz von Daten kann dein AI-Algorithmus ein Muster finden, das für das Trainingsset besonders relevant ist. Aber es ist möglicherweise nicht relevant in der Testmenge. Es gibt mehrere Möglichkeiten, die Überfüllung zu minimieren: Verwenden Sie einen Validierungssatz. Es gibt keine Rückmeldung an den Algorithmus, aber es erlaubt Ihnen, zu erkennen, wann Ihr Algorithmus potenziell anfängt zu übertreiben (d. h. Sie können das Training beenden, wenn youre überfällig zu viel). Verwenden Sie Online-Maschine lernen. Es beseitigt weitgehend die Notwendigkeit für Back-Testing und es ist sehr anwendbar für Algorithmen, die versuchen, Marktvorhersagen zu machen. Ensemble Lernen. Bietet Ihnen einen Weg, um mehrere maschinelle Lernalgorithmen zu machen und ihre Vorhersagen zu kombinieren. Die Annahme ist, dass verschiedene Algorithmen die Daten in einigen Bereichen übertreffen können, aber die korrekte Kombination ihrer Vorhersagen wird eine bessere Vorhersagekraft haben. Zwei Aspekte des statistischen Lernens sind für den Handel nützlich 1. Zuerst die oben erwähnten: Einige statistische Methoden konzentrierten sich auf die Arbeit an Live-Datasets. Es bedeutet, dass Sie wissen, dass Sie nur ein Beispiel von Daten beobachten und Sie extrapolieren möchten. Sie haben also in der Probe und aus der Probe Fragen, Überfüllung und so weiter zu behandeln. Aus diesem Blickwinkel ist der Data-Mining mehr auf tote Datasets fokussiert (dh man kann fast alle Daten sehen, man hat nur ein Problem mit dem Problem) als das statistische Lernen. Weil das statistische Lernen über die Arbeit am Live-Dataset geht, mussten die angewandten Mathematik, die sich mit ihnen befassen, auf ein Problem mit zwei Skalen fokussieren: links X ampamp Ftheta (Xn, xi) ampamp L (pi (Xn), n) Ende rechts. Wo X der (multidimensionale) Zustand Raum zu studieren (Sie haben in ihr Ihre erklärenden Variablen und die zu prognostizieren), F enthält die Dynamik von X, die einige Parameter Theta benötigen. Die Zufälligkeit von X kommt von der Innovation xi, die i. i.d. Das Ziel des statistischen Lernens ist es, eine Methodik zu erstellen, die als Eingaben eine partielle Beobachtung pi von X und schrittweise eine Schätzung Hattθ von Theta anzupassen, so dass wir alles wissen, was auf X benötigt wird. Wenn Sie darüber nachdenken, mit statistischem Lernen zu finden Die Parameter einer linearen Regression. Wir können den staatlichen raum wie folgt modellieren: underbrace yx end right) links begin a amp b amp 1 1 amp 0 amp 0 end right cdot underbrace x 1 epsilon ende rechts), die so erlaubt, (y, x) n bei jedem n zu beobachten Hier theta (a, b). Dann musst du einen Weg finden, um schrittweise einen Schätzer von Theta mit unseren Beobachtungen zu bauen. Warum nicht ein Steigung Abstieg auf den L2 Abstand zwischen y und der Regression: C (Hut a, Hut b) n Summe (yk - (Hut a, xk Hut b)) 2 Hier ist Gamma ein Gewichtungsschema. Normalerweise ist eine nette Art, einen Schätzer zu bauen, um die Kriterien richtig zu schreiben, um einen Gradientenabstieg zu minimieren und umzusetzen, der das Lernschema L hervorbringt. Zurück zu unserem ursprünglichen generischen Problem. Wir brauchen einige angewandte Mathematik, um zu wissen, wann Paar dynamische Systeme in (X, Hattungen) konvergieren, und wir müssen wissen, wie man Schätzschemata L, die auf die ursprüngliche Theta konvergieren zu bauen. Um Ihnen Hinweise auf solche mathematischen Ergebnisse zu geben: Jetzt können wir auf den zweiten Aspekt des statistischen Lernens zurückgreifen, der für quant tradersstrateisten sehr interessant ist: 2. Die Ergebnisse, die zur Effizienz der statistischen Lernmethoden verwendet werden, können genutzt werden, um die Effizienz zu beweisen Handelsalgorithmen. Um zu sehen, dass es genug ist, um das gekoppelte dynamische System zu lesen, das erlaubt, statistisches Lernen zu schreiben: links M ampamp Frho (Mn, xi) Ampampel L (pi (Mn), n) Ende rechts. Jetzt sind M Marktvariablen, Rho liegt unter PnL, L ist eine Handelsstrategie. Ersetzen Sie einfach die Minimierung eines Kriteriums durch die Maximierung der PnL. Siehe z. B. Optimale Aufteilung der Aufträge über Liquiditätspools: ein stochatischer Algorithmusansatz von: Gilles Pags, Sophie Laruelle, Charles-Albert Lehalle. In dieser Arbeit zeigen Autoren, wer diesen Ansatz nutzen, um einen Auftrag über verschiedene dunkle Pools optimal zu teilen und gleichzeitig die Fähigkeit der Pools zu erlernen, Liquidität zu liefern und die Ergebnisse zu handeln. Die statistischen Lerninstrumente können verwendet werden, um iterative Handelsstrategien aufzubauen (die meisten von ihnen sind iterativ) und beweisen ihre Effizienz. Die kurze und brutale Antwort ist: Sie nicht. Erstens, weil ML und Statistik nicht etwas ist, das man in ein oder zwei Jahren gut beherrschen kann. Meine empfohlene Zeit Horizont zu lernen, nichts trivial ist 10 Jahre. ML nicht ein Rezept, um Geld zu verdienen, sondern nur ein anderes Mittel, um die Realität zu beobachten. Zweitens, weil jeder gute Statistiker weiß, dass das Verständnis der Daten und die Problem-Domain ist 80 der Arbeit. Das ist der Grund, warum Sie Statistiker haben, die sich auf die Physik-Datenanalyse, auf die Genomik, auf die Sabermetrika usw. konzentrieren. Für den Rekord ist Jerome Friedman, Co-Autor von ESL, der oben zitiert wurde, ein Physiker und hält immer noch eine Höflichkeit bei SLAC. Also, studiere Statistik und Finanzen für ein paar Jahre. Sei geduldig. Gehen Sie Ihren eigenen Weg. Meilenzahl kann variieren Antwortete Feb 9 11 um 4:41 Ich bin völlig einverstanden. Nur weil Sie maschinelles Lernen und Statistiken kennen, bedeutet es nicht, dass Sie wissen, wie man es zur Finanzierung anwendet. Ndash Dr. Mike Auch eine wichtige Sache zu erinnern ist, dass Sie gewinnt, um gegen Menschen zu handeln, werden Sie handeln gegen andere künstliche Intelligenz-Algorithmen, die Ihre Trades Haufen in und sind wütend berechnen die Chancen, dass die Kollektive yous würde durch einen hergestellten Rückgang ausgespielt und diesen kleinen Verlust bei der Schaffung eines Spikedips und Narr alle diese AI39s zum Stoppen, und dann rollen das Dip zurück in sie und reiten die Welle, verdienen Ihre Verluste. Die Börse ist ein Null Summe Spiel, behandeln Sie es wie die Eingabe eines Profi-Box-Match, wenn Sie aren39t ein 20-jähriger Veteran, you39re gehen zu verlieren ndash Eric Leschinski 13. Februar 16 um 1:56 Eine grundlegende Anwendung ist die Vorhersage der finanziellen Notlage. Holen Sie sich eine Reihe von Daten mit einigen Unternehmen, die ausgefallen sind, und andere, die havent, mit einer Vielzahl von finanziellen Informationen und Ratios. Verwenden Sie eine Maschine Lernmethode wie SVM zu sehen, ob Sie vorhersagen können, welche Unternehmen werden standardmäßig und was nicht. Nutzen Sie diese SVM in der Zukunft zu kurzen High-Wahrscheinlichkeit Default-Unternehmen und lange Low-Wahrscheinlichkeit Default-Unternehmen, mit dem Erlös der Leerverkäufe. Es gibt ein Sprichwort quotPicking Pennies oben vor Dampfwalze. Du machst das Äquivalent, einen Out-of-the-money zu verkaufen. In diesem Fall machst du seit Jahren winzige Gewinne, dann werde ich total gereinigt, wenn der Markt alle 10 Jahre oder so schmilzt. Es gibt auch eine gleichwertige Strategie, die Out-of-the-money setzt: Sie verlieren Geld für Jahre, dann machen Sie eine Tötung, wenn der Markt schmilzt. Siehe Talab39s Der Schwarze Schwan. Ndash Contango Jun 5 11 um 22:20 Denken Sie daran, dass internationale Unternehmen Hunderte von Milliarden von Dollar und Mann Stunden auf die besten und hellsten künstlichen Intelligenz Köpfe in den letzten 40 Jahren ausgegeben haben. Ich sprach mit einigen der Türme des Geistes, die für die Alphas über die Zitadelle und Goldman Sachs verantwortlich sind, und die Hybris von Anfängern, um zu denken, dass sie einen Algorithmus zusammenstellen können, der mit ihnen zusieht, um mit ihnen zu spielen und zu gewinnen, ist fast so dumm wie Ein Kind, das euch sagt, dass er auf den Mond springen wird. Viel Glück Kind, und achten Sie auf die Raummärtner. Nicht zu sagen, dass neue Champions gemacht werden können, aber die Chancen sind gegen dich. Ndash Eric Leschinski 13. Februar 16 um 2:00 Eine Möglichkeit, die es zu erforschen ist, ist die Unterstützung der Vektor-Maschinen-Lern-Tool auf der Metatrader 5-Plattform. Erstens, wenn Sie nicht vertraut sind, ist Metatrader 5 eine Plattform, die für Benutzer entwickelt wurde, um algorithmischen Handel in Forex - und CFD-Märkten zu implementieren (Im nicht sicher, ob die Plattform auf Aktien und andere Märkte erweitert werden kann). Es wird typischerweise für technische Analyse-basierte Strategien verwendet (d. h. unter Verwendung von Indikatoren, die auf historischen Daten basieren) und wird von Menschen verwendet, die ihren Handel automatisieren möchten. Das Support Vector Machine Learning Tool wurde von einer der Community von Benutzern entwickelt, um die Unterstützung von Vektor-Maschinen auf technische Indikatoren anzuwenden und auf Trades zu beraten. Eine kostenlose Demo-Version des Tools kann hier heruntergeladen werden, wenn man weiter nachforschen möchte. Wie ich es verstehe, verwendet das Tool historische Preisdaten, um zu beurteilen, ob hypothetische Trades in der Vergangenheit erfolgreich gewesen wären. Es nimmt dann diese Daten zusammen mit den historischen Werten aus einer Reihe von anpassbaren Indikatoren (MACD, Oszillatoren usw.), und nutzt dies, um eine Support-Vektor-Maschine zu trainieren. Dann nutzt es die ausgebildete Support-Vektor-Maschine, um zukünftige Buysell-Trades zu signalisieren. Eine bessere Beschreibung finden Sie unter dem Link. Ich habe mit ihm ein wenig mit einigen sehr interessanten Ergebnissen gespielt, aber wie bei allen algorithmischen Trading-Strategien empfehle ich solide Backforward-Tests, bevor ich sie auf den Live-Markt. Beantwortet Dec 10 12 at 11:59 Sorry, aber trotz der Verwendung als ein beliebtes Beispiel im maschinellen Lernen, hat niemand jemals eine Börsenvorhersage erreicht. Es funktioniert nicht aus mehreren Gründen (überprüfen Sie zufällige Spaziergang durch Fama und ein bisschen von anderen, rationale Entscheidung, die Irrtum, falsche Annahmen zu machen.), Aber das überzeugendste ist, dass wenn es funktionieren würde, würde jemand in der Lage sein, wahnsinnig reich zu werden Innerhalb von Monaten, im Grunde, die ganze Welt zu besitzen. Da dies nicht passiert (und man kann sicher sein, dass alle Bank es ausprobiert hat), haben wir gute Beweise dafür, dass es einfach nicht funktioniert. Außerdem: Wie denkst du, du wirst erreichen, was Zehntausende von Profis nicht geschafft haben, indem sie die gleichen Methoden verwenden, die sie haben, plus begrenzte Ressourcen und nur grundlegende Versionen ihrer Methoden beantwortet am 4. Juni um 7:47 Nur eine beiseite in Bezug auf Ihre Quasi zwingend Grund: Strategien haben Kapazitätsgrenzen, dh Ebenen, über die Ihre Marktauswirkungen das verfügbare Alpha übersteigen würden, auch wenn Sie ein unbegrenztes Kapital hatten. Ich bin mir nicht sicher, was du mit einem Deadmarkt-Markt voraussagen willst (Index-Futures ETF39s), aber sicher gibt es viele Leute, die kurzfristige Vorhersagen machen und von ihnen profitieren, jeden Tag auf den Märkten. Ndash afekz Nov 23 15 at 13:19 Ich höre viel von dem, was Shane schrieb. Neben dem Lesen von ESL, würde ich vorschlagen, eine noch grundlegende Studie der Statistiken zuerst. Darüber hinaus sind die Probleme, die ich in einer anderen Frage zu diesem Austausch skizzierte, sehr relevant. Insbesondere ist das Problem der Datamining Bias eine ernsthafte Straßensperre für jede maschinell lernende Strategie. Machine Learning mit algoTraderJo Joined Dec 2014 Status: Mitglied 383 Beiträge Hallo Kollegen, ich beginne diesen Thread in der Hoffnung, mit Ihnen einige meiner Entwicklungen zu teilen Auf dem Gebiet des maschinellen Lernens Obwohl ich darf nicht mit Ihnen genaue Systeme oder Codierung Implementierungen (nicht erwarten, um etwas zu quotplug-and-playquot und erhalten reich von diesem Thread) Ich werde mit Ihnen Ideen, Ergebnisse meines Experiments und möglicherweise andere Aspekte meiner Arbeit zu teilen. Ich beginne diesen Thread in der Hoffnung, dass wir in der Lage sein werden, Ideen zu teilen und uns gegenseitig zu helfen, unsere Implementierungen zu verbessern. Ich werde mit einigen einfachen maschinellen Lernstrategien beginnen und werde dann in komplexere Sachen gehen, wie die Zeit vergeht. Hoffe, Sie genießen die Fahrt Joined Dec 2014 Status: Mitglied 383 Beiträge Ich möchte beginnen, indem ich einige grundlegende Dinge zu sagen. Es tut mir leid, wenn die Struktur meiner Beiträge viel zu wünschen übrig lässt, ich habe keine Forum-Veröffentlichung Erfahrung aber hoffe, etwas mit der Zeit zu bekommen. Im maschinellen Lernen, was wir tun wollen, ist einfach eine Vorhersage zu generieren, die für unseren Handel nützlich ist. Um diese Vorhersage zu machen, erzeugen wir ein statistisches Modell unter Verwendung eines Satzes von Beispielen (bekannte Ausgänge und einige Eingaben, die wir vorhersagen können, um diese Ausgänge vorherzusagen), dann machen wir eine Vorhersage einer unbekannten Ausgabe (unserer letzten Daten) unter Verwendung des Modells, das wir mit erstellt haben Die Beispiele. Um es zusammenzufassen, ist es ein quotsimplequot Prozess, wo wir das folgende tun: Wählen Sie, was wir vorhersagen möchten (dies wird unser Ziel (e) sein) Wählen Sie einige Eingangsvariablen, von denen wir glauben, dass wir unsere Ziele vorhersagen können. Erstellen Sie eine Reihe von Beispielen mit vergangenen Daten Mit unseren Inputs und unseren Zielen Erstellen Sie ein Modell mit diesen Beispielen. Ein Modell ist einfach ein mathematischer Mechanismus, der die Inputstargets verknüpft Machen Sie eine Vorhersage des Ziels mit den letzten bekannten Eingaben Handel mit diesen Informationen Ich möchte von Anfang an sagen, dass es sehr wichtig ist zu vermeiden, was viele akademische Papiere auf maschinelles Lernen tun, Die zu versuchen, ein Modell mit sehr großen Arrays von Beispielen zu bauen und dann versuchen, eine langfristige Vorhersage auf eine Quote-of-samplequot-Set zu machen. Das Bauen eines Modells mit 10 Jahren Daten und dann das Testen auf die letzten beiden ist nicht sinnvoll, vorbehaltlich vieler Arten von statistischen Vorurteile werden wir später diskutieren. Im Allgemeinen werden Sie sehen, dass die maschinellen Lernmodelle, die ich baue, auf jedem Balken trainiert werden (oder jedes Mal, wenn ich eine Entscheidung treffen muss), mit einem bewegten Fenster von Daten für den Aufbau von Beispielen (nur aktuelle Beispiele werden als relevant betrachtet). Sicherlich ist dieser Ansatz kein Fremder für einige Arten von statistischen Vorurteilen, aber wir entfernen den Quotelephanten im Roomquot, wenn wir den breiten In-Probe-of-Sample-Ansatz der meisten akademischen Papiere (was keine Überraschung, führt oft zu Ansätzen, die nicht sind Eigentlich nützlich zum handeln). Es gibt vor allem drei Sachen, die sich bei der Erstellung eines maschinellen Lernmodells beschäftigen: Was vorherzusagen (welches Ziel) Was es vorherzusagen ist (welche Eingaben) Wie man das Ziel und die Eingaben in Beziehung setzt (welches Modell) Das meiste, was ich erwähnen werde Auf diesen Thread konzentriert sich auf die Beantwortung dieser Fragen, mit aktuellen Beispielen. Wenn du irgendwelche Fragen schreiben möchtest und ich versuche, dir eine Antwort zu geben oder dich einfach zu informieren, wenn ich das später beantworten werde. Registriert am Dez 2014 Status: Mitglied 383 Beiträge Lass uns jetzt ins Geschäft gehen. Ein echtes praktisches Beispiel beim maschinellen Lernen Angenommen, wir wollen ein sehr einfaches Modell mit einem sehr einfachen Satz von Eingabestufen erstellen. Für dieses Experiment sind das die Antworten auf die Fragen: Was vorherzusagen (welches Ziel) - gt Die Richtung des nächsten Tages (bullish oder bearish) Was vorherzusagen mit (welche Eingaben) - gt Die Richtung der vorherigen 2 Tage Wie? Um das Ziel und die Eingaben zu verknüpfen (welches Modell) - gt Ein linearer Kartenklassiker Dieses Modell wird versuchen, die Richtcharakteristik der nächsten Tagesleiste vorherzusagen. Um unser Modell zu bauen, nehmen wir die letzten 200 Beispiele (eine Tagesrichtung als Ziel und die vorherigen zweitägigen Richtungen als Eingaben) und wir trainieren einen linearen Klassierer. Wir machen das am Anfang jeder täglichen Bar. Wenn wir ein Beispiel haben, wo zwei bullische Tage zu einem bärischen Tag führen, würden die Eingaben 1,1 sein und das Ziel wäre 0 (0 bearish, 1bullish), wir verwenden 200 dieser Beispiele, um das Modell auf jedem Balken zu trainieren. Wir hoffen, in der Lage zu sein, eine Beziehung aufzubauen, in der die Richtung von zwei Tagen eine überdurchschnittliche Wahrscheinlichkeit ergibt, um die Tagesrichtung korrekt vorherzusagen. Wir verwenden ein Stoploss gleich 50 der 20 Tage Periode Durchschnitt True Range auf jedem Handel. Angehängtes Bild (zum Vergrößern anklicken) Eine Simulation dieser Technik von 1988 bis 2014 auf der EURUSD (Daten vor 1999 ist DEMUSD) oben zeigt, dass das Modell keine stabile Gewinngeneration hat. In der Tat folgt dieses Modell einem negativ voreingenommenen zufälligen Spaziergang, der es Geld als Funktion der Ausbreitung verliert (3 Pips in meinem Sim). Schauen Sie sich die scheinbar quotimpressivequot Leistung an, die wir in den Jahren 1993-1995 und in den Jahren 2003-2005 haben, wo wir anscheinend die nächste Tages-Direktionalität mit einem einfachen linearen Modell und den vergangenen zwei-tägigen Richtungsergebnissen erfolgreich vorhersagen konnten. Dieses Beispiel zeigt Ihnen einige wichtige Dinge. Zum Beispiel, dass über kurze Zeitskalen (die ein paar Jahre sein könnte) können Sie leicht durch Zufälligkeit getäuscht werden --- Sie können denken, Sie haben etwas, das funktioniert, was wirklich nicht. Denken Sie daran, dass das Modell auf jedem Balken wieder aufgebaut wird, wobei die letzten 200 Inputtarget Beispiele verwendet werden. Was andere Dinge denken Sie, können Sie von diesem Beispiel lernen Sie Ihre Gedanken gut. So dass Sie vorhergesagt haben, dass Käufer oder Verkäufer eintreten würden. Hmm, aber was genau hat es mit Preis zu tun, der nach oben oder unten geht 100 Pips Preis kann auf verschiedene Weise reagieren - es könnte nur für einige Zeit Tank (während alle Limit Orders gefüllt sind) Und dann weiter weiter. Es kann auch 5, 10, 50 oder sogar 99 Pips zurückverfolgen. In all diesen Fällen waren Sie irgendwie Recht über Käufer oder Verkäufer, die hereinkamen, aber Sie müssen verstehen, dass diese Analyse nicht viel mit Ihrem Handel von 90pip zu 100pip zu tun hat. Ja, du bist richtig Dies ist ein großer Teil des Grundes, warum wir bei der Verwendung des linearen Mapping-Algorithmus schlechte Ergebnisse bekommen. Denn unsere Profitabilität ist mit unserer Vorhersage schlecht verwandt. Vorhersage, dass Tage sind bullishbearish ist von begrenztem Gebrauch, wenn Sie nicht wissen, wie viel Preis sich bewegen wird. Vielleicht sind deine Vorhersagen nur an Tagen, die dir 10 Pips geben, und du bekommst alle Tage, die 100 Pip Direktionalität völlig falsch haben Was würdest du für ein besseres Ziel für eine maschinelle Lernmethode halten Ja, du bist richtig Dies ist ein großer Teil des Grundes, warum wir bei der Verwendung des linearen Mapping-Algorithmus schlechte Ergebnisse bekommen. Denn unsere Profitabilität ist mit unserer Vorhersage schlecht verwandt. Vorhersage, dass Tage sind bullishbearish ist von begrenztem Gebrauch, wenn Sie nicht wissen, wie viel Preis sich bewegen wird. Vielleicht sind deine Vorhersagen nur an Tagen, die dir 10 Pips geben, und du bekommst alle Tage, die 100 Pip Direktionalität völlig falsch haben Was würdest du ein besseres Ziel für eine maschinelle Lernmethode betrachten Lets sagen, wenn du 100 Pip TP und SL hast, möchte ich vorherzusagen, was zuerst kommt: TP oder SL Beispiel: TP kam zuerst 1 SL kam zuerst 0 (oder -1, Aber du karte es) Dieser Beitrag wird detailliert, was ich getan habe, um ca. 500k vom Hochfrequenzhandel von 2009 bis 2010. Da ich völlig unabhängig handelte und nicht mehr mein Programm Irsquom gerne alles erzähle. Mein Handel war vor allem in Russel 2000 und DAX Futures-Kontrakte. Der Schlüssel zu meinem Erfolg, glaube ich, war nicht in einer anspruchsvollen finanziellen Gleichung, sondern in der Gesamt-Algorithmus-Design, die zusammengebunden viele einfache Komponenten und verwendet Maschinen Lernen zu optimieren für maximale Rentabilität. Sie müssen nicht wissen, jede anspruchsvolle Terminologie hier, denn wenn ich mein Programm einrichten, war es alles auf Intuition basiert. (Andrew Ngrsquos erstaunliche Maschine Lernkurs war noch nicht verfügbar - btw, wenn Sie auf diesen Link klicken Sie zu Ihrem aktuellen Projekt: CourseTalk, eine Rezension Website für MOOCs) Zuerst möchte ich nur zeigen, dass mein Erfolg war nicht einfach das Ergebnis von Glück. Mein Programm machte 1000-4000 Trades pro Tag (halb lang, halb kurz) und nie in Positionen von mehr als ein paar Verträge auf einmal. Dies bedeutete das zufällige Glück von jedem einzelnen Handel gemittelt ziemlich schnell. Das Ergebnis war, dass ich niemals mehr als 2000 an einem Tag verloren hatte und nie einen verlorenen Monat hatte: (EDIT. Diese Zahlen sind nach Bezahlung von Provisionen) Und Herersquos ein Diagramm, um dir ein Gefühl der täglichen Variation zu geben. Beachten Sie, dass dies die letzten 7 Monate ausschließt, weil - da die Figuren aufgehört haben - ich habe meine Motivation verloren, sie zu betreten. Mein Trading Hintergrund Vor der Einrichtung meiner automatisierten Trading-Programm Irsquod hatte 2 Jahre Erfahrung als ldquomanualrdquo Tag Händler. Dies war wieder im Jahr 2001 - es war die frühen Tage des elektronischen Handels und es gab Möglichkeiten für ldquoscalpersrdquo, um gutes Geld zu machen. Ich kann nur beschreiben, was ich tat so ähnlich wie ein Videospiel spielen mit einem angeblichen Rand. Erfolgreich zu sein bedeutet, schnell zu sein, diszipliniert zu sein und eine gute intuitive Mustererkennung zu haben. Ich konnte rund 250k machen, meine Studentenkredite auszahlen und Geld übrig haben. Win In den nächsten fünf Jahren würde ich zwei Startups starten und dabei einige Programmierkenntnisse abholen. Es würde bis Ende 2008 sein, dass ich wieder in den Handel zurückkehren würde. Mit Geld läuft niedrig aus dem Verkauf meiner ersten Startup, Trading angeboten Hoffnungen auf einige schnelle Bargeld, während ich herausgefunden, meine nächste Bewegung. Im Jahr 2008 war ich ldquomanuallyrdquo Tag Handel Futures mit Software namens T4. Irsquod wünschte einige kundenspezifische Auftragseingabe-Hotkeys, also nach der Entdeckung von T4 hatte eine API, nahm ich auf die Herausforderung des Lernens C (die Programmiersprache erforderlich, um die API verwenden) und ging voran und baute mir einige Hotkeys. Nachdem ich meine Füße nass mit der API hatte, hatte ich bald größere Bestrebungen: Ich wollte den Computer lehren, um für mich zu handeln. Die API stellte sowohl einen Strom von Marktdaten als auch einen einfachen Weg zur Verfügung, um Aufträge an den Austausch zu senden - alles was ich tun musste, war die Logik in der Mitte zu schaffen. Unten ist ein Screenshot eines T4-Handelsfensters. Was war cool war das, wenn ich mein Programm arbeitete, konnte ich den Computerhandel auf dieser exakt gleichen Schnittstelle sehen. Das Aufpassen von echten Ordnungen, die in und aus (selbst mit meinem echten Geld) auftauchen, war sowohl spannend als auch beängstigend. Das Design meines Algorithmus Von Anfang an war mein Ziel, ein System so einzurichten, dass ich vernünftig zuversichtlich sein könnte Irsquod Geld verdienen, bevor es jemals irgendwelche Live-Trades macht. Um dies zu erreichen, musste ich ein Trading-Simulations-Framework aufbauen, das - so genau wie möglich - den Live-Handel simulieren würde. Während der Handel im Live-Modus erforderlich Verarbeitungs-Markt-Updates durch die API gestreamt, Simulations-Modus erforderlich Lesung Markt Updates aus einer Datei-Datei. Um diese Daten zu sammeln, setze ich die erste Version meines Programms ein, um einfach eine Verbindung zur API herzustellen und Marktaktualisierungen mit Zeitstempeln aufzuzeichnen. Ich landete mit 4 Wochen im Wert von aktuellen Marktdaten zu trainieren und testen mein System auf. Mit einem Grundrahmen stand ich immer noch die Aufgabe, herauszufinden, wie man ein profitables Handelssystem macht. Wie sich herausstellt, würde mein Algorithmus in zwei verschiedene Komponenten zerfallen, die Irsquoll nacheinander erforscht: Preisbewegungen vorhersagen und gewinnbringend handeln Vorhersage der Preisbewegungen Vielleicht ist ein offensichtlicher Bestandteil eines jeden Handelssystems in der Lage, vorherzusagen, wo sich die Preise bewegen werden. Und meine war keine Ausnahme. Ich habe den aktuellen Preis als den Durchschnitt des Innengebots und des Innenangebots definiert und ich habe das Ziel der Vorhersage, wo der Preis in den nächsten 10 Sekunden wäre. Mein Algorithmus müsste diese Vorhersage morgens über den Handelstag heraufkommen. Erstellen von Amp-Optimierungsindikatoren Ich habe eine Handvoll von Indikatoren erstellt, die eine sinnvolle Fähigkeit zur Vorhersage kurzfristiger Kursbewegungen haben. Jeder Indikator produzierte eine Zahl, die entweder positiv oder negativ war. Ein Indikator war nützlich, wenn mehr als oft nicht eine positive Zahl mit dem Markt übereinstieg und eine negative Zahl entsprach mit dem Markt nach unten. Mein System erlaubte mir, schnell zu bestimmen, wieviel prädiktive Fähigkeit irgendein Indikator so war, dass ich mit vielen verschiedenen Indikatoren experimentieren konnte, um zu sehen, was funktionierte. Viele der Indikatoren hatten Variablen in den Formeln, die sie produzierten, und ich konnte die optimalen Werte für diese Variablen finden, indem sie nebeneinander Vergleiche von Ergebnissen mit unterschiedlichen Werten erzielten. Die Indikatoren, die am nützlichsten waren, waren alle relativ einfach und basierten auf den jüngsten Ereignissen auf dem Markt, den ich handelte, sowie die Märkte der korrelierten Wertpapiere. Genaue Preisbewegungen vorhersagen Mit Indikatoren, die einfach eine Aufwärts - oder Abwärtsbewegungsbewegung vorhergesagt haben, war gar nicht genug. Ich musste genau wissen, wie viel Preisbewegung von jedem möglichen Wert jedes Indikators vorhergesagt wurde. Ich brauchte eine Formel, die einen Indikatorwert zu einer Preisvorhersage umwandeln würde. Um dies zu erreichen, verfolgte ich die vorhergesagten Preisbewegungen in 50 Eimern, die von der Reichweite abhingen, die der Indikatorwert einfiel. Dies erzeugte einzigartige Vorhersagen für jeden Eimer, den ich dann in Excel grafisch darstellen konnte. Wie Sie sehen können, steigt die erwartete Preisänderung mit steigendem Indikatorwert. Basierend auf einem Graphen wie diesem war ich in der Lage, eine Formel zu machen, um die Kurve zu passen. Am Anfang habe ich diese ldquocurve fittingrdquo manuell, aber ich schrieb bald einen Code, um diesen Prozess zu automatisieren. Beachten Sie, dass nicht alle Indikatorkurven die gleiche Form hatten. Beachten Sie auch, dass die Eimer logarithmisch verteilt wurden, um die Datenpunkte gleichmäßig zu verbreiten. Schließlich ist zu beachten, dass negative Indikatorwerte (und ihre entsprechenden Abwärtspreisvorhersagen) umgedreht und mit den positiven Werten kombiniert wurden. (Mein Algorithmus behandelt genau und unten genau das gleiche.) Kombinieren von Indikatoren für eine einzelne Vorhersage Eine wichtige Sache zu berücksichtigen war, dass jeder Indikator war nicht völlig unabhängig. Ich konnte einfach nur addieren alle Vorhersagen, dass jeder Indikator individuell gemacht. Der Schlüssel war, um herauszufinden, die zusätzlichen prädiktiven Wert, dass jeder Indikator hatte über das, was bereits vorhergesagt wurde. Dies war nicht schwer zu implementieren, aber es bedeutete, dass, wenn ich ldquocurve passend wäre, um mehrere Indikatoren zur gleichen Zeit musste ich vorsichtig ändern, würde man die Vorhersagen eines anderen beeinflussen. Um ldquocurve fitrdquo alle Indikatoren zur gleichen Zeit Ich setze den Optimierer zu Schritt nur 30 der Weg in Richtung der neuen Vorhersage Kurven mit jedem Pass. Mit diesem 30 Sprung habe ich festgestellt, dass sich die Vorhersagekurven innerhalb einiger Pässe stabilisieren würden. Mit jedem Indikator jetzt geben uns itrsquos zusätzliche Preisvorhersage Ich könnte einfach addieren sie bis zu einer einzigen Vorhersage, wo der Markt wäre in 10 Sekunden zu produzieren. Warum die Vorhersage der Preise ist nicht genug Sie könnten denken, dass mit diesem Rand auf dem Markt war ich golden. Aber man muss bedenken, dass der Markt aus Angeboten und Angeboten besteht - itrsquos nicht nur einen Marktpreis. Erfolg im Hochfrequenzhandel kommt auf gute Preise und itrsquos nicht so einfach. Die folgenden Faktoren machen das Schaffen eines rentablen Systems schwierig: Mit jedem Handel musste ich Provisionen sowohl an meinen Makler als auch an den Austausch bezahlen. Die Ausbreitung (Differenz zwischen Höchstgebot und niedrigem Angebot) bedeutete, dass ich, wenn ich einfach zufällig kaufen und verkaufen würde, Irsquod eine Tonne Geld verlieren würde. Die meisten der Marktvolumen waren andere Bots, die nur einen Handel mit mir ausführen würden, wenn sie dachten, sie hätten einen statistischen Rand. Ein Angebot zu sehen, garantierte nicht, dass ich es kaufen könnte. Zu der Zeit, als mein Kaufauftrag an die Börse kam, war es sehr möglich, dass dieses Angebot storniert wurde. Als kleiner Marktspieler gab es keine Möglichkeit, mit der Geschwindigkeit allein zu konkurrieren. Aufbau einer vollständigen Trading-Simulation So hatte ich einen Rahmen, der mir erlaubt, Backtest und Optimierung Indikatoren. But I had to go beyond this - I needed a framework that would allow me to backtest and optimize a full trading system one where I was sending orders and getting in positions. In this case Irsquod be optimizing for total PampL and to some extent average PampL per trade. This would be trickier and in some ways impossible to model exactly but I did as best as I could. Here are some of the issues I had to deal with: When an order was sent to the market in simulation I had to model the lag time. The fact that my system saw an offer did not mean that it could buy it straight away. The system would send the order, wait approximately 20 milliseconds and then only if the offer was still there was it considered as an executed trade. This was inexact because the real lag time was inconsistent and unreported. When I placed bids or offers I had to look at the trade execution stream (provided by the API) and use those to gauge when my order would have gotten executed against. To do this right I had to track the position of my order in the queue. (Itrsquos a first-in first-out system.) Again, I couldnrsquot do this perfectly but I made a best approximation. To refine my order execution simulation what I did was take my log files from live trading through the API and compare them to log files produced by simulated trading from the exact same time period. I was able to get my simulation to the point that it was pretty accurate and for the parts that were impossible to model exactly I made sure to at least produce outcomes that were statistically similar (in the metrics I thought were important). Making profitable trades With an order simulation model in place I could now send orders in simulation mode and see a simulated PampL. But how would my system know when and where to buy and sell The price move predictions were a starting point but not the whole story. What I did was create a scoring system for each of 5 price levels on the bid and offer. These included one level above the inside bid (for a buy order) and one level below the inside offer (for a sell order). If the score at any given price level was above a certain threshold that would mean my system should have an active bidoffer there - below the threshold then any active orders should be cancelled. Based on this it was not uncommon that my system would flash a bid in the market then immediately cancel it. (Although I tried to minimize this as itrsquos annoying as heck to anyone looking at the screen with human eyes - including me.) The price level scores were calculated based on the following factors: The price move prediction (that we discussed earlier). The price level in question. (Inner levels meant greater price move predictions were required.) The number of contracts in front of my order in the queue. (Less was better.) The number of contracts behind my order in the queue. (More was better.) Essentially these factors served to identify ldquosaferdquo places to bidoffer. The price move prediction alone was not adequate because it did not account for the fact that when placing a bid I was not automatically filled - I only got filled if someone sold to me there. The reality was that the mere fact of someone selling to me at a certain price changed the statistical odds of the trade. The variables used in this step were all subject to optimization. This was done in the exact same way as I optimized variables in the price move indicators except in this case I was optimizing for bottom line PampL. What my program ignored When trading as humans we often have powerful emotions and biases that can lead to less than optimal decisions. Clearly I did not want to codify these biases. Here are some factors my system ignored: The price that a position was entered - In a trading office itrsquos pretty common to hear conversation about the price at which someone is long or short as if that should effect their future decision making. While this has some validity as part of a risk reduction strategy it really has no bearing on the future course of events in the market. Therefore my program completely ignored this information. Itrsquos the same concept as ignoring sunk costs. Going short vs. exiting a long position - Typically a trader would have different criteria that determines where to sell a long position versus where to go short. However from my algorithms perspective there was no reason to make a distinction. If my algorithm expected a downward move selling was a good idea regardless of if it was currently long, short, or flat. A ldquodoubling uprdquo strategy - This is a common strategy where traders will buy more stock in the event that there original trade goes against them. This results in your average purchase price being lower and it means when (or if) the stock turns around yoursquoll be set to make your money back in no time. In my opinion this is really a horrible strategy unless yoursquore Warren Buffet. Yoursquore tricked into thinking you are doing well because most of your trades will be winners. The problem is when you lose you lose big. The other effect is it makes it hard to judge if you actually have an edge on the market or are just getting lucky. Being able to monitor and confirm that my program did in fact have an edge was an important goal. Since my algorithm made decisions the same way regardless of where it entered a trade or if it was currently long or short it did occasionally sit in (and take) some large losing trades (in addition to some large winning trades). But, you shouldnrsquot think there wasnrsquot any risk management. To manage risk I enforced a maximum position size of 2 contracts at a time, occasionally bumped up on high volume days. I also had a maximum daily loss limit to safeguard against any unexpected market conditions or a bug in my software. These limits were enforced in my code but also in the backend through my broker. As it happened I never encountered any significant problems. Running the algorithm From the moment I started working on my program it took me about 6 months before i got it to the point of profitability and begun running it live. Although to be fair a significant amount of time was learning a new programming language. As I worked to improve the program I saw increased profits for each of the next four months. Each week I would retrain my system based on the previous 4 weeks worth of data. I found this struck the right balance between capturing recent market behavioral trends and insuring my algorithm had enough data to establish meaningful patterns. As the training began taking more and more time I split it out so that it could be performed by 8 virtual machines using amazon EC2. The results were then coalesced on my local machine. The high point of my trading was October 2009 when I made almost 100k. After this I continued to spend the next four months trying to improve my program despite decreased profit each month. Unfortunately by this point I guess Irsquod implemented all my best ideas because nothing I tried seemed to help much. With the frustration of not being able to make improvements and not having a sense of growth I began thinking about a new direction. I emailed 6 different high frequency trading firms to see if theyrsquod be interested in purchasing my software and hiring me to work for them. Nobody replied. I had some new startup ideas I wanted to work on so I never followed up. UPDATE - I posted this on Hacker News and it has gotten a lot of attention. I just want to say that I do not advocate anyone trying to do something like this themselves now. You would need a team of really smart people with a range of experiences to have any hope of competing. Even when I was doing this I believe it was very rare for individuals to achieve success (though I had heard of others.) There is a comment at the top of the page that mentions manipulated statistics and refers to me as a ldquoretail investorrdquo that quants would ldquogleefully pick offrdquo. This is a rather unfortunate comment thatrsquos simply not based in reality. Setting that aside therersquos some interesting comments: news. ycombinatoritemid4748624 UPDATE 2 - Irsquove posted a follow-up FAQ that answers some common questions Irsquove received from traders about this post.