Trading estratégia data mining

Mineração de dados O que é mineração de dados Mineração de dados é um processo usado por empresas para transformar dados brutos em informações úteis. Ao usar o software para procurar padrões em grandes lotes de dados, as empresas podem aprender mais sobre seus clientes e desenvolver estratégias de marketing mais eficazes, bem como aumentar as vendas e diminuir os custos. A mineração de dados depende da coleta e armazenamento efetivos de dados, bem como do processamento do computador. BREAKING DOWN Data Mining As mercearias são usuários bem conhecidos das técnicas de mineração de dados. Muitos supermercados oferecem cartões de fidelidade gratuitos para clientes que lhes dão acesso a preços reduzidos não disponíveis para não-membros. Os cartões tornam mais fácil para as lojas para rastrear quem está comprando o que, quando eles estão comprando e a que preço. As lojas podem então usar esses dados, depois de analisá-lo, para vários propósitos, como oferecer aos clientes cupons direcionados aos seus hábitos de compra e decidir quando colocar itens à venda ou quando vendê-los a preço total. A extração de dados pode ser motivo de preocupação quando apenas a informação selecionada, que não é representativa do grupo de amostra geral, é usada para provar uma certa hipótese. Data Warehousing Quando as empresas centralizam seus dados em um banco de dados ou programa, ele é chamado de data warehousing. Com um data warehouse, uma organização pode extrair segmentos dos dados para usuários específicos para analisar e utilizar. No entanto, em outros casos, os analistas podem começar com o tipo de dados que desejam e criar um data warehouse com base nessas especificações. Independentemente do modo como as empresas e outras entidades organizam os seus dados, utilizam-no para apoiar os processos de tomada de decisão das direcções. Software de mineração de dados Os programas de mineração de dados analisam relacionamentos e padrões nos dados com base no que os usuários solicitam. Por exemplo, o software de mineração de dados pode ser usado para criar classes de informações. Para ilustrar, imagine um restaurante quer usar mineração de dados para determinar quando eles devem oferecer determinados especiais. Olha a informação que coletou e cria classes baseadas em quando os clientes visitam e o que requisitam. Em outros casos, os mineiros de dados encontram aglomerados de informações baseados em relações lógicas ou olham associações e padrões seqüenciais para tirar conclusões sobre tendências no comportamento do consumidor. Processo de Mineração de Dados O processo de mineração de dados divide-se em cinco etapas. Primeiro, as organizações coletam dados e os carregam em seus data warehouses. Em seguida, eles armazenam e gerenciam os dados, seja em servidores internos ou na nuvem. Analistas de negócios, equipes de gerenciamento e profissionais de tecnologia da informação acessam os dados e determinam como eles querem organizá-lo. Em seguida, o software de aplicação classifica os dados com base nos resultados dos usuários e, finalmente, o usuário final apresenta os dados em um formato fácil de compartilhar, como um gráfico ou table. MetaTrader Expert Advisor Devido às características únicas de diferentes pares de moedas , Muitas estratégias quantitativas de Forex são projetadas com um par de moedas específico em mente. Embora isso possa produzir muitas estratégias de negociação rentável, também há vantagens em desenvolver estratégias que podem ser negociadas em vários pares de moedas. Isto introduz um elemento de diversificação que pode proporcionar um nível adicional de protecção contra a descida. Daniel Fernandez publicou recentemente um sistema que ele projetou para o comércio em cada um dos quatro majores de Forex. Seu objetivo era encontrar um sistema que teria produzido um histórico de 20 anos de negociação rentável em EURUSD, GBPUSD, USDJPY e USDCHF. Daniel usa uma abordagem de mineração de dados para desenvolver uma estratégia para a negociação dos quatro maiores mouriscos. Para construir seu sistema, Daniel usou seu software de mineração de dados para definir sinais de entrada e saída que teriam produzido uma estratégia de negociação lucrativa em cada um dos quatro pares de moedas nos últimos 20 anos. O que ele vem com é uma combinação de três regras baseadas em preços que formam a base da sua estratégia de Forex Majors. Daniel8217s Forex Majors estratégia Daniel8217s estratégia de Majors Forex é muito simples em que ele sempre tem uma posição, longa ou curta, em cada um dos quatro pares de moedas que ele trades. Baseia todos os seus negócios em gráficos diários. A estratégia dura muito tempo quando se cumprem as três condições a seguir: A estratégia fica curta quando se cumprem as três condições a seguir: Como você pode ver, a estratégia é basicamente uma tendência otimizada seguindo a estratégia. Isso faz sentido, porque Daniel afirma no início de seu artigo que a tendência de longo prazo estratégias a seguir são geralmente as melhores estratégias para a negociação de múltiplos mercados. Uma regra adicional que a estratégia de Daniel8217s usa é uma parada-perda baseada em ATR. O stop-loss fixo é ajustado em 180 do ATR de 20 dias. Se a stop-loss é acionada, a estratégia permanece fora do mercado até que um sinal seja gerado na direção oposta. O teste indica que a reentrada num sinal na mesma direcção afectou negativamente o desempenho. Backtesting Performance Os resultados de backtesting que Daniel incluiu em seu post mostram que a estratégia foi bastante rentável. Produziu uma relação de vitória de 45, um fator de lucro de 1,38, e uma razão de recompensa a risco de 1,68. A maior preocupação de Daniel8217s sobre a estratégia era que o período de levantamento máximo representou um tempo muito longo. De acordo com os números de Daniel8217s, o retorno anual médio foi de 9,67. Isso consistiu de 16 anos lucrativos, 4 anos perdidos, e um ano que, basicamente, quebrou mesmo. O melhor ano foi um retorno de 37,76, eo pior ano foi uma perda de 20,2. Daniel observa que este sistema não representaria uma boa estratégia autônoma por causa de seus retornos relativos aos levantamentos máximos. Mineração de Dados A rápida evolução da tecnologia de computador nas últimas décadas tem proporcionado aos profissionais de investimento (e amadores) a capacidade de acessar e analisar enormes quantidades De dados financeiros. Além disso, a World Wide Web, e-mail e quadros de avisos tornam possível para as pessoas ao redor do mundo para acessar essas informações rapidamente, bem como proporcionar um meio para os indivíduos a voz de suas opiniões e interagir. Como resultado, alguns dos tópicos mais intrigantes de debate nos últimos anos têm girado em torno da prática e as consequências da mineração de dados. A mineração de dados envolve pesquisas através de bancos de dados para correlações e padrões que diferem dos resultados que seriam antecipados por acaso ou em condições aleatórias. A prática de mineração de dados por si só não é nem boa nem ruim eo uso da mineração de dados tornou-se comum em muitas indústrias. Por exemplo, numa tentativa de melhorar a expectativa de vida, os pesquisadores podem usar a mineração de dados para analisar causas e correlações com as taxas de mortalidade. A Mineração de Dados também é usada por anunciantes e empresas de marketing para atingir consumidores. Mas, possivelmente, o grupo mais notório de mineradores de dados são pesquisadores do mercado de ações que procuram prever o movimento futuro dos preços das ações. A maioria, se não todas as anomalias do mercado de ações foram descobertas (ou pelo menos documentadas) por meio da mineração de dados de preços passados ​​e variáveis ​​relacionadas (ou às vezes não relacionadas). Quando estratégias de batimento do mercado são descobertas através da mineração de dados, há uma série de problemas potenciais em fazer o salto de uma estratégia de back-tested para investir com êxito em condições futuras do mundo real. O primeiro problema é determinar a probabilidade de que as relações ocorrem aleatoriamente ou se a anomalia pode ser exclusiva da amostra específica que foi testada. Os estatísticos gostam de apontar que se você tortura os dados por tempo suficiente, confessará a qualquer coisa. No que está se tornando um exemplo infame, David Leinweber procurou correlações aleatórias para o SP 500. Peter Coy descreveu as descobertas de Leinwebers em um artigo da revista Business Week intitulado He who mines data, que pode surpreender os tolos de ouro (61697). O artigo discutido data mining, Michael Drosnins livro The Bible Code. E o fato de que padrões ocorrerá em dados por pura casualidade, especialmente se você considerar muitos fatores. Muitos casos de mineração de dados são imunes a verificação estatística ou refutação. Ao descrever as armadilhas da mineração de dados, Leinweber percorreu um CD-ROM das Nações Unidas e descobriu que, historicamente, o único melhor preditor do índice de estoque Standard amp Poors 500 era a produção de manteiga em Bangladesh. A lição a aprender de acordo com Coy é uma fórmula que acontece para ajustar os dados do passado não terá necessariamente qualquer valor preditivo. Back testing sempre foi uma classe suspeita de informações. Quando você olha para trás, você só vai mostrar o que é bom. As anomalias descobertas através da mineração de dados são consideradas como sendo mais significativas à medida que o período de tempo aumenta e se a anomalia pode ser confirmada Em testes de amostra em diferentes períodos de tempo e mercados comparáveis ​​(por exemplo, em câmbios). Se uma anomalia é descoberta em testes de volta, também é importante para determinar como os custos (custos de transação, o spread bid-ask, os custos de impacto amplificador para os comerciantes institucionais) iria reduzir os retornos. Algumas anomalias simplesmente não são realizáveis. Veja a anomalia da linha de valor e a falta de implementação para saber mais sobre este tópico. Além disso, as estratégias que trabalharam no passado podem simplesmente parar de trabalhar como mais investidores começam a investir de acordo com a estratégia. Veja a Hipótese de Mercado Eficiente para mais informações sobre este tópico. O Motley Fool tem sido elogiado por muitos por oferecer aconselhamento educacional aos investidores individuais (por exemplo, o Motley Fool oferece recomendações sólidas ao aconselhar os investidores a comprar e manter ações, a ser cauteloso com os corretores de ações e os conflitos de interesse dos analistas e ser cauteloso De reivindicações de desempenho irrealistas). Mas a estratégia de ações da Motley Fools Foolish Four e sua lógica subjacente atraíram críticas. Em 1997, os professores Grant McQueen e Steven Thorley coabitaram um artigo no Financial Analysts Journal (FAJ), que questionava os imensamente populares Cães da Estratégia Dow (Abstract). Tendo já reunido os dados para analisar os Cães Dow, os professores seguidos por fazer um estudo de caso na mineração de dados fora do Motley Fools Foolish Four. McQueen e Thorley analisaram os Foolish Four, como descrito em The Motley Fool Investment Guide (MFIG), mas os Tontos realmente têm múltiplas variações dos Foolish Four (veja também o Foolish Four explicado e Foolish Four History). Essa pesquisa resultou em outro artigo publicado na edição de MarchApril 1999 do Financial Analysts Journal intitulado Mining Fools Gold. No espírito do estilo Fools divertido e criativo de escrita, os professores têm publicado uma versão alegre do papel (em Wordperfect) no servidor BYU. Os dados utilizados no estudo podem ser baixados aqui. McQueen e Thorley incluem uma explicação completa das armadilhas potenciais da mineração de dados e eles conduziram testes de amostra nos Foolish Four. Os Professores argumentam que a mineração de dados pode ser detectada pela complexidade da regra de negociação, a falta de uma história ou teoria coerente, o desempenho de testes fora da amostra e o ajuste de retornos de risco, custos de transação e impostos. Além disso, eles argumentam que o Foolish Four e Dow dez regras de negociação tornaram-se bastante popular para impactar os preços das ações na virada do ano. The Motley Fool postou uma resposta animada para o papel FAJ em seus relatórios Foolish Four portfólio que estão acessíveis em seus arquivos de 1999. Veja os relatórios datados de 510. 511. 512. 513. 514. 517. 518. 519. 520. e 521. Incluídas nestas respostas estão vários argumentos contrários ao documento do FAJ e também reconhecimentos de questões válidas discutidas no artigo. Embora muitas das questões sejam discutíveis, o verdadeiro teste ácido e a descoberta crítica do papel FAJ foi um teste fora da amostra para os Foolish Four retorna de 1949 a 1972. Para esse período, os Foolish Four mal bateram o Dow 30 por uma média de 0,32 por ano com risco substancialmente maior. Não só a estratégia de desempenho inferior ao Dow Dogs para o período, mas após os custos de transação e contabilidade de risco que claramente teria ficado para trás o DJIA para o período. Esta questão crítica foi discutida brevemente no relatório de 514. Para colocar esta questão em perspectiva, considere um investidor no início de 1973 olhando para trás o desempenho DJIA ao longo dos últimos 24 anos. É difícil racionalizar como um investidor poderia ter sabido naquela época que o Foolish Four iria produzir retornos de mercado batendo no futuro. Em outro teste fora da amostra, McQueen e Thorley usaram o período de base 1973 -1996 discutido em MFIG, mas usado em julho para reequilíbrio em vez de janeiro. Nessas condições, os retornos dos Foolish Four batiam o DJIA em apenas 2,95 por ano em média, substancialmente inferior à vantagem de 12,23 sobre o DJIA com o reequilíbrio de janeiro. Em defesa dos tolos, várias divulgações foram pelo menos feitas em MFIG e no Web site. No relatório Foolish Four datado de 8798, eles revelam que os retornos foram menores quando o reequilíbrio ocorreu em meses que não janeiro. Além disso, no MFIG um valor de 25,5 retorno de um período de vinte anos é usado muitas vezes, mas eles pelo menos mencionam que eles pesquisaram os números de volta a 1961 e para o período de tempo mais longo, os retornos caíram para 18,35. Por outro lado, uma vez que é revelado que um período mais longo de tempo foi estudado, continuar a citar o mais forte prazo mais curto números e argumentos de base sobre esses dados certamente pode ser visto como suspeito. Divulgar e focar em resultados de longo prazo tende a aumentar a credibilidade de um argumento de mineradores de dados. Jason Zweig expressou sua opinião sobre os Foolish Four e compartilha seus próprios dados extraídos de carteiras Very Stupid e Extra Dumb na revista False Profits from Money (agosto de 1999). No site da Morningstar, você também pode ler a opinião de John Rekenthalers em Just foolin around, bem como as opiniões do Consultor de Investimento William Bernstein em um artigo intitulado Mined: All Mined (veja também a resposta de James OShaughnessy e o debate que se seguiu). Em dezembro de 2000, The Motley Fool anunciou que não defende mais a estratégia de ações Foolish Four, que eles criaram. Veja Re-thinking the Foolish Four para o raciocínio por trás do Fools já não recomendar uma estratégia que tinham touted durante anos através de seu site e livros. Passando para outro debate de mineração de dados, William Brock. Josef Lakonishok. E Blake LeBaron (BLL) publicaram um artigo intitulado Simple Technical Trading Rules e as Stochastic Properties of Stock Returns, na edição de dezembro de 1992 do Journal of Finance. O estudo é um dos poucos artigos acadêmicos para documentar uma estratégia de negociação bem-sucedida baseada em análise técnica (ver anomalias técnicas para uma discussão completa do artigo). Os Professores demonstraram que as médias móveis e as ferramentas de apoio e resistência tinham valor preditivo em relação à Dow Jones Industrial Average para o período de 1897-1986. Data-Snooping, Technical Trading Rule Performance, eo Bootstrap é um artigo que revisita o papel BLL e aparecerá na edição de outubro de 1999 do Journal of Finance. No artigo, Ryan Sullivan, Allan Timmermann e Halbert White (STW) tentam determinar o efeito do Data-Snooping nos resultados BLL. Eles também usam os dados coletados do período após o estudo original (BLL dados correu até 1986), a fim de fornecer um fora do teste de amostra. Adicionando os últimos anos desde um total de 100 anos de dados. A STW calculou um nível de custo de transação igual a 0,27 por cento por negociação para a regra de negociação com melhor desempenho para todo o período. Como os dados BLL originais cobriram um período extremamente longo de quase 90 anos, pode-se esperar que as estratégias funcionem bem nos testes fora da amostra. Mas as conclusões do estudo podem acabar sendo usadas como outro exemplo potencial da Hipótese de Mercado Eficiente. A STW descobriu que os resultados da BLL parecem ser robustos à pesquisa de dados. No entanto, verificamos também que o desempenho superior da melhor regra comercial não se repete no experimento fora da amostra que abrange o período 1987-1996 e há poucas provas de que as regras técnicas de negociação tinham qualquer valor económico durante o período 1987- 1996. Isso pode oferecer outra advertência para os mineradores de dados do mercado de ações e investidores ativos. Mesmo se uma anomalia funcionou no passado durante longos períodos de tempo, e mesmo que os resultados não pareçam sofrer as armadilhas dos dados que espionam, uma vez que a anomalia é descoberta, pode deixar de funcionar no futuro. Pessoas razoáveis ​​podem ter uma diferença razoável de opinião sem que ela se torne uma questão de ética ou fé. Leigh Steinberg em Ganhar Com Integridade Alarming Efficiency (RR) da Dow Jones Asset Management (5-699) é um artigo interessante que discute a mineração de dados e o problema de overfitting. Estão incluídos comentários de veteranos da indústria de investimentos David Shaw. Ted Aronson. E Robert Arnott. O artigo argumenta que, dada uma quantidade finita de dados históricos e um número infinito de modelos complexos, investidores desinformados podem ser atraídos para sobrecarregar os dados. Padrões que são assumidos como sistemáticos podem realmente ser específicos da amostra e, portanto, de nenhum valor. As pessoas estão vindo para nós o tempo todo com estratégias de negociação que, segundo se informa, fazem retornos excessivos muito grandes. Mas a grande maioria das coisas que as pessoas descobrem ao tomar ferramentas matemáticas padrão e peneirar através de uma vasta quantidade de dados são artefatos estatísticos. Aronson argumenta que o mercado é quase totalmente eficiente e que você está enganando a si mesmo se você acha que o youll outguess o outro cara por mais de cerca de 51 ou 52 do tempo - Artigo Informativo - PoloMercantil Contato PoloMercantil - Classificados, notícias, cultura e entretenimento Bem vindo! . A Aronson acredita que os investidores que buscam ineficiências de mercado reduziram o potencial de lucros dessas anomalias para o equivalente a custos de transação. Se for esse o caso, minimizar os custos de transação é fundamental na tentativa de vencer o mercado. Então, existem algumas anomalias que foram confirmadas em testes fora da amostra Em outro artigo do próximo Journal of Finance, James L. Davis, Eugene F. Fama. E Kenneth R. French argumentam que a resposta é um sim definido. As empresas com baixos índices de preço a valor contábil superam e o padrão tem sido documentado em ambos os EUA e mercados estrangeiros. Em características, covariâncias e rendimentos médios: 1929 a 1997 os autores vão um grande passo adiante na documentação de retornos de preço baixo para ações de valor contábil de 1929 a 1963. Para o período anterior, o prêmio de valor foi ainda maior (.50 por mês ) Do que o período mais recente de julho de 1963 a junho de 1997 (0,43 por mês). No final, nós nunca realmente sabemos com certeza quais as estratégias que irão superar no futuro Opiniões sobre essa questão definitivamente variam, mas o aviso de isenção padrão se aplica como sempre. O desempenho passado não é garantia de desempenho futuro. Envie sugestões e comentários ao Investidor Home Última atualização 2122001. Copyright 2001 Investor Home. Todos os direitos reservados. NOVA YORK (TheStreet) - Às vezes pode parecer como o tsunami de blurbs digitais, tweets, gostos e dados quantitativos que nos cercam na era digital está suplantando a necessidade de jornalismo tradicional E publicar, tornando qualquer meio que apresenta informações em uma forma mais de 140 caracteres parecem obsoletos. Mas outra tendência contradiz as horríveis perspectivas para o texto antiquado: um mercado para a mineração de texto de relatórios reais como publicado em jornais e revistas. Em outras palavras, do jornalismo tradicional. E enquanto muitos membros da imprensa popular cujos materiais estão sendo usados ​​atualmente pelos comerciantes não sabem disso, Wall Street e empresas de mídia selecionadas estão aproveitando a oportunidade. Já em 2008, antes que grandes dados fossem grandes novidades, um relatório do grupo Aite, com sede em Boston, descobriu que a porcentagem de jogadores financeiros que mineram dados não-estruturados, incluindo conteúdo de empresas como Dow Jones e Thomson Reuters, subiu para 35, de 2, E os gastos foram projetados para quase dobrar nos próximos dois anos. Grava Adam Honor, autor do relatório, As empresas estarão procurando qualquer vantagem competitiva que podem encontrar, e dados não estruturados oferece um reservatório inexplorado de novas idéias à espera de ser descoberto. O que é Text Mining Mineração de texto é a análise de dados de obras de linguagem natural (artigos, livros, etc.), usando o texto como uma forma de dados. É muitas vezes associado com a mineração de dados, a análise numérica de trabalhos de dados (como arquivamentos e relatórios), e referido como texto e mineração de dados ou, simplesmente, TDM. TDM envolve o uso de software avançado que permite aos computadores ler e digerir informações digitais muito mais rapidamente do que um ser humano pode. O software TDM divide as informações digitais em dados brutos e texto, analisa-o e apresenta novas conexões, desde padrões inesperados de interações protéicas que acabam levando ao desenvolvimento de uma nova droga, até mudanças sutis nos padrões climáticos que podem predizer uma recessão No preço do trigo. O último exemplo é de interesse para Wall Street, especificamente gestores de fundos de hedge e comerciantes algorítmicos, que estão comprando licenças de fontes tradicionais como a Associated Press para ter acesso a notícias de última hora. Os comerciantes usam então o software de TDM para mina aqueles feeds para prever movimentos dos mercados para tudo das ligações de governo às mercadorias. Como o AP ajuda os investidores a ganhar dinheiro O advento do TDM promete novos fluxos de receita para as lojas de publicação tradicional e novas fontes de percepção e eficiência para nossos clientes, diz Bruce Glover, vice-diretor de tecnologia digital da Associated Press. De acordo com a Glover, a AP licencia produtos de notícias legíveis por máquina (MRN) para clientes financeiros, permitindo que as informações se movam mais rapidamente. Dada a importância da negociação algorítmica em Wall Street, a velocidade é fundamental, e as máquinas podem processar informações encontradas em artigos de notícias muito mais rapidamente e com melhor lembrança do que os seres humanos. Além disso, de acordo com Glover, há uma nova estratégia de negociação que hes ouvido referido como hyper-contextual trading (HCT), que reconhece os benefícios de assimilar todas as informações confiáveis ​​para apoiar decisões. Glover diz, é tudo muito encorajador eo mercado está indicando que o AP tem um ativo valioso e crescente.