Hadoop Trading Système

Ce sommet couvrira les derniers défis commerciaux et technologiques qui affectent le buy-side dans un paysage financier et réglementaire en constante évolution, ainsi que des stratégies novatrices pour optimiser l'exécution du commerce, gérer les risques et accroître l'efficacité opérationnelle tout en minimisant les coûts. WatersTechnology et Sell-Side Technology sont heureux de présenter le 7e Sommet annuel de l'architecture commerciale en Amérique du Nord. Regroupant des technologues, des architectes, des développeurs de logiciels et des gestionnaires de centres de données de la communauté financière pour discuter des derniers enjeux de la technologie de négociation. Date: 05 avr. 2017 New York Marriott Marquis, New York Tokyo Sommet de la technologie de l'information financière Eau Technologie J'ai un petit problème. Je veux en savoir plus sur Hadoop et comment je peux l'utiliser pour gérer les flux de données en temps réel. En tant que tel, je veux construire un POC significatif autour de lui afin que je puisse le montrer quand je dois prouver ma connaissance de celui-ci devant un employeur potentiel ou de le présenter dans mon entreprise actuelle. Je veux aussi mentionner que je suis limité en ressources matérielles. Juste mon ordinateur portable et moi :) Je connais les bases de Hadoop et ai écrit 2-3 travaux de base MR. Je veux faire quelque chose de plus significatif ou du monde réel. Merci d'avance. J'aimerais pointer quelques choses. Si vous voulez faire un POC avec seulement 1 ordinateur portable, theres peu de point en utilisant Hadoop. De plus, comme l'ont dit d'autres personnes, Hadoop n'est pas conçu pour une application en temps réel, car il y a des frais généraux dans l'exécution des travaux MapReduce. Cela étant dit, Cloudera a publié Impala qui travaille avec l'écosystème Hadoop (en particulier le méatest Hive) pour atteindre des performances en temps réel. Soyez conscient que pour ce faire, il ne génère pas d'emplois MapReduce et est actuellement en version bêta, alors utilisez-le soigneusement. Donc, je conseillerais vraiment aller à Impala afin que vous puissiez encore utiliser un écosystème Hadoop, mais si vous envisagez également des alternatives ici sont quelques autres cadres qui pourraient être utiles: druide. Était open-sourced par MetaMarkets. Il semble intéressant, même si je ne l'ai pas utilisé moi-même. Orage. Aucune intégration avec HDFS, il traite juste les données comme il vient. HStreaming. S'intègre avec Hadoop. Yahoo S4. Semble assez proche de Storm. En fin de compte je pense que vous devriez vraiment analyser vos besoins, et voir si l'utilisation de Hadoop est ce dont vous avez besoin, parce que son seulement commençant dans l'espace en temps réel. Il existe plusieurs autres projets qui pourraient vous aider à atteindre des performances en temps réel. Si vous voulez des idées de projets à mettre en valeur, je suggère de regarder ce lien. Voici quelques exemples: FinanceInsurance Classifiez les opportunités d'investissement comme bonnes ou non. Sur la base des indicateurs métiers de l'industrie, de la diversité du portefeuille et du risque de change. Classer les transactions par carte de crédit comme étant valides ou non valables, par ex. L'emplacement de la transaction et le titulaire de la carte de crédit, la date, le montant, l'article ou le service acheté, l'historique des transactions et des transactions similaires. BiologieMédecine Classification des protéines en classes structurelles ou fonctionnelles Classification diagnostique, p. Ex. (Par exemple dans les industries de l'énergie ou de la pétrochimie) Classer et détecter des situations (p. Ex. Points doux ou situations de risque) basées sur des données réelles et historiques des capteurs répondues Jan 12 13 À 17:50 Si vous voulez vous salir les mains sur un framework de streaming très prometteur, essayez BDAS SPARK en streaming. Attention, ce n'est pas encore publié, mais vous pouvez jouer dans votre ordinateur portable avec la version github (githubmesossparktreestreaming) Il existe de nombreux exemples pour vous aider à démarrer. Aussi cela présente de nombreux avantages par rapport aux frameworks existants, 1. Il vous donne la possibilité de combiner le temps réel et le calcul des lots dans une pile 2. Il vous donnera une REPL où vous pouvez essayer vos requêtes ad hoc d'une manière interactive. 3. Vous pouvez exécuter ceci dans votre ordinateur portable en mode local. Il ya beaucoup d'autres avantages, mais ces trois, je crois suffira votre besoin de commencer. Vous devrez peut-être apprendre scala pour essayer la REPL :-( Je pense que vous pouvez avoir un POC en cours d'exécution, par exemple, un algorithme onlinerecursive pour la régression dans mapreduce. Mais rappelez-vous que cela va juste prouver que votre règle d'apprentissage fonctionne. Vous pouvez utiliser les résultats en temps réel en disant à vos réducteurs de les écrire dans un fichier temporaire qui peut être lu par un autre thread. Alors Mahout vous permet de définir votre base de données dans plusieurs SéquenceFile s différents. Vous pouvez l'utiliser pour simuler Un flux en ligne et classifycluster votre ensemble de données en ligne. Vous pouvez même copier une partie des données dans le dossier avec les autres données avant que l'algorithme ne commence à s'exécuter. Goût: archive. ics. uci. edumldatasets. html Répondre Apr 7 13 at 16:35 Je cherchais quelque chose comme ça - Ce sont des problèmes bien définis, dont beaucoup sont des problèmes Big Data. Et certains d'entre eux nécessitent un traitement en temps réel. Merci à tous ceux qui ont répondu. A répondu Jan 13 13 at 13:16 Kaggle est une belle ressource It39s dans le domaine de quotPredictive Analyticsquot et pas nécessairement tous les problèmes sont un bon ajustement pour Map ReduceHadoopBig Data. Mais je croire Mahout (une partie de l'écosystème hadoop) serait quelque chose que je voudrais essayer pour les compétitions pertinentes. Ndash parasdoshi Jan 14 13 à 3:11 D'accord. Alors que suggérez-vous ndash Kumar Vaibhav Jan 14 13 à 4:47 J'avais interrogé comme vous l'avez fait. Je voulais créer un POC significatif aussi. Je la cherchais et débarquai à ce thread de SO. Espérons que quelqu'un nous indique quelque ressource. En attendant Personnellement, j'ai terminé de jouer avec des échantillons ici: gettingstarted. hadooponazure ndash parasdoshi Jan 14 13 at 18:26