ふんあし(2)

さて、データ容量のおはなしの続き。

現システムでは銘柄+日付をファイル名とし、4.5時間分のみ格納、1レコードは20byte。これによる利点欠点は以下の通り。

利点1:土日はファイルが出来ないため効率的
利点2:取引時間外の空レコードがないため効率的
利点3:データ欠測時はその日のファイルをバックアップマシンよりコピーで済む。

欠点1:小さな(5400byte)ファイルが大量にできるためクラスタ利用効率が悪い
    →ディスクの実使用量が大きい(月データ372MB→実使用562MB)
    →ファイル操作に時間がかかりいらつく(゜ _ ゜)
欠点2:処理時にファイルのオープンクローズが頻発するため非効率
    →キャッシュが補助してくれるからあまり気にしなくてもよい鴨
欠点3:レコードサイズが大きいためオンメモリ時にメモリ喰い

主に欠点3、1を改善したいというわけで、

新システムでは銘柄+年をファイル名とし土日、取引時間外を含まず、1レコードは8byte

20(取引日数)×4.5×60×8byte×4000銘柄 = 164MB

実使用量比として30%程度までダイエットが見込める皮算用。

トラックバック(0)

トラックバックURL: http://kabu-drive.com/mt/mt-tb.cgi/855

コメント(4)

お久しぶりです。
食べ物は時々チェックしてますよw

足データの記録方式についてなんですが、基本、DB使ったほうがよくないですか?

それと、分足を、時間に紐付けたデータとしてみるよりも、
取引所&時間で紐つけたほうが現実的ではないかと。
取引所は銘柄で場の時間帯は決まってますから、場に該当する時間帯の分だけ記録すればいいのではと。

データの形をアプリケーションに合わせようとすると現実世界が歪んでしまいますので、基本的には、ERとかで現実描写をしたうえでアプローチしたほうが先々よいのではないかと思います。
まあ、それもこれもDBをつかうとう前提ですが。

私は、Tickで記録してますが、アプリケーションの
要求で、Tickを集約して、1分、や5分やらに集計させるようにしてます。ただ、毎度毎度集計すると時間がかかるので、一度集計したものは、計算済みテーブルに格納したりとかしてます。

DB化のメリットとして、場中に、ひらめいたことを、SQLたたいて検索&検証できるっていう点があります。
が....私がSQLを完成させるころには、その日の場は終了ってことは、しょっちゅうですw。

たぶろーさん、コメントありがとうございます。

コメントでこういう話題が出るとうれしい。

さて、DBですが、過去のバージョンでは利用してました。

現在うちのシステムはバージョン4。

Kabu1 MS-Access(Jet-MDBテーブル)
Kabu2 同上
Kabu3 SQLServer(ADO.NET2.0-MDFテーブル)
Kabu4 固定長レコードファイル

たぶろーさんのおっしゃるように、基本的にはDBを使ったほうが柔軟で生産性に優れた開発が行えますね。(仕事でももちろんDB使います。)

ただ、あえてDBを使わない理由というのはたしかに存在するのです。

少し前に速度的な比較を載せましたが、ミドルウェアとしてADO.NET(DataTable)を選択した時点で相当のスピードコストを犠牲にしてたりして、直線的な構造のデータであればあるほど、結局昔ながらのランダムアクセスファイルの方が驚くほど速かったりするわけです。ご参考まで。

というわけで場合に応じて使い分けていきたい所存デス♪

技術コメントとか大歓迎デス♪(゜ _ ゜)v

シーケンシャルファイルのほうが速度は圧倒的に早いですよね。
それは良く分かります。

私は、SQLServerをつかってますが、結局、自分のトレードが何を目指すのかってところに、行き着くんですね。

システムは目的があって成立するってことで。

私は、チャート云々よりは、データの分析を可能な限り多様に行えることを最初の主眼においたので、DBという選択をしました。チャート表示はの二の次三の次っていう位置づけです。
速度面は、アプリの工夫でなんとかしようかな、ってノリでw
実際、初期表示は、遅いですよーーw(自慢になりませんが)

いまのところ、自分のトレードの欠点は、アプリのスピードよりも、分析面のほうが大きいかなと思い、速度については放置してる状況です。

今は、10分以内にSQLを構築する能力が欲しい...そんな感じですw

がんばってください。

>私は、SQLServerをつかってますが、結局、自分のトレード
>が何を目指すのかってところに、行き着くんですね。

うんうん、そのとおりだと思います。

うちはたまたま4000銘柄すべてを扱うシステムのためバックテストに時間がかかるのが不満でこういう進化をしてるだけで、開発者の数だけ、いろんな形態のシステムがあったほうが面白いと思いますょ。

ただひとつ共通で言えることは、自動売買システムの開発はおもしろい♪と言うことです。もっと株プログラマが増えるといいな。

コメントする



まけまけシグナル


ミニブログ

メッセンジャー







エロ

●【お前ら全員逮捕w】 うpろだにエロ画像をたった2枚うpしただけの男性 問答無用で逮捕w●美少女フィギュア欲しいけど家族が怖くて買えない●うpろだにエロ画像をたった2枚うpしただけの男性 問答無用で逮捕w●AKB48の新曲のPVがエロいwwwwwwwwww●100均の物+αで自作オナホール作るwwwwww●平野綾ことあーやの処女が確定するまであと一週間を切ったわけだが●ハリー「透明マントでエロいことしよう」●【画像あり】オランダでロリコン党が選挙に出馬。マニフェストは“12歳とのセックス合法化●教え子の女子高生とラブホテルでセックス 木村岳城42歳を逮捕●のび太のイメージ。悪童、エロで変態、0点、3秒で眠れる、餅をパクパク●人気ブログ「VIPPERな俺」がレイプ被害者に追い討ちをかけてる件●内容があってシリアスで適度にエロい漫画教えて●男子校ナメんな。全裸で授業受けてたやつとかいるから●【本能】自分の性欲にいやけがさしてきた、マジでなくしたい【煩悩】●「一人暮らしの男の家に上がったからってエッチOKなわけじゃない」 美香さん(○6才)●「エロい」ってなんなんだろう●オッサンのチンコしゃぶってきたwwwww●AV男優ってAV女優に比べてプロ意識低いよね●処女の女って恥ずかしくないの?●巨乳タレント夏帆さん(19) 「カバンはたすき掛けにしようと思います」●佐藤寛子がヘアヌードに挑んだ映画のスゴイ評判 体にローションを塗りたくって男をボディー洗い●夫が「浮気してやる!」って叫んで出ていった●AV見てると鬱になるよな?●男なら女の子のパンツの中で飼われたいとか思うよな?●下着&入浴シーンがエロいAKB48の新曲PV●透け透け女子の虹エロ画像●乳首に吸い付きたくなるおっぱいの画像●佐々木希がセクシーな下着姿を大胆披露●「生き別れになった妹のアルテイシアですか?」と丁寧な口ぶりのシャア●全裸+ニーソックスのエロ写メ画像●ムラッとくる可愛い娘の三次エロ画像●萌える黒ニーソでパンツ丸見え鏡撮り●可愛い下着の自画撮りエロ写メ●夏だし3次スク水画像でも貼ってこうぜ●可愛い女の子が綺麗な美脚のエロ写メうp●萌えるムッチリな黒ニーソでくぱぁエロ写メ( )●TVで放送された温泉の入浴エロシーン●【動画・画像】貧乳が自分撮りのちっぱいうpしてオナニー●可愛らしくてエッチな下着姿画像●【No.723】 エッチなスレンダー女子校生♪●【No.722】 スレンダー美女のエッチなヌード♪●【No.721】 夏はプールでエッチな写真♪●【雑記】 巨乳美女のエッチな写真♪●【No.720】 色白お姉さんのエッチなヌード♪●チアガールのエロ画像ください ●パンツ見えそうで見えない女子高生のミニスカート画像●【三次元】 女子高生のエロ画像ください●W杯パラグアイの美しすぎるサポーターのヌード●【3次美エロ画像】 (´・ω・`)なぁスク水の画像スレって需要あるんじゃね?●【3次エロ画像】 三次貧乳画像下さい!! お願いします!●ほぼ全裸で踊ってみた●中国のニイハオトイレを久しぶり見た●摂食障害のオンナ達の画像●微エロ画像って最強じゃね?●ヤンジャンのAKB柏木ゆきりんがエロ過ぎて今日3回出た●AKB48 話題の下着PVに全裸入浴シーンも含まれていたようです●さっき仲里依紗のおっぱいと赤いパンツが見えた件●17歳の佐山彩香っていうグラビアアイドルがエロ可愛い過ぎて我慢できない●ジュニアアイドルが卑猥な格好してるエロ画像

モバイル