2013-01-01から1年間の記事一覧

クリスマス暇過ぎて腐女子人気作品の探索的データ解析を行うしかなかった

(function($) { $(function () { $('#time_series').highcharts({ title: { text: '12月各タイトルの投稿数', x: -20 //center }, chart: { zoomType: 'x', spacingRight: 20 }, xAxis: { categories: ['11/1','11/2','11/3','11/4','11/5','11/6','11/7','1…

SQLite + Pythonユーザ定義関数組込で進捗ダメじゃないですになりました

概要 これまで「Hiveからデータ取得・簡単な加工→Pythonで加工・分析」 という流れで作業していたのですが、 Hive→SQLite→Pythonという流れにしたところ進捗が改善されたので、 SQLiteの簡単な使い方とPythonによるSQLユーザ定義関数の組込方法 についてメモ…

面白いデータは転がりまくってるけど転がってるままなので誰か助けてくれろ

転職して丁度2年がたちました。現在はWebベンチャーで統計屋しています。大変楽しい毎日です。 なぜ楽しいかというと勿論リスプを書いているからというのも大きなる理由の一つです*1。 このエントリでは何が楽しいのか近況交えてつらつらまとまりなく書いて…

まどか☆マギカ 叛逆の物語 ネタバレ

一行で分かるネタバレ ワルプルギスはほむらで、ほむらがワルプルギス化したのはまどかを人間に戻すためだった。 以上。 詳細 TV版で、魔法少女が魔女化するのを防ぐために己の身を犠牲にして神となり円環の理を形成したまどか。しかしTV版では具体的に円環…

Clojure/kuromojiでテキストマイニング入門 ~形態素解析からワードカウントまで~

[テキストマイニング] Clojureでテキストマイニングをしたい!という方がTLにいらっしゃったので、 Clojureという言語とkuromojiという形態素解析器を用いたテキストマイニング入門の記事を書きます。 この記事の通り手を動かすと、様々なテキスト、例えばア…

進撃の巨人を読んだことない人がデータだけでキャラを推測してみる

はじめに 最近超人気の漫画として私のTwitter TLを賑わす作品、その名も「進撃の巨人」。 これだけ人気なんだからきっと面白いに違いないのですが、 なんか絵が怖そうだし、人がバンバン死んでてグロいっぽいという噂を聞くので、 なんとか漫画を読まずに、…

15分だけLua勉強した

ドットインストールとか見ながら15分だけLua勉強したのでそのメモ。 --コメント x = 10 s = "hello" print(x*2) > 20 --テーブル(連想配列)操作 t[0] = 0 t[1] = 10 t[2] = 20 t[3] = 30 t[5] = 50 for k,v in pairs(t) do print(k, v) end >1 10 >2 20 >3 3…

WindowsでSublime Text2 + leiningen + Clojure/Incanter環境をお手軽に作る

WindowsでClojureを用いて統計解析を行う環境を簡単に作成します。難しい作業はしません*1。 ClojureはJVM上で動くLispのようなプログラミング言語です。 これは簡単に説明すると 「JVM上で動く=WindowsでもMacでもLinuxでも動く!その上使えるライブラリも…

経済学、数学、統計学などの資料纏め

※適宜追加します 経済学 計量経済学 京大 末石直也 http://www.econ.kyoto-u.ac.jp/~sueishi/econometrics/econometrics.html 経済数学系資料 http://www.f.waseda.jp/ksuga/ 経済学のための位相数学の基礎とブラウワーの不動点定理 http://www2.chuo-u.ac.j…

靴屋とデータマイニングと季節外れの冬物衣料

やぁ。4月も終わりだというのに、いやに寒い日が続いてるね、元気かい? 面白い話がtwitterに流れていたので紹介したい。 日経コンピュータの話。ビックデータ神話に乗り、多額の費用で解析した靴屋の話、解析結果、冬にブーツが売れ、夏にサンダルが売れるw…

暗黙の型変換、いったい何者なんだ…

と田舎で育った曇りなき純朴な好青年である私がJavaScriptの恐怖の暗黙の型変換に怯えていたところ、プログラマ界隈で容赦なく他人にマサカリをなげつけることで有名な方々からめんどくさいありがたい助言を頂いたので色々調べてみることにしました。なお、…

WindowsでPython3.3科学計算用環境を整えてみ…ようとしたんですが

Python2.7から3.3に移行しました。 このタイミングで移行した理由は、Python3.xは文字コードがunicodeに統一されているとか高速化されていると言われてたので前々から移行したかったところに、SciPyなどの科学計算ライブラリが3.3でも動作するようになったと…