"We cannot go against the trend. I think machines will beat humans someday. " "If I get defeated it might be negative for go and this is inevitable in this modern life. However, it will not destroy the value of go itself." （「私たちは時代…
GoogleのAlphaGoというプログラムが、韓国のプロ棋士であるFan Hui氏と囲碁で対局して勝利したというニュースが世界を駆け巡りました。 それについての参考資料のまとめと、思ったことをつらつらと。一点注意ですが、AlphaGoのアルゴリズムを解説するという…
はじめに 数年前、Windows機にPythonでのデータマイニング環境を構築するには様々な困難が待ち受けていました。依存関係にあるライブラリのバージョンが合わないというよくある話から、ライブラリをインストールする順番によって無事に動いたり動かなかった…
はじめに 刀剣乱舞がリリースされ早くも一週間が経過しました。 pixivでも刀剣乱舞の作品が多数投稿されているように思われます。 ここで一度pixivに投稿された刀剣乱舞のデータを集計した結果を 速報として公開したいと思います。本稿では下記について集計…
概要 この記事はEmEditorというエディタをHSP開発環境として利用する際の情報をまとめたものです。少なくともHSP既に知ってて、EmEditor常用しようかなと言う人でないと全く読む価値は無いです拝承。 はじめに 先日、*1下記のサクラエディタをHSP開発環境に…
概要 本稿はRakutenMAというJavaScriptだけで動く学習器付きの形態素解析器を利用する入門記事です。本記事を読了すると、形態素解析の実行と形態素解析のモデルを作成・更新出来るようになります。 また、本稿ははてな×PC工房との連動企画の補足をするべく…
はじめに 本稿はAWKという言語を用いて、 ごく簡単にデータ分析用の前処理*1をするための解説記事です。AWKは短いコマンドを記述するだけで多様なデータ処理を可能にします。 特にデータの抽出に関して恐るべき簡易さを提供します。 具体的には、input.txtと…
概要 この記事は、Gorillaという ブラウザ上でClojureという言語を利用出来るライブラリを利用し、 ブラウザ上でデータ分析環境を構築するための入門記事です。 Clojureの事前知識は一切不要で、 ClojureやGorillaのインストールから、ブラウザ上で各種手法…
新宿高島屋で80～90年代のピンボールを遊びまくれるイベントが 5/6の18時まで開催しています。 詳細は下記 ゴールデンウイークフェスティバル☆ピンボール ワンダーランド！のイベント情報｜ウォーカープラス 5/5に行ってみたらクッソ楽しくてゲラゲラ笑いま…
本稿では統計学・データマイニング・機械学習関連書籍について 内容が易しいこと。数学力（特に微積・線形代数）を求められないこと 入手しやすいこと。絶版や学会に入らないと入手不可などではない、値段が安いこと 実務に繋げやすいこと。 持ち運びしやす…
概要 この記事は自然言語処理という分野の最新手法word2vec を利用して誰でも遊べるようにするための手順を説明するものです。 word2vecを利用すると意味の計算が実現できます。 例えば"king"から"man"を引いて"woman"を足すと"queen"が出てきたり、 "東京"…
2014/10/14 追記 本書87ページに「母数」という単語が複数回出てきますが、 これは全て「分母」とすべきでした。*1 通常、統計学の文脈では、母数は各確率分布を特徴付ける変数を指す単語であり、 例えば正規分布は平均と分散という二つの母数によって形状が…
概要 Clojureでデータマイニングに必要な各手法を解説する記事です。 本記事を読むと、全くClojureを知らない方でも データ抽出・集計 可視化 機械学習（決定木、ランダムフォレスト、k-meansクラスタリング) をClojureで実行できるようになります。 はじめ…
企画情報 詳細はこちら。http://turris.skr.jp/ 作品はこちら。http://turris.skr.jp/gallery 概要は「塔、都市、書簡」というキーワードのうち最低2つ以上利用して小説を書く、 それ以外基本的に縛り無し、というもの。 前書き 別に読まなくて良い。 これを…
はじめに 前提知識不要の面白論文を幾つか紹介致します、 暇なお正月を利用して読んでみましょう！ 1. 明治期における学生男色イメージの変容～女学生の登場に注目して～ http://ci.nii.ac.jp/naid/110006474771 概要 1900年前後の「男色」に関するイメージ…
(function($) { $(function () { $('#time_series').highcharts({ title: { text: '12月各タイトルの投稿数', x: -20 //center }, chart: { zoomType: 'x', spacingRight: 20 }, xAxis: { categories: ['11/1','11/2','11/3','11/4','11/5','11/6','11/7','1…
概要 これまで「Hiveからデータ取得・簡単な加工→Pythonで加工・分析」 という流れで作業していたのですが、 Hive→SQLite→Pythonという流れにしたところ進捗が改善されたので、 SQLiteの簡単な使い方とPythonによるSQLユーザ定義関数の組込方法 についてメモ…
転職して丁度2年がたちました。現在はWebベンチャーで統計屋しています。大変楽しい毎日です。 なぜ楽しいかというと勿論リスプを書いているからというのも大きなる理由の一つです*1。 このエントリでは何が楽しいのか近況交えてつらつらまとまりなく書いて…
一行で分かるネタバレ ワルプルギスはほむらで、ほむらがワルプルギス化したのはまどかを人間に戻すためだった。 以上。 詳細 TV版で、魔法少女が魔女化するのを防ぐために己の身を犠牲にして神となり円環の理を形成したまどか。しかしTV版では具体的に円環…
[テキストマイニング] Clojureでテキストマイニングをしたい！という方がTLにいらっしゃったので、 Clojureという言語とkuromojiという形態素解析器を用いたテキストマイニング入門の記事を書きます。 この記事の通り手を動かすと、様々なテキスト、例えばア…
はじめに 最近超人気の漫画として私のTwitter TLを賑わす作品、その名も「進撃の巨人」。 これだけ人気なんだからきっと面白いに違いないのですが、 なんか絵が怖そうだし、人がバンバン死んでてグロいっぽいという噂を聞くので、 なんとか漫画を読まずに、…
ドットインストールとか見ながら15分だけLua勉強したのでそのメモ。 --コメント x = 10 s = "hello" print(x*2) > 20 --テーブル(連想配列)操作 t[0] = 0 t[1] = 10 t[2] = 20 t[3] = 30 t[5] = 50 for k,v in pairs(t) do print(k, v) end >1 10 >2 20 >3 3…
WindowsでClojureを用いて統計解析を行う環境を簡単に作成します。難しい作業はしません*1。 ClojureはJVM上で動くLispのようなプログラミング言語です。 これは簡単に説明すると 「JVM上で動く＝WindowsでもMacでもLinuxでも動く！その上使えるライブラリも…
※適宜追加します 経済学 計量経済学 京大 末石直也 http://www.econ.kyoto-u.ac.jp/~sueishi/econometrics/econometrics.html 経済数学系資料 http://www.f.waseda.jp/ksuga/ 経済学のための位相数学の基礎とブラウワーの不動点定理 http://www2.chuo-u.ac.j…
やぁ。4月も終わりだというのに、いやに寒い日が続いてるね、元気かい？ 面白い話がtwitterに流れていたので紹介したい。 日経コンピュータの話。ビックデータ神話に乗り、多額の費用で解析した靴屋の話、解析結果、冬にブーツが売れ、夏にサンダルが売れるw…
と田舎で育った曇りなき純朴な好青年である私がJavaScriptの恐怖の暗黙の型変換に怯えていたところ、プログラマ界隈で容赦なく他人にマサカリをなげつけることで有名な方々からめんどくさいありがたい助言を頂いたので色々調べてみることにしました。なお、…
Python2.7から3.3に移行しました。 このタイミングで移行した理由は、Python3.xは文字コードがunicodeに統一されているとか高速化されていると言われてたので前々から移行したかったところに、SciPyなどの科学計算ライブラリが3.3でも動作するようになったと…
こんにちは！今年の春からWeb系企業でHTML/CSSデザイナーとして働きだしたキラキラ女子（を目指してる）のあんちべ（23）です！よろしくお願いします！私は普段自社のWebサービスのCSSなどを書いている*1のですが、最近データマイニングに興味を持ち始め、デ…
SPSSで簡単テキストマイニング View more presentations from SPSSはPythonと連携することが出来ます。SPSSは大変多機能ですが、業務で実際扱うデータは一筋縄にはいきません。様々な前処理が必要です。SPSSに落とし込めるよう、データの整備やクリーニング…
これまで扱ってきたデータは数値だった。これを任意の記号に拡張することで、記号微分（）なんかも可能にしようぜ！という話。 ;2.53 gosh> (list 'a 'b 'c) (a b c) gosh> (list (list 'george)) ((george)) gosh> (cdr '((x1 x2) (y1 y2))) ((y1 y2)) gosh…
