AlphaGoとトップ棋士の対局を観戦しよう!

"We cannot go against the trend. I think machines will beat humans someday. " "If I get defeated it might be negative for go and this is inevitable in this modern life. However, it will not destroy the value of go itself." (「私たちは時代…

厚みと模様とAlphaGo

GoogleのAlphaGoというプログラムが、韓国のプロ棋士であるFan Hui氏と囲碁で対局して勝利したというニュースが世界を駆け巡りました。 それについての参考資料のまとめと、思ったことをつらつらと。一点注意ですが、AlphaGoのアルゴリズムを解説するという…

2016年現在のWindows機によるAnacondaを用いたPythonでのデータマイニング環境構築

はじめに 数年前、Windows機にPythonでのデータマイニング環境を構築するには様々な困難が待ち受けていました。依存関係にあるライブラリのバージョンが合わないというよくある話から、ライブラリをインストールする順番によって無事に動いたり動かなかった…

刀剣乱舞集計速報_20150121

はじめに 刀剣乱舞がリリースされ早くも一週間が経過しました。 pixivでも刀剣乱舞の作品が多数投稿されているように思われます。 ここで一度pixivに投稿された刀剣乱舞のデータを集計した結果を 速報として公開したいと思います。本稿では下記について集計…

EmEditorでHSP開発できるようにしてみた

概要 この記事はEmEditorというエディタをHSP開発環境として利用する際の情報をまとめたものです。少なくともHSP既に知ってて、EmEditor常用しようかなと言う人でないと全く読む価値は無いです拝承。 はじめに 先日、*1下記のサクラエディタをHSP開発環境に…

RakutenMAによる形態素解析入門

概要 本稿はRakutenMAというJavaScriptだけで動く学習器付きの形態素解析器を利用する入門記事です。本記事を読了すると、形態素解析の実行と形態素解析のモデルを作成・更新出来るようになります。 また、本稿ははてな×PC工房との連動企画の補足をするべく…

統計屋のためのAWK入門

はじめに 本稿はAWKという言語を用いて、 ごく簡単にデータ分析用の前処理*1をするための解説記事です。AWKは短いコマンドを記述するだけで多様なデータ処理を可能にします。 特にデータの抽出に関して恐るべき簡易さを提供します。 具体的には、input.txtと…

ブラウザ上でデータ分析が出来る!Clojure/Gorilla入門

概要 この記事は、Gorillaという ブラウザ上でClojureという言語を利用出来るライブラリを利用し、 ブラウザ上でデータ分析環境を構築するための入門記事です。 Clojureの事前知識は一切不要で、 ClojureやGorillaのインストールから、ブラウザ上で各種手法…

新宿高島屋のピンボールワンダーランド行ったらクッソ楽しかったので皆さんも行かねばならぬ

新宿高島屋で80~90年代のピンボールを遊びまくれるイベントが 5/6の18時まで開催しています。 詳細は下記 ゴールデンウイークフェスティバル☆ピンボール ワンダーランド!のイベント情報|ウォーカープラス 5/5に行ってみたらクッソ楽しくてゲラゲラ笑いま…

統計屋による新社会人のための統計系入門書お薦め一覧

本稿では統計学・データマイニング・機械学習関連書籍について 内容が易しいこと。数学力(特に微積・線形代数)を求められないこと 入手しやすいこと。絶版や学会に入らないと入手不可などではない、値段が安いこと 実務に繋げやすいこと。 持ち運びしやす…

自然言語処理の最新手法"word2vec"で艦これ加賀さんから乳を引いてみる

概要 この記事は自然言語処理という分野の最新手法word2vec を利用して誰でも遊べるようにするための手順を説明するものです。 word2vecを利用すると意味の計算が実現できます。 例えば"king"から"man"を引いて"woman"を足すと"queen"が出てきたり、 "東京"…

エンジニアのためのデータ可視化実践入門という本を書いた

2014/10/14 追記 本書87ページに「母数」という単語が複数回出てきますが、 これは全て「分母」とすべきでした。*1 通常、統計学の文脈では、母数は各確率分布を特徴付ける変数を指す単語であり、 例えば正規分布は平均と分散という二つの母数によって形状が…

Clojure/Incanter/clj-mlでデータマイニング入門

概要 Clojureでデータマイニングに必要な各手法を解説する記事です。 本記事を読むと、全くClojureを知らない方でも データ抽出・集計 可視化 機械学習(決定木、ランダムフォレスト、k-meansクラスタリング) をClojureで実行できるようになります。 はじめ…

《塔、都市、書簡》というWebで小説投稿しあう企画に参加した

企画情報 詳細はこちら。http://turris.skr.jp/ 作品はこちら。http://turris.skr.jp/gallery 概要は「塔、都市、書簡」というキーワードのうち最低2つ以上利用して小説を書く、 それ以外基本的に縛り無し、というもの。 前書き 別に読まなくて良い。 これを…

お正月なので色々ネタ的に面白そうな論文読んでみた

はじめに 前提知識不要の面白論文を幾つか紹介致します、 暇なお正月を利用して読んでみましょう! 1. 明治期における学生男色イメージの変容~女学生の登場に注目して~ http://ci.nii.ac.jp/naid/110006474771 概要 1900年前後の「男色」に関するイメージ…

クリスマス暇過ぎて腐女子人気作品の探索的データ解析を行うしかなかった

(function($) { $(function () { $('#time_series').highcharts({ title: { text: '12月各タイトルの投稿数', x: -20 //center }, chart: { zoomType: 'x', spacingRight: 20 }, xAxis: { categories: ['11/1','11/2','11/3','11/4','11/5','11/6','11/7','1…

SQLite + Pythonユーザ定義関数組込で進捗ダメじゃないですになりました

概要 これまで「Hiveからデータ取得・簡単な加工→Pythonで加工・分析」 という流れで作業していたのですが、 Hive→SQLite→Pythonという流れにしたところ進捗が改善されたので、 SQLiteの簡単な使い方とPythonによるSQLユーザ定義関数の組込方法 についてメモ…

面白いデータは転がりまくってるけど転がってるままなので誰か助けてくれろ

転職して丁度2年がたちました。現在はWebベンチャーで統計屋しています。大変楽しい毎日です。 なぜ楽しいかというと勿論リスプを書いているからというのも大きなる理由の一つです*1。 このエントリでは何が楽しいのか近況交えてつらつらまとまりなく書いて…

まどか☆マギカ 叛逆の物語 ネタバレ

一行で分かるネタバレ ワルプルギスはほむらで、ほむらがワルプルギス化したのはまどかを人間に戻すためだった。 以上。 詳細 TV版で、魔法少女が魔女化するのを防ぐために己の身を犠牲にして神となり円環の理を形成したまどか。しかしTV版では具体的に円環…

アリスの不思議なティーパーティー

アリスの不思議なティーパーティーという携帯ゲームを紹介します*1。 ジャンルとしてはよくある箱庭系*2 のゲームです。お薦めポイントは 絵や動きが可愛らしい アリスの世界観にマッチしている 手持無沙汰にならない の3点です。 お薦めするユーザ層は アリ…

Clojure/kuromojiでテキストマイニング入門 ~形態素解析からワードカウントまで~

[テキストマイニング] Clojureでテキストマイニングをしたい!という方がTLにいらっしゃったので、 Clojureという言語とkuromojiという形態素解析器を用いたテキストマイニング入門の記事を書きます。 この記事の通り手を動かすと、様々なテキスト、例えばア…

進撃の巨人を読んだことない人がデータだけでキャラを推測してみる

はじめに 最近超人気の漫画として私のTwitter TLを賑わす作品、その名も「進撃の巨人」。 これだけ人気なんだからきっと面白いに違いないのですが、 なんか絵が怖そうだし、人がバンバン死んでてグロいっぽいという噂を聞くので、 なんとか漫画を読まずに、…

15分だけLua勉強した

ドットインストールとか見ながら15分だけLua勉強したのでそのメモ。 --コメント x = 10 s = "hello" print(x*2) > 20 --テーブル(連想配列)操作 t[0] = 0 t[1] = 10 t[2] = 20 t[3] = 30 t[5] = 50 for k,v in pairs(t) do print(k, v) end >1 10 >2 20 >3 3…

WindowsでSublime Text2 + leiningen + Clojure/Incanter環境をお手軽に作る

WindowsでClojureを用いて統計解析を行う環境を簡単に作成します。難しい作業はしません*1。 ClojureはJVM上で動くLispのようなプログラミング言語です。 これは簡単に説明すると 「JVM上で動く=WindowsでもMacでもLinuxでも動く!その上使えるライブラリも…

経済学、数学、統計学などの資料纏め

※適宜追加します 経済学 計量経済学 京大 末石直也 http://www.econ.kyoto-u.ac.jp/~sueishi/econometrics/econometrics.html 経済数学系資料 http://www.f.waseda.jp/ksuga/ 経済学のための位相数学の基礎とブラウワーの不動点定理 http://www2.chuo-u.ac.j…

靴屋とデータマイニングと季節外れの冬物衣料

やぁ。4月も終わりだというのに、いやに寒い日が続いてるね、元気かい? 面白い話がtwitterに流れていたので紹介したい。 日経コンピュータの話。ビックデータ神話に乗り、多額の費用で解析した靴屋の話、解析結果、冬にブーツが売れ、夏にサンダルが売れるw…

暗黙の型変換、いったい何者なんだ…

と田舎で育った曇りなき純朴な好青年である私がJavaScriptの恐怖の暗黙の型変換に怯えていたところ、プログラマ界隈で容赦なく他人にマサカリをなげつけることで有名な方々からめんどくさいありがたい助言を頂いたので色々調べてみることにしました。なお、…

WindowsでPython3.3科学計算用環境を整えてみ…ようとしたんですが

Python2.7から3.3に移行しました。 このタイミングで移行した理由は、Python3.xは文字コードがunicodeに統一されているとか高速化されていると言われてたので前々から移行したかったところに、SciPyなどの科学計算ライブラリが3.3でも動作するようになったと…

Web系女子がLispと出会って統計学に目覚めるまでのお話

こんにちは!今年の春からWeb系企業でHTML/CSSデザイナーとして働きだしたキラキラ女子(を目指してる)のあんちべ(23)です!よろしくお願いします!私は普段自社のWebサービスのCSSなどを書いている*1のですが、最近データマイニングに興味を持ち始め、デ…

SPSSで簡単テキストマイニング

SPSSで簡単テキストマイニング View more presentations from SPSSはPythonと連携することが出来ます。SPSSは大変多機能ですが、業務で実際扱うデータは一筋縄にはいきません。様々な前処理が必要です。SPSSに落とし込めるよう、データの整備やクリーニング…

SICP2.53~2.58 記号データ 〜記号微分に挑む!〜

これまで扱ってきたデータは数値だった。これを任意の記号に拡張することで、記号微分()なんかも可能にしようぜ!という話。 ;2.53 gosh> (list 'a 'b 'c) (a b c) gosh> (list (list 'george)) ((george)) gosh> (cdr '((x1 x2) (y1 y2))) ((y1 y2)) gosh…

SICP2.38〜2.43 エイトクィーンパズルに挑む

■問題 2.40 与えられた整数nに対し、1≦j まずunique-pairsを定義しましょう。いきなり取り掛かるのは難しいので、とりあえずi≦nまでの並びを生成する手続き、enumerate-intervalを定義します。enumerate-intervalは例えばn = 5, i = 3だとしたら、(3 4 5)と…

新社会人の君へ-disるということについて

「ご趣味は?」と聞かれて「Lispをdisることですね(キリッ」と答えてしまい、 合コン開始4秒で蚊帳の外に放り出されるあんちべです、こんばんは。 今から長い文章を書く。 結論だけさっさと言っちゃうと 「まぁ、初めのうちは、あんまり『○○は使えない』とかdi…

Tokyo.SciPy#3 ガチャとは心の所作

ガチャとは心の所作 View more presentations from AntiBayesian http://partake.in/events/ac0fcc7d-a289-4e2a-bb8e-1965aab8b17bPythonの数値計算系モジュールNumpyを用いてガチャコンプに関する正しい確率認識をしましょうというスライドを作りました。 …

Windowsでleiningenを使おう!

2014/06/07 追記 現在windowsでliningenインストールするならこちらを使えば一発です。 http://leiningen-win-installer.djpowell.net/ 以前「Clojureのビルドツール"Leiningen"を使ってみた」という記事を書きました。Leiningenを使えば簡単にClojureのビル…

統計解析アプリ「Incanter」入門

Clojure製統計解析アプリ「Incanter」は無料かつjarファイル一つでお手軽に実行できる、その上Javaの豊富なライブラリを利用したり、描画に特化したProcessingという処理系でリッチなアニメーションやインターフェイスを実装できるという面白いアプリケーシ…

なぜ「主人がオオアリクイに殺されて1年が過ぎました」なのか?

件名: 主人がオオアリクイに殺されて1年が過ぎました。 差出人: 久光いきなりのメール失礼します。 久光さやか、29歳の未亡人です。 お互いのニーズに合致しそうだと思い、連絡してみました。 自分のことを少し語ります。 昨年の夏、わけあって主人を亡く…

テキストマイニングのための機械学習超入門 二夜目 パーセプトロン

一夜目はパターン認識と機械学習の概要を学びました。今夜は、識別部で用いられる機械学習の基本的な線形識別器である「パーセプトロン」を具体的に学びたいと思います。「線形識別器?パーセプトロン?何それ?」字面は厳しいですが、手を動かしてみると意…

Ubuntu 10.4に最新のR2.14.0をインストールしてみた

Ubuntu10.4機にRをクリーンインストールしようと思ったら、公開鍵が変わっていたり、10.4向けのパッケージを置いていないミラーサーバーがあったりとちょっと手こずったのでメモ。基本はRjpWikiを参照。2011/9/26時点で公開鍵が変わっていたらしい、知らなん…

テキストマイニングのための機械学習超入門 一夜目

テキストマイニングに必要なパターン認識と機械学習について学びます。非常に初歩的な話から始めます。対象者は「テキストマイニングに興味があり、用いられる手法の中身を知りたい(けれど高度な数学は厳しい…)」というビジネスマンや学生さんです。数式は…

退職しました

昨日2011年10月31日をもちまして、約2年半お世話になった金融機関を退職しました。退職の旨を周囲にお伝えすると、驚きの声が…全く上がらず、「あんちべは5年もここに居ないだろうなってずっと思ってた」と皆さんから言われました。それどころか「なんでお…

Javaプログラミング始めました

最近話題の大規模分散処理システムHadoopやWikipediaなどでも利用されている全文検索エンジンLuceneなど、Javaで書かれたアプリケーションは数多くあります。それらを利用するにはJavaからアクセスするのがもっともパフォーマンスが良いです。そのため、大規…

Pocket WiFi (GP02)の設定

Pocket WiFiが、2年縛りはあるものの、月2750円という安さになっていたため、契約しました。 詳細→http://tinyurl.com/42hj8ru 9/1に申し込んで、実際Pocket WiFiが届いたのが9/10と結構間が空きます(9/1から料金発生)。 ようやく届いたPocket WiFiを繋ご…

Python/NetworkXで簡単ネットワーク分析

slaさん主催のNumpy/Scipy勉強会でLTをします。 内容はNetworkXというPythonのネットワーク分析パッケージの紹介です。 Pythonで簡単ネットワーク分析 View more presentations from AntiBayesian ネットワーク分析と言えば、PajekやRのigraphが定評有ります…

文字数チェッカーを作りました

http://www24.atpages.jp/antibayesian/app/ のTextSizer.exe いや、作ったも何も、TextBox貼り付けて、Form.Text = textbox.text.lengthしただけですが…。書類書くのに文字数制限があったので、適当なの探すより作った方が速いなと。開発所要時間、多分20秒…

NetBeans, XamppをUbuntuにインストールしてみた

NetBeansはJavaやPHPのコーディングやテストに便利なIDE(統合開発環境)です。Eclipseよりちょっと機能が少なくて、その分ちょっと軽め。だからネットブックでもなんとか動かせるかな、という印象。XamppはApache、MySQL、PHPの動作環境をまとめてインスト…

Clojureのビルドツール"Leiningen"を使ってみた

LeiningenはClojureの標準的な総合ビルドツールで、単体で動作するjarファイルを簡単に吐けたり、依存関係を適切に自動設定してくれたりと何かと便利です。Leiningenは簡単にインストールできますし、ついでにClojureも一緒に入れてくれるので、色々設定して…

プログラミングClojure1章を読んでみた

前から関数型言語に興味があり、LispやF#を勉強しました。 Lispはとても面白い言語ではあるものの、ライブラリの貧弱さから、 これで実際にアプリケーション作成するのは厳しいと感じました。 F#は.NET Frameworkが利用できるため、実用性の観点から言っても…

GUIで簡単にSVMが実践出来るテキストマイニングアプリ "SakuSakuSVM ver0.1" を作りました

http://www24.atpages.jp/antibayesian/app/ のSSSVM.zip ●SakuSakuSVMの基本的な使い方 1.SS-SVMを起動 2.exeと同じフォルダに学習データ、テストデータ、ストップワードファイルを置く 3.前処理タブ内の一括実行ボタンを押下 4.SVM分類タブ内のクロスバリ…

KH Coderに関して

第三回さくさくテキストマイニング勉強会にて「KH Coderは4MB以上のファイルを扱うと動作が不安定になる」と申し上げましたが、あくまで私の環境ではそうであるというだけの話であり、一般的にそうなると主張するものでは御座いません。一般的に4MB以上を扱…