http://www.ginriki.net/wd ソフトウェア関係の話を中心とした備忘録的日記 Sun, 16 Jan 2011 20:07:53 +0000 http://backend.userland.com/rss092 ja 少し前に、ルータ(WZR-HP-AG300H)を買って自宅外からVPN接続してます。設定がWebブラウザから簡単にできますし、VPNサーバ用のマシンをルータと別に用意する必要もないので、結構便利です。 私の主な使い方は、 Android端末からVPN接続し、DAAP Media Playerで自宅のメディアサーバーWZR-HP-AG300H自体にメディアサーバ機能があります(別途USB HDD必須)。私は別のNASをメディアサーバにしてるのでよくわかりません。の曲を聴く。 PCからVPN接続+Wake on Lan（WoL)WoLもWebブラウザからボタン一つで実施できます。なお、WoLを使う場合、起動対象マシンのBIOS設定などでWoL(Lan Bootとも言う)を有効にする必要があります。で、自宅サーバを立ち上げてログイン。 の２つです。 せっかくなので、設定メモを残しておきます。 VPNサーバ/クライアントの設定 このルータのVPNサーバの方式はPPTPです。設定手順はルータのマニュアルが詳しいです。 http://buffalo.jp/download/manual/html/air1200/ ちなみに、私はDDNSにDynDNSを使ってます。 マニュアルに見当たらなかった注意点として、クライアント側のPCに付与されるIPがプライベートIPで、クライアント側ルータでNATが行われる場合は、クライアント側ルータのPPTP(VPN)パススルー/マルチパススルーを有効にしないと、PPTPサーバ・クライアント間で接続できない点があります。 最近のルータなら、たいていルータの設定項目で有効にできます。ルータによっては、GREパケットを通すようにNAT設定する必要があったりします。GREパケットを通す＝PPTPパススルー有効という理解で良いはず。マルチパススルーする場合は、もっと細かい処理が行われます。詳しく知りたい人は、以下ページの第4回 「PPTPを使用したリモートアクセスVPNの仕組み」を見てください。http://www.tatsuyababa.com/NW-VPN/ ただ、パススルー設定ができない環境（公衆無線LANとか)から自宅マシンにつなぎたいときもあります。 私の場合、Android端末から3G回線でVPN接続→WoL実施→マシン起動を行った上で、手元のPCから起動したマシンにsshログイン（とポートフォワーディング）で対応してます。 ポート（サービス）チェック処理をtcpdumpして見る 無事VPN接続したあと、http:///hosts.html にアクセスすると、WoLやhttpサーバなどのサービス一覧が表示されます。 httpサーバが動いているかどうかのポートチェックが、どのタイミングで行われるのか気になったので、tcpdumpでLAN内を監視したところ、以下に対してチェックしているようです。。 ブロードキャストやルータ宛てのARP Requestを送った送り元IP ブロードキャストやルータ宛てのARP Replyを送った送り元IP 用は、ルータに届いたARPの送り元IPに対して、ARPが届いた直後にポートチェックしているようです 以下は、あるマシン(desktop-ubuntu.local)がプロードキャストARP(Target IP:192.168.1.7)を送った時のtcpdump出力（をちょっと省略したもの）です。ルータ(192.168.1.1)がftpやwwwなどのポートをチェックしているのがわかります。 ethertype ARP (0x0806), length 42: Request who-has 192.168.1.7 (Broadcast) tell desktop-ubuntu.local ethertype IPv4 (0x0800), length 74: 192.168.1.1.1584 > desktop-ubuntu.local.ftp ethertype IPv4 (0x0800), length 74: 192.168.1.1.1183 > desktop-ubuntu.local.www ethertype ARP (0x0806), length 60: Reply 192.168.1.7 ... http://www.ginriki.net/wd/2011/01/17/232/ NetBeansのリモートデバッグについて、以前の記事で、以下のように書きましたが、 注意点としては、リモートと同じフルパス上にソースコードを置く必要がある点です。リモート先で、/var/www/railsprjにRoRのプロジェクトコードが置いてあるなら、ローカルでも/var/www/railsprjにプロジェクトコードを置く必要があります。 このままだと、Windows上のNetBeansでLinux上のRailsがリモートデバッグできません。 そこで、NetBeansとFast Debugger(ruby-debug-ide)の間に挟むproxyを用意して、proxyの中でファイルパス変換することでリモートデバッグできるようにしました。本当は、NetBeansのIDE内部でファイルパス変換するように修正するべきだと思いますが、面倒だったのでproxyにしました。 せっかくなので、以下にproxyのソースコードを置いておきます(MIT Licenseにしときました)。 ruby-debug-ide-proxy.rb 以下の構成で、基本的な機能(変数チェック、ステップ実行、breakpointセット辺り)が動作するのは確認しました。 Railsがデバッグできるかどうかは、まだ試してません。 [NetBeans (Debuger GUI)] on Windows ↓↑ [proxy] on Windows/Linux ↓↑ [ruby process (+ruby-debug-ide)] on Linux ・CRuby 1.8.7 および JRuby 1.5.1でproxy動作確認した。 なお、実際にデバッグするときは、NetBeansが動くマシン上にもデバッグ対象のソースコードを置かないとソースコードデバッグできません。 例えば、ソースコードは以下のように配置します。 ・ruby-debug-ide側 /home/user/script |---test.rb \---lib \---somelib.rb ・NetBeans側 C:\win_script |---test.rb \---lib \---somelib.rb proxyを使ったデバッグの仕方 以下の手順でproxyの起動やNetBeansからproxyへの接続を行えば、後は普通にデバッグできます。 ruby-debug-ide付きでRuby process起動(以前の記事参照) proxy起動（Linux上で起動するか、NetBeans on Windows上で起動するかはお好みで)。 NetBeansでproxyへの接続。 1, 2の手順はどちらが先でもＯＫです。 1は以前の記事と同じなので、2, 3の説明だけ書きます。 2. proxy起動 proxyスクリプトをオプション指定して起動するだけです。proxyスクリプトのオプションは以下の通り。 Usage: ruby-debug-ide-proxy.rb -t [-p listen_port] [--rdbprefix prefix] [--ideprefix prefix] ... http://www.ginriki.net/wd/2010/09/27/204/ NetBeansには、rubyのデバッガフロントエンドが同梱されています。 今回は、それを使ってRuby on Rails(以下RoR)のリモートデバッグをするためのメモです。 個人的には、RoRが動いてるマシンにsshでログインした後、emacsとrubydb3x.elを使う方がメリットがあるsshのポート(TCP 22)が開いてることは普通にありますが、デバッガ・デバッギ通信用のポートがfirewallで遮断されることは良くあります。と思いますが、emacsの場合デバッガ用GUIはありません。GUIに慣れてる人はNetBeansの方が楽なので、そういう人向けにまとめます。 なお、NetBeansをインストールしたローカルマシンで、RoRも動かす場合のデバッグ方法は、NetBeansのwikiを参照してください。 まあ、ローカルマシン上でデバッグする場合も、リモートマシンと接続してデバッグする場合もやり方はほとんど変わりません。 どちらの場合も、デバッギプロセス（と同じプロセス上で動くruby-debug-ide)がTCP(デフォルトだと1234)をListenし、Netbeansからそこに接続してデバッグを開始します。Netbeansから接続するデバッギプロセスがlocalhostにいるか、リモート先のホストにいるかの違いしかないです。 接続後、Netbeansからruby-debug-ideへbreakpointをしかける場所などを指示します。 デバッグ方法そのものは、ローカル・リモートともに一緒ですが、リモートのホストに対してローカルのNetBeansを接続してデバッグするには、リモート先のホストで以下の作業が必要です。 rubyインストール (解説略) RubyGemsインストール (解説略) RoRインストール・プロジェクト作成 (解説略) ruby-debug-ideインストール リモート先のRoRプロジェクトのソースコードを、ローカルにも展開 ruby-debug-ide付きでRoRプロジェクトのWebサーバ起動 4, 5, 6の手順は、あまりネット上で見かけないので順に解説します。 ruby-debug-ideインストール Linuxだと、gemで簡単にインストールできます。(gcc, ruby-develをインストールしておけば。) Fedora8だと以下で終わりでした。 $ gem install ruby-debug $ gem install ruby-debug-ide Windows（のmswin版ruby）の場合、コンパイル環境の用意が面倒なので、コンパイル済みgemをダウンロードした上でインストールします。最近だと、Visual C++は無料で手に入りますがmswin版rubyをコンパイルしたVisual C++と同じバージョンをインストールする必要しないと「MSC version unmatch」エラーが出てめんどくさいです。http://rubyforge.org/tracker/index.php?func=detail&aid=16774&group_id=1900&atid=7436 > gem install -l linecache-0.43-mswin32.gem > gem install -l ruby-debug-base-0.10.3-mswin32.gem > del ruby-debug-base-0.10.3-mswin32.gem > gem install ruby-debug > gem install ruby-debug-ide -v 0.4.6 コンパイル済みgem (linecache, ruby-debug-base)は以下２つのリンク先から それぞれダウンロードしてください。 linecache ruby-debug-base リモート先のRoRプロジェクトのソースコードを、ローカルにも展開 ローカルにもソースコードを置かないと、breakpointで止まった時にNetbeansにソースコードが読み込まれません。 注意点としては、リモートと同じフルパス上にソースコードを置く必要がある点です。リモート先で、/var/www/railsprjにRoRのプロジェクトコードが置いてあるなら、ローカルでも/var/www/railsprjにプロジェクトコードを置く必要があります。WindowsとLinuxだとフルパスを一致させることが不可能なので、例えば、Windows上のNetBeansからLinux上のRoRがデバッグができないという点でかなりアレな仕様です。誰もやってないなら修正パッチ作るかな。 この辺の挙動理解には、 http://www.ginriki.net/wd/2010/07/12/172/ Windowsのバッチファイルを作る機会があったので、その時のノウハウメモ。 サービスの状態確認 サービスの起動・停止状態の出力させるには、sc.exe queryが使える。(ただし、Windows XP／Windows Server 2003以降) 後は、findstr (Windows用のgrep)と合わせて使えばいい。 たとえば、タスクスケジューラが起動しているかどうかの確認バッチファイルを 作ると以下の通り。 @echo off sc.exe query Schedule | findstr STATE | findstr RUNNING > nul if %ERRORLEVEL% == 1 echo Scheduler isn't running if %ERRORLEVEL% == 0 echo Scheduler running 実行結果（タスクスケジューラ起動時）は以下の通り。 C:\>service_check.bat Scheduler running 上のバッチファイルのコツは、 無駄なecho表示を消すこと(@echo off) findstrの出力をnull deviceに出力させること( > nul) findstrのマッチ結果を%ERRORLEVEL%で調べること ちなみに、nulというnull device名の歴史をたどると、古い順に、 PIP > CP/M > MS-DOS > Windows という流れで受け継がれてます。PIPのWikipediaページとか、MSDNの予約ファイル名の説明とか参照。 バッチファイル内の特殊記号 バッチファイル上で、特殊記号として扱われるものがいくつかあります。 例えば、括弧()が特殊記号です。このような記号を普通の文字として扱いたいときは、^を特殊記号の前に付ける必要があります。 例は以下の通り。 @echo off if 1 == 1 ( echo foo ... http://www.ginriki.net/wd/2010/06/21/162/ tarファイルには、いくつかのフォーマットがあるのだけど、何らかのコマンドで作成したtarファイルが どのフォーマットで作られているか判断するやり方が見当たらないのでメモしとく。 なお、メジャーなフォーマットは以下らしいPythonのtarfileライブラリのマニュアル参照。。 POSIX.1-1988 ustar format GNU tar format POSIX.1-2001 pax format 利用者から見たフォーマット間の大きな違いは、ustar形式のtarフォーマットの場合、tarでまとめる各ファイルのファイル名が256文字制限だったり、各ファイルのサイズ制限が8GBになってること。残りの２つのフォーマットは制限なし。その代わり、他と比べてustar形式は歴史がある形式なので、対応しているツールも多い。 ちなみに、普通のlinux上のtarプログラム(=GNU tar)がデフォルトで使うtarフォーマットは--helpを付ければわかる。 以下のように、最近のtarプログラムならgnuフォーマットのはず。 # tar --help [...略] *This* tar defaults to: --format=gnu -f- -b20 --quoting-style=escape --rmt-command=/sbin/rmt ・tarファイルのフォーマットの見分け方 hexdumpコマンドでtarファイルを出力し、tarファイル内にアーカイブされた各ファイルのtarヘッダ（とpaxヘッダ)で見分けます。ヘッダの概説は http://www.ginriki.net/wd/2010/06/14/136/ メモ。 RubyやJRubyには、特定の条件(コード行が変化したとか、メソッドを呼び出したなど）を満たした時に呼び出されるフック処理を定義することができます。 Ruby-1.8の低レベルなフック追加API(=C言語API)は、 thread.cのrb_add_event_hook関数。シグネチャは以下。 void rb_add_event_hook(rb_event_hook_func_t func, rb_event_flag_t events, VALUE data); JRuby-1.4.0で上記関数にほぼ対応するのは、Ruby.javaの Ruby.addEventHookメソッド。シグネチャは以下。 public void addEventHook(EventHook hook) 引数の型であるEventHookやその継承クラスは以下参照。 public abstract class EventHook (runtime/EventHook.java) public class CallTraceFuncHook extends EventHook (Ruby.java) フックAPIの挙動についての仕様書って、どこにもない感じだなあ。 http://www.ginriki.net/wd/2010/04/08/129/ Ruby自身のデバッガだと、任意のタイミングでアタッチしてbacktrace見るといったことができない（はず）なので、もっと低レベルのデバッガを利用して、それを実現する方法についてメモ。今回はJRubyに対してjdbでアタッチ＆backtraceする方法についてのメモです。 なお、CRubyの場合は、以前の記事とか、さらにその先のリンク先を見れば良いです。 ちなみに、今回試したJRubyのversionは以下の通り。OSはCentOS 5.3です。 $ jruby --version jruby 1.3.1 (ruby 1.8.6p287) (2009-06-15 2fd6c3d) (Java HotSpot(TM) Client VM 1.6.0_16) [i386-java] jdbによるbacktrace まず、アタッチ対象例のRubyコードとして以下を用意。 sample.rb [RUBY] def foo p "abc" bar end def bar p "foge" sleep(1000) end abc [/RUBY] そして、デバッガattach用のポートを開けて起動しますここの「Debugger」の項目を参考にオプション設定しました。。 $ jruby -J-Xdebug -J-Xrunjdwp:transport=dt_socket,address=8000,server=y,suspend=n sample.rb barメソッド内のsleepの実行をしているうちに、別のターミナルを開いてjdbでアタッチし、スレッドを停止させます。 $ jdb -attach 8000 > suspend すべてのスレッドが中断されました そして、backtraceを表示させます。以下の方法で大体表示できます(いい加減なやり方ですが)。 > threads グループ system: (java.lang.ref.Reference$ReferenceHandler)0x9db Reference Handler 状況待機中 (java.lang.ref.Finalizer$FinalizerThread)0x9da Finalizer ... http://www.ginriki.net/wd/2010/01/12/114/ 今回はRuby on Railsについてメモ。 autoloadで自動読み込みされないファイルRailsの場合、クラス定義と定義が記述されたファイルの名前が対応づいてないとautoloadで自動読み込みされません（たぶん）。例えば、FooBarというクラスの定義はfoo_bar.rbというファイルの中で行われてないとautoloadにされません。をcontrollerの中などでrequireを使って読み込んだ場合、そのファイルはdevelopmentモード時でもユーザアクセス毎に再読み込みされません。そのため、ファイルを編集してもwebサーバを再起動しないと変更が反映されないので、デバッグがやりづらくて困ってました。 解決策がないかと思って、ググってみたところ、以下のページに解決策が書いてありました。 http://www.pistolfly.jp/weblog/2007/06/require-dependency.html requireじゃなくて、require_dependencyでファイル読み込みすれば良いということでした。 require_dependencyの挙動については、上のリンク先を参照してください。 この辺り(autoload周辺)って、Ruby on Rails公式なドキュメントが見当たらないですねえ。・・・実装を読めってことか。 以下、問題のコード例と解決方法。(ruby 1.8.5, rails 2.3.3, WEBrick 1.3.1で実験しました。) ファイル読み込みの対象となるファイルを用意します。 <rails_project>/lib/hoge_fuga.rb [RUBY] class Hoge def hoge return "abc" end end [/RUBY] 上のファイルを読み込むcontrollerを用意します。 このとき、requireの代わりにrequire_dependencyでファイルを読み込みます。 <rails_project>/app/controllers/test_controller.rb [RUBY] #require 'hoge_fuga' require_dependency 'hoge_fuga' class TestController < ApplicationController def hoge a = Hoge.new render(:text => a.hoge) end end [/RUBY] んで、Webサーバを起動。 $ cd <rails_project> $ ruby script/server で、ブラウザからtest/hogeにアクセスすると、ブラウザ上にabcが出力されます。 この状況で、<rails_project>/lib/hoge_fuga.rbを以下のように書き換えてみます。 [RUBY] class Hoge def ... http://www.ginriki.net/wd/2009/12/31/102/ 扱う文章の数が膨大になって管理しづらくなってきたので、Hyper Estraierの導入を検討しました。せっかくなので導入手順をメモ。 ちなみに、自分のローカルマシン(Windows)内の文書を管理したいだけなら、Hyper Estraierをエンジンに積んだDesktopHEを使えば十分と思います。でも、index作成がなんか遅い気がする。まあ、気のせいかも FedoraやVine LinuxだとEstraierのrpmパッケージが公式に存在するので、yumとかapt-getでインストールすればいいのですが、CentOSにはrpmパッケージがありません。 調べてみると、Vine Linuxのsrpmを使うと楽ということなので、srpmからrpmbuildします。だれかCentOS用hyperestraierのyumリポジトリ作ってくれませんか？(他力本願) まず、Vine LinuxのSRPMリポジトリからqdbm,mecab,mecab-ipadic,hyperestraierをダウンロードします。 その後、以下のようにrpmbuild & install (rpmbuildなどは、yum install rpm-buildなどで入れておくこと)。 # rpmbuild --rebuild qdbm-1.8.77-1vl5.src.rpm # rpm -ivh /usr/src/redhat/RPMS/[arch]/qdbm-1.8.77-1.i386.rpm qdbm-devel-1.8.77-1.i386.rpm # rpmbuild --rebuild mecab-0.97-2vl5.src.rpm # rpm -ivh /usr/src/redhat/RPMS/[arch]/mecab-0.97-2.i386.rpm mecab-devel-0.97-2.i386.rpm # rpmbuild --rebuild mecab-ipadic-2.7.0.20070801-1vl5.src.rpm # rpm -ivh /usr/src/redhat/RPMS/[arch]/mecab-ipadic-2.7.0.20070801-1.i386.rpm # rpmbuild --rebuild hyperestraier-1.4.13-2vl5.src.rpm # rpm -ivh /usr/src/redhat/RPMS/[arch]/hyperestraier-1.4.13-2.i386.rpm hyperestraier-perl-1.4.13-2.i386.rpm これでインストールは完了。 インデックスの作成方法は以下ページ参照。 ローカルマシンの特定のディレクトリ以下の文書をインデックス化する場合(estcmd gather) Webサーバの文書をcrawlする場合 (estwaver) /home/user/doc以下の文書をインデックス化して、/var/estraier/indexにインデックス作成する場合のコマンド例は以下。 $ estcmd gather -il ja -sd /var/estraier/index /home/user/doc 後は、検索用のWebページを用意すれば終わり。CentOSの場合は以下の通り。 # yum install httpd # ... http://www.ginriki.net/wd/2009/12/07/94/ 某所で、「rubyプロセスがSEGVとかした時のコアファイルから、rubyスクリプトのバックトレースは取れるの？」って聞かれたので、ちょっと調べてみました。 結論としては、「rubyメソッドの呼び出し位置(ファイル名, 行番号)は取れるけど、呼び出し時の実引数を見るのは難しい」っていう感じです。 rubyのスタックフレームは、当然、rubyプロセスのメモリ上に構築されるので、スタックフレームのデータ構造さえわかれば、ある程度は表示できます。 ただ、コアファイルを出力したrubyプロセスはすでに存在しないので、ruby実装に使われているC関数をデバッガで（正確にはrubyプロセス上で）実行することができません。 そのため、オブジェクトのinspectなどを実行することが難しく、実引数のオブジェクトが何か調べることが困難です。ということで、今回はスタックフレームを表示させる方法を以下で説明します。 rubyスタックフレームを表示するGDBスクリプトは以下になります(rb_dump.gdb)。 (moriyoshiさんのブログ「 GDBで実行中のスクリプト言語のスタックフレームをダンプしてみる試み」のコードをほとんどそのまま使わせていただきました。ありがとうございます。) [code] define dump_rb_bt_from_core set $t = ruby_frame while $t printf "[0x%08x] ", $t if $t->node.nd_file printf "(%s:%d)\n", $t->node.nd_file, ($t->node.flags >> 19) & ((1 prev end end document dump_rb_bt_from_core dumps the current frame stack from core file. ... http://www.ginriki.net/wd/2009/11/09/80/