インストール

rpmforge で fuse 関連のパッケージが提供されていて unionfs-fuse というパッケージが見つかりますので、これをインストールします。

$ sudo yum install unionfs-fuse

インストールが完了したら、カーネルモジュールをロードします。

$ sudo modprobe fuse
$ /sbin/lsmod | grep fuse
fuse                   46868  0

ユーザーを fuse グループに追加します。

$ sudo /usr/sbin/usermod -G fuse wanatabe

これで準備は完了です。

マウント

unionfs –help または man unionfs で使用方法をずらずら調べることができます。

$ mkdir mnt
$ unionfs -o cow ¥
-o noinitgroups ¥
-o default_permissions ¥
-o fsname=myfs  ¥
/usr/local=RW:/var/log=RO mnt

df で見てみると、-o fsname=myfs で名付けた表記でマウントされているのがわかります。

$ df
Filesystem           1K-blocks      Used Available Use% Mounted on
/dev/mapper/VolGroup00-LogVol00
6983168   2047692   4575028  31% /
/dev/sda1               101086     30832     65035  33% /boot
tmpfs                   257744         0    257744   0% /dev/shm
myfs                   6983168   2047692   4575028  31% /home/wanatabemnt
$ ls mnt
acpid            audit     conman      dkms_autoinstaller  games    libexec  messages  rpmpkgs  spooler   xen
anaconda.log     bin       conman.old  dmesg               include  libvirt  pm        sbin     src       yum.log
anaconda.syslog  boot.log  cron        etc                 lastlog  mail     ppp       secure   tallylog
anaconda.xlog    btmp      cups        faillog             lib      maillog  prelink   share    wtmp

NFS とかと組み合わせると面白そう。

アップグレードといっても、再度、PXEを利用して、ネットワーク経由でブートして、Ubuntu のミラーサイトから OS をインストールし直しただけです。
ただ、以前のエントリでわりと重要ポイントをメモしていたつもりだったけれども、実際にやり直した際に、手順にかなりの抜けがあって、あまり参考にならなかった・・・。ちゃんとまとまっているサイトを見つけたので、これを参考にして実施しました。

参考になるサイト
http://wiki.koeln.ccc.de/index.php/Ubuntu_PXE_Install

8.04 の標準で入る壁紙カッコイイですね。

memcached にデータが存在していれば、データベースにアクセスせず、memcached からデータを読み出すことで高速なレスポンスが実現できるとのこと。

CentOS5 環境でセットアップ

Install (DAG repository から)

$ sudo yum -y install memcached

設定ファイル(設定例は省略)

/etc/sysconfig/memcached

daemon として起動

$ sudo /etc/init.d/memcached start

Perl でテストしてみる

Cache::Memcached というモジュールが CPAN にありましたので利用してみました。

#!/usr/bin/perl
use strict;
use warnings;
use Cache::Memcached;
my $expire_time = 10; # sec
my $servers_ref;
@$servers_ref = qw( 127.0.0.1:11211 ); # IP アドレス:ポート番号
my $memd = new Cache::Memcached; # コンストラクタ
$memd->set_servers($servers_ref);
$memd->set_debug(0);
# "key" を memcached サーバから取ってくる
my $val = $memd->get("key");
# memcached サーバに値がある場合
if ($val) {
print $val;
}
# memcached サーバに値が無い場合
else {
print "memcached is empty. set value to memcached now.\n";
$memd->set("key", "value", $expire_time);
}

感想も今さらですが、それにしてもステキな仕組みです。

最近のmemcached界隈の賑わいについてのメモ – DSAS開発者の部屋に memcached 関連のプロダクトのあれこれがまとめられているので、参考にしていきたい。

MEMCACHED(1)                                                      MEMCACHED(1)
NAME
memcached - 高性能メモリーオブジェクトキャッシュシステム
SYNOPSIS
memcached [options]
DESCRIPTION
このマニュアルページは 簡単な memcached メモリオブジェクトキャッシングデーモ
ンのドキュメントです。
memcached はメモリ内に格納しているオブジェクトによって動的なウェブアプリ
ケーションのデータベースの負荷を軽減するように設計されたオブジェクトキャッシ
ングシステムです。
それは、必要であるどんなサイズにも比例するように libevent に基づいていて、
スワップするのを避けて、いつもnon-blocking I/O を使用するために明確に最適化
されます。
OPTIONS
これらのプログラムは普通の GNU コマンドラインシンタックスをフォローします。
オプションの概要は以下に含まれています。
-l <ip_addr>
<ip_addr> をリッスンします；デフォルトは INDRR_ANY です。
これはセキュアにインストールする唯一の方法として重要なオプションだと
思います。
内部やファイアーウォール内のネットワークインターフェースに付くことが
示されます。
-d     Rmemcached をデーモンとして起動します。
-u <username>
<usename> の識別子のフリをします（ルートで動かすときのみ）。
-m <num>
オブジェクトの格納のために最大で <num> MB メモリを使います；デフォル
トは 64 MB です。
-c <num>
同時コネクションを最大で <num> にします；デフォルトは 1024 です。
-k     全ての呼び出されたメモリをロックダウンします。これは大きなキャッシュ
の場合はいくらか危険なオプションですので、
設定の提案のために、README と memcached ホームページに相談してください。
-p <num>
<num> 番の TCP ポートをリッスンします、デフォルトは 11211 です。
-U <num>
<num> 番の UDP ポートをリッスンします、デフォルトは 11211 です。
-M     メモリ外のときにキャッシュからアイテムを自動的に取り除くことを無効に
します。適切なスペースが開けられるまで、追加は可能にならないでしょう。
-r     コアファイルサイズの許可できる最大まで限界を上げます。
-f <factor>
アイテムがストアされるメモリチャンクサイズを計算するための乗数として
<factor> を使います。低い値ははメモリの利用可能な総量と項目サイズの分
配による、それほど無駄でないメモリ消費になるかもしれません。デフォル
トは 1.25 です。
-s <size>
アイテムキー、値、フラグに最低 <size> byte 割り当てます。デフォルトは
48 です。もしたくさんの小さなキーと値を持つなら、少ない値で有効な効き
目を得ることができます。もし (-f オプション) の結果で大きなチャンクを
使うなら、他方では、(最も小さい)チャンクをパックした、最も密にフィッ
トするアイテムのより大きなパーセンテージに許可するためにサイズを増加
したいかもしれません。
-h     memcached のバージョンとオプションのサマリを表示します。
-v     イベントを繰り返す間、冗長モードになります；エラーと警告を出力します。
-vv    さらに冗長モードになります； -v と同じですが、クライアントのコマンド
とレスポンスも出力します。
-i     memcahced と libevent のライセンスを出力します。
-P <filename>
-d オプションを使っているときのみ、 <filename> に pidfile を出力します。
-t <threads>
入ってくるリクエストのプロセスに使われるスレッド数。
もし memcached がスレッドサポート有効にしてコンパイルされているなら、
このオプションは有意義です。
それは memcached サーバの CPU のコアの数より高くこれを設定するのため
に役立ちません。
-D <char>
キーのプレフィックスと ID の間のデリミタとして <char> を使います。
これは per-prefix stats レポートに使われます。デフォルトは ":"(コロ
ン) です。もしオプションが特定されたら、stats コレクションは自動的に
つきます；もしそうでなければ、そのとき、サーバに "stats detail on"
コマンドを送信することでつくでしょう。
LICENSE
memcached デーモンは Danga Interactive の著作権 とBSD ライセンスのもとに配布
されます。daemon clients は別々に認可されることに注意してください。
SEE ALSO
The README file that comes with memcached
http://www.danga.com/memcached
AUTHOR
The memcached daemon was written by Anatoly Vorobey <mellon@pobox.com> and
Brad Fitzpatrick <brad@danga.com> and the rest of the crew of Danga Inter-
active http://www.danga.com
April 11, 2005                    MEMCACHED(1)

ネットワーク

VMware 上の Ubuntu を Bridge に設定して、固定 IP を振りました。

必要なソフトウェアのインストール

tftp と dhcp をインストールします。

ubuntu$ sudo apt-get install tftpd-hpa dhcp3-server

tftp の設定

/etc/inetd.conf を以下のようにして inetd 経由で起動するように設定します。(xinetd でもいいです。どちらでもいいです。)

tftp           dgram   udp     wait    root  /usr/sbin/in.tftpd /usr/sbin/in.tftpd -s /var/lib/tftpboot

/etc/default/tftpd-hpa を編集します。

#Defaults for tftpd-hpa
RUN_DAEMON="yes"
OPTIONS="-l -s /var/lib/tftpboot"

dhcp サーバの設定

/etc/dhcp3/dhcpd.conf を編集します。(勘違いで /etc/dhcpd.conf を一生懸命編集してしまった思い出が残っています。)

host pxeinstall {
hardware ethernet 00:0C:29:D1:D3:A0;
fixed-address 192.168.0.10;
next-server 192.168.0.8;
filename "pxelinux.0";
}
subnet 192.168.0.0 netmask 255.255.255.0 {
range dynamic-bootp         192.168.0.10 192.168.0.20;
filename                    "pxelinux.0";

tftp サーバと dhcp サーバのスタート

tftp サーバは inetd 経由で起動するように設定したので、 inetd デーモンをスタートします。

ubuntu# sudo /etc/init.d/inetd start
ubuntu# sudo /etc/init.d/dhcp3-server start

ブートイメージを設置します。

いろいろ方法はありますが、今回はネットからダウンロードしました。

ubuntu# lftp -c "open http://archive.ubuntu.com/ubuntu/dists/dapper/main/installer-i386/current/images/; mirror netboot/"
ubuntu# cp -R netboot/* /var/lib/tftpboot

これで同一セグメントに設置した X40 をネットブートするとインストーラが起動します。ステキです。

設定にあたってこの辺を参考にしました。3つめのページには Microsoft iSCSI Software Initiator についても書かれています。

iSCSI enterprise target project Wiki
A Quick Guide to iSCSI on Linux
Going Enterprise – setup your FC4 iSCSI target in 5 minutes

準備

利用するにあたって以下のものが必要です。

• kernel-development パッケージ
• kernel コンフィグの “Cryptographic options” の “Cryptographic API” が有効になっていること
• OpenSSL ライブラリ

ソースを checkout します。

# mkdir /usr/local/src/iscsitarget
# cd /usr/local/src/iscsitarget
# svn co svn://svn.berlios.de/iscsitarget/trunk .
# cd  iscsitarget
# make && make install

/etc/ietd.conf を編集します（無ければ iscsitarget/etc/ietd.conf を /etc 以下にコピーします）。
Target を定義します。最初の一行目はターゲット名を指定します。
ietd.conf の man page には、

iqn.<yyyy-mm>.<tld.domain.some.host>[:<identifier>]

とありますので、<tld.domain.some.host> の部分を com.wanatabe にしました。
IncomingUser と OutcomingUser は initiator との認証(CHAP secrets)のための指定をしますが、認証なしで接続する場合は引数をつけません。
Lun には、割り当てるデバイスを指定します。Type には fileio(default)、blockio が指定できるようです。
最後の Alias には target のエイリアスを指定します。

結果として以下のようにしました。

Target iqn.2001-04.com.wanatabe:storage.lvm
# Leave them alone if you don't want to use authentication.
IncomingUser
OutgoingUser
Lun 0 Path=/dev/VolGroup00/oheya,Type=fileio
Alias OHEYA

他にもいくつかオプションがあります。current version ではまだ使用されていないものもあるようです。

デバイスの設定

新しい LogicalVolume に割り当てる容量がなかったので、500MB だけ確保しました。

# lvreduce -L-500M /dev/VolGroup00/LogVol00

oheya という Volume を 500MB で作成します。

# lvcreate -n oheya -L 500M VolGroup00

念のため確認します。

# lvdisplay /dev/VolGroup00/oheya
--- Logical volume ---
LV Name                /dev/VolGroup00/oheya
VG Name                VolGroup00
LV UUID                FerqfA-aHCu-ZYZs-Lpis-7pq7-p6zv-BAt3vh
LV Write Access        read/write
LV Status              available
# open                 0
LV Size                512.00 MB
Current LE             16
Segments               2
Allocation             inherit
Read ahead sectors     0
Block device           253:2

起動

iscsi-target スクリプトで ietd daemon を起動します。

# service iscsi-target start

起動した後に /proc/net/iet/volume で確認できます。

# cat /proc/net/iet/volume
tid:1 name:iqn.2001-04.com.wanatabe:storage.lvm
lun:0 state:0 iotype:fileio iomode:wt path:/dev/VolGroup00/oheya

initiator のセッションは /proc/net/iet/session で確認できます（Microsoft iSCSI Software Initiator からログインしています）。

# cat /proc/net/iet/session
tid:1 name:iqn.2001-04.com.wanatabe:storage.lvm
sid:281475899523136 initiator:iqn.1991-05.com.microsoft:wanatabe-b01b342bc
cid:1 ip:192.168.0.3 state:active hd:none dd:none

ietadm コマンド

target は ietadm コマンドでも設定できます。
でも /etc/ietd.conf に反映する手段がまだなさそうです。

これで target を作成します。

# ietadm --op new --tid=1 --params Name=iqn.2001-04.com.wanatabe:storage.lvm

作成した tid を指定して、lun を設定します。

# ietadm --op new --tid=1 --lun=0 --params Path=/dev/VolGroup00/oheya

認証の設定は以下のようにします。RFC 3720 によると、CHAP secrets は 96 bit(12文字) 以上 128 bit(16文字) 以内にしなさい、とのことです。

# ietadm --op new --tid=1 --user --params=IncomingUser=hogehoge,Password=hogegepassword

結論としては、F/O 時にイマイチうまくできなかったのですが、過程も大事ということでメモ。

テストにあたって Setup of high availability NFS servers を参考にしました。

DRBD のインストールや設定については DRBD on CentOS 5 の記事のような感じです。
Heartbeat との組み合わせについては MySQL DRBD Heartbear HA の記事のように設定しています。
OS 環境は同じく VMWare Server 上の CentOS 5 を使用します。

環境

NFS Server の準備

NFS がインストールされていなかったので、yum でインストールしました。

# yum -y install nfs-utils

プライマリの設定

NFS 共有のディレクトリを作成します。/data としました。

toire# mkdir /data
toire# mount -t ext3 /dev/sdb1 /data
toire# mkdir /data/userdata

/var/lib/nfs を共有ディスクに移動してシンボリックリンクを作成します。

toire# cp -R /var/lib/nfs /data
toire# mv /var/lib/nfs /var/lib/_nfs
toire# ln -s /data/nfs /var/lib/nfs

セカンダリの設定

/var/lib/nfs を削除してシンボリックリンクを作成します。

ohuro# mv /var/lib/nfs /var/lib/_nfs
ohuro# ln -s /data/nfs /var/lib/nfs

プライマリ、セカンダリ両方の設定

/etc/exports を編集します。テストなので簡素にしました。

/data/userdata *(rw,sync)

エクスポートします。

# exportfs -a

/etc/ha.d/haresourses を設定します。

toire drbddisk::r0 Filesystem::/dev/drbd0::/data::ext3 192.168.159.130/24 nfs

プライマリの /data をアンマウントします。

toire# umount /dev/sdb1

Heartbeat と DRBD を起動

# modprobe drbd
# /etc/init.d/heartbeat start
# /etc/init.d/drbd start

プライマリ側で drbdadm コマンドを実行します。

toire# drbdadm primary r0

プライマリの状態を確認するとこんな感じになります。

toire# cat /proc/drbd
version: 8.0.6 (api:86/proto:86)
SVN Revision: 3048 build by buildsvn@c5-i386-build, 2008-02-06 01:17:51
0: cs:Connected st:Primary/Secondary ds:UpToDate/UpToDate C r---
ns:552 nr:408 dw:960 dr:242 al:3 bm:23 lo:0 pe:0 ua:0 ap:0
resync: used:0/31 hits:0 misses:0 starving:0 dirty:0 changed:0
act_log: used:0/257 hits:135 misses:3 starving:0 dirty:0 changed:3

そしてセカンダリの状態を確認するとこんな感じになります。

ohuro# cat /proc/drbd
version: 8.0.6 (api:86/proto:86)
SVN Revision: 3048 build by buildsvn@c5-i386-build, 2008-01-06 01:17:51
0: cs:Connected st:Secondary/Primary ds:UpToDate/UpToDate C r---
ns:408 nr:552 dw:960 dr:53 al:5 bm:5 lo:0 pe:0 ua:0 ap:0
resync: used:0/31 hits:0 misses:0 starving:0 dirty:0 changed:0
act_log: used:0/257 hits:97 misses:5 starving:0 dirty:0 changed:5

プライマリでデバイスがマウントされているかを確認します。(/dev/drbd0 がマウントされてることが確認できます)

toire# df
Filesystem           1K-ブロック    使用   使用可 使用% マウント位置
/dev/mapper/VolGroup00-LogVol00
3555040   1078772   2292768  32% /
/dev/sda1               101086     16041     79826  17% /boot
tmpfs                    95304         0     95304   0% /dev/shm
/dev/drbd0             2063404     35920   1922668   2% /data

テストしてみる

クライアントのホストからマウントしてみます。(クライアントは別途用意しました)

client# mount 192.168.113.135:/data/userdata /mnt/mpoint

無事にマウントできれば OKです。

うまくいかなかったところ

この状態でプライマリサーバの Heartbeat のシャットダウンを試みたところ、シャットダウン途中で固まってしまい、クライアントのほうでも共有にアクセスすると、固まってしまった。
しばらくすると、プライマリサーバの OS 自体がシャットダウンをはじめました。
(split-brain 状態になって DRBD の何かのハンドラ(pri-lost-after-sb とか)が呼ばれたとか？)
そんで、プライマリサーバがシャットダウンされると、セカンダリサーバが DRBD ようやくプライマリに昇格して、クライアントから共有が見えるようになりました。
要調査です。

次に試すかもしれないこと

setup of high availability NFS servers を見て、NFS のロックサービスの設定をしていないことに気づいた。
つまり NFS Server がダウンしたことを rpc.statd がクライアントに通知できていないからなのかも。
/etc/init.d/nfslock を以下のようにするといいかも。あとで試すかも。

start() {
...
echo -n $"Starting NFS statd: "
...
daemon rpc.statd "$STATDARG" -n <cluster_host_name>
....
}

GET かどうかを判定して、”&” でデータを区切った後に、入力データだけを取り出す。
その後はデコードしたり、文字チェックしたりすればいいですかね。

method=ENVIRON["REQUEST_METHOD"];
if(ENVIRON["QUERY_STRING"]){
if(method=="GET"){
str=ENVIRON["QUERY_STRING"];
split(str, a, "&");
# field parse
field1=substr(a[1], index(str, "=") + 1);
field2=substr(a[2], index(str, "=") + 1);
# decode したりあれこれする
・・・
・・・
}
}

各社のウェブサイトに curl でアクセスして HTML をいじるので、リニューアルされたら即アウト。
「今のところ取れる」というだけの話。ナマモノのようだ。

DoCoMo

リストになっているところから IP アドレスっぽいのを抜き出した。

curl $DOCOMO_URL | sed -n '/^.*<li>\(\([0-9]\{1,3\}\.\)\{3\}[0-9]\{1,3\}\/[0-9]\{1,3\}\)<\/li>.*$/{s//\1/;p}'  > docomo.lst

ezweb

IP アドレスとサブネットマスクで 2 行で書かれていたので、後で N コマンドでくっつけた。
パイプで渡しているのでイマイチかもしれない。

curl $EZWEB_URL | sed -n '/^.*<div.*>\(\([0-9]\{1,3\}\.\)\{3\}[0-9]\{1,3\}\)<\/div>.*/,/^.*<div.*>\(\/[0-9]*\)<\/div>.*/{s//\1/;p}'  | sed '/^[0-9].*$/N;s/\n//' > ezweb.lst

SoftBank

テーブルの中に入ってたので抜き出した。

curl $SOFTBANK_URL | sed -n '/^.*">\(\([0-9]\{1,3\}\.\)\{3\}[0-9]\{1,3\}\)\(\/[0-9]*\).*/{s//\1\3/;p}' > softbank.lst

WILLCOM

改行コードを変換する sed を一つ入れた。

curl $WILLCOM_URL | sed 's/\r/\n/g' | sed -n '/^<td.*">\(\([0-9]\{1,3\}\.\)\{3\}[0-9]\{1,3\}\/[0-9]*\).*/{s//\1/;p}' > willcom.lst

.htaccess を作る

awk と組み合わせて、携帯から以外のアクセスを拒否する .htaccess も作ってみた。

# アクセスルール
cat << EOS > .htaccess
order deny,allow
deny from all
EOS
# DoCoMo
curl $DOCOMO_URL | sed -n '/^.*<li>\(\([0-9]\{1,3\}\.\)\{3\}[0-9]\{1,3\}\/[0-9]\{1,3\}\)<\/li>.*$/{s//\1/;p}' | awk 'NR==1{print "# docomo"}{print "allow from " $0}END{print ""}' >> .htaccess
# ezweb
curl $EZWEB_URL | sed -n '/^.*<div.*>\(\([0-9]\{1,3\}\.\)\{3\}[0-9]\{1,3\}\)<\/div>.*/,/^.*<div.*>\(\/[0-9]*\)<\/div>.*/{s//\1/;p}' | sed '/^[0-9].*$/N;s/\n//' | awk 'NR==1{print "# ezweb"}{print "allow from " $0}END{print ""}' >> .htaccess
# SoftBank
curl $SOFTBANK_URL | sed -n '/^.*">\(\([0-9]\{1,3\}\.\)\{3\}[0-9]\{1,3\}\)\(\/[0-9]*\).*/{s//\1\3/;p}' | awk 'NR==1{print "# softbank"}{print "allow from " $0}END{print ""}' >> .htaccess
# WILLCOM
curl $WILLCOM_URL | sed 's/\r/\n/g' | sed -n '/^<td.*">\(\([0-9]\{1,3\}\.\)\{3\}[0-9]\{1,3\}\/[0-9]*\).*/{s//\1/;p}' | awk 'NR==1{print "# willcom"}{print "allow from "$0}' >> .htaccess

かなり見にくくなった。

sed -n '/Failed/s/.* sshd.*Failed password for.* \([0-9.]*\) port .*/\1/p' /var/log/secure | awk 'NR==1{oip=$1;num=1;next}{nip=$1}oip~nip{++num;next}oip!~nip{if(num>=3){print num,oip}oip=nip;num=1;next}'

練習用なので自分のために解説をすると…
まず sed で Failed した IP アドレスだけを抜く（全部 awk でできるかもしれないけど sed が楽）。

sed -n '/Failed/s/.* sshd.*Failed password for.* \([0-9.]*\) port .*/\1/p' /var/log/secure

それから awk に渡す。
まず一行目の IP をとって比較用の変数に入れてカウントして、次の行に処理を移行する。

awk 'NR==1{oip=$1;num=1;next}

次の行の IP をとって別の変数に入れて、

{nip=$1}

前の行の IP と現在の行の IP を比べて同じならカウントして次の行に評価を移行。

oip~nip{++num;next}

違う IP なら新しい IP を比較用の変数に入れてカウントを 1 に戻して次の行へ移行。もしカウントが 3以上になっていたら、カウント数と IP を表示する。

oip!~nip{if(num>=3){print num,oip}oip=nip;num=1;next}'

表示結果をいじって そのまま iptables で DROP という手を思いついたが、
ブルートフォースアタック対策は iptables で便利にできるので、このようなスクリプトは不要。
それにしても、何も対策していなかったので、このスクリプトで凄い数字が出た。