NClab

1. 테스트 환경 구축

1-1. BeSim Web Server 환경 구축

(1) 구성

(2) SPECweb2005 소프트웨어 설치.

root@BeSim$ java -jar setup.jar -i console
선택 : 전체 설치 또는 BeSim 설치

(3) BeSim Web Server의 Port 번호를 바꿈.

root@BeSim$ vi /etc/httpd/conf/httpd.conf
Listen 80 -> Listen 81 

(4) BeSim Web Server 구동을 위한 FastCGI 설치.

(4-1) fastCGI Compiling

root@BeSim$ cd /web2005-1.20/Besim/fcgi-2.4.0

root@BeSim$ ./configure --libdir=/lib
->configure 과정에서 상당한 에러가 나옴. 해결이 안 되는 것들은 무시.

root@BeSim$ make
-> make 과정에서 fcgio.cpp에서 에러가 나옴.

root@BeSim$ vi /web2005-1.20/Besim/fcgi-2.4.0/libfcgi/fcgio.cpp
-> #include <cstdio> 추가.

root@BeSim$ make install

root@BeSim$ mkdir /var/www/fcgi-bin

root@BeSim$ cd /web2005-1.20/Besim

root@BeSim$ make fcgi TARGET='clean all install' DEST=/var/www/fcgi-bin/

(4-2) mod_fastcgi.so 설치

root@BeSim$ yum install httpd-devel
다음 사이트에서 (http://www.fastcgi.com/dist/) 소스를 다운로드 받아 압축을 풀고, 압축을 푼 디렉토리에서 다음 명령어를 입력.

root@BeSim$ apxs -n mod_fastcgi -i -a -c mod_fastcgi.c fcgi_buf.c fcgi_config.c fcgi_pm.c fcgi_protocol.c fcgi_util.c

root@BeSim$ ls -l /usr/lib/httpd/mod_fastcgi.so
-> /usr/lib/httpd/modules/ 디렉토리에 mod_fastcgi.so가 있는지 확인.

root@BeSim$ mkdir -p /etc/httpd/fastcgi

root@BeSim$ chmod 777 /etc/httpd/fastcgi

(4-3) httpd.conf 파일 수정

root@BeSim$ vi /etc/httpd/conf/httpd.conf
1)
Dynamic Shared Object Support -> LoadModule fastcgi_module modules/mod_fastcgi.so 추가.

2)
ScriptAlias /cgi-bin/ -> ScriptAlias /fcgi-bin/ "/var/www/fcgi-bin/"
FastCgiIpcDir /etc/httpd/fastcgi

3)
<Directory "<CGIDIR>/fcgi-bin">
AllowOverride None
Options +ExecCGI -Includes
SetHandler fastcgi-script
Order allow,deny
Allow from all
</Directory>

4)
AddHandler fastcgi-script fcgi

1-2. Web Server 환경 구축

(1) 구성

(2) SPECweb2005 소프트웨어 설치.

root@Web$ java -jar setup.jar -i console
선택 : Web Server 설치

(3) 스크립트 콘텐츠 복사.

root@Web$ cp -ar /SPECweb2005/scripts/php/* /var/www/
-> bank, ecommerce, support, Smarty-2.6.7 디렉토리

root@Web$ chmod 777 /bank /ecommerce /support /Smarty-2.6.7
-> 디렉토리 퍼미션 설정

root@Web$ chown -R nobody.nobody /bank /ecommerce /support /Smarty-2.6.7
-> 디렉토리 권한 변경 (root->nobody)

(4) php.ini 파일 수정.

root@Web$ vi /etc/config

1)
display_errors=On

2)
display_setup_errors=On

3)
error_reporting=E_ALL

(5) Wafgen 설정.

root@Web$ vi /web2005-1.20/wafgen/unix/<script_name>.rc
->각 스크립트의 .rc파일에서 수정. (script_name=bank, ecommerce, support)

1)
SIMULTANEOUS_SESSIONS=1 -> 숫자 조정. (1=10MB)

2)
DOCROOT=/var/www  

root@Web$ cd /web2005-1.20/wafgen

root@Web$ ./Wafgen unix/<script_name>.rc
-> 수정된 각 스크립트 .rc를 적용.

(6) httpd.conf 파일 수정

root@Web$ vi /etc/httpd/conf/httpd.conf
DocumentRoot=/var/www

1-3. 클라이언트 환경 구축

(1) Windows에서 설치

(1-1) JVM 설치

http://www.java.sun.com/

(1-2) SPECweb2005 소프트웨어 설치.

root@client$ java -jar setup.jar -i console
선택 : client/prime client 설치.

(2) Linux에서 설치

(2-1) Java sdk 설치

root@client$ yum install *java*

(2-2) SPECweb2005 소프트웨어 설치.

root@client$ java -jar setup.jar -i console
선택 : client/prime client 설치.

(3) .config 파일 수정

root@client$ cd /web2005-1.20/Harness/
-> Client 디렉토리로 이동

root@client$ cp SPECweb_<script_name>.Unix-PHP.config SPECweb_<script_name>.config
-> 각 스크립트 설정파일을 다른 이름으로 저장.

root@client$ vi SPECweb_<script_name>.config
-> 다른 이름으로 저장된 각 스크립트 설정파일의 내용 수정.

PADDING_DIR = "/var/www/<script_name>/dynamic_padding/"

root@client$ cp Test.Unix-PHP.config Test.config
-> Test 설정파일을 다른 이름으로 저장.

root@client$ vi Test.config
-> 다른 이름으로 저장된 Test 설정파일의 내용 수정.

1)
WEB_SERVER = Web Server의 IP 주소 

2)
BESIM_SEVER = BeSim Web Server의 IP 주소

3)
BESIM_INIT_SCRIPT = "/var/www/fcgi-bin/besim_fcgi.fcgi"

4)
SMARTY_DIR = "/var/www/Smarty-2.6.7/libs/"
SMARTY_BANK_DIR = "/var/www/bank/"
SMARTY_ECOMMERCE_DIR = "/var/www/ecommerce/"
SMARTY_SUPPORT_DIR = "/var/www/support/" 

2. 실행

2-1. BeSim Web Server 실행

root@BeSim$ /etc/init.d/iptables stop
-> 방화벽 해제.

root@BeSim$ /etc/init.d/httpd start
-> 웹 서버 실행.

2-2. Web Server 실행

root@Web$ /etc/init.d/iptables stop
-> 방화벽 해제.

root@Web$ /etc/init.d/httpd start
-> 웹 서버 실행.

2-3. Client 실행

root@client$ /etc/init.d/iptables stop
-> 방화벽 해제.

root@Client$ java -jar SPECwebclient.jar

2-4. Prime Client 실행

root@prime$ /etc/init.d/iptables stop
-> 방화벽 해제.

root@Prime$ java -jar SPECweb.jar

1. 목적

기존의 부하분산 알고리즘은 Apache bench를 이용했었지만, Apache bench는 패턴이 일정하기 때문에 실제 web의 상태와 많은 차이가 있다. 그래서 실제 web과 동일한 환경을 구축하기 위해 SPECWeb이라는 벤치마킹 툴을 이용한다. SPECWeb의 본래 기능은 말 그대로 web server의 벤치마킹을 목적으로 한다. 즉, web server의 성능을 평가하는 도구인 셈이다. 하지만 우리는 이 벤치마킹 툴을 통해 실제 web 환경을 구현, 또는 구축을 하려고 한다. 그리고 개발하려는 에너지 기반 부하분산 알고리즘의 성능을 기존의 부하 분산 알고리즘의 성능과 비교하여 더 좋은 알고리즘을 개발하는데 목적이 있다.

2. SPECweb2005

SPECweb의 버전 중 2005버전을 사용한다. 이는 실제 환경과 같은 환경을 구현하기 위해 작업 부하 환경을 3가지(banking, ecommerce, support)로 디자인 되었다. 각 환경은 웹 서버의 설정에 따라 다양한 환경을 갖출 수 있다.

3. SPECweb2005의 구성

SPECweb2005는 클라이언트, Prime client, 웹 서버, BeSim 으로 구성된다.

각 구성요소의 간략한 설명은 다음과 같다.

1. LVS 설정

1.1. VIP 및 DIP 설정

LVS에서는 크게 DIP (Director IP)와 VIP (Virtual IP)를 설정해야 한다. 여기에서 DIP는 LVS가 고유하게 가질 IP 주소로서, NIC의 기본 IP 주소가 된다. 반면 VIP는 외부 Clients에게 서비스를 제공하기 위해 사용될 인터페이스 IP 주소 (즉, 외부 Clients가 접속할 IP 주소)로서, Aliasing을 통해 설정할 수 있으며, 부하를 상호 분산할 Real Server도 이 VIP를 반드시 가져야 한다.

따라서, 우선 VIP가 123.234.1.101 이고, DIP가 123.234.1.102 이라고 가정할 때,

># ifconfig eth0 123.234.1.102 netmask 255.255.255.0 up
># ifconfig eth0:1 123.234.1.101 netmask 255.255.255.0 up

위와 같이, ifconfig 명령을 이용하여 VIP와 DIP를 각각 설정한 다음, ifconfig로 설정사항을 확인한다. 단, 이미 eth0에 DIP가 설정되어 있는 경우가 대부분이므로, 이 단계에서는 VIP 만을 설정해도 된다.

1.2. Packet Forwarding 활성화

Dispatcher는 Client로부터 전송된 요청 메시지를 Real Server로 전달해야 하므로, 반드시 Packet Forwarding 기능이 활성화되어 있어야 한다. 이는 proc의 ip_forward의 값을 1로 설정함으로써 가능하다.

># echo 1 >/proc/sys/net/ipv4/ip_forward

1.3. Virtual Service 등록 (IPVSADM 설정)

># ipvsadm -A -t 123.234.1.101:80 -s rr

2. Real Server 설정

2.1. ARP Problem 해결 : ARP Hidden

패킷 전달 방식에 있어 NAT를 제외한 TUN 및 DR 방식은 모두 ARP Flux Problem을 해결해야 한다. 기본적으로 Dispatcher Node와 Real Server 모두 VIP를 갖고 있기 때문에, 클라이언트가 VIP의 MAC 주소를 묻는 ARP Request를 전송했을 때 Dispatcher와 Real Server 모두 이에 응답하게 되면 클라이언트는 이들 중 특정 서버의 MAC 주소를 해당 VIP에 해당하는 MAC 주소로 기억(ARP Caching)하고는 이 서버에게만 모든 서비스 요청 메시지를 전송한다. 결국 부하 분산을 더 이상 제공할 수 없으며, 임의의 클라이언트가 어떤 서버로부터 서비스를 제공받는지 관리할 수 없다.

결국 이를 해결하기 위해서는 클라이언트가 ARP 요청 메시지를 전송했을 때 Dispatcher만이 이에 응답하고, Real Server는 모두 ARP 요청 메시지를 무시해야 한다. 여기에서는 가장 간단한 ARP Hidden 방식을 소개한다.

일반적으로 Real Server에 VIP는 lo 장치에 Aliasing으로 설정되기 때문에, lo 장치와 다른 모든 인터페이스에 대해 ARP를 무시하도록 설정한다.

># echo 1 >/proc/sys/net/ipv4/conf/lo/arp_ignore
># echo 2 >/proc/sys/net/ipv4/conf/lo/arp_announce
># echo 1 >/proc/sys/net/ipv4/conf/all/arp_ignore
># echo 2 >/proc/sys/net/ipv4/conf/all/arp_announce

 
2.2. VIP 및 RIP 설정

Real Server는 고유의 IP 주소인 RIP (Real Server IP)를 갖고 있으며, Dispatcher는 RIP 주소를 기반으로 서비스 요청을 분산시킨다. 다만, Direct Routing 방식의 특성상 처리된 클라이언트의 요청은 Real Server에서 클라이언트로 직접 전달되므로(NAT 방식에서 Dispatcher를 거치는 것과는 달리), Real Server는 VIP 주소도 함께 lo 장치로서 갖고 있어야 한다. 따라서, 우선 VIP가 123.234.1.101 이고, RIP가 123.234.1.111 이라고 가정할 때,

># ifconfig eth0 123.234.1.111 netmask 255.255.255.0 up
># ifconfig lo:0 123.234.1.101 netmask 255.255.255.255 up
># ifconfig

위와 같이, ifconfig 명령을 이용하여 VIP와 RIP를 각각 설정한 다음, ifconfig로 설정사항을 확인한다. 단, 이미 eth0에 RIP가 설정되어 있는 경우가 대부분이므로, 이 단계에서는 VIP 만을 설정해도 된다.

2.3. Routing Table 설정

lo:0 장치에 VIP를 설정했으므로, Destination이 VIP인 요청 메시지를 lo:0 장치로 전달해야 한다. 그런 다음에는 이를 Real Server의 커널에 의해 처리된다.

># route add -host 123.234.1.101 dev lo:0

3. Real Server를 Virtual Service에 등록 (on Dispatcher Node)

3.1. Real Server를 등록하기

일반적인 Real Server를 Virtual Service에 등록하는 방식도 위와 동일하다. 다만 local host 대신 RIP를 입력하는 것만 차이가 있다.

># ipvsadm -a -t 123.234.1.101:80 -r 123.234.1.111 -g

 

4. Virtual Service 상태 모니터링

이상과 같이 Virtual Service에 Real Server가 등록된 이후에는 즉시 VIP를 통한 서비스 제공이 가능하다. 이때 Dispatcher Node에서 주기적으로 서비스 상태(# of Active Connection and # of Inactive Connection)를 계속해서 모니터링하고 싶은 경우 watch 명령을 이용한다.

># watch n -1 ipvsadm -Ln