2014년 12월 21일 일요일

Loop device

이전글 "디스크 파티션 분석"에서 램디스크를 사용하여 가상의 블럭장치를 만들었다. 가상의 블럭 장치를 만들기 위한 더 일반적인 방법은 루프 장치를 사용하는 것이다. 아래와 같은 명령으로 루프 장치를 만들 수 있다.

먼저 dd 명령으로 가상 블럭 장치로 사용할 512KB 크기의 VirtualDisk.img라는 파일을 만든다. 
# dd if=/dev/zero of=VirtualDisk.img bs=512 count=1024  
1024+0 records in
1024+0 records out
# ls -l ./VirtualDisk.img 
-rw-rw-r--   1 root      root         524288 Dec 21 15:50 ./VirtualDisk.img

이제 devb-loopback을 실행시켜 해당 파일을 루프 장치로 연결한다. (루프 장치란, 파일을 블록장치로 매핑한 pseudo-device를 일컫는다. 블록 장치이므로 포맷 후 원하는 디렉토리에 마운트하여 사용할 수 있다.  루프 장치를 루프백 장치라고도 부르는데, 루프백 장치는 네트워크 장치에서 사용하는 용어와 겹치므로 루프백 장치라고 부르면 안된다는 의견이 있으나, QNX Neutrino에서는 루프백 장치라는 용어를 사용한다)
# devb-loopback loopback blksz=512 fd=./VirtualDisk.img
# ls -l /dev/lo*
brw-------   1 root      root         9,   0 Dec 21 15:54 /dev/lo0
# df -P /dev/lo* 
Filesystem            512-blocks      Used Available Capacity  Mounted on      
/dev/lo0                    1024      1024         0     100%   

참고: 만일 리눅스에서 루프 장치를 만든다면 다음과 같이 해야 한다.
$ sudo losetup /dev/loop0 ./VirtualDisk.img

아래를 보면 Sector(Block Size)크기가 512 이며 1024개의 실린더로 생성 되었음을 알 수 있다.
# ls -l /dev/lo* 
brw-------   1 root      root         9,   0 Dec 21 15:59 /dev/lo0
# df -P /dev/lo0
Filesystem            512-blocks      Used Available Capacity  Mounted on      
/dev/lo0                    1024      1024         0     100%                  
# fdisk -z /dev/lo0

FDISK
Ignore Next Prev Change Delete Boot Unboot Restore Loader Save Quit

        _____OS_____     Start      End     ______Number_____    Size    Boot  
        name    type    Cylinder  Cylinder  Cylinders  Blocks                  

--> 1.  ______ (___)    _______   _______   _______   _________  _____
    2.  ______ (___)    _______   _______   _______   _________  _____
    3.  ______ (___)    _______   _______   _______   _________  _____
    4.  ______ (___)    _______   _______   _______   _________  _____


 Choose a partition by typing the partition number OR moving the pointer
 with the UP/DOWN arrows.
 Then, choose one of the actions on the top line of the screen.
          


Drive : /dev/lo0                    Config:     1 Heads
Size  : 0 Mbytes                                1 Sectors/track
Loader: None                                 1024 Cylinders
Blocks: 1024                                  512 Block Size

                                    Last cylinder is 1023

이전글 "디스크 파티션 분석"에서 QNX fdisk가 실린더 경계에서만 파티션 시작이 가능하여 MBR/VBR/EBR등이 위치한 실린더에 첫번째 섹터를 제외한 나머지 섹터들이 낭비되었는데, 위와 같이 실린더당 섹터가 하나씩만 가지도록 설정하면 이러한 낭비를 막을 수 있다. 물론 실제 물리 블록 장치의 경우 실린더당 섹터는 물리적으로 정해져 있으므로 낭비는 피할 수 없다. (참고: 리눅스의 fdisk는 섹터 단위로 파티션 위치를 설정할 수 있으므로 이러한 낭비가 발생하지 않는다. )

# mkdosfs /dev/lo0 

Format complete: FAT12 (4096-byte clusters), 492 kB available.

별로도 파티션을 만들지 않고 위와 같이 통째로 포맷을 하면, MBR없이 첫 섹터에 VBR이 생성되며 사용 가능한 상태가 된다. (물론 파티션을 나눌 수도 있다)
# mount -tdos /dev/lo0 /mnt/dos

# mount
/dev/hd0t179 on / type qnx6 
/dev/lo0 on /mnt/dos type dos (fat12) 

# df -P /mnt/dos
Filesystem            512-blocks      Used Available Capacity  Mounted on      
/dev/lo0                     984         0       984       0%  /mnt/dos/   



2014년 12월 18일 목요일

디스크 파티션 분석

MBR(Master Boot Record)은 블록장치의 첫512바이트로 부팅 가능한 파티션을 찾는 짧은 코드와 블록장치의 파티션 정보를 가지고 있다. 기본적으로 MBR에는 총 4개의 파티션 정보를 저장할 수 있으며, 이 4개의 파티션 정보 영역에 Primary 파티션 혹은 Extended 파티션에 대한 정보를 저장할 수 있다.

MBR에 적재되어 있는 작은 코드는 MBR 뒷부분에 포함되어 있는 파티션 테이블의 정보를 사용하여 부팅 가능한 파티션이 있는지 확인 후 해당 파티션의 VBR (Volume Boot Record)을 로드하고 실행한다. VBR의 코드는 해당 파티션에 설치된 OS를 메모리에 로드하고 실행하는 역할을 한다. 만일 블록장치 전체를 파티션 생성없이 통으로 포맷하여 사용할 경우 MBR없이 MBR자리에 VBR이 생성될 것이다.  VBR이 저장되어 있는 영역을 흔히 부트섹터(boot sector)라고 부른다.

파티션 테이블은 64바이트 크기로 4개의 파티션 정보가 16바이트씩 기록되며 이 16 바이트에는 각 파티션의 시작과 끝 위치, 크기(# of sector)등이 기록되어 있다. 이 4개의 파티션은 Primary 혹은 Extended 파티션이 될 수 있다. Primary 파티션은 부팅 가능한 파티션이므로 별다른 이유(4개 이상의 파티션 필요등)가 없다면 굳이 (부팅 불가능한) Extended 파티션을 사용할 필요가 없다. Extended 파티션은 하위 파티션을 담고 있는 껍데기 파티션으로 역시 MBR에 시작과 끝 위치, 전체 파티션 총 크기(# of sector)가 기록되어 있다.  Extended 파티션 안에는 한개 이상의 Logical 파티션이 들어 있으므로,  각각의 Logical 파티션의 시작, 끝 위치, 크기를 파악하기 위해서는  Extended 파티션의 첫 512바이트의 EBR (Extended Boot Record )을 읽어야 한다.  EBR은 MBR/VBR과 동일한 구조를 가지기 때문에 4개의 파티션 저장을 위한 공간이 있으나, 이중 첫 2개의 파티션 정보만 사용한다.

MBR/VBR/EBR 의 구조                                    offset
---------------------------------------------------- 0x0000
부트 코드 :
  MBR: 부팅 가능한 파티션을 찾아 VBR을 메모리로 로드하고 실행
  VBR: OS를 메모리에 로드하고 실행.
  EBR: empty ?
---------------------------------------------------- 0x01BE
파티션 테이블:                            0x01BE ~ 0x01FD    
Signature (0xAA 0x55)                  0x01FE ~ 0x01FF
-----------------------------------------------------0x0200


EBR의 첫번째 파티션 정보에는 첫 Logical 파티션에 대한 시작위치와 끝위치가 기록되어 있으며, 두번째 파티션 정보는 다음 EBR에 대한 위치를 가지고 있다.  따라서 Logical 파티션의 갯수만큼 EBR이 존재하게 되며, 각 EBR은 1개의 logical 파티션에 대한 정보와 다음 EBR에대한 정보를 가지고 있게 된다.  (Linked List를 생각하면 된다.)

정확한 이해를 위해 QNX Neutrino OS상에서 간단한 실험을 통하여 MBR/EBR의 구조를 확인해 보자. 먼저 아래와같이 테스트를 위한 램디스크를 생성한다.

분석 편의를 위해서 24KB(48개의 512 Byte 블럭)의 작은 램 디스크를 만들었다.
# devb-ram disk name=notuse ram capacity=1,nodinit blk ramdisk=24k

참고: 리눅스에서 테스트를 한다면 램디스크 대신 루프백 장치를 사용하여 동일한 테스트를 진행할 수 있다. "루프백 장치"를  참고한다. 

생성 내용 확인 - 48개의 512Byte 블럭이 생성 되었다.
# df -P /dev/ram0    
Filesystem            512-blocks      Used Available Capacity  Mounted on      
/dev/ram0                     48        48         0     100%                  

생성된 가상의 램 디스크가 어떻게 물리 장치를 시뮬레이트하는지 보자. fdisk가 보여주는 정보에 따르면,  6개의 실린더,  8개의 sector(block), 1개의 track을 가진 물리 장치를 시뮬레이트하고 있는 것으로 보인다. 실린더당 크기는 8x512=4096=4KB이다.  

# mount -e /dev/ram0
참고: QNX Neutrino에서의 mount -e 명령은 리눅스에서 partprobe 정도에 해당한다. 



# fdisk -z /dev/ram0

FDISK
Ignore Next Prev Change Delete Boot Unboot Restore Loader Save Quit

        _____OS_____     Start      End     ______Number_____    Size    Boot  
        name    type    Cylinder  Cylinder  Cylinders  Blocks                  

    1.  ______ (___)    _______   _______   _______   _________  _____
    2.  ______ (___)    _______   _______   _______   _________  _____
    3.  ______ (___)    _______   _______   _______   _________  _____
    4.  ______ (___)    _______   _______   _______   _________  _____


 Choose a partition by typing the partition number OR moving the pointer
 with the UP/DOWN arrows.
 Then, choose one of the actions on the top line of the screen.
          


Drive : /dev/ram0                   Config:     1 Heads
Size  : 0 Mbytes                                8 Sectors/track
Loader: None                                    6 Cylinders
Blocks: 48                                    512 Block Size


최종 목적은 24KB의 작은 디스크를 아래와 같이 파티션 하는 것이다. 

------------------------------------------------- 0x0000   ---  A
cy0 : MBR    (0x0000~0x01FF)
              Boot Code       (0x0000~0x01BD)
              Partition Table (0x01BE~0x01FF)
      Unused (0x0200~0x0FFF)
------------------------------------------------- 0x1000   ---- B
cy1 : 1st Primary Partition
      VBR                     (0x1000~0x11FF)      
                              (0x1200~0x1FFF)
------------------------------------------------- 0x2000   ---- C
cy2 : EBR    (0x2000~0x21FF)
              Boot Code       (0x2000~0x21BD)
              Partition Table (0x21BE~0x21FF)
      Unused (0x2200~0x2FFF)
------------------------------------------------- 0x3000   ---- D
cy3 : 1st Logical Partition      
      VBR                     (0x3000~0x31FF)
                              (0x3200~0x3FFF)
------------------------------------------------- 0x4000   ---- E
cy4 : EBR    (0x4000~0x41FF)
              Boot Code       (0x4000~0x41BD)
              Partition Table (0x41BE~0x41FF)
      Unused (0x4200~0x4FFF)
------------------------------------------------- 0x5000   ---- F
cy5 : 2nd Logical Partition
      VBR                     (0x5000~0x51FF)
                              (0x5200~0x5FFF)
------------------------------------------------- 0x6000   ---- G

(주의!! - 실제로 Primary파티션이나 Logical 파티션은 생성 후 생성 시 지정한 파일시스템으로 포맷해야 해당 파티션을 사용할 수 있게 된다. 하지만 파일시스템별로 필요한 최소 크기가 있으므로 위와 같은 크기로 파티션하면 실제로 포맷은 불가능하게 된다. 실제 포맷까지 테스트 하려면 fdisk시 해당 파티션의 크기 - 실린더 갯수를 늘려야 한다.  위와 같은 크기로 파티션시에는 포맷시 에러가 발생할 것이다. )

이제 첫번째 파티션을 Primary파티션으로 생성해 보자. QNX Neutrino의 fdisk utility는 실린더 경계에서만 파티션이 가능하다. 첫번째 실린더(0번 실린더)에 MBR이 있고, 이 크기가 비록 512바이트 이지만, 첫 파티션을 실린더 경계에 만들려면 1번 실린더에서 시작하여야 한다. 따라서 0번 실린더는 대부분(8개 sector중 7개 sector) 낭비된다 (리눅스의 fdisk는 실린더가 아닌 섹터 단위로 파티션 경계를 설정할 수 있으므로 이러한 낭비 없이 파티션 생성이 가능하다) . 파티션의 크기 또한 실린더 크기의 배수가 되므로 최소 크기인 실린더 1개로 지정하기 위하여 시작 위치 끝위치 모두 1번 실린더로 설정한다. (-c1,1)  따라서 이 파티션은 1번 실린더 전체를 차지하며 4KB가 된다. QNX Neutriono fdisk 사용 시  파일 시스템 타입을 지정하지 않으면 기본 값인 type 77( QNX 4 file system)으로 생성된다. 

# fdisk /dev/ram0 add -s1 -c1,1 
# fdisk /dev/ram0 show

     _____OS_____     Start      End     ______Number______   Size    Boot  
     name    type    Cylinder  Cylinder  Cylinders   Blocks                 

1.   QNX       77          1          1         1          8      0 MB
2.   ------   ---   --------   --------   -------  --------  -----          
3.   ------   ---   --------   --------   -------  --------  -----          
4.   ------   ---   --------   --------   -------  --------  -----          



방금 Primary파티션을 생성한 것이므로 MBR에 해당 내용이 모두 기록되었을 것이다. 아래와 같이 od 명령으로 내용을 확인해 보자. 

# od -Ax -tx1 -v /dev/ram0 | less 
0000000 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 
0000010 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 
...
00001B0 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 
00001C0 01 01 4d 00 08 01 08 00 00 00 08 00 00 00 00 00 
00001D0 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 
00001E0 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 
00001F0 00 00 00 00 00 00 00 00 00 00 00 00 00 00 55 aa 

512바이트의 마지막 2바이트는 55 aa로 끝나며, 이는 해당 512바이트 정보가 valid함을 의미한다. 이는 MBR뿐만 아니라 EBR이나 VBR에도 동일하게 존재한다.

파티션 정보의 시작은 0x01BE부터 이며, 각 파티션당 16바이트이다. 
따라서 첫번째 Primary파티션의 정보는 아래와 같다. 

00 00 01 01 4D 00 08 01 08 00 00 00 08 00 00 00

비트별 정보는 다음 사이트를 참조하여 해석가능하다. (http://en.wikipedia.org/wiki/Master_boot_record)

해석해보면 아래와 같다.  파티션 시작 위치 및 끝 위치는 little endian을 고려하여 해석해야 한다. 

00                    :  80이면 부팅 가능한 파티션
00 01 01          :  파티션 시작 위치 (CHS표기):  1번 실린더 1번 sector
4D                   :  filesystem type : 0x4D, QNX 4 filesystem
00 08 01          :  파티션 끝위치 (CHS표기): 1번 실린더, 8번 sector
08 00 00 00     :  파티션 시작위치 (sector단위,디스크 시작부터 8번째 sector이후 시작),  위 그림에서 A~B
08 00 00 00     :  파티션 크기 (sector단위) 8개 sector, 위 그림에서 B~C

이제 나머지 공간(실린더 2,3,4,5) 전체에 extended 파티션(-t5)을 생성한다. 

# fdisk /dev/ram0 add -s2 -t5 -c2,5 
# fdisk /dev/ram0 show

     _____OS_____     Start      End     ______Number______   Size    Boot  
     name    type    Cylinder  Cylinder  Cylinders   Blocks                 

1.   QNX       77          1          1         1          8      0 MB
2.   Extd'd     5          2          5         4         32      0 MB
2.1  Unused     0          3          5         3         24      0 MB
3.   ------   ---   --------   --------   -------  --------  -----          
4.   ------   ---   --------   --------   -------  --------  -----          

MBR을 확인하면 아래와 같이 내용이 추가된다. 

# od -Ax -tx1 -v /dev/ram0 | less 
0000000 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 
0000010 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 
...
00001B0 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 
00001C0 01 01 4d 00 08 01 08 00 00 00 08 00 00 00 00 00 
00001D0 01 02 05 00 08 05 10 00 00 00 20 00 00 00 00 00 
00001E0 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 
00001F0 00 00 00 00 00 00 00 00 00 00 00 00 00 00 55 aa 

추가된 내용
00 00 01 02 05 00 08 05 10 00 00 00 20 00 00 00


해석해보면 아래와 같다. 
00                    :  80이면 부팅 가능한 파티션
00 01 02          :  파티션 시작 위치 (CHS표기):  2번 실린더 1번 sector
05                    :  filesystem type : extended 파티션 
00 08 05          :  파티션 끝위치 (CHS표기): 5번 실린더, 8번 sector
10 00 00 00     :  파티션 시작위치 (sector단위, MBR 시작부터 16번 sector이후 시작) ,  위 그림에서 A~C
20 00 00 00     :  파티션 크기 (sector단위)  32개 sector,  위 그림에서 C~G

앞서 설명한바와 같이 Extended 파티션의 경우 껍데기 파티션이고, 이 안에 한개 이상의 실제 파티션이 존재하며, 이 각각의 실제 파티션에 대한 정보는 EBR이라는 곳에 저장된다.  EBR은 논리 파티션의 개수만큼 생기는데, 아직 logical 파티션을 생성하지 않았으므로 EBR이 존재하지 않아야 하지만, 위에서 보듯이 Extended 파티션 생성시 Unused라는 name을 가지는 dummy logical 파티션이 자동으로 생성되어 있다.  그럼 여기에 해당하는 dummy EBR이 생성되었는지 확인해 보자. 첫번째 EBR은 Extended 파티션 시작(2번 cyliander 1번 sector) 첫 512바이트에서 찾을 수 있다.  cyliander당 크기가 4KB이므로 2번 cliandaer의 시작 위치는 8KB, 즉 0x2000이 된다.  

00021A0 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 
00021B0 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 
00021C0 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 
00021D0 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 
00021E0 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 
00021F0 00 00 00 00 00 00 00 00 00 00 00 00 00 00 55 aa 

보는바와 같이 아직 모든 data가 00이며 MBR/EBR임을 나타내는 signature "55 aa" 만 확인할 수 있다. 

그럼 실제로 첫번째 logical 파티션을 생성해보자. -s2는 MBR의 두번째 파티션, -t3는 FAT파일 시스템,  -e1은 첫번째 logical 파티션, -n1은 실린더 1개 할당을 뜻한다. 

# fdisk /dev/ram0 add -s2 -t3 -e1 -n1
# fdisk /dev/ram0 show

     _____OS_____     Start      End     ______Number______   Size    Boot  
     name    type    Cylinder  Cylinder  Cylinders   Blocks                 

1.   QNX       77          1          1         1          8      0 MB
2.   Extd'd     5          2          5         4         32      0 MB
2.1  nonQNX     3          3          3         1          8      0 MB
2.2  Unused     0          5          5         1          8      0 MB
3.   ------   ---   --------   --------   -------  --------  -----          
4.   ------   ---   --------   --------   -------  --------  -----          


첫번째 logical 파티션(2.1 nonQNX로 표기됨)에 대한 EBR은 아래와 같다. 
00021B0 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 
00021C0 01 03 03 00 08 03 08 00 00 00 08 00 00 00 00 00 
00021D0 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 
00021E0 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 
00021F0 00 00 00 00 00 00 00 00 00 00 00 00 00 00 55 aa 

해석해보면 아래와 같다. 
00                    :  80이면 부팅 가능한 파티션
00 01 03          :  파티션 시작 위치 (CHS표기):  3번 실린더 1번 sector
03                   :  filesystem type : 3 (FAT 파일 시스템)
00 08 03          :  파티션 끝위치 (CHS표기): 3번 실린더, 8번 sector
08 00 00 00     :  파티션 시작위치 (sector단위, 이 EBR 시작부터 8번 sector이후 시작),  위 그림에서 C~D
08 00 00 00     :  파티션 크기 (sector단위)  8개 sector,  위 그림에서 D~E

3번 실린더까지 사용하였으므로 이제 4번, 5번 실린더가 미사용인 상태이고, logical파티션을 추가 생성하면 4번 실린더의 첫 512바이트에 다음 EBR이 기록될 것임을 추측할 수 있다.  실제 사용 가능한 파티션은 5번 실린더 하나가 될 것이다. 

실제로 두번째 logical 파티션 추가해보자. (-e2)

# fdisk /dev/ram0 add -s2 -t3 -e2 -n1 
# fdisk /dev/ram0 show                

     _____OS_____     Start      End     ______Number______   Size    Boot  
     name    type    Cylinder  Cylinder  Cylinders   Blocks                 

1.   QNX       77          1          1         1          8      0 MB
2.   Extd'd     5          2          5         4         32      0 MB
2.1  nonQNX     3          3          3         1          8      0 MB
2.2  nonQNX     3          5          5         1          8      0 MB
3.   ------   ---   --------   --------   -------  --------  -----          
4.   ------   ---   --------   --------   -------  --------  -----         



먼저 첫번째 EBR에 새로운 logical 파티션을 위한 두번째 ERD 위치 정보 추가되는 것을 확인할 수 있다. 
00021B0 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 
00021C0 01 03 03 00 08 03 08 00 00 00 08 00 00 00 00 00 
00021D0 01 04 05 00 08 05 10 00 00 00 10 00 00 00 00 00 
00021E0 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 
00021F0 00 00 00 00 00 00 00 00 00 00 00 00 00 00 55 aa 


해석해보면 아래와 같다. 
00                    :  80이면 부팅 가능한 파티션
00 01 04          :  파티션 시작 위치 (CHS표기):  4번 실린더 1번 sector
05                   :  filesystem type : 5 (extended partition)
00 08 05          :  파티션 끝위치 (CHS표기): 5번 실린더, 8번 sector
10 00 00 00     :  파티션 시작위치 (sector단위, 첫번째 EBR 시작부터 16번 sector이후 시작),  위 그림에서 C~E
10 00 00 00     :  파티션 크기 (sector단위)  16개 sector,  위 그림에서 E~G


4번 실린더에 있는 두번째 EBR을 확인해 보자, 4번 실린더의 시작 주소는  16KB(0x4000)이다. 

00041B0 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 
00041C0 01 05 03 00 08 05 08 00 00 00 08 00 00 00 00 00 
00041D0 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 
00041E0 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 
00041F0 00 00 00 00 00 00 00 00 00 00 00 00 00 00 55 aa 

해석해보면 아래와 같다. 
00                    :  80이면 부팅 가능한 파티션
00 01 05          :  파티션 시작 위치 (CHS표기):  5번 실린더 1번 sector
05                   :  filesystem type : 3 (FAT 파일 시스템)
00 08 05          :  파티션 끝위치 (CHS표기): 5번 실린더, 8번 sector
08 00 00 00     :  파티션 시작위치 (sector단위, 두번째 EBR 시작부터 8번 sector이후 시작),  위 그림에서 E~F
08 00 00 00     :  파티션 크기 (sector단위)  8개 sector,  위 그림에서 F~G

참고 : 더 알기 쉽게 정리되어 있는 사이트
http://cappleblog.co.kr/131

2014년 11월 14일 금요일

QNX Neutrino APS 사용하기

항상 네트워크 throughput이 10MB/s 이상을 유지해야 하는 장치를 만든다고 가정하자. 테스트 결과 선택된 시스템의 최고 네트워크 throughput은 60MB/s다. 사용자가 네트워크 기능만 사용한다면 througput이 충분하여 별 문제가 없을 것이다.  하지만 시스템이 다른 작업을 동시에  수행하게 되면 네트워크 througput이 10MB/s 이하로 떨어지는 상황이 발생할 수 있다. 이를 해결하기 위한 간단한 방법은 네트워크 througput 관련된 프로그램의 우선 순위를 높이는 것이다. 하지만 이렇게 할 경우 단지 10MB/s 정도만 유지해도 별 문제가 없는 네트워킹 기능에 필요이상의 CPU가 할당되면서 다른 기능이 원활하게 동작하지 못하는 상황이 발생할 수도 있다. 즉  10MB/s 정도의 througput이면 충분한데 네트워킹 쪽 우선순위가 높아 항상 60MB/s의 성능을 내도록 시스템이 동작할 것이다.

위와 같은 경우 10MB/s 정도의 througput을 처리할 수있는 별도의 전용 CPU가 있으면 어떨까?  QNX의 APS(Adaptive Partitioning Scheduler) 는 한개의 CPU를 논리적으로 여러개의 파티션으로 나누어 위와 같이 특정 프로그램를 위한 전용 CPU로 사용할 수 있도록 해준다(Partitioning).

예를들어 CPU의 총 성능 중 20%만 사용하면 네트워크 througput 10MB/s가 달성된다면 CPU를 80:20로 나누어 네트워크 관련 프로그램을 20% 영역에서 실행시키는 것인다.  이 경우 나머지 프로그램은 80%영역에서 실행되며 사용자가 느끼기에는 마치 서로 영역별로 별개의 CPU를 사용하는 것처럼 스케쥴링이 이루어진다.

이 기능이 제공하는 더 좋은 점은, CPU가 100% 풀 로드가 아닌 상황에서는 파티션이 가변적(Adaptive)으로 동작한다는 점이다. 즉 시스템에 네트워크 기능이 동작하지 않을때는 80%영역에 있던 프로그램이 20%영역의 CPU를 사용할 수 있으며, 반대로 80% 영역에 여유가 많을 때에는 네트워크 관련 프로그램이 80%쪽 CPU를 끌어다 사용할 수 있다.

APS 기능을 사용하려면 IFS 이미지 빌드 스크립트에 아래와 같이 [module=aps]를 추가하여 IFS를 빌드하여야 한다.
[module=aps] PATH=/proc/boot:/bin:/usr/bin:/opt/bin  LD_LIBRARY_PATH=/proc/boot:/lib:/usr/lib:/lib/dll:/opt/lib procnto-instr
즉, 만일 현재 사용중인 IFS가 [module=aps]가 없이 빌드된 것이라면 IFS를 바꿔야 한다.

APS 기능은 아래와 같이 실행시킬 수 있다.



위 예제에서는 inetd에 20%의 CPU가 할당되었다. QNX에서 실제로 네트워킹은 io-pkt가 담당하게 되는데, 이 경우에 io-pkt는 서버, inetd는 클라이언트가 된다.  위 예에서 io-pkt가 System쪽에서 실행되었다고 가정하면 inetd의 요청을 받은 io-pkt 서버는 비록 시스템 파티션에서 실행 되었지만 Network partition에서 CPU를 사용하고 inetd 이외의 프로그램이 요청한 네트워크 요청만 System partition에서 수행이 된다.

2014년 11월 13일 목요일

QNX Neutrino에서 램 디스크를 생성하는 여러 가지 방법 (v6.6기준)

1. devb-ram을 사용한 램 디스크 만들기.

1.1 기본값으로 생성하기 
devb-ram을 사용하면 QNX 4 타입의 파일 시스템을 가지는 램 디스크를 메모리에 생성할 수 있다. 아래 그림에서 기본 2MB 용량을 가지는 QNX 4 타입의 램 디스크가 생성 되었음을 확인할 수 있다. 


hd0는 type179 형식(QNX 6 파일 시스템 형식)으로 시스템 메인 하드 디스크이며, 생성된 램 디스크는 hd1로 type 77 형식(QNX 4 파일 시스템 형식)으로 생성되었다. devb-ram이 지원하는 램디스크의 파일 시스템은 QNX 4 파일 시스템이다. 하지만 뒤에서 다른 형식의 파일 시스템을 사용하여 램 디스크를 만드는 방법도 살펴볼 것이다.  

아래 표는 파일시스템 형식별 type번호 표이다.



1.2 장치 이름 바꾸기
기본 생성 시 /dev/아래 hd* 로 생성되는 장치 이름을 disk 옵션 중 name으로 바꿀 수 있다. disk 옵션은 devb-ram이 cam-disk.so 라이브러리로 전달하는 옵션이다. 



1.3  cache 크기 설정
일반적으로 입출력이 느린 블럭 장치는 램 메모리를 cache로 사용하는데, 램 디스크일 경우 cache는 램이 램을 cache하는 것이라 불필요한 성능 저하를 발생시키므로 최소 크기(512k)로 설정하는 것이 좋다. 아쉽게도 최소 크기는 0 바이트가 아니라 512KB 이다. 하지만 설정 시 0으로 설정해도 에러가 나지는 않는다.  cache 설정을 위해서는 blk옵션 중 cache를 사용한다. blk옵션은 devb-ram에서 사용하는 io-blk.so 라이브러로 전달되는 옵션이다. 


Q.) 실제 설정된 cache의 크기는 어떻게 확인할 수 있을까 ? 0으로 설정시 최소 크기인 512k로 설정되는지 확인하는 방법은 ? 

A) blk에 verbose옵션을 추가한다. 서브옵션이 여러가지 일 경우 ,(콤마)를 사용하여 나열하면 된다.
devb-ram disk name=rdsk blk cache=0,verbose
verbose옵션으로 추가된 로그는 sloginfo 명령으로 확인할 수 있다.


1.4 용량 변경
기본으로 생성되는 ramdisk는 512Byte의 blksize와 4096Byte의 capacity를 가진다. 실제 용량은 이 두 값의 곱으로 결정된다. (512 x 4096 = 2MB). 이 두 값은 ram 옵션을 사용하여 변경 가능하다.  아래와 같이 설정시 10MB(10240 x 1024)크기의 ramdisk가 생성된다. 



2. io-blk 내장 기능을 사용하여 램 디스크 만들기 

2.1 기본 사용 방법
devb-ram을 사용할 경우 기본적으로 cache를 사용하게 되므로 램 디스크에서는 불필요한 메모리 복사가 발생하게 된다. 이를 해결하기 위해서 io-blk.so에 내장된 ramdisk 기능을 사용할 수 있다. (이 ramdisk는 cache를 사용하지 않는다.)  io-blk.so는 어떤 블럭 장치 드라이버(devb-xxx)와도 함께 사용이 가능하므로 devb-ram이 아닌 다른 devb-xxxx를 사용하고 있다면, 굳이 devb-ram을 사용할 필요는 없다. 

아래 예에서는 devb-ram과 함께 사용하였는데, 이때 기본적으로 devb-ram이 생성하는 ramdisk를 사용하지 않을 것이므로 이름을 notuse로, 용량은 최소 용량(1 x 512 = 512 byte)으로 설정하였다. 또한 ram 옵션 중 nodinit을 설정하여 생성한 램 디스크를 파티션 및 포맷하지 않도록 한다.  이런한 설정들은 devb-ram이 아닌 다른 블럭 장치 드라이버를 사용할 경우에는 필요가 없다.  ( 여기서는 io-blk.so의 램 디스크 기능을 사용하는 경우이기 때문에 devb-ram의 램 디스크 기능을 최소화 하기 위해서 필요한 설정임) 이번 예에서도 io-blk가 생성하는 램 디스크 용량은 10MB로 하였다.  io-blk.so가 제공하는 램 디스크 기능을 사용 시에는 램 디스크 장치 이름은 변경할 수 없으며 항상 /dev/ram* 로 고정된다. 



- dinit는 생성 된 램 디스크를 파티션하고 QNX 4 타입의 파일 시스템으로 포맷하여 준다.
- cache=0으로 설정 되었지만 512KB가 최소 값이므로 512KB로 설정된다.  이는 램 디스크가 사용하는 것이 아닌, devb-ram이 사용하는 것이다. 위 예에서는 devb-ram이 제공하는 램 디스크를 사용하지 않으므로 이 cache는 그냥 낭비되는 공간이 된다. 하지만 다른 devb-xxx 드라이버를 사용하여 io-blk.so의 램 디스크 기능을 사용한다면, 이 캐시는 해당 블럭 장치가 사용하게 될 것이다. 

This approach has superior performance because it eliminates the memory-to-memory copies of devb-ram, it bypasses cache lookups, and the 4 KB sectors have smaller overheads.


2.2 다른 type의 파일 시스템 사용하기
devb-ram가 제공하는 램 디스크는 QNX 4 형식의 파일 시스템만 사용이 가능하지만, io-blk.so의 내장 램 디스크는 qnx4 파일 시스템 이외에 다른 파일 시스템을 사용할 수 있다. 그러기 위해서는 dinit대신 fdisk를 사용하여 파티션을 수행한 후 원하는 파일 시스템으로 포맷하면 된다. 아래는 dos 파일 시스템을 사용한 예이다. 


By default in QNX Neutrino 6.5 and later, io-blk.so allocates the filesystem buffer cache (blk cache=) on affected ARM platforms from a global memory region (SHMCTL_ANON | SHMCTL_GLOBAL) to avoid the per-process 32 MB limitation. To override this and make the allocation from the normal devb-* process heap, specify blk memory=sysram.
In QNX Neutrino 6.5 and later, io-blk.so by default allocates the filesystem buffer cache (blk cache=) on affected ARM platforms from a global memory region (SHMCTL_ANON | SHMCTL_GLOBAL) to avoid the per-process 32 MB limitation. To override this and make the allocation from the normaldevb-* process heap, specify blk memory=sysram.
 
3. devf-ram을 사용한 램 디스크
devf-ram은 ram상에 QNX의 NOR flash용 파일 시스템인 ffs3를 만들어 준다. 아래와 같이 /dev/fs* 가 생성되며, flashctl 유틸리티를 사용하여 파티션, 포맷 및 파일 시스템에 mount할 수 있다. devf 파일 시스템은 mount 명령은 지원하지 않는다. 
flashcltl에서 -p 옵션으로 마운트할 장치를 선택하고, -e -f 는 각각  erase및 format을 뜻한다. -n으로 mount할 위치를 정하며, -m이 mount 옵션이다. 




주의: 디스크의 크기는 실제 NOR flash의 크기와 마찬가지로 2의 n제곱 단위로 설정해야 한다. (1MB, 2MB,4MB,8MB ...)  예를들어 10MB로 2의 n제곱이 아닌 값으로 설정할 경우에는 10MB가 할당되지 않는다.

4. io-fs-media
io-fs-media를 사용하면 아래와 같이 사용이 가능하다. 

io-fs-media -d tmp,mount=/full_path_to/your_desired_mountpoint

5. /dev/shmem
기본적으로 QNX Netrion는  /dev/shmem에 RAM-based filesystem을 제공한다. 하지만 이는 완전한 파일 시스템이 아니며, 100% POSIX 호환이 되지는 않는다. 따라서 몇몇 utility사용에 제약이 있으며, sub-directory도 지원하지 않는다.  일반적으로 아래와 같이 /dev/shmem을 /tmp에 링크시켜 사용한다. 
ln -sP /dev/shmem /tmp