2012年1月15日星期日

聚焦百度年会美女刘冬——IT听听看特别版


百度年会HR美女视频写真——新一代宅男女神诞生!


Baidu HR in the 2012 new year party.The beauty's name is LiuDong.
The video about her.Maybe you will love her.
"Listen and watch IT" is a IT video program in China.
Focus Information Technology,IT company,IT people,IT event.

Chinese twitter:
http://weibo.com/itttkan(Chinese)


2011年8月20日星期六

编译Chromium 遇到的问题

下载源码,编译步骤按照

http://www.chromium.org/developers

1、出现如下错误
CXX(target) out/Debug/obj.target/content_utility/content/utility/utility_main.o
CXX(target) out/Debug/obj.target/content_utility/content/utility/utility_thread.o
AR(target) out/Debug/obj.target/content/libcontent_utility.a
ACTION Generating manpage out/Debug/chrome.1
COPY out/Debug/chrome-wrapper
COPY out/Debug/xdg-mime
COPY out/Debug/xdg-settings
COPY out/Debug/product_logo_48.png
CXX(target) out/Debug/obj.target/chrome/chrome/app/chrome_main.o
CXX(target) out/Debug/obj.target/chrome/chrome/app/chrome_main_posix.o
CXX(target) out/Debug/obj.target/chrome/chrome/app/chrome_exe_main_gtk.o
CXX(target) out/Debug/obj.target/chrome/content/common/content_switches.o
LINK(target) out/Debug/chrome
/usr/bin/ld: failed to set dynamic section sizes: Memory exhausted
collect2: ld returned 1 exit status
make: *** [out/Debug/chrome] Error 1

  

由于自动安装编译工具的时候

.../chromium/src $ ./build/install-build-deps.sh

没有使用 gold-ld ,用原有的ld去链接内存会吃不消。

所以再用apt安装 gold-ld ,ok

再次编译链接,出现
sunshine@linux:~/sunshine/workspace/chromium/src$ make out/Debug/chrome
ACTION Extracting last change to /home/zhangyang09/sda8/home/sunshine/workspace/chromium/src/out/Debug/obj/gen/build/LASTCHANGE out/Debug/obj/gen/build/LASTCHANGE.always
LINK(target) out/Debug/chrome
/usr/bin/ld: fatal error: out/Debug/chrome: mmap: failed to allocate 948178766 bytes for output file: Cannot allocate memory

找到http://code.google.com/p/chromium/issues/detail?id=82056

switch to gold-cvs

去http://www.gnu.org/software/binutils/

cvs 下载最新版本 gold

按照http://aur.archlinux.org/packages/gold-cvs/PKGBUILD

编译命令编译后安装。

再次编译链接Chromium 成功。

标签: Chromium

2011年8月4日星期四

dd命令详解

一、dd命令的解释。

dd:用指定大小的块拷贝一个文件,并在拷贝的同时进行指定的转换。

注意:指定数字的地方若以下列字符结尾则乘以相应的数字:b=512;c=1;k=1024;w=2

参数:

1. if=文件名:输入文件名,缺省为标准输入。即指定源文件。< if=input file >

2. of=文件名:输出文件名,缺省为标准输出。即指定目的文件。< of=output file >

3. ibs=bytes:一次读入bytes个字节,即指定一个块大小为bytes个字节。

obs=bytes:一次输出bytes个字节,即指定一个块大小为bytes个字节。

bs=bytes:同时设置读入/输出的块大小为bytes个字节。

4. cbs=bytes:一次转换bytes个字节,即指定转换缓冲区大小。

5. skip=blocks:从输入文件开头跳过blocks个块后再开始复制。

6. seek=blocks:从输出文件开头跳过blocks个块后再开始复制。

注意:通常只用当输出文件是磁盘或磁带时才有效,即备份到磁盘或磁带时才有效。

7. count=blocks:仅拷贝blocks个块,块大小等于ibs指定的字节数。

8. conv=conversion:用指定的参数转换文件。

ascii:转换ebcdic为ascii

ebcdic:转换ascii为ebcdic

ibm:转换ascii为alternate ebcdic

block:把每一行转换为长度为cbs,不足部分用空格填充

unblock:使每一行的长度都为cbs,不足部分用空格填充

lcase:把大写字符转换为小写字符

ucase:把小写字符转换为大写字符

swab:交换输入的每对字节

noerror:出错时不停止

notrunc:不截短输出文件

sync:将每个输入块填充到ibs个字节,不足部分用空(NUL)字符补齐。

二、dd应用实例。

1.将本地的/dev/hdb整盘备份到/dev/hdd

dd if=/dev/hdb of=/dev/hdd

2.将/dev/hdb全盘数据备份到指定路径的image文件

dd if=/dev/hdb of=/root/image

3.将备份文件恢复到指定盘

dd if=/root/image of=/dev/hdb

4.备份/dev/hdb全盘数据,并利用gzip工具进行压缩,保存到指定路径

dd if=/dev/hdb | gzip > /root/image.gz

5.将压缩的备份文件恢复到指定盘

gzip -dc /root/image.gz | dd of=/dev/hdb

6.备份磁盘开始的512个字节大小的MBR信息到指定文件

dd if=/dev/hda of=/root/image count=1 bs=512

count=1指仅拷贝一个块;bs=512指块大小为512个字节

恢复:dd if=/root/image of=/dev/hda

7.备份软盘

dd if=/dev/fd0 of=disk.img count=1 bs=1440k (即块大小为1.44M)

8.拷贝内存内容到硬盘

dd if=/dev/mem of=/root/mem.bin bs=1024 (指定块大小为1k)

9.拷贝光盘内容到指定文件夹,并保存为cd.iso文件

dd if=/dev/cdrom(hdc) of=/root/cd.iso

10.增加swap分区文件大小

第一步:创建一个大小为256M的文件:

dd if=/dev/zero of=/swapfile bs=1024 count=262144

第二步:把这个文件变成swap文件:

mkswap /swapfile

第三步:启用这个swap文件:

swapon /swapfile

第四步:编辑/etc/fstab文件,使在每次开机时自动加载swap文件:

/swapfile swap swap default 0 0

11.销毁磁盘数据

dd if=/dev/urandom of=/dev/hda1

注意:利用随机的数据填充硬盘,在某些必要的场合可以用来销毁数据。

12.测试硬盘的读写速度

dd if=/dev/zero bs=1024 count=1000000 of=/root/1Gb.file

dd if=/root/1Gb.file bs=64k | dd of=/dev/null

通过以上两个命令输出的命令执行时间,可以计算出硬盘的读、写速度。

13.确定硬盘的最佳块大小:

dd if=/dev/zero bs=1024 count=1000000 of=/root/1Gb.file

dd if=/dev/zero bs=2048 count=500000 of=/root/1Gb.file

dd if=/dev/zero bs=4096 count=250000 of=/root/1Gb.file

dd if=/dev/zero bs=8192 count=125000 of=/root/1Gb.file

通过比较以上命令输出中所显示的命令执行时间,即可确定系统最佳的块大小。

14.修复硬盘:

dd if=/dev/sda of=/dev/sda 或dd if=/dev/hda of=/dev/hda

当硬盘较长时间(一年以上)放置不使用后,磁盘上会产生magnetic flux point,当磁头读到这些区域时会遇到困难,并可能导致I/O错误。当这种情况影响到硬盘的第一个扇区时,可能导致硬盘报废。上边的命令有可能使这些数 据起死回生。并且这个过程是安全、高效的。

/dev/null和/dev/zero的区别
/dev/null,外号叫无底洞,你可以向它输出任何数据,它通吃,并且不会撑着!
/dev/zero,是一个输入设备,你可你用它来初始化文件。

/dev/null,外号叫无底洞,你可以向它输出任何数据,它通吃,并且不会撑着!
/dev/zero,是一个输入设备,你可你用它来初始化文件。

/dev/null------它是空设备,也称为位桶(bit bucket)。任何写入它的输出都会被抛弃。如果不想让消息以标准输出显示或写入文件,那么可以将消息重定向到位桶。
/dev/zero------该设备无穷尽地提供0,可以使用任何你需要的数目——设备提供的要多的多。他可以用于向设备或文件写入字符串0。

oracle@localhost oracle]$if=/dev/zero of=./test.txt bs=1k count=1
oracle@localhost oracle]$ ls -l
total 4
-rw-r--r-- 1 oracle dba 1024 Jul 15 16:56 test.txt

eg,

find / -name access_log 2>/dev/null

使用/dev/null
把/dev/null看作"黑洞". 它非常等价于一个只写文件. 所有写入它的内容都会永远丢失. 而尝试从它那儿读取内容则什么也读不到. 然而, /dev/null对命令行和脚本都非常的有用.

禁止标准输出. 1 cat $filename >/dev/null
2 # 文件内容丢失,而不会输出到标准输出.


禁止标准错误 (来自例子 12-3). 1 rm $badname 2>/dev/null
2 # 这样错误信息[标准错误]就被丢到太平洋去了.


禁止标准输出和标准错误的输出. 1 cat $filename 2>/dev/null >/dev/null
2 # 如果"$filename"不存在,将不会有任何错误信息提示.
3 # 如果"$filename"存在, 文件的内容不会打印到标准输出.
4 # 因此Therefore, 上面的代码根本不会输出任何信息.
5 #
6 # 当只想测试命令的退出码而不想有任何输出时非常有用。
7 #
8 #
9 # cat $filename &>/dev/null
10 # 也可以, 由 Baris Cicek 指出.


Deleting contents of a file, but preserving the file itself, with all attendant permissions (from Example 2-1 and Example 2-3): 1 cat /dev/null > /var/log/messages
2 # : > /var/log/messages 有同样的效果, 但不会产生新的进程.(因为:是内建的)
3
4 cat /dev/null > /var/log/wtmp


自动清空日志文件的内容 (特别适合处理这些由商业Web站点发送的讨厌的"cookies"):


--------------------------------------------------------------------------------

例子 28-1. 隐藏cookie而不再使用

1 if [ -f ~/.netscape/cookies ] # 如果存在则删除.
2 then
3 rm -f ~/.netscape/cookies
4 fi
5
6 ln -s /dev/null ~/.netscape/cookies
7 # 现在所有的cookies都会丢入黑洞而不会保存在磁盘上了.

--------------------------------------------------------------------------------

使用/dev/zero
像/dev/null一样, /dev/zero也是一个伪文件, 但它实际上产生连续不断的null的流(二进制的零流,而不是ASCII型的). 写入它的输出会丢失不见, 而从/dev/zero读出一连串的null也比较困难, 虽然这也能通过od或一个十六进制编辑器来做到. /dev/zero主要的用处是用来创建一个指定长度用于初始化的空文件,就像临时交换文件.


--------------------------------------------------------------------------------

例子 28-2. 用/dev/zero创建一个交换临时文件

1 #!/bin/bash
2 # 创建一个交换文件.
3
4 ROOT_UID=0 # Root 用户的 $UID 是 0.
5 E_WRONG_USER=65 # 不是 root?
6
7 FILE=/swap
8 BLOCKSIZE=1024
9 MINBLOCKS=40
10 SUCCESS=0
11
12
13 # 这个脚本必须用root来运行.
14 if [ "$UID" -ne "$ROOT_UID" ]
15 then
16 echo; echo "You must be root to run this script."; echo
17 exit $E_WRONG_USER
18 fi
19
20
21 blocks=${1:-$MINBLOCKS} # 如果命令行没有指定,
22 #+ 则设置为默认的40块.
23 # 上面这句等同如:
24 # --------------------------------------------------
25 # if [ -n "$1" ]
26 # then
27 # blocks=$1
28 # else
29 # blocks=$MINBLOCKS
30 # fi
31 # --------------------------------------------------
32
33
34 if [ "$blocks" -lt $MINBLOCKS ]
35 then
36 blocks=$MINBLOCKS # 最少要有 40 个块长.
37 fi
38
39
40 echo "Creating swap file of size $blocks blocks (KB)."
41 dd if=/dev/zero of=$FILE bs=$BLOCKSIZE count=$blocks # 把零写入文件.
42
43 mkswap $FILE $blocks # 将此文件建为交换文件(或称交换分区).
44 swapon $FILE # 激活交换文件.
45
46 echo "Swap file created and activated."
47
48 exit $SUCCESS

--------------------------------------------------------------------------------

关于 /dev/zero 的另一个应用是为特定的目的而用零去填充一个指定大小的文件, 如挂载一个文件系统到环回设备 (loopback device) (参考例子 13-8) 或"安全地" 删除一个文件(参考例子 12-55).


--------------------------------------------------------------------------------

例子 28-3. 创建ramdisk

1 #!/bin/bash
2 # ramdisk.sh
3
4 # "ramdisk"是系统RAM内存的一段,
5 #+ 它可以被当成是一个文件系统来操作.
6 # 它的优点是存取速度非常快 (包括读和写).
7 # 缺点: 易失性, 当计算机重启或关机时会丢失数据.
8 #+ 会减少系统可用的RAM.
9 #
10 # 那么ramdisk有什么作用呢?
11 # 保存一个较大的数据集在ramdisk, 比如一张表或字典,
12 #+ 这样可以加速数据查询, 因为在内存里查找比在磁盘里查找快得多.
13
14
15 E_NON_ROOT_USER=70 # 必须用root来运行.
16 ROOTUSER_NAME=root
17
18 MOUNTPT=/mnt/ramdisk
19 SIZE=2000 # 2K 个块 (可以合适的做修改)
20 BLOCKSIZE=1024 # 每块有1K (1024 byte) 的大小
21 DEVICE=/dev/ram0 # 第一个 ram 设备
22
23 username=`id -nu`
24 if [ "$username" != "$ROOTUSER_NAME" ]
25 then
26 echo "Must be root to run /"`basename $0`/"."
27 exit $E_NON_ROOT_USER
28 fi
29
30 if [ ! -d "$MOUNTPT" ] # 测试挂载点是否已经存在了,
31 then #+ 如果这个脚本已经运行了好几次了就不会再建这个目录了
32 mkdir $MOUNTPT #+ 因为前面已经建立了.
33 fi
34
35 dd if=/dev/zero of=$DEVICE count=$SIZE bs=$BLOCKSIZE # 把RAM设备的内容用零填充.
36 # 为何需要这么做?
37 mke2fs $DEVICE # 在RAM设备上创建一个ext2文件系统.
38 mount $DEVICE $MOUNTPT # 挂载设备.
39 chmod 777 $MOUNTPT # 使普通用户也可以存取这个ramdisk.
40 # 但是, 只能由root来缷载它.
41
42 echo "/"$MOUNTPT/" now available for use."
43 # 现在 ramdisk 即使普通用户也可以用来存取文件了.
44
45 # 注意, ramdisk是易失的, 所以当计算机系统重启或关机时ramdisk里的内容会消失.
46 #
47 # 拷贝所有你想保存文件到一个常规的磁盘目录下.
48
49 # 重启之后, 运行这个脚本再次建立起一个 ramdisk.
50 # 仅重新加载 /mnt/ramdisk 而没有其他的步骤将不会正确工作.
51
52 # 如果加以改进, 这个脚本可以放在 /etc/rc.d/rc.local,
53 #+ 以使系统启动时能自动设立一个ramdisk.
54 # 这样很合适速度要求高的数据库服务器.
55
56 exit 0


这样,一些诸如一些错误信息就不会显示出来。

2011年8月1日星期一

dd: 穷人的硬盘备份与恢复工具

如果你的计算机的硬盘毁坏了,就得重新安装操作系统。费时费力不说,你的数据文件也丢失了。如果你愿意花钱,可以买硬盘备份软件。NORTON 就有这个功能。不过你得年年交费。

我有个小经验,多年使用,从无差错,也从来没人来收费。有兴趣的话,你不妨试试这个工具,那就是LINUX 的dd 指令。

基本上所有LINUX系统都会带dd指令。所有任何LINUX版本都可以用。我用得顺手的是KNOPPIX。因为它有几个特点。
1)它是LIVE CD。整个系统在一张CD光盘上。不用安装到硬盘上,对现存的系统没有任何影响。
2)它启动较快。红旗7也是LIVE CD,可启动时间无法忍受。
3)它虽小却能兼容许多硬件,我家里的计算机机龄从5年到1年都有,从没有启不动的。
4)它在 X WINDOW 下的 FILE MANAGER 会显示当前所在的路径。FEDORA 也是 LIVE CD,但它的 FILE MANAGER 就不显示路径,你不容易确定源盘和的盘。显示当前所在的路径这点对于做硬盘备份很有用。你绝对不可以把备份的“源盘”和“的盘”搞混了。


准备工作(一次性):

1。准备一个备份硬盘,容量大大益善(比如1TB,现在才卖五、六十美元,2TB,一百美元出头),买一个USB硬盘的外壳(20美元),把硬盘装入外壳,就成了你的USB外接备份硬盘。如嫌麻烦,直接买一个USB外接硬盘。

2。启动windows系统,把备份硬盘插入USB插口。如果备份硬盘尚未格式,你可以格式它)。把它命名为“BACKUP” (可以任意命名,只是便于在LINUX系统中区别硬盘)。

3。从下面的链接下载KNOPPIX 的ISO 文件(我不懂德语,选英文版的ISO) http://knoppix.cs.wisc.edu/pub/mirrors/linux/knoppix

4。下载后核对md5sum,确定下载过程中ISO文件的可靠性。把 ISO 文件做成光盘。(注意不是把ISO文件简单地复制到光盘)。WINDOWS 7 用户可以双击ISO 文件。XP用户需要光盘烧录软件把ISO烧录成光盘。

5。关机。
现在你有了KNOPPIX LIVE CD,有了备份用的USB硬盘,就可以做计算机硬盘的备份了。


硬盘备份:

1。计算机启动前,插入USB备份硬盘。

2。用KNOPPIX LIVE CD 启动计算机(选择光盘启动)。
选择 11。 Graphical Programs -> Start1xde Full X Screen

3。启动后,点击桌面左下方的 PCMan File Manager(本步骤3至步骤6的目的是确定“源盘”和“的盘”)


File Manger 打开如下图所示。



4。点击左边的硬盘标识,寻找源盘。一般是容量大的。见到WINDOWS系统下常见的文件夹时,你可以确定源盘在KNOPPIX系统下如何识别的。从上图可见机器内装的硬盘是sda。

5。点击“BACKUP”硬盘,这就是“的盘”。一路点击到你所希望储存备份的文件夹。下图所示的文件夹都是我建的,如果你的备份硬盘是新的,那就没有文件夹也没有任何文件。你可以建文件夹,也可以不建。在这个例子中,我要把备份存入“/media/sdc1/S10-2”


6。复制你要储存备份的路径。具体做法是鼠标抓住(或叫HIGHLIGHT)“/media/sdc1/S10-2” - > Edit - > Copy

7。点击桌面左下方 Terminal emulator


Terminal emulator 打开如下:


8。在 Terminal emulator 输入:
dd if=/dev/sda of=/media/sdc1/S10-2/MYBACKUP.img bs=512k &

“of”跟随的路径可以粘贴上去的,在第六步时我们复制了路径。只要在“of=”后面点击鼠标的轮键即可。然后加上你想要的文件名。

解释一下指令:
“if” 是 input file 的意思,“if”跟随的文件名是位于/dev下的sda(UNIX 和 LINUX 把所有DEVICE 都看作是一个文件)。“sda”是我们在第四步中确定的源盘。

“of”是 output file 的意思。“of”跟随的是备份的文件及路径。这个例子中“MYBCKUP.img”的备份文件将被储存在/media/sdc1/S10-2文件夹内,sdc是那个被命名为“BACKUP”的外接USB硬盘。

bs 是 buffer space。我个人经验,大多数硬盘的最佳工作状态是一次读写512K。

& 是要计算机在后台执行指令。这样,不用等备份做完你的Terminal emulator 就可以解放出来了。


千万注意: “if=” 和“of=”所跟随的路径不可搞错。一搞混,你的系统就完了。

根据不同的计算机速度,源盘的大小,指令需要运行几个小时。如果你不关闭发指令的Terminal emulator,当指令运行完毕时,你会得到运行报告。

硬盘备份文件和源硬盘的容量相等。它是源盘完全一样的镜像。


硬盘复原:

不管因为什么原因,机器上的硬盘遭到破坏时,都可以用以下步骤恢复。

1。KNOPPIX LIVE Cd启动。

2。打开FILE MANAGER,点击你机器上的硬盘和备份硬盘。(点击硬盘,KNOPPIX会自动把备份硬盘载入系统)。记住两个硬盘的路径和文件名。sda 一般是机器上的硬盘。sdb 一般是外接USB硬盘。但也不一定,视系统上的硬件而定。)

3。打开Terminal emulator 输入:

dd if=/media/sdc1/S10-2/MYBACKUP.img of=/dev/sda bs=512k &

注意到了没有,和硬盘备份操作不同,复原时input file 跟随的文件和 output file 跟随的文件名反了个。原来的源盘成了现在的的盘,原来的的盘现在成了源盘。

这样的镜像复原很有用。即使机器上的硬盘砸坏了,你买一个新的,仍然可以恢复。

以后有空再介绍一个镜像备份时压缩空间的小窍门。尤其是如果源盘上未用空间很多的情况下,备份文件可以压缩到很小,省下很多“的盘”的空间。

Read more: dd: 穷人的硬盘备份与恢复工具 - 实用电脑 - 贝壳村 -

2011年7月25日星期一

如何制作硬盘备份的压缩镜像?dd和gzip

我在《dd: 穷人的硬盘备份与恢复工具》中分享了如何做硬盘的镜像备份和硬盘恢复的小经验。不过,光用dd指令做硬盘备份,那么备份镜像文件占据的空间和源盘空间一模一样。较新的机器,不少内装的硬盘高达500GB或1TB。那么备份USB盘就需要有相应的空间。其实,硬盘上有许多未用空间,把未用空间也原样备份实在是资源浪费。我们不妨把镜像备份压缩起来。

在《dd: 穷人的硬盘备份与恢复工具》一文中我们知道如何用dd作镜像备份。我们用的指令类似于:

dd if=/dev/sda of=/media/sdc1/yourBackupDir/BACKUP.img bs=512k &


而现在,要制作压缩镜像备份,我们得把dd和gzip指令结合起来。以下是制作压缩镜像备份的指令:

dd if=/dev/sda ibs=512k | gzip > /media/sdc1/yourBackupDir/backup.gz


我解释一下指令。

if 跟随的是输入文件。这里输入文件是device下面的整个硬盘sda

这里我们不见了of(输出文件),而代之以另一个程序,叫gzip的压缩程序。dd程序的输出被送往gzip,成了gzip的输入。通过gzip的压缩,它的输出被记录在文件backup.gz中。文件backup.gz的路径是挂载于/media下的USB硬盘sdc1的文件夹yourBackupDir。

用这个指令,可以大大减少备份的空间。我的一台Lenovo台式电脑配备300GB的硬盘,安装WINDOWS XP、大量Lenovo随机软件和小孩的游戏软件。经过gzip的压缩,备份被压缩在60GB左右。我自己使用的Lenovo S10-2 Netbook,配备160GB硬盘,安装WINDOWS XP、Lenovo随机软件,TradeStation 8,OpenOffice,以及第二个操作系统“红旗Linux 6.3”。它的压缩镜像备份是22.3GB。

那么,压缩的镜像备份如何恢复呢?硬盘恢复的指令是:

gzip -dc /media/sdc1/yourBackupDir/backup.gz | dd of=/dev/sda obs=512k &


这条指令的意思是:

gzip的输入是存于硬盘sdc1中的压缩镜像备份backup.gz。gzip 的 -d 表示解压缩;-c 是把输出写到标准输出端(通常是屏幕)。然后把gzip的输出作为 dd 指令的输入。而dd指令的输出则是硬盘sda。 dd 指令的 obs=512k 表示 dd 的输出缓冲是512k。就是说 dd 等待gzip的输入,积累到了512k之后才向硬盘sda写一次。

用dd和gzip结合的方法压缩的效果不错。不过对于使用多年的机器,压缩效果就不如新的时候那么好了。这是为什么呢?

我们知道,文件压缩的原理是建立一个索引表,用较短的字符串来替代较长的字符串。比如字符串:

“This_is_a_test._This_is_a_test._This_is_a_test._This_is_a_test._”(我在这里用_表示空格,以便看清楚)。

如果我们从左到右逐字扫描第一个重复是is_。在索引表里我们建立第一个替代:
1 3 3 (第一目索引从第三个位置起,长度为3,即is_所在的位置)

这样,我们的字符串就可以写成:

“This_1a_test._This_1a_test._This_1a_test._This_1a_test._”

我们接着扫描:“This_1a_test._” 又有重复。于是索引表就成了:
1 3 3
2 1 14 (第二目检索从第一位起,长度为14)

于是,字符串可以些成:

“This_1a_test._222”


然后把检索表加在压缩文件后面,就形成了压缩文件。所有文件的储存最终都是2进位制的0和1的数字,重复率很高,所以压缩很有效。


复原时,反向运作即可复原。


当然,这只是简单说一下无损压缩的原理。每个压缩软件都有可能有不同的做法。我们用的gzip具体怎么工作的,我也不清楚。有兴趣可以查看gzip的源码。了解原理的目的是为了说明我的应用。


在前面解释文件压缩原理的那个例子中,我们看到,一个文件重复的字串越多,重复的字串越长,那么压缩效果越好。未写过的空间原本都是2进位的0,会有很长、很多的重复,有利于压缩。然而,在我们使用计算机的过程中,我们不断新建文件,不断删除文件,不断把文件来回复制、删除或下载、删除。操作系统本身也不断生成各种文件,用完后又删除。这些看似被删除的文件其实并没有真的被删除。操作系统只是在文件管理系统的检索表中把文件名的头一个字母抹掉。这样做,一是为了删除的操作快,二是为了万一用户后悔,数据可以尽可以多地恢复。操作系统在创建新的文件时,会尽可能写在完全未被使用过的空间,而不是写在已经抹掉的文件空间。这也是为了万一需要被删除的文件尽可以多地恢复。但这个做法对压缩却不利的因素。因为原来未写过的空间一色清的2进位0,现在可能被各种文件写过后,重复率降低,从而降低了压缩的效率。


我们有没有办法提高压缩效率呢?有。答案还是能在dd指令中找到。那就是,先用dd指令把硬盘所有未用空间写成0,这样已被删文件的空间就重新被0占据。这个指令是:

dd if=/dev/zero of=/media/sda1/zerofile bs=512k &


它会建立一个命名为zerofile的文件(你可以给任何文件名),dd会用0写这个文件,直到这个文件占据逻辑硬盘sda1中所有的剩余空间,无法再写为止。之后,删除这个zerofile,你就把所有未用空间重新归0了。归0之后再作硬盘的镜像压缩备份,那么备份就会小很多。

Read more: 如何制作硬盘备份的压缩镜像?dd和gzip - 老石的日志 - 贝壳村 -

2011年7月14日星期四

给信息安全从业人员的信:跳槽的利与弊

来自InfoSecLeaders.com的信息安全职业专家Lee Kushner和Mike Murray回复了一个读者关于信息安全职业规划的问题。他们帮助一个信息安全从业人员作出正确的职业道路选择 ,请阅读一下两封信了解更多信息。

  InfoSecLeaders,你好:

  目前我正处于自己信息安全生涯的早期阶段,现在当我踏上成为一名首席信息安全执行官(CISO)的旅途时,我对自己的职业规划产生了疑问。
  大约三年前,我从一个知名的信息安全学校获得本科学位。在上学期间,我在纽约的一家大型金融服务公司作为一名信息安全实习生工作。完成学位后,我收到了该公司提供的安全分析师职位,从此以后我一直在那里工作。

  最近,我得到了一个外部的工作机会,并正在考虑。这份工作是在一家相对小的公司,但是承担的责任会更大。这个机会挺吸引人的,但是我又确实没有理由离开我目前的雇主。我目前的雇主给我提供了极好的内部和外部培训(我已经有SANS和Black Hat认证,并且在来年会得到额外的认证)。此外,我的薪酬还不错,我的工作也得到认可,并且最近我得到了微小的提升(现在我是一名高级分析师)。

  我已经看过了许多来自信息安全从业人员的帖子,关于换工作是为了信息安全生涯前进的需要。但是我不确定这个对我是否适用。我也看过很多帖子说如果你为一名雇主工作很长时间,未来的雇主会质疑你的积极性和期望。

  我想得到你的建议:对我来说频繁地更换雇主以便在职业路上前进是至关重要的么?如果我为目前的雇主工作8到10年我能成为一名CISO吗?
  期望得到你的回复。

××××××××××××以下是回信×××××××××××××××××××

  致以诚挚地问候,
  忠诚是错的吗?

  忠实的读者,你好:
  让我从这句老话开始,“情人眼里出西施”。

  我提这个意思是在职业前进过程背后有许多不同的想法。无论是频繁地更换雇主,还是为某个雇主工作很长一段时间,在判断你是否做出正确选择的主要决定性因素是,你的下个雇主的招聘经理,这个人对于雇佣跳槽者是持赞同还是否定态度?这些人在决定你是否适合其职位,甚至是否为你提供面试机会时扮演着重要的角色。

  然而,如果你在寻求常规的看法时,我会建议你为一个雇主工作并且证明你的雇佣关系的稳定性。当涉及到促进职业发展和前进时,这样会帮你胜过频繁跳槽的人(你可能觉得这很奇怪,因为正如你所知,作为一名信息安全招聘人员,我的工作就是帮助人们更换工作)。

  许多信息安全从业人员相信,为了职业的提升他们必须更换工作,其中的一个主要原因是:企业通常雇佣他们来解决某个特定的技术上的信息安全问题,而一旦问题解决后,他们的工作就变得枯燥乏味起来。因此,为了增加技能他们觉得必须寻找不同的、有更多紧迫问题需要解决的新公司。

  另外,如果你的职业目标是成为一名首席信息安全架构师或是工程师,考虑到当你在不同的环境中尝试解决智力上富有挑战性的问题时,你可能会面对各种各样的挑战,那么定期地更换工作可能是一个好的策略。但是,由于经常地更换职位,你无法从长期地解决组织的问题中获益,这本来可能是提供你发展管理和领导技能的机会。

  基于你所说的情况以及考虑到你长期的职业目标是成为一名首席信息安全官,我认为你最好为你目前的雇主继续工作,原因如下:

  1)一开始他们就认可了你的天赋,并且在恶劣的经济环境下为供你一份工作,尤其他们还是金融服务公司。
  2)他们已经通过认证、参加会议和职业发展为你提供职业成长的能力。
  3)你认为自己的薪酬还不错。
  4)你刚刚得到了提升。

  在我看来,你目前的雇主已经为你提供了一个职业成长和发展的环境。你想做的可能是安排一些时间,同你的经理就你的职业发展和未来规划进行讨论。你甚至可以说最近有别的雇主联系你,为你提供机会,但是由于你对当前雇主的忠诚和感激你拒绝了。这样做的时候你巧妙地给当前的雇主施了压,从而迫使企业考虑给你更多的机会来发展你的“CISO”技能,否则企业就要冒失去你的风险。

  最后,要完成你的职业目标有许多不同的路径。由于信息安全职业仍处在形成阶段,标准的职业发展不一定存在,所以任何一个过程都是可接受的。不过,随着我们的职业变得更成熟和主流,我们将必须接受这个事实:我们不得不按照其它职业所执行的人力资源规则标准来运行,这其包括了回答更多的关于“雇佣关系稳定性”的问题。

希望以上我们所说的可以帮助你。

Lee和Mike

2011年7月13日星期三

DDoS攻击对移动网络安全的威胁

由于使用3G移动设备(如智能电话或带无线网卡的PC)连接Web 2.0应用(如视频,社交媒体)的增多,穿越移动宽带网络的数据流量以非凡的速率增长。例如,Cisco公司便预测到2013年,移动数据将会增长66倍。

为满足这种爆发性需求,移动营运商一直在网络基础设施(如3G到LTE)方面进行主要投资,并着眼于创建服务和提升总体用户体验。移动营运商处于高度竞争的市场中,因而服务差异化和客户满意度是提高客户忠诚度和每用户平均收入指标(ARPU)的关键因素。

可是,移动网络的安全状况并未随数据网络本身的增长而相应演进。值得注意的是,就安全而言,许多移动及固定无线网络运营商似乎仅具备与8到10年前有线运营商之状况相近的保护能力。

根据Arbor公司2010年度全球互联网基础设施安全报告,就网络的可见性和控制,以及保护自身和客户免受攻击的整体能力而言,发展最迅速的手机和固网的无线网络运营服务可能是互联网服务提供商(ISP)中缺乏充分准备的一环。手机和固网的无线网络运营商都表示对其网络上的数据流量几乎没有可见性。

有近60%的受访者表示对其无线分组核心的流量缺乏可见性或受限。
有46%的受访者表示在年报调查时段内经历过因网络安全事故造成的客户使用瘫痪事件。根据前面提到的网络可见性的欠缺情况,我们认为这个46%的比例可能是低估了。

从 某种意义上讲,移动运营商在某程度上已成为ISP了。在短短几年中,他们已将其投资从语音转向移动数据和视频业务。支撑这些投资的最基本要素是网络和服务 本身的可用性。随着其业务变成以数据为中心,并且转为全IP网络,移动运营商正在变成数据中心运营商。互联网数据中心可用性的头号威胁是分布式拒绝服务(DDoS)攻击,而行动营运商也正在面对同样的威胁。

多户环境(如IDC) 是DDoS攻击的首要目标,因为这种环境有可能连带破坏多位客户的资料联机。另一方面,攻击的变化也很快,从基于数量的直接压跨数据连接,变成针对特定服 务的更复杂的应用层DDoS攻击。应用层DDoS攻击不是大带宽的,因而难于识别,但它却能威胁到众多的服务。相当多的移动网络运营商表示,他们遭遇过直 接针对其支持附属基础设施要素的应用层DDoS攻击。这些要素包括DNS服务器、门户网站服务器、SMTP服务器、Diameter服务器,甚至GTP通道和SMS网关。

有56%的受访者表示其附属支持基础设施(如门户网站服务器、DNS和其它相关服务)在12 个月的年度调查期间遭受DDoS攻击的不利影响。
有44%的受访者表示移动电话或具备无线连接的终端用户计算机遭受DDoS攻击的影响。
有50%的受访者表示他们观察到源于受影响用户节点的向外/跨界DDoS攻击。假设如前所述,网络的可见性处于缺失状态,我们认为这个统计数据可能也低估了。
大约22%的受访者表示其网络上基于状态检测的防火墙和/或NAT设备在调查期间遭受DDoS攻击的不利影响。

电脑黑客在 寻找机会,他们看到移动网络上的大量内容,从基础设施本身,到无处不在的接入设备,以及利用这些设备装载各种形式的个人信息的用户。正如2010年度互联 网基础设施安全报告所述,移动营运商是在快步追赶。他们缺乏监视网络上恶意数据流量的能力,缺乏采取措施的能力。他们正在使用的网络带宽不断增加,脆弱的 基础设施,很少的网络控制点,但他们却要与无限的网络僵尸攻击抗争。从安全角度看,移动网络数据的增长将改变游戏规则。