2

我已经在两个不同的服务器上部署了 Java 代码。代码正在执行文件写入操作。

在本地服务器上,参数为:

unname -a

SunOS snmi5001 5.10 Generic_120011-14 sun4u sparc SUNW,SPARC-Enterprise

ulimit -a

time(seconds)        unlimited
file(blocks)         unlimited
data(kbytes)         unlimited
stack(kbytes)        389296
coredump(blocks)     unlimited
nofiles(descriptors) 20000
vmemory(kbytes)      unlimited

Java版本:

java version "1.5.0_12"
Java(TM) 2 Runtime Environment, Standard Edition (build 1.5.0_12-b04)
Java HotSpot(TM) Server VM (build 1.5.0_12-b04, mixed mode)

在不同的(假设是 MIT)服务器上:

unname -a

SunOS au11qapcwbtels2 5.10 Generic_147440-05 sun4u sparc SUNW,Sun-Fire-15000

ulimit -a

time(seconds)        unlimited
file(blocks)         unlimited
data(kbytes)         unlimited
stack(kbytes)        8192
coredump(blocks)     unlimited
nofiles(descriptors) 256
vmemory(kbytes)      unlimited

java版本

java version "1.5.0_32"
Java(TM) 2 Runtime Environment, Standard Edition (build 1.5.0_32-b05)
Java HotSpot(TM) Server VM (build 1.5.0_32-b05, mixed mode)

问题是代码在 MIT 服务器上运行速度明显较慢。由于两个操作系统的 nofiles 和堆栈的差异,我想如果我改变它ulimit -sulimit -n它会有所作为。我无法在没有确认问题的情况下更改 MIT 服务器上的参数,因此减少了本地服务器的 ulimit 参数并重新测试。但代码完成执行是同一时间。

我不知道可能导致这种情况的操作系统参数之间有什么区别。任何帮助表示赞赏。如果有人告诉我要寻找什么,我会发布更多参数。

编辑:

对于 MIT 服务器

CPU 数量:psrinfo -p 24 psrinfo -pv

The physical processor has 2 virtual processors (0 4)
  UltraSPARC-IV+ (portid 0 impl 0x19 ver 0x24 clock 1800 MHz)
The physical processor has 2 virtual processors (1 5)
  UltraSPARC-IV+ (portid 1 impl 0x19 ver 0x24 clock 1800 MHz)
The physical processor has 2 virtual processors (2 6)
  UltraSPARC-IV+ (portid 2 impl 0x19 ver 0x24 clock 1800 MHz)
The physical processor has 2 virtual processors (3 7)
  UltraSPARC-IV+ (portid 3 impl 0x19 ver 0x24 clock 1800 MHz)
The physical processor has 2 virtual processors (32 36)
  UltraSPARC-IV+ (portid 32 impl 0x19 ver 0x24 clock 1800 MHz)
The physical processor has 2 virtual processors (33 37)
  UltraSPARC-IV+ (portid 33 impl 0x19 ver 0x24 clock 1800 MHz)
The physical processor has 2 virtual processors (34 38)
  UltraSPARC-IV+ (portid 34 impl 0x19 ver 0x24 clock 1800 MHz)
The physical processor has 2 virtual processors (35 39)
  UltraSPARC-IV+ (portid 35 impl 0x19 ver 0x24 clock 1800 MHz)
The physical processor has 2 virtual processors (64 68)
  UltraSPARC-IV+ (portid 64 impl 0x19 ver 0x24 clock 1800 MHz)
The physical processor has 2 virtual processors (65 69)
  UltraSPARC-IV+ (portid 65 impl 0x19 ver 0x24 clock 1800 MHz)
The physical processor has 2 virtual processors (66 70)
  UltraSPARC-IV+ (portid 66 impl 0x19 ver 0x24 clock 1800 MHz)
The physical processor has 2 virtual processors (67 71)
  UltraSPARC-IV+ (portid 67 impl 0x19 ver 0x24 clock 1800 MHz)
The physical processor has 2 virtual processors (96 100)
  UltraSPARC-IV+ (portid 96 impl 0x19 ver 0x24 clock 1800 MHz)
The physical processor has 2 virtual processors (97 101)
  UltraSPARC-IV+ (portid 97 impl 0x19 ver 0x24 clock 1800 MHz)
The physical processor has 2 virtual processors (98 102)
  UltraSPARC-IV+ (portid 98 impl 0x19 ver 0x24 clock 1800 MHz)
The physical processor has 2 virtual processors (99 103)
  UltraSPARC-IV+ (portid 99 impl 0x19 ver 0x24 clock 1800 MHz)
The physical processor has 2 virtual processors (128 132)
  UltraSPARC-IV+ (portid 128 impl 0x19 ver 0x24 clock 1800 MHz)
The physical processor has 2 virtual processors (129 133)
  UltraSPARC-IV+ (portid 129 impl 0x19 ver 0x24 clock 1800 MHz)
The physical processor has 2 virtual processors (130 134)
  UltraSPARC-IV+ (portid 130 impl 0x19 ver 0x24 clock 1800 MHz)
The physical processor has 2 virtual processors (131 135)
  UltraSPARC-IV+ (portid 131 impl 0x19 ver 0x24 clock 1800 MHz)
The physical processor has 2 virtual processors (224 228)
  UltraSPARC-IV+ (portid 224 impl 0x19 ver 0x24 clock 1800 MHz)
The physical processor has 2 virtual processors (225 229)
  UltraSPARC-IV+ (portid 225 impl 0x19 ver 0x24 clock 1800 MHz)
The physical processor has 2 virtual processors (226 230)
  UltraSPARC-IV+ (portid 226 impl 0x19 ver 0x24 clock 1800 MHz)
The physical processor has 2 virtual processors (227 231)
  UltraSPARC-IV+ (portid 227 impl 0x19 ver 0x24 clock 1800 MHz)

kstat cpu_info:

module: cpu_info                        instance: 231
name:   cpu_info231                     class:    misc
       brand                           UltraSPARC-IV+
       chip_id                         227
       clock_MHz                       1800
       core_id                         231
       cpu_fru                         hc:///component=SB7
       cpu_type                        sparcv9
       crtime                          587.102844985
       current_clock_Hz                1799843256
       device_ID                       9223937394446500460
       fpu_type                        sparcv9
       implementation                  UltraSPARC-IV+ (portid 227 impl 0x19 ver 0x24 clock 1800 MHz)
       pg_id                           48
       snaptime                        19846866.5310415
       state                           on-line
       state_begin                     1334854522

对于本地服务器,我只能获取 kstat 信息:

module: cpu_info                        instance: 0
name:   cpu_info0                       class:    misc
        brand                           SPARC64-VI
        chip_id                         1024
        clock_MHz                       2150
        core_id                         0
        cpu_fru                         hc:///component=/MBU_A/CPUM0
        cpu_type                        sparcv9
        crtime                          288.5675516
        device_ID                       250691889836161
        fpu_type                        sparcv9
        implementation                  SPARC64-VI (portid 1024 impl 0x6 ver 0x93 clock 2150 MHz)
        snaptime                        207506.8330168
        state                           on-line
        state_begin                     1354493257

module: cpu_info                        instance: 1
name:   cpu_info1                       class:    misc
        brand                           SPARC64-VI
        chip_id                         1024
        clock_MHz                       2150
        core_id                         0
        cpu_fru                         hc:///component=/MBU_A/CPUM0
        cpu_type                        sparcv9
        crtime                          323.4572206
        device_ID                       250691889836161
        fpu_type                        sparcv9
        implementation                  SPARC64-VI (portid 1024 impl 0x6 ver 0x93 clock 2150 MHz)
        snaptime                        207506.8336113
        state                           on-line
        state_begin                     1354493292

Similarly total 59 instances .

还有本地服务器的内存:vmstat

 kthr      memory            page            disk          faults      cpu
 r b w   swap  free  re  mf pi po fr de sr s0 s1 s4 s1   in   sy   cs us sy id
 0 0 0 143845984 93159232 431 895 1249 30 29 0 2 6 0 -0 1 3284 72450 6140 11 3 86

MIT 服务器的内存:vmstat

kthr      memory            page            disk          faults      cpu
r b w   swap  free  re  mf pi po fr de sr m0 m1 m2 m3   in   sy   cs us sy id
0 0 0 180243376 184123896 81 786 248 15 15 0 0 3 14 -0 4 1854 7563 2072 1 1 98

df -h 用于 MIT 服务器:

Filesystem             Size   Used  Available Capacity  Mounted on
/dev/md/dsk/d0         7.9G   6.7G       1.1G    86%    /
/devices                 0K     0K         0K     0%    /devices
ctfs                     0K     0K         0K     0%    /system/contract
proc                     0K     0K         0K     0%    /proc
mnttab                   0K     0K         0K     0%    /etc/mnttab
swap                   171G   1.7M       171G     1%    /etc/svc/volatile
objfs                    0K     0K         0K     0%    /system/object
sharefs                  0K     0K         0K     0%    /etc/dfs/sharetab
/platform/sun4u-us3/lib/libc_psr/libc_psr_hwcap2.so.1
                       7.9G   6.7G       1.1G    86%    /platform/sun4u-us3/lib/libc_psr.so.1
/platform/sun4u-us3/lib/sparcv9/libc_psr/libc_psr_hwcap2.so.1
                       7.9G   6.7G       1.1G    86%    /platform/sun4u-us3/lib/sparcv9/libc_psr.so.1
/dev/md/dsk/d3         7.9G   6.6G       1.2G    85%    /var
swap                   6.0G    56K       6.0G     1%    /tmp
swap                   171G    40K       171G     1%    /var/run
swap                   171G     0K       171G     0%    /dev/vx/dmp
swap                   171G     0K       171G     0%    /dev/vx/rdmp
/dev/md/dsk/d5         2.0G   393M       1.5G    21%    /home
/dev/vx/dsk/appdg/oravl
                       2.0G    17M       2.0G     1%    /ora
/dev/md/dsk/d60        1.9G   364M       1.5G    19%    /apps/stats
/dev/md/dsk/d4          16G   2.1G        14G    14%    /var/crash
/dev/md/dsk/d61       1005M   330M       594M    36%    /opt/controlm6
/dev/vx/dsk/appdg/oraproductvl
                        10G   2.3G       7.6G    24%    /ora/product
/dev/md/dsk/d63        963M   1.0M       904M     1%    /var/opt/app
/dev/vx/dsk/dmldg/appsdmlsvtvl
                       1.0T   130G       887G    13%    /apps/dml/svt
/dev/vx/dsk/appdg/homeappusersvl
                        20G    19G       645M    97%    /home/app/users
/dev/vx/dsk/dmldg/appsdmlmit2vl
                        20G    66M        20G     1%    /apps/dml/mit2
/dev/vx/dsk/dmldg/datadmlmit2vl
                       1.9T   1.1T       773G    61%    /data/dml/mit2
/dev/md/dsk/d62        9.8G    30M       9.7G     1%    /usr/openv/netbackup/logs

df -h 用于本地服务器:

   Filesystem             Size   Used  Available Capacity  Mounted on
/dev/dsk/c0t0d0s0       20G   7.7G        12G    40%    /
/devices                 0K     0K         0K     0%    /devices
ctfs                     0K     0K         0K     0%    /system/contract
proc                     0K     0K         0K     0%    /proc
mnttab                   0K     0K         0K     0%    /etc/mnttab
swap                   140G   1.6M       140G     1%    /etc/svc/volatile
objfs                    0K     0K         0K     0%    /system/object
fd                       0K     0K         0K     0%    /dev/fd
/dev/dsk/c0t0d0s5      9.8G   9.3G       483M    96%    /var
swap                   140G   504K       140G     1%    /tmp
swap                   140G    80K       140G     1%    /var/run
swap                   140G     0K       140G     0%    /dev/vx/dmp
swap                   140G     0K       140G     0%    /dev/vx/rdmp
/dev/dsk/c0t0d0s6      9.8G   9.4G       403M    96%    /opt
/dev/vx/dsk/eva8k/tlkhome
                       2.0G    66M       1.8G     4%    /tlkhome
/dev/vx/dsk/eva8k/tlkuser4
                        48G    26G        20G    57%    /tlkuser4
/dev/vx/dsk/eva8k/ST82
                       1.1G    17M       999M     2%    /ST_A_82
/dev/vx/dsk/eva8k/tlkuser11
                        37G    37G       176M   100%    /tlkuser11
/dev/vx/dsk/eva8k/oravl97
                        20G    12G       7.3G    63%    /oravl97
/dev/vx/dsk/eva8k/tlkuser5
                        32G    23G       8.3G    74%    /tlkuser5
/dev/vx/dsk/eva8k/mbtlkproj1
                       2.0G    18M       1.9G     1%    /mbtlkproj1
/dev/vx/dsk/eva8k/Oravol98
                        38G    25G        12G    68%    /oravl98
/dev/vx/dsk/eva8k_new/tlkuser15
                        57G    57G         0K   100%    /tlkuser15
/dev/vx/dsk/eva8k/Oravol1
                        39G    16G        22G    42%    /oravl01
/dev/vx/dsk/eva8k/Oravol99
                        30G   8.3G        20G    30%    /oravl99
/dev/vx/dsk/eva8k/tlkuser9
                        18G    13G       4.8G    73%    /tlkuser9
/dev/vx/dsk/eva8k/oravl08
                        32G    25G       6.3G    81%    /oravl08
/dev/vx/dsk/eva8k/oravl07
                        46G    45G       1.2G    98%    /oravl07
/dev/vx/dsk/eva8k/Oravol3
                       103G    90G        13G    88%    /oravl03
/dev/vx/dsk/eva8k_new/tlkuser12
                        79G    79G         0K   100%    /tlkuser12
/dev/vx/dsk/eva8k/Oravol4
                        88G    83G       4.3G    96%    /oravl04
/dev/vx/dsk/eva8k/oravl999
                        10G   401M       9.0G     5%    /oravl999
/dev/vx/dsk/eva8k_new/tlkuser14
                        54G    39G        15G    73%    /tlkuser14
/dev/vx/dsk/eva8k/Oravol2
                        85G    69G        14G    84%    /oravl02
/dev/vx/dsk/eva8k/sdkhome
                       1.0G    17M       944M     2%    /sdkhome
/dev/vx/dsk/eva8k/tlkuser7
                        44G    36G       7.8G    83%    /tlkuser7
/dev/vx/dsk/eva8k/tlkproj1
                       1.0G    17M       944M     2%    /tlkproj1
/dev/vx/dsk/eva8k/tlkuser3
                        35G    29G       5.9G    84%    /tlkuser3
/dev/vx/dsk/eva8k/tlkuser10
                        29G    29G       2.7M   100%    /tlkuser10
/dev/vx/dsk/eva8k/oravl05
                        30G    29G       1.2G    97%    /oravl05
/dev/vx/dsk/eva8k/oravl06
                        36G    34G       1.6G    96%    /oravl06
/dev/vx/dsk/eva8k/tlkuser6
                        29G    27G       2.1G    93%    /tlkuser6
/dev/vx/dsk/eva8k/tlkuser2
                        36G    30G       5.8G    84%    /tlkuser2
/dev/vx/dsk/eva8k/tlkuser1
                        66G    49G        16G    75%    /tlkuser1
/dev/vx/dsk/eva8k_new/tlkuser13
                        84G    77G       7.0G    92%    /tlkuser13
/dev/vx/dsk/eva8k_new/tlkuser16
                        44G    37G       6.4G    86%    /tlkuser16
/dev/vx/dsk/eva8k/db2
                       1.0G   593M       404M    60%    /opt/db2V8.1
/dev/vx/dsk/eva8k/WebSphere6029
                       3.0G   2.2G       776M    75%    /opt/WebSphere6029
/dev/vx/dsk/eva8k/websphere6
                       2.0G    88M       1.8G     5%    /opt/websphere6
/dev/vx/dsk/eva8k/wli
                       4.0G   1.4G       2.5G    36%    /opt/wli10gR3MP1
/dev/vx/dsk/eva8k/user
                       2.0G    19M       1.9G     1%    /user/telstra/history
dvcinasdm3:/oracle_cdrom/data
                       576G   576G       206M   100%    /oracle_cdrom
dvcinasdm2:/system_kits
                       822G   818G       4.2G   100%    /system_kits
dvcinasdm2:/db_share   295G   283G        13G    96%    /db_share
dvcinas2dm2:/system_data/data
                       315G   283G        32G    90%    /system_data
dvcinas2dm2:/ossinfra/data
                        49G    18G        32G    36%    /ossinfra

对于本地服务器,命令:/usr/sbin/prtpicl -v | egrep "devfs-path|driver-name|subsystem-id" | nawk '/:subsystem-id/ { print $0; getline; print $0; getline; print $0; }' | nawk -F: '{ print $2 }'给出:

subsystem-id     0x13a1
devfs-path       /pci@0,600000/pci@0/pci@8/pci@0/scsi@1
driver-name      mpt
subsystem-id     0x1648
devfs-path       /pci@0,600000/pci@0/pci@8/pci@0/network@2
driver-name      bge
subsystem-id     0x1648
devfs-path       /pci@0,600000/pci@0/pci@8/pci@0/network@2,1
driver-name      bge
subsystem-id     0xfc11
devfs-path       /pci@0,600000/pci@0/pci@8/pci@0,1/SUNW,emlxs@1
driver-name      emlxs
subsystem-id     0x125e
devfs-path       /pci@3,700000/network
driver-name      e1000g
subsystem-id     0x125e
devfs-path       /pci@3,700000/network
driver-name      e1000g
subsystem-id     0x13a1
devfs-path       /pci@10,600000/pci@0/pci@8/pci@0/scsi@1
driver-name      mpt
subsystem-id     0x1648
devfs-path       /pci@10,600000/pci@0/pci@8/pci@0/network
driver-name      bge
subsystem-id     0x1648
devfs-path       /pci@10,600000/pci@0/pci@8/pci@0/network
driver-name      bge
subsystem-id     0xfc11
devfs-path       /pci@10,600000/pci@0/pci@8/pci@0,1/SUNW,emlxs@1
driver-name      emlxs

对于 MIT 服务器,它提供:

subsystem-id     0xfc00
devfs-path       /pci@3d,600000/SUNW,emlxs@1
driver-name      emlxs
subsystem-id     0xfc00
devfs-path       /pci@3d,600000/SUNW,emlxs@1,1
driver-name      emlxs
subsystem-id     0xfc00
devfs-path       /pci@5d,600000/SUNW,emlxs@1
driver-name      emlxs
subsystem-id     0xfc00
devfs-path       /pci@5d,600000/SUNW,emlxs@1,1
driver-name      emlxs

在 i/o 消耗代码的开始,iostat -d c3t50001FE1502613A9d7 5 显示:

1161  37  134    0   0    0    0   0    0  329  24    2
  3   2    3    0   0    0    0   0    0  554  71   10
195  26    6    0   0    0    0   0    0  853 108   19
 37   6    4    0   0    0    0   0    0  1134 143   10
140   8    7    0   0    0    0   0    0  3689  86    7
173  24   85    0   0    0    0   0    0  9914  74    9
  0   0    0    0   0    0    0   0    0  12323 114    2
 13   9   41    0   0    0    0   0    0  10609 117    2
  0   0    0    0   0    0    0   0    0  10746  72    2
    sd0           sd1           sd4          ssd134
kps tps serv  kps tps serv  kps tps serv  kps tps serv
  1   0    3    0   0    0    0   0    0  11376 137    2
  2   0   10    0   0    0    0   0    0  11980 157    3
231  39   14    0   0    0    0   0    0  10584 140    3
785 175    5    0   0    0    0   0    0  13503 170    2
  9   4   32    0   0    0    0   0    0  11597 168    2
  7   1    6    0   0    0    0   0    0  11555 106    2

在 MIT 服务器上 iostat 显示:

0.0  460.4    0.0 4029.2  0.4  0.6    0.9    1.2   2  11 c6t5006048452A79BD6d206
0.0  885.2    0.0 8349.3  0.5  0.8    0.6    0.9   3  24 c4t5006048452A79BD9d206
0.0  660.0    0.0 5618.8  0.5  0.7    0.7    1.0   2  18 c6t5006048452A79BD6d206
0.0  779.1    0.0 7408.6  0.3  0.7    0.4    0.8   2  21 c4t5006048452A79BD9d206
0.0  569.8    0.0 4893.9  0.3  0.5    0.5    1.0   2  15 c6t5006048452A79BD6d206
0.0  521.5    0.0 5433.6  0.2  0.5    0.3    0.9   1  16 c4t5006048452A79BD9d206
0.0  362.8    0.0 3134.8  0.2  0.4    0.6    1.1   1  10 c6t5006048452A79BD6d206

因此,我们可以看到,在最大 i/o 操作期间,本地服务器的 kps 远高于 MIT 服务器的 kps。

4

2 回答 2

2

本地和 MIT 服务器上的结论

快速浏览您的机器:

  • 本地服务器是 SPARC VI 上的小型 Sun Enterprise 机器,可能是M4000。您正在使用直接 SCSI 连接通过多路径PCIe 插槽在外部文件系统(称为 eva8k_new)上写入数据。这台机器是 3-5 岁。
  • MIT 服务器是SunFire 15000 - 一个旧的大型机级 Solaris 服务器。它在您运行的硬件分区中有 12 个双核 UltraSPARC IV+ CPU(物理机箱可以在逻辑上分成几个不同的硬件分区,它们根本看不到彼此)。您正在通过多路径PCI 插槽上的 1Gb/s 或 2Gb/s 光纤通道(LUN 可能称为 dmldg)写入 SAN 。这台机器至少有7 年的历史,但技术却有 10 年的历史。
  • 本地和 MIT 服务器上使用的存储系统都是外部的。存储的性能取决于许多因素,包括物理接口的 I/O 速度(PCI 与 PCIe)和互连(SunFire 上的 1 或 2Gb/s 光纤通道)。本文介绍了如何获取此信息。

理论性能问题

您的应用程序的性能可能会受到以下几个瓶颈之一的限制(假设没有代码问题和网络延迟/瓶颈):

  1. CPU:如果您的 CPU 更快,您可以让应用程序运行得更快。
    • 单线程:一些应用程序在单线程上存在瓶颈,因此添加线程/内核不会提高性能。
    • 多线程能力:有时,如果应用程序是多线程的,添加更多线程/内核可以提高性能
  2. 存储 IO 带宽或 IOPS:应用程序正在读取或写入存储系统(包括磁盘)。添加磁盘、更改 RAID 类型、添加磁盘缓存等可能会提高 IO 或 IOPS;或者,您可能会更改为另一个存储子系统。
    • IO 带宽是在给定秒内可以传递的最大数据量,如果将数据流式传输到磁盘或从磁盘流出,则可能首先饱和
    • IOPS(每秒 IO 操作数)是每秒可以处理的最大 IO 命令数(读或写)。通常,对于正在搜索或在文件中,或(重新)写入小块的进程,这首先会饱和。

查看您的问题,我们可以快速检查:

  1. 如果问题是 CPU,那么:
    • 您应该会看到顶部的 java 进程的 CPU 利用率在程序执行期间非常(90-99%)
    • 问题不太可能是线程,因为 SunFire MIT Server 有很多可用的内核,因此问题是单线程性能
    • UltraSPARC IV+ 比 SPARC VI 慢很多。这很容易引起明显的下降,因此这可能是 MIT 服务器较慢的原因
  2. 如果问题是 IO,那么:
    • 您会看到顶部的java 进程的 CPU 利用率很低(根据经验,可能为 50% 或更低,但可能高达 80% 左右)
    • 您将使用 iostat saturate 看到磁盘子系统的 IO - 即立即上升到一个固定数字,而不是真正超过该数字的“峰值”。以下选项可能有用:iostat -d <disk> 5. 吞吐量值和操作数/秒在本地服务器上会更高,在 MIT 服务器上会更低
    • 您需要与管理员交谈以查看是否有更快的存储系统可用于 MIT 服务器。

以上所有都是假设服务器上的其他进程没有干扰您的程序的运行 - 显然另一个高 cpu 进程或一个写入同一个磁盘的大量进程会极大地影响性能。

结论

从您提供的 CPU 数据来看,没有证据表明存在 CPU 瓶颈。

根据iostat您提供的数据,正如您评论的那样,SunFire 上的 IO 明显低于本地服务器的 IO。这可能是附加存储的结果,即至少以下之一:

  • 本地服务器中 PCI 与 PCIe 的性能较低
  • 可能比本地服务器上的(可能更快)SCSI 附加存储慢 1Gb/s 光纤通道
  • SunFire 上较旧和较慢的磁盘与本地附加存储

(请注意,相同的SAN 似乎连接到本地服务器,因此可以对其进行测试)。

有明确的证据表明硬件是性能差异的原因,几乎没有什么可以做的。

不过,有些事情可能会提高应用程序的总体性能。在应用程序上运行 Java 分析器是个好主意。示例包括NetbeansJProfiler

分析器将识别出问题所在的 IO 操作。您或许能够:

  1. 一般在瓶颈处改进算法
  2. 使用缓存层在一次写入之前聚合多个写入操作
  3. 如果使用原始 Java I/O 类(在 java.io 中),您可以重写应用程序以使用Java NIO

编辑:关于缓存层的想法

假设:有问题的 IO 操作要么重复地将小块写入磁盘并刷新它们,要么继续执行随机访问写入磁盘操作。您的应用程序可能已经有效地流式传输到磁盘,在这种情况下缓存将无用。

当您在应用程序中执行昂贵或缓慢的操作时,您将希望最小化它被调用的次数 - 理想情况下是理论上的最小值,希望为 1。但是您的代码可能不会这样做 - 例如您正在使用OutputStream 并将小块写入其中并刷新到磁盘。在这种情况下,您可能会多次写入每个磁盘块 (8k),每次只需多一点数据。

相反,您可以使用 RAM 缓存来合并所有写入;当您知道不会再对该块进行写入时,您只需将其写入磁盘一次。对于流,Java 有BufferedOutputStream用于简单的情况。当您从 获取FileOutputStream实例时File,将 包装在FileOutputStreamBufferedOutputStream并仅使用BufferedOutputStream

但是,如果您正在执行真正的随机访问写入(例如使用java.io.RandomAccessFile),并使用 移动文件指针RandomAccessFile.seek(),您可能需要考虑在 RAM 中写入写入缓存。确切地说,这完全取决于您的文件数据结构,但您可能希望从块分页机制开始。Java NIO的第 1 章介绍了这些概念,但希望您不需要去那里,或者在 NIO API 中找到相近的匹配。

于 2012-12-10T10:59:43.280 回答
1

如果您担心性能,我不会使用这么旧的 Java 版本。为一种架构生成的操作系统调用和本机代码很可能是次优的。我预计较新的架构会受到影响。

你能比较这些机器之间的 Java 7 吗?

建议第一ulimit台机器有更多的资源。两台机器的CPU是什么型号,内存有多少?

于 2012-12-05T09:16:17.620 回答