13

我正在使用 numpy 和 pyfits 来操作光谱,并且我需要高精度(可能高达 10^12 的值的小数点后 8-10 位)。为此,数据类型“十进制”将是完美的(float64 不够好),但不幸的是 numpy.interp 不喜欢它:

File ".../modules/manip_fits.py", line 47, in get_shift
pix_shift = np.interp(x, xp, fp)-fp
File "/usr/lib/python2.7/dist-packages/numpy/lib/function_base.py", line 1053, in interp
return compiled_interp(x, xp, fp, left, right)
TypeError: array cannot be safely cast to required type

我使用的代码的简化版本:

fp = np.array(range(new_wave.shape[-1]),dtype=Decimal)
pix_shift = np.empty_like(wave,dtype=Decimal)
      x = wave
  xp = new_wave
 pix_shift = np.interp(x, xp, fp)-fp

其中 'wave' 和 'new_wave' 是表示一维频谱的一维 numpy 数组。需要此代码来沿 x 轴(即波长)移动我的光谱

我最大的问题是,在代码的后面,我将光谱除以由所有光谱的总和构成的模板光谱,以分析差异,并且由于我没有足够的小数位,所以我得到了舍入错误。有任何想法吗?

谢谢!

更新:

测试示例:

import numpy as np
from decimal import *
getcontext().prec = 12

wave = np.array([Decimal(xx*np.pi) for xx in range(0,10)],dtype=np.dtype(Decimal))
new_wave = np.array([Decimal(xx*np.pi+0.5) for xx in range(0,10)],dtype=np.dtype(Decimal))

fp = np.array(range(new_wave.shape[-1]),dtype=Decimal)
pix_shift = np.empty_like(wave,dtype=Decimal)

x = wave
xp = new_wave
pix_shift = np.interp(x, xp, fp)-fp

错误是:

Traceback (most recent call last):
  File "untitled.py", line 16, in <module>
    pix_shift = np.interp(x, xp, fp)-fp
  File "/usr/lib/python2.7/dist-packages/numpy/lib/function_base.py", line 1053, in interp
    return compiled_interp(x, xp, fp, left, right)
TypeError: array cannot be safely cast to required type

这是我在不使用拟合格式的真实光谱的情况下可以提供的最接近的值。

更新 2:我的光谱的一些典型值,使用十进制打印:

  18786960689.118938446044921875
  18473926205.282184600830078125
  18325454516.792461395263671875
  18400241010.149127960205078125
2577901751996.03857421875
2571812230557.63330078125
2567431795280.80712890625

我遇到的问题是,当我在它们之间进行操作时,会出现四舍五入的错误。例如,我通过对所有光谱求和来为所有光谱创建一个模板。然后我使用这个模板来标准化每个光谱。一个例子:

Spectra = np.array([Spectrum1, Spectrum2, ...])
Template = np.nansum(Spectra, axis= 0)

NormSpectra = Spectra/Template

这应该只返回光谱上的噪声(假设模板是恒星的良好表示)。我尝试将每个光谱归一化为其总通量

(Spectrum1 = Spectrum1/np.nansum(Spectrum1), ...) 

以及模板,但会变得更糟四舍五入的错误。

使用 Decimal 对我来说效果很好,但我需要“移动”我的光谱,以便所有光谱特征/线对齐。

希望这有意义吗?

4

1 回答 1

9

你怎么能确定np.float64?在典型的用例中,可以从一个 double 中获得约 15 个有效数字。

如果您确定这还不够,您可以尝试np.float128(aka np.longdouble)。

但是您的问题似乎比这更深:它似乎是一个不适定的问题(通常是大数除以小数)。这不是你想要的。提高精度应该可以在一定程度上解决问题,但是你会遇到一些需要float256/float512/etc的数据。以避免病理性舍入误差。

我建议您解释您的问题,而不是您的解决方案,以便我们希望在每种情况下都能找到另一种解决方法(XY 问题)。

于 2013-12-05T10:06:47.503 回答