c++ - 节太多，汇编错误，使用 boost::spirit

Question

我正在为 Java 的子集编写编译器，使用boost::spirit, 进行词法分析和解析。在词法分析器/解析器阶段的编译过程中，编译器会消耗1.6GBRAM ( g++ (GCC) 4.8.1)，但这不是问题，因为这台机器上有足够的内存。

然而，一个问题是，当编译器完成并且汇编器开始运行（GNU assembler (GNU Binutils) 2.23.52.20130604）时，它会崩溃；

as: build/src/ast_generate.o: too many sections (33098)
/tmp/cc0ZyvKK.s: Assembler messages:
/tmp/cc0ZyvKK.s: Fatal error: can't write build/src/ast_generate.o: File too big
as: build/src/ast_generate.o: too many sections (33098)
/tmp/cc0ZyvKK.s: Fatal error: can't close build/src/ast_generate.o: File too big
scons: *** [build/src/ast_generate.o] Error 1

添加'-Os'到我的编译器标志中，允许汇编器处理编译器输出，但正如我所见，这只是时间问题，直到我遇到同样的问题，即使是小的优化标志。

检查大小优化的目标文件 ( ast_generate.o) 使用objdump，告诉我正在生成pe-x86-64，这是我在 Windows 上所期望的。

然而，2358生成的部分让我感到震惊。大多数情况下，似乎已经为 ; 的每个部分生成了一个部分boost::spirit。

 CONTENTS, ALLOC, LOAD, READONLY, DATA, LINK_ONCE_DISCARD
 ...
 60 .pdata$_ZNK5boost5lexer6detail8end_node9unique_idEv 0000000c  0000000000000000  0000000000000000  00030750  2**2
 61 .text$_ZNK5boost5lexer6detail8end_node11lexer_stateEv 00000010  0000000000000000  0000000000000000  0003075c  2**4
 ...

所以我的问题是；

错误（too many sections (X)）中的数字是要生成的节数还是错误代码？
为什么为每种数据类型生成一个部分？
我能做什么，以避免传递'-Os'给我的编译器。也就是说，我能做些什么来解决这个问题，而不是解决它？
将词法分析器和解析阶段分成两个不同的阶段（和编译单元），仅通过词法分析器迭代器连接对我有帮助吗？

笔记; 我正在使用cygwin64.

score 8 · Accepted Answer

我在这里做了一些修改并重构了一些东西以显示非运行时多态风格：

https://bitbucket.org/sehe/joos2compiler-refactor（基于您的 12d01e5 提交）。

我希望它不会增加编译时间:) （我实际上还没有开始拆分语法，但它变得更小了）。

特征：

没有更多的堆分配 AST 节点（甚至对于像expression和/或这样的树statement）；因此不再有明确的克隆和/或虚假的 const 成员。

我已将 Maybe.hpp 替换为

#pragma once
#include <boost/optional.hpp>

template <typename T> using Maybe = boost::optional<T>;

它又快又脏，但都可以编译

我已经用我自己的微小努力替换了开放类型切换（我无法让它工作；还有 boost-variant 它都是内置的）：

namespace visitor_galore // this is my make-shift replacement for typeswitch (I couldn't find it/make it work)
{
    template<typename T, class...Fs> struct visitor_t;

    template<typename T, class F1, class...Fs>
    struct visitor_t<T, F1, Fs...> : F1, visitor_t<T, Fs...>::type {
        typedef visitor_t type;
        visitor_t(F1 head, Fs...tail) : F1(head), visitor_t<T, Fs...>::type(tail...) {}

        using F1::operator();
        using visitor_t<T, Fs...>::type::operator();
    };

    template<typename T, class F> struct visitor_t<T, F> : F, boost::static_visitor<T> {
        typedef visitor_t type;
        visitor_t(F f) : F(f) {}
        using F::operator();
    };

    template<typename T=void, class...Fs>
    typename visitor_t<T, Fs...>::type make_visitor(Fs...x) { return {x...}; }
}

using visitor_galore::make_visitor;

要了解如何使用它，请查看例如ast_pp.cpp：

void pretty_print(expression_incdec const& exp)
{
     boost::apply_visitor(
            make_visitor(
                [&exp](inc_dec_op_preinc const& op)  { std::cout << "++"; pretty_print(exp.variable); }, 
                [&exp](inc_dec_op_predec const& op)  { std::cout << "--"; pretty_print(exp.variable); }, 
                [&exp](inc_dec_op_postinc const& op) { pretty_print(exp.variable); std::cout << "++"; }, 
                [&exp](inc_dec_op_postdec const& op) { pretty_print(exp.variable); std::cout << "--"; }
                )
            , exp.operatur);
}

奖励如果您不太关心列出分支中的所有类型，例如因为它们都默认调用相同的自由函数（或重载），您可以使用多态访问者：

static const struct pretty_print_visitor_ : boost::static_visitor<>
{
    template<typename T>
    void operator ()(T const& v) const { pretty_print(v); }
} pretty_print_visitor;

例如，现在您可以将 24 个分支替换为expression&：

boost::apply_visitor(
        make_visitor(
            [](expression_binop const& exp)              { pretty_print(exp); }, 
            [](expression_unop const& exp)               { pretty_print(exp); }, 
            [](expression_integer_constant const& exp)   { pretty_print(exp); }, 
            [](expression_character_constant const& exp) { pretty_print(exp); }, 
            [](expression_string_constant const& exp)    { pretty_print(exp); }, 
            [](expression_boolean_constant const& exp)   { pretty_print(exp); }, 
            [](expression_null const& exp)               { pretty_print(exp); }, 
            [](expression_this const& exp)               { pretty_print(exp); }, 
            [](expression_static_invoke const& exp)      { pretty_print(exp); }, 
            [](expression_non_static_invoke const& exp)  { pretty_print(exp); }, 
            [](expression_simple_invoke const& exp)      { pretty_print(exp); }, 
            [](expression_ambiguous_invoke const& exp)   { pretty_print(exp); }, 
            [](expression_new const& exp)                { pretty_print(exp); }, 
            [](expression_new_array const& exp)          { pretty_print(exp); }, 
            [](expression_lvalue const& exp)             { pretty_print(exp); }, 
            [](expression_assignment const& exp)         { pretty_print(exp); }, 
            [](expression_incdec const& exp)             { pretty_print(exp); }, 
            [](expression_cast const& exp)               { pretty_print(exp); }, 
            [](expression_ambiguous_cast const& exp)     { pretty_print(exp); }, 
            [](expression_instance_of const& exp)        { pretty_print(exp); }, 
            [](expression_parentheses const& exp)        { pretty_print(exp); },
            [](lvalue_non_static_field const& exp)       { pretty_print(exp); },
            [](lvalue_array const& exp)                  { pretty_print(exp); },
            [](lvalue_ambiguous_name const& exp)         { pretty_print(exp); }
       )
        , exp);

通过一个简单的

boost::apply_visitor(pretty_print_visitor, exp);

请注意我发表// TODO或// FIXME评论的一些场合（值得注意的是concat，它不想再为我编译了）。
请注意，Ast 类变得明显更简单（尤其是在内存分配方面更正确）
请注意，由于对语义操作和 Phoenix 适应功能的需求减少，解析器本身缩小了
请注意，我现在选择忘记LexerPosition 信息（以前“隐藏”在基类中，现在消失了）。有一个编译器教程示例展示了如何qi::on_error(qi::success, ...)非常优雅地将源位置信息附加到选定的 Ast 节点（非侵入式）。
ast_helpers我预计可能会有许多有用的基于特征的谓词（例如is_lvalueor is_true_const），而不是各种谓词。我选择或多或少地“保持”助手的原样（这可能是完全错误的，我没有测试任何东西）。
我普遍尝试将按值传递的参数替换为按传递const&（例如比较 ast_pp.hpp），但我知道我已经留下了一些地方，因为任务已经足够大了。

巨大的免责声明：我可能以各种方式破坏了解析器。我没有尝试用它解析任何东西。编辑按原样提供，不声称有用。我已经以不同的方式解决了类似的问题（曾经是一个traits::tranform_attribute<>专业化，曾经是一个较大的语义操作at_c<>，以及其他一些方法）：

目的是向您展示我在提到可能时的想法

显着减少动态多态性，
避免语义动作
在可能的情况下采用增强结构以获得与精神的更多“自动”整合
展示各种想法，您可以从中选择您最喜欢的：/

score 3 · Accepted Answer

尝试

将其拆分为不同的翻译单元
禁用调试信息（通常，这是大文件大小的问题，因为调试信息就像其他对象数据一样发出）
禁用 rtti（最后的手段）

score 2 · Accepted Answer

2

打开优化（-O1标志）为我解决了这个问题。

于 2014-07-16T09:11:18.220 回答

score 0 · Accepted Answer

0

尝试添加-Wa,-mbig-obj到您的CXX_FLAGS. 这将适用于足够新的gcc.

于 2017-02-08T01:12:47.677 回答

c++ - 节太多，汇编错误，使用 boost::spirit

4 回答 4

Related

Reference