问题标签 [data-management]

我有两个问题。第一个是数据管理问题，第二个是新变量的创建。我的数据是结构化的，但我不确定什么是正确的 r 代码。

我正在查看国会委员会的数据。我的分析单位是每位国会议员和他们在国会期间担任的委员会。例如，如果国会议员 A 参加了三届国会的拨款和方式和手段，那将是总共 6 项意见。

首先，我想创建一个只有成员转入的委员会的数据集。因此，我想删除所有与委员会有关的意见，该委员会成员在其第一个国会任期开始时被给予。

其次，在我的数据集仅包含成员在国会第一任期后转入的委员会之后，我需要创建一个新变量。在新变量中，我希望成员在观察中获得一个，在该观察中，这是他们在该委员会任职的最后一次代表大会。所有其他不是他们服务的最后一次代表大会的意见（以该委员会为条件）都获得零分。

例如，我想这样做：

)

看起来像这样：

例如，ID 1 和与 Comm 3 对应的所有观察结果都被删除，因为他在国会的第一个任期内被分配到该委员会。Y 是我需要创建的新变量。

ID是会员。Cong是他们服务的代表大会。Comm 是他们所在的委员会。（顺便说一句，Comm 实际上是一个分类变量）。

我或许可以自己计算出新变量 (Y)，但在创建分隔委员会的新数据框时遇到了麻烦。对于任何混淆，我深表歉意，并非常感谢任何帮助。

I have a survey dataset which contains household ids and individual ids within each household: individual 1 represents the interviewee him/herself. Some variable represents each individual's relationship to the interviewee (for example, 2 for spouse, 3 for parents and so on), the data structure like the following

???

Now what I want to do is detect the occurrence of certain values in var1 and, if it occurs, whether the values of var1 and var2 satisfy a certain condition.

For example, if var1 and var2 satisfy

then I can attach value 1 to a new generated variable, say var3, for each individual in the same group (household in this case, to represent family structure) and 0 otherwise.

It seems not a big problem, and I suppose I should employ some

or

command, but I'm not sure. I used to apply commands like

but it seems it doesn't work. Does that need some kind of loop?

我的 java web 服务有问题。我如何管理大数据（超过 10 GB）。我必须将这些数据发送给消费者。请给我一些建议。

我正在使用内布拉斯加州城市的统一犯罪报告数据（一个慷慨的分类），并以 5 年为增量计算了 1995 年至 2010 年主要分类的犯罪率。

我想绘制多年来的犯罪率。然而，由于 UCR 的报告方式，并非所有城市都报告了所有年份的价值。

我对 R 相当陌生，但一位同事建议我尝试创建一个 for 循环，以计算每个城市名称的唯一值。然后我可以使用这些计数来删除数据或对数据进行子集化，以便我至少有至少三个观察值可用于绘图。这大约是我所得到的，并且那里的东西不起作用。不幸的是，我需要在本周剩下的时间里关注一些更紧迫的问题，所以我想我会把它扔给社区以获得一些见解。

代码和名称数据如下。谢谢。

有 191 个观测值，有 64 个唯一名称。数据是 csv 并导入为

data <- read.csv("cities.csv", header=TRUE, sep=",")

"","year","cnames" "1",1995,"Beatrice" "2",1995,"Bellevue" "3",1995,"Columbus" "4",1995,"Fremont" "5",1995,"Grand Island" "6",1995,"Hastings" "7",1995,"Kearney" "8",1995,"La Vista" "9",1995,"Lincoln" "10",1995,"Norfolk" "11",1995,"North Platte" "12",1995,"Omaha" "13",1995,"Papillion" "14",1995,"Scottsbluff" "15",1995,"South Sioux City" "16",2000,"Bellevue" "17",2000,"Columbus" "18",2000,"Fremont" "19",2000,"Grand Island" "20",2000,"Hastings" "21",2000,"Kearney" "22",2000,"La Vista" "23",2000,"Lincoln" "24",2000,"Norfolk" "25",2000,"Omaha" "26",2000,"Papillion" "27",2000,"Scottsbluff" "28",2000,"South Sioux City" "29",2005,"Alliance" "30",2005,"Ashland" "31",2005,"Auburn" "32",2005,"Bayard" "33",2005,"Beatrice" "34",2005,"Bellevue" "35",2005,"Blair" "36",2005,"Bridgeport" "37",2005,"Broken Bow" "38",2005,"Central City" "39",2005,"Chadron" "40",2005,"Columbus" "41",2005,"Cozad" "42",2005,"Crete" "43",2005,"David City" "44",2005,"Elkhorn" "45",2005,"Falls City" "46",2005,"Fremont" "47",2005,"Gering" "48",2005,"Gothenburg" "49",2005,"Grand Island" "50",2005,"Hastings" "51",2005,"Holdrege" "52",2005,"Imperial" "53",2005,"Kearney" "54",2005,"La Vista" "55",2005,"Lexington" "56",2005,"Lincoln" "57",2005,"Lyons" "58",2005,"Madison" "59",2005,"McCook" "60",2005,"Milford" "61",2005,"Minden" "62",2005,"Mitchell" "63",2005,"Nebraska City" "64",2005,"Norfolk" "65",2005,"North Platte" "66",2005,"Ogallala" "67",2005,"Omaha" "68",2005,"O'Neill" "69",2005,"Ord" "70",2005,"Papillion" "71",2005,"Plainview" "72",2005,"Plattsmouth" "73",2005,"Ralston" "74",2005,"Schuyler" "75",2005,"Scottsbluff" "76",2005,"Seward" "77",2005,"Sidney" "78",2005,"South Sioux City" "79",2005,"St. Paul" "80",2005,"Superior" "81",2005,"Valley" "82",2005,"Wahoo" "83",2005,"West Point" "84",2005,"Wymore" "85",2005,"York" "86",2010,"Alliance" "87",2010,"Ashland" "88",2010,"Auburn" "89",2010,"Aurora" "90",2010,"Bayard" "91",2010,"Beatrice" "92",2010,"Bellevue" "93",2010,"Bennington" "94",2010,"Blair" "95",2010,"Bridgeport" "96",2010,"Broken Bow" "97",2010,"Central City" "98",2010,"Chadron" "99",2010,"Columbus" "100",2010,"Cozad" "101",2010,"Crete" "102",2010,"Falls City" "103",2010,"Fremont" "104",2010,"Gering" "105",2010,"Gothenburg" "106",2010,"Grand Island" "107",2010,"Hastings" "108",2010,"Holdrege" "109",2010,"Imperial" "110",2010,"Kearney" "111",2010,"La Vista" "112",2010,"Lexington" "113",2010,"Lincoln" "114",2010,"Lyons" "115",2010,"Madison" "116",2010,"McCook" "117",2010,"Milford" "118",2010,"Minden" "119",2010,"Nebraska City" "120",2010,"Norfolk" "121",2010,"North Platte" "122",2010,"Ogallala" "123",2010,"Omaha" "124",2010,"O'Neill" "125",2010,"Papillion" "126",2010,"Plainview" "127",2010,"Plattsmouth" "128",2010,"Ralston" "129",2010,"Scottsbluff" "130",2010,"Seward" "131",2010,"Sidney" "132",2010,"South Sioux City" "133",2010,"Superior" "134",2010,"Valentine" "135",2010,"Valley" "136",2010,"Wahoo" "137",2010,"Wayne" "138",2010,"West Point" "139",2010,"Wilber" "140",2010,"York" "141",2013,"Alliance" "142",2013,"Ashland" "143",2013,"Aurora" "144",2013,"Beatrice" "145",2013,"Bellevue" "146",2013,"Bennington" "147",2013,"Blair" "148",2013,"Bridgeport" "149",2013,"Broken Bow" "150",2013,"Central City" "151",2013,"Chadron" "152",2013,"Columbus" "153",2013,"Cozad" "154",2013,"Crete" "155",2013,"Falls City" "156",2013,"Fremont" "157",2013,"Gering" "158",2013,"Gordon" "159",2013,"Gothenburg" "160",2013,"Grand Island" "161",2013,"Hastings" "162",2013,"Holdrege" "163",2013,"Imperial" "164",2013,"Kearney" "165",2013,"Kimball" "166",2013,"La Vista" "167",2013,"Lexington" "168",2013,"Lincoln" "169",2013,"Madison" "170",2013,"McCook" "171",2013,"Milford" "172",2013,"Minden" "173",2013,"Mitchell" "174",2013,"Nebraska City" "175",2013,"Norfolk" "176",2013,"Ogallala" "177",2013,"Omaha" "178",2013,"O'Neill" "179",2013,"Papillion" "180",2013,"Plattsmouth" "181",2013,"Ralston" "182",2013,"Scottsbluff" "183",2013,"Seward" "184",2013,"South Sioux City" "185",2013,"Superior" "186",2013,"Valentine" "187",2013,"Valley" "188",2013,"Wahoo" "189",2013,"West Point" "190",2013,"Wilber" "191",2013,"York"

我目前正在使用 Javascroipt 和 Phonegap 制作一个应用程序，该应用程序需要在离线时保存数据库或类似的本地内容，直到稍后与外部数据库同步（不是主要问题）。
那么，管理相对较大的数据块的最佳解决方案是什么，这些数据必须在运行时进行大量修改，能够删除条目、添加新条目、使用属性和 ID 读取条目、对条目进行排序以及能够在一个文件（即给我一个字符串或对象，我可以使用 phonegap 将其保存在一个文件中）？
我已经看过 TaffyDB（自 2 年以来被废弃）和 pounchDB（使用 ajax 工作的接缝，因此需要互联网连接）。

我在带有分隔符“|”的文件夹中附加 100 个文件。下面是使用的代码。我收到一个我无法调试的错误，

错误 - 扫描错误（文件、内容、nmax、sep、dec、quote、skip、nlines、na.strings、：第 284 行没有 12 个元素

请有这方面经验的人帮助我。

我有以下数据：

我想将上述长数据格式更改为以下宽数据。

我在尝试

它给出了错误，因为 中没有唯一值tests。

这个问题的解决方案是什么？

我是 R 新手，有一个数据格式问题。我需要改变这个：

对此：

我需要帮助！
谢谢你。

这个问题更普遍地来自建设性的观点和实现，但我将不胜感激例如或与示例联系（不仅是理论）。

思路如下：

1. 一切都应该在本地完成。
2. 任何库都是允许的，但整个程序应该是可移植的，因此省略不可移植的花哨的东西。
3. 平台 - Win7+
4. 完全没有尺寸限制。
5. 越安全 - 越好。
6. WPF。

不要问为什么，以上所有^都是必须的和要点。

现在更接近点本身。所以程序工作流程和数据管理应该看起来像：

• 用户启动混淆、单实例等（您可以在示例中省略它） WPF exe。
• 用户选择文件（如果已经存在，它将在保存时被覆盖，否则将在保存时创建）（您也可以省略此文件）。
• 现在用户提供加密所需的所有数据（例如，AES - 密钥和 IV）（加密是 UP 讨论 - 让我知道您认为哪个更适合我以及为什么，当然，在阅读整面文本之后，谢谢），然后按继续并从文件中读取加密数据（如果选择了文件）。

在继续之前，您需要了解数据的结构。（注意：数据表示和持有者，序列化等可供讨论，但不是结构本身）为了更好的可视化，我将在字典中展示这个概念：

• 所以元组值就像三个同样重要的字符串，应该从文件中一次全部加载（我知道我要进一步讨论的事情并不完全是它们的工作方式，但正如我已经说过的那样^字典是只是为了可视化和易于解释，数据管理是 UP 的建议）。
• 用户将被授予 3 个搜索文本框，他应该能够一次搜索这 3 个中的任何一个或全部，并以表格/列表的形式查看结果（我知道，我知道现在数据集看起来像去，但如果一切都那么简单，我不会请求你的帮助）。此时，用户应该能够为该字典创建新的 KeyValue 对并将结果保存回来，以便将其解密并附加/覆盖或写入文件（如果是新的）。
• 现在，当用户对结果感到满意时，他可以选择他需要的东西并继续 - 现在对于该选定的密钥，所有值的密钥都是从加密文件加载的，但其各自的值不是。所有这些键都表示在某种列表中。

• 现在用户可以再次滚动浏览它，选择 Key 并按下 4 个按钮之一：

  1. Delete - 删除键和值，但保留元组。

  2. 复制 - 只需从文件中加载相应的值并将其放入剪贴板。

  3. 编辑 - 加载相应的值并允许编辑键和值。

  4. 新建 - 创建新的 KeyValue 对。

• 在任何给定时间，用户都可以按保存并将当前状态保存到加密文件中。或另存为另一个文件（因此在这种情况下，它应该复制该文件并修改它，而不是获取所有值）。

• 用户可以来回添加和修改值。
• 当用户对结果感到满意时，他会关闭应用程序并结束文本墙。

而且我应该将所有加载的值存储在安全字符串中还是有更好的东西？（因此某些第三方程序无法从内存中读取它，我在过去开发了某种安全措施，防止调用应用程序或注入，但仍然 - 安全字符串或其他东西？）。

感谢所有阅读这部分内容的人。如果您有任何问题或不理解我的问题的某些部分 - 请告诉我，我会尽力详细说明或解释得更好，再次感谢。

编辑 1：好的，亚历克斯我会尝试为您制作tl/dr：

第 1 部分 - 我应该以什么方式部分解密然后反序列化文件中的一些数据块，然后需要从文件中获取其他值并需要保存更改/添加回来。推荐任何东西。

第 2 部分 - 保护内存中加载的数据免受第三方应用程序影响的最佳方法。

我是 Android 开发的新手，所以我正在尝试做一个存储仓库信息的应用程序。但是，我担心如果我执行更新，用户数据会丢失。我是否必须管理哪些数据在更新时应保持不变？

另外，我想知道如果我想保持数据安全，使用可序列化类或使用 SQL 数据库是否会有任何不同。

非常感谢 ：）