40

我有一个ArrayList取自文件的值(很多行,这只是一个摘录):

20/03/2013 23:31:46 6870    6810    6800    6720    6860    6670    6700    6650    6750    6830    34864   34272
20/03/2013 23:31:46 6910    6780    6800    6720    6860    6680    6620    6690    6760    6790    35072   34496

其中每行的前两个值是包含数据并存储在单个元素中的字符串。

我想要做的是比较字符串数据元素并删除,例如,第二个和该行中引用的所有元素。

现在,我使用了一个for循环来比较每 13 个元素的字符串(为了只比较数据字符串)。

我的问题:我可以实施其他更好的解决方案吗?

这是我的代码:

import java.util.Scanner;
import java.util.List;
import java.util.ArrayList;
import java.io.*;
import java.text.SimpleDateFormat;
import java.util.Date;

public class Main {
    public static void main(String[] args) throws Exception{

        //The input file
        Scanner s = new Scanner(new File("prova.txt"));

        //Saving each element of the input file in an arraylist 
        ArrayList<String> list = new ArrayList<String>();
        while (s.hasNext()){
            list.add(s.next());
        }
        s.close();

        //Arraylist to save modified values
        ArrayList<String> ds = new ArrayList<String>();

        //
        int i;
        for(i=0; i<=list.size()-13; i=i+14){

            //combining the first to values to obtain data  
            String str = list.get(i)+" "+list.get(i+1);
            ds.add(str);
            //add all the other values to arraylist ds
            int j;
            for(j=2; j<14; j++){
                ds.add(list.get(i+j));
            }

            //comparing data values
            int k;  
            for(k=0; k<=ds.size()-12; k=k+13){
                ds.get(k); //first data string element  
                //Comparing with other strings and delete
                //TODO  
            }
        }
    }
}
4

14 回答 14

74

.contains()在添加新元素之前,尝试使用 ArrayList 上的方法检查重复项。

它看起来像这样

   if(!list.contains(data))
       list.add(data);

这应该可以防止列表中的重复,并且不会像人们似乎在寻找的那样弄乱元素的顺序。

于 2014-06-05T12:39:19.487 回答
46

创建唯一值的 Arraylist

你可以使用Set.toArray()方法。

不包含重复元素的集合。更正式地说,集合不包含一对元素 e1 和 e2 使得 e1.equals(e2),并且最多包含一个空元素。正如它的名字所暗示的,这个接口模拟了数学集合抽象。

http://docs.oracle.com/javase/6/docs/api/java/util/Set.html

于 2013-07-09T11:44:46.170 回答
19
HashSet hs = new HashSet();
                hs.addAll(arrayList);
                arrayList.clear();
                arrayList.addAll(hs);
于 2015-02-10T09:41:27.940 回答
14

派对很晚了,但这是我的两分钱:

用一个LinkedHashSet

我假设您需要的是一个集合:

  • 不允许您插入重复项;
  • 保留插入顺序。

LinkedHashSet做这个。与使用 an 相比的优势ArrayList在于,它的操作LinkedHashSet复杂度为O(1) ,而的复杂度为O(n)containsArrayList


当然,您需要正确实现对象equalshashCode方法。

于 2018-08-20T10:06:51.377 回答
6
 //Saving each element of the input file in an arraylist 
    ArrayList<String> list = new ArrayList<String>();
    while (s.hasNext()){
        list.add(s.next());
    }

//That's all you need
list = (ArrayList) list.stream().distinct().collect(Collectors.toList());
于 2017-01-17T14:51:27.847 回答
4

利用Set

      ...
      Set<String> list = new HashSet<>();
      while (s.hasNext()){
         list.add(s.next());
      }
      ...
于 2013-07-09T11:50:22.953 回答
4

如果您想从现有列表中创建一个具有唯一值的列表,您可以使用

List myUniqueList = myList.stream().distinct().collect(Collectors.toList());
于 2019-11-13T09:19:27.603 回答
3

您可以使用Hashmap. 您显然有一个键(即字符串数据)和一些值。

循环您的所有线路并将它们添加到您的地图中。

Map<String, List<Integer>> map = new HashMap<>();
...
while (s.hasNext()){
  String stringData = ...
  List<Integer> values = ...
  map.put(stringData,values);
}

请注意,在这种情况下,您将保留最后一次出现的重复行。如果您更喜欢保留第一个出现并删除其他出现,您可以Map.containsKey(String stringData);在放入地图之前添加一个检查。

于 2013-07-09T11:46:10.893 回答
3

你可以使用一个集合。这是一个不接受重复的集合。

于 2013-07-09T11:47:54.367 回答
2

只需覆盖自定义对象的布尔 equals() 方法。假设您有一个带有自定义字段 f1、f2、...覆盖的 ArrayList

@Override
public boolean equals(Object o) {
    if (this == o) return true;
    if (!(o instanceof CustomObject)) return false;

    CustomObject object = (CustomObject) o;

    if (!f1.equals(object.dob)) return false;
    if (!f2.equals(object.fullName)) return false;
    ...
    return true;
}

并使用 ArrayList 实例的 contains() 方法进行检查。而已。

于 2015-01-22T09:49:17.683 回答
2

解决方案#1:HashSet

将文件读入ArrayList具有唯一性约束的直接问题的一个很好的解决方案是简单地保留 a HashSetof seen items。在处理一行之前,我们检查它的键是否已经在集合中。如果不是,我们将键添加到集合中以将其标记为已完成,然后将行数据添加到结果ArrayList中。

import java.util.*;
import java.io.*;

public class Main {
    public static void main(String[] args) 
        throws FileNotFoundException, IOException {

        String file = "prova.txt";
        ArrayList<String[]> data = new ArrayList<>();
        HashSet<String> seen = new HashSet<>();

        try (BufferedReader br = new BufferedReader(new FileReader(file))) {
            for (String line; (line = br.readLine()) != null;) {
                String[] split = line.split("\\s+");
                String key = split[0] + " " + split[1];

                if (!seen.contains(key)) {
                    data.add(Arrays.copyOfRange(split, 2, split.length));
                    seen.add(key);
                }
            }
        }

        for (String[] row : data) {
            System.out.println(Arrays.toString(row));
        }
    }
}

解决方案#2:LinkedHashMap/LinkedHashSet

由于我们在这个特定的数据集中有键值对,我们可以将所有内容滚动到一个LinkedHashMap<String, ArrayList<String>>参见文档LinkedHashMap)中,它保留了顺序但不能被索引到(用例驱动的决策,但相当于与上述相同的策略。ArrayList<String>String[]在这里是任意的——它可以是任何数据值)。请注意,此版本可以轻松保留最近看到的密钥而不是最旧的密钥(删除!data.containsKey(key)测试)。

import java.util.*;
import java.io.*;

public class Main {
    public static void main(String[] args) 
        throws FileNotFoundException, IOException {

        String file = "prova.txt";
        LinkedHashMap<String, ArrayList<String>> data = new LinkedHashMap<>();

        try (BufferedReader br = new BufferedReader(new FileReader(file))) {
            for (String line; (line = br.readLine()) != null;) {
                String[] split = line.split("\\s+");
                String key = split[0] + " " + split[1];

                if (!data.containsKey(key)) {
                    ArrayList<String> val = new ArrayList<>();
                    String[] sub = Arrays.copyOfRange(split, 2, split.length); 
                    Collections.addAll(val, sub);
                    data.put(key, val);
                }
            }
        }

        for (Map.Entry<String, ArrayList<String>> e : data.entrySet()) {
            System.out.println(e.getKey() + " => " + e.getValue());
        }
    }
}

解决方案#3:ArrayListSet

上面的例子代表了非常狭窄的用例。这是一个通用ArrayListSet类的草图,它在保持唯一性的同时保持了通常的列表行为(add/ set/remove等)。

基本上,该类是本文中解决方案#1 的抽象(HashSet结合ArrayList),但风格略有不同(数据本身用于确定唯一性而不是键,但它是一种更真实的“ ArrayList”结构)。

这个类解决了效率问题(ArrayList#contains是线性的,所以我们应该拒绝那个解决方案,除非在微不足道的情况下),缺乏排序(将所有内容直接存储在 aHashSet对我们没有帮助),缺乏ArrayList操作(LinkedHashSet否则是最好的解决方案,但我们不能索引到它,所以它不是一个真正的替代品ArrayList)。

使用 aHashMap<E, index>而不是 aHashSet将加速remove(Object o)indexOf(Object o)运行(但减慢速度sort)。线性remove(Object o)是平原的主要缺点HashSet

import java.util.*;

public class ArrayListSet<E> implements Iterable<E>, Set<E> {
    private ArrayList<E> list;
    private HashSet<E> set;

    public ArrayListSet() {
        list = new ArrayList<>();
        set = new HashSet<>();
    }

    public boolean add(E e) {
        return set.add(e) && list.add(e);
    }

    public boolean add(int i, E e) {
        if (!set.add(e)) return false;
        list.add(i, e);
        return true;
    }

    public void clear() {
        list.clear();
        set.clear();
    }

    public boolean contains(Object o) {
        return set.contains(o);
    }

    public E get(int i) {
        return list.get(i);
    }

    public boolean isEmpty() {
        return list.isEmpty();
    }

    public E remove(int i) {        
        E e = list.remove(i);
        set.remove(e);
        return e;
    }

    public boolean remove(Object o) {        
        if (set.remove(o)) {
            list.remove(o);
            return true;
        }

        return false;
    }

    public boolean set(int i, E e) {
        if (set.contains(e)) return false;

        set.add(e);
        set.remove(list.set(i, e));
        return true;
    }

    public int size() {
        return list.size();
    }

    public void sort(Comparator<? super E> c) {
        Collections.sort(list, c);
    }

    public Iterator<E> iterator() {
        return list.iterator();
    }

    public boolean addAll(Collection<? extends E> c) {
        int before = size();
        for (E e : c) add(e);
        return size() == before;
    }

    public boolean containsAll(Collection<?> c) {
        return set.containsAll(c);
    }

    public boolean removeAll(Collection<?> c) {
        return set.removeAll(c) && list.removeAll(c);
    }

    public boolean retainAll(Collection<?> c) {
         return set.retainAll(c) && list.retainAll(c);
    }

    public Object[] toArray() {
        return list.toArray();
    }

    public <T> T[] toArray(T[] a) {
        return list.toArray(a);
    }
}

示例用法:

public class ArrayListSetDriver {
    public static void main(String[] args) {
        ArrayListSet<String> fruit = new ArrayListSet<>();
        fruit.add("apple");
        fruit.add("banana");
        fruit.add("kiwi");
        fruit.add("strawberry");
        fruit.add("apple");
        fruit.add("strawberry");

        for (String item : fruit) {
            System.out.print(item + " "); // => apple banana kiwi strawberry
        }

        fruit.remove("kiwi");
        fruit.remove(1);
        fruit.add(0, "banana");
        fruit.set(2, "cranberry");
        fruit.set(0, "cranberry");
        System.out.println();

        for (int i = 0; i < fruit.size(); i++) {
            System.out.print(fruit.get(i) + " "); // => banana apple cranberry
        }

        System.out.println();
    }
}

解决方案#4:ArrayListMap

此类解决了一个缺点,ArrayListSet即我们要存储的数据及其关联的键可能不一样。此类提供了一种put方法,该方法在与存储在底层中的数据不同的对象上强制执行唯一性ArrayList。这正是我们需要解决这个线程中提出的原始问题。ArrayList这为我们提供了 a 的快速查找和唯一性属性的排序和迭代HashMap。包含映射到它们在 中的索引位置的HashMap唯一值ArrayList,它强制排序并提供迭代。

HashSet这种方法解决了在解决方案 #1中使用 a 的可伸缩性问题。该方法适用于快速文件读取,但如果没有抽象,我们必须手动处理所有一致性操作并传递多个原始数据结构,如果我们需要跨多个函数和随着时间的推移强制执行该合同。

与 一样ArrayListSet,这可以被视为概念证明,而不是完整的实现。

import java.util.*;

public class ArrayListMap<K, V> implements Iterable<V>, Map<K, V> {
    private ArrayList<V> list;
    private HashMap<K, Integer> map;

    public ArrayListMap() {
        list = new ArrayList<>();
        map = new HashMap<>();
    }

    public void clear() {
        list.clear();
        map.clear();
    }

    public boolean containsKey(Object key) {
        return map.containsKey(key);
    }

    public boolean containsValue(Object value) {
        return list.contains(value);
    }

    public V get(int i) {
        return list.get(i);
    }

    public boolean isEmpty() {
        return map.isEmpty();
    }

    public V get(Object key) {
        return list.get(map.get(key));
    }

    public V put(K key, V value) {
        if (map.containsKey(key)) {
            int i = map.get(key);
            V v = list.get(i);
            list.set(i, value);
            return v;
        }

        list.add(value);
        map.put(key, list.size() - 1);
        return null;
    }

    public V putIfAbsent(K key, V value) {
        if (map.containsKey(key)) {
            if (list.get(map.get(key)) == null) {
                list.set(map.get(key), value);
                return null;
            }

            return list.get(map.get(key));
        }

        return put(key, value);
    }

    public V remove(int i) {
        V v = list.remove(i);

        for (Map.Entry<K, Integer> entry : map.entrySet()) {
            if (entry.getValue() == i) {
                map.remove(entry.getKey());
                break;
            }
        }

        decrementMapIndices(i);
        return v;
    }

    public V remove(Object key) {
        if (map.containsKey(key)) {
            int i = map.remove(key);
            V v = list.get(i);
            list.remove(i);
            decrementMapIndices(i);
            return v;
        }

        return null;
    }

    private void decrementMapIndices(int start) {
        for (Map.Entry<K, Integer> entry : map.entrySet()) {
            int i = entry.getValue();

            if (i > start) {
                map.put(entry.getKey(), i - 1);
            }
        }
    }

    public int size() {
        return list.size();
    }

    public void putAll(Map<? extends K, ? extends V> m) {
        for (Map.Entry<? extends K, ? extends V> entry : m.entrySet()) {
            put(entry.getKey(), entry.getValue());
        }
    }

    public Set<Map.Entry<K, V>> entrySet() {
        Set<Map.Entry<K, V>> es = new HashSet<>();

        for (Map.Entry<K, Integer> entry : map.entrySet()) {
            es.add(new AbstractMap.SimpleEntry<>(
                entry.getKey(), list.get(entry.getValue())
            ));
        }

        return es;
    }

    public Set<K> keySet() {
        return map.keySet();
    }

    public Collection<V> values() {
        return list;
    }

    public Iterator<V> iterator() {
        return list.iterator();
    }

    public Object[] toArray() {
        return list.toArray();
    }

    public <T> T[] toArray(T[] a) {
        return list.toArray(a);
    }
}

这是针对原始问题的课程:

import java.io.*;

public class Main {
    public static void main(String[] args) 
        throws FileNotFoundException, IOException {

        String file = "prova.txt";
        ArrayListMap<String, String[]> data = new ArrayListMap<>();

        try (BufferedReader br = new BufferedReader(new FileReader(file))) {
            for (String line; (line = br.readLine()) != null;) {
                String[] split = line.split("\\s+");
                String key = split[0] + " " + split[1];
                String[] sub = Arrays.copyOfRange(split, 2, split.length); 
                data.putIfAbsent(key, sub); 
            }
        }

        for (Map.Entry<String, String[]> e : data.entrySet()) {
            System.out.println(e.getKey() + " => " + 
                java.util.Arrays.toString(e.getValue()));
        }

        for (String[] a : data) {
            System.out.println(java.util.Arrays.toString(a));
        }
    }
}
于 2019-09-22T23:27:31.260 回答
0

如果你需要唯一的值,你应该使用SET接口的实现

于 2013-07-09T11:46:04.560 回答
0

您可以从文件读取到地图,其中关键是日期,如果日期已经在地图中,则跳过整行

        Map<String, List<String>> map = new HashMap<String, List<String>>();

        int i = 0;
        String lastData = null;
        while (s.hasNext()) {
            String str = s.next();
            if (i % 13 == 0) {
                if (map.containsKey(str)) {
                    //skip the whole row
                    lastData = null;
                } else {
                    lastData = str;
                    map.put(lastData, new ArrayList<String>());
                }
            } else if (lastData != null) {
                map.get(lastData).add(str);
            }


            i++;
        }
于 2013-07-09T11:57:02.267 回答
0

我使用助手类。不确定是好是坏

public class ListHelper<T> {
    private final T[] t;

    public ListHelper(T[] t) {
        this.t = t;
    }

    public List<T> unique(List<T> list) {
       Set<T> set = new HashSet<>(list);
        return Arrays.asList(set.toArray(t));
    }
}

使用与测试:

import static org.assertj.core.api.Assertions.assertThat;


public class ListHelperTest {

    @Test
    public void unique() {
        List<String> s = Arrays.asList("abc", "cde", "dfg", "abc");
        List<String> unique = new ListHelper<>(new String[0]).unique(s);
        assertThat(unique).hasSize(3);
    }
}

或 Java8 版本:

public class ListHelper<T> {
    public Function<List<T>, List<T>> unique() {
        return l -> l.stream().distinct().collect(Collectors.toList());
    }
}

public class ListHelperTest {
    @Test
    public void unique() {
        List<String> s = Arrays.asList("abc", "cde", "dfg", "abc");
        assertThat(new ListHelper<String>().unique().apply(s)).hasSize(3);
    }
}
于 2019-01-28T16:01:43.180 回答