1. 项目概述与核心价值在日常的Java开发中尤其是处理从数据库查询或外部接口获取的数据集合时我们经常会遇到一个看似简单却容易踩坑的需求如何对一个ListObject根据对象的一个或多个属性进行去重。比如你有一个用户列表每个用户有userId和userName现在需要根据userId来去重保留唯一用户。在Java 8之前你可能需要手动遍历、使用HashSet辅助或者借助第三方库代码写起来既啰嗦又容易出错。自从Java 8引入了Stream API和Lambda表达式这类数据操作变得前所未有的优雅和强大。今天我们就来深入探讨三种基于Java 8 Stream流根据对象属性进行列表去重的实现方法。这三种方法各有千秋分别适用于不同的场景和性能要求。我会结合我多年在后台数据处理、微服务接口开发中的实际经验不仅告诉你“怎么做”更会详细拆解“为什么这么做”以及每种方法背后的性能考量、使用陷阱和最佳实践。无论你是刚接触Stream的新手还是想优化现有代码的老手这篇文章都能给你带来直接的、可落地的参考。2. 核心思路与方案选型背后的考量在动手写代码之前我们先要理清思路。根据对象属性去重本质上是一个“筛选”过程其核心在于如何定义“重复”。对于基本类型列表Stream.distinct()方法可以直接使用因为它依赖Object.equals()方法。但对于自定义对象默认的equals比较的是对象引用内存地址除非你重写了equals和hashCode方法使其基于业务属性进行比较。然而在实际项目中我们往往不希望或者不能仅仅为了去重就去修改实体类的equals/hashCode方法因为这可能会影响该对象在其他场景如放入HashMap、HashSet下的行为带来意想不到的副作用。因此我们需要寻找一种不依赖对象自身equals方法而是基于指定属性进行去重的方式。Stream API提供了强大的中间操作和终端操作让我们可以灵活组合。围绕这个需求业界和社区沉淀出了几种主流方案我们主要讨论三种最常用、最具代表性的使用Collectors.toMap模拟去重利用Map的Key唯一性将对象属性作为Key对象本身作为Value进行收集最后取Map的Values。使用TreeSet自定义比较器利用TreeSet的有序性和唯一性通过传入自定义的Comparator来定义何为“重复”。使用Stream的filter与自定义状态维护通过一个临时的HashSet来记录已出现过的属性值在filter操作中进行过滤。选择哪种方案这取决于你的数据量、对原列表顺序的要求、以及对代码可读性和性能的权衡。接下来我们将逐一拆解你会看到每种方法如何实现以及它们各自的“脾气秉性”。3. 方法一使用Collectors.toMap实现去重这是我个人在数据量不大例如万级以下、且需要保留去重后元素任意一种顺序时最常用的一种方法。它的思路非常巧妙利用了Map的键Key不能重复的特性。3.1 实现原理与代码示例假设我们有一个User类现在需要根据userId去重。Data // 使用Lombok简化代码 AllArgsConstructor class User { private Long userId; private String userName; private Integer age; }去重代码如下import java.util.*; import java.util.stream.Collectors; public class DeduplicationDemo1 { public static void main(String[] args) { // 构造一个包含重复userId的列表 ListUser userList Arrays.asList( new User(1L, “张三”, 25), new User(2L, “李四”, 30), new User(1L, “张三重复”, 28), // userId重复 new User(3L, “王五”, 35), new User(2L, “李四重复”, 32) // userId重复 ); // 方法一使用Collectors.toMap去重 ListUser distinctUsers userList.stream() .collect(Collectors.toMap( User::getUserId, // Key Mapper: 以userId作为去重依据 user - user, // Value Mapper: 对象本身作为值 (existing, replacement) - existing // Merge Function: 遇到重复Key时保留已存在的第一个 )) .values() // 获取Map中的所有值即去重后的User对象 .stream() // 将CollectionUser重新转为Stream .collect(Collectors.toList()); // 收集为List // 打印结果 distinctUsers.forEach(System.out::println); } }输出结果User(userId1, userName张三, age25) User(userId2, userName李四, age30) User(userId3, userName王五, age35)可以看到根据userId去重后只保留了每组重复项中第一次出现的那个张三和李四。3.2 关键参数深度解析Collectors.toMap有三个参数理解它们是用好这个方法的关键Key Mapper (Function? super T, ? extends K keyMapper): 这是一个函数用于从流元素中提取作为Map键的值。在我们的场景里它就是去重的依据比如User::getUserId。关键点这个函数返回的值例如userId的hashCode和equals方法将被用于判断是否重复。因此如果你的去重依据是一个自定义对象必须确保该对象正确实现了hashCode和equals。Value Mapper (Function? super T, ? extends U valueMapper): 这个函数决定当键唯一时放入Map的值是什么。通常我们直接使用对象本身user - user。有时你也可以选择只保留某个属性例如User::getUserName但那就不是去重对象而是去重后得到一个属性列表了。Merge Function (BinaryOperatorU mergeFunction):这是实现去重逻辑的核心当keyMapper提取出的键发生冲突即重复时这个函数被调用来决定保留哪一个值。它接收两个参数existingMap中已存在的值和replacement新来的值。(old, new) - old: 保留先出现的首次出现原则。这是我们例子中的用法也是最常见的。(old, new) - new: 保留后出现的末次出现原则。更复杂的逻辑例如比较两个对象的age保留年龄大的(u1, u2) - u1.getAge() u2.getAge() ? u1 : u2。3.3 实操心得与避坑指南注意Collectors.toMap的默认行为与空值nullCollectors.toMap默认不允许keyMapper或valueMapper返回null值否则会抛出NullPointerException。如果你的去重依据属性可能为null必须使用Collectors.toMap的重载版本并指定一个具体的Map实现如HashMap或者考虑使用方法二或三。优点逻辑清晰代码直观地表达了“以某个属性为键收集为Map冲突时保留前者最后取值的集合”这一过程。灵活控制保留策略通过mergeFunction可以轻松实现保留第一个、保留最后一个或按自定义规则保留非常灵活。一次流转完成只需要一次stream()操作理论上效率较高。缺点与坑点顺序丢失通过Map.values()得到的Collection通常是HashSet的视图是不保证顺序的。虽然例子中最后又转成了List但此时的顺序已不是原列表的顺序。如果你需要保留元素原始的插入顺序这个方法默认不满足。解决方案是使用LinkedHashMap来保持顺序ListUser distinctUsersByInsertOrder userList.stream() .collect(Collectors.toMap( User::getUserId, user - user, (old, new) - old, LinkedHashMap::new // 指定Map工厂使用LinkedHashMap )) .values() .stream() .collect(Collectors.toList());并行流Parallel Stream风险toMap的mergeFunction在并行流下可能被并发调用如果函数不是纯函数有副作用或依赖外部状态或者mergeFunction的逻辑不是结合性的associative可能会导致不确定的结果或错误。在去重场景下简单的(old, new) - old是结合性的相对安全但仍需谨慎。多属性去重如果需要根据多个属性如userId和userName同时相同才算重复去重keyMapper需要返回一个能代表组合键的对象。通常有两种做法拼接字符串user - user.getUserId() “_” user.getUserName()。简单但丑陋且存在分隔符冲突的理论风险。使用List或自定义对象user - Arrays.asList(user.getUserId(), user.getUserName())。需要确保List的equals/hashCode是有效的Arrays.asList返回的List实现是满足的。4. 方法二使用TreeSet与自定义比较器去重这种方法利用了TreeSet是一个有序且元素唯一的集合特性。通过向TreeSet提供一个自定义的Comparator我们可以定义在TreeSet看来什么样的两个对象是“相等”的即比较器返回0。4.1 实现原理与代码示例import java.util.*; import java.util.stream.Collectors; public class DeduplicationDemo2 { public static void main(String[] args) { ListUser userList Arrays.asList( new User(1L, “张三”, 25), new User(2L, “李四”, 30), new User(1L, “张三重复”, 28), new User(3L, “王五”, 35), new User(2L, “李四重复”, 32) ); // 方法二使用TreeSet与自定义比较器去重 ListUser distinctUsers userList.stream() .collect(Collectors.collectingAndThen( Collectors.toCollection( // 创建一个TreeSet其排序去重规则由Comparator定义 () - new TreeSet(Comparator.comparing(User::getUserId)) ), ArrayList::new // 将TreeSet转换为ArrayList )); distinctUsers.forEach(System.out::println); } }输出结果与第一种方法一致。4.2 核心组件Collectors.collectingAndThen与ComparatorCollectors.toCollection(SupplierC collectionFactory): 这是一个收集器允许你指定最终结果容器的具体类型。这里我们传入一个Supplier它返回一个新的TreeSet。Comparator.comparing(Function keyExtractor): 这是Java 8引入的非常方便的API用于快速创建比较器。Comparator.comparing(User::getUserId)创建了一个根据userId进行自然序Long实现了Comparable比较的比较器。对于TreeSet如果比较器认为两个对象相等compare返回0则后一个对象不会被加入。Collectors.collectingAndThen(CollectorT,A,R downstream, FunctionR,RR finisher): 这是一个“装饰器”收集器。它先使用下游收集器downstream这里是将元素收集到TreeSet得到一个中间结果R即TreeSetUser然后应用finisher函数ArrayList::new将其转换为最终结果RR即ArrayListUser。4.3 注意事项与性能权衡优点天然排序TreeSet会根据你提供的Comparator对元素进行排序。如果你恰好需要去重后按某个属性排序这个方法一举两得。逻辑相对直观代码表达了“用一个特定的规则比较器把元素放到一个不允许重复的集合里”的概念。支持多属性去重Comparator可以链式调用。例如先按userId再按userName去重Comparator.comparing(User::getUserId).thenComparing(User::getUserName)。缺点与坑点强制排序带来的开销TreeSet基于红黑树实现每次插入的平均时间复杂度是O(log n)。对于纯粹为了去重且不关心顺序的场景这比HashSet的O(1)插入要慢。数据量越大性能差距越明显。改变了元素顺序即使你最后转成了ArrayList顺序也是TreeSet排序后的顺序不是原列表的顺序。如果你需要保留原序此方法不适用。依赖比较器的正确性你必须确保Comparator实现的compare方法与你期望的“相等”逻辑严格对应。即当且仅当两个对象在你业务上认为“重复”时compare方法才返回0。如果compare返回0但业务上并非重复极罕见会导致错误去重反之则无法去重。空值null处理TreeSet默认不允许插入null元素。如果你的列表可能包含null且你希望保留一个null或在去重时考虑null需要特别小心。Comparator需要能处理null或者提前过滤掉null。5. 方法三使用filter与状态维护去重自定义去重逻辑这是最基础、最灵活也是最能体现“手动控制”思想的方法。它不依赖于任何特殊的收集器或集合而是直接在流的filter操作中通过一个外部状态通常是一个HashSet来记录已经遇到过的键。5.1 实现原理与代码示例import java.util.*; import java.util.concurrent.ConcurrentHashMap; import java.util.function.Function; import java.util.stream.Collectors; public class DeduplicationDemo3 { public static void main(String[] args) { ListUser userList Arrays.asList( new User(1L, “张三”, 25), new User(2L, “李四”, 30), new User(1L, “张三重复”, 28), new User(3L, “王五”, 35), new User(2L, “李四重复”, 32) ); // 方法三-1使用HashSet维护状态非线程安全适用于顺序流 SetLong seenUserId new HashSet(); ListUser distinctUsers1 userList.stream() .filter(user - seenUserId.add(user.getUserId())) // 如果add成功即未见过则过滤通过 .collect(Collectors.toList()); System.out.println(“方法三-1结果”); distinctUsers1.forEach(System.out::println); // 方法三-2使用ConcurrentHashMap维护状态线程安全可用于并行流 // 这里利用ConcurrentHashMap的原子性操作putIfAbsent来模拟Set SetLong seenUserIdForParallel ConcurrentHashMap.newKeySet(); ListUser distinctUsers2 userList.parallelStream() // 使用并行流 .filter(user - seenUserIdForParallel.add(user.getUserId())) .collect(Collectors.toList()); System.out.println(“\n方法三-2并行流结果”); distinctUsers2.forEach(System.out::println); } }5.2 状态维护的两种模式解析顺序流模式seenUserId.addHashSet.add(key)方法在键不存在时添加并返回true键已存在时返回false。在filter中只有add返回true即第一次见到这个userId的元素才会被保留下来。这巧妙地实现了“保留首次出现”的去重逻辑。重要这种方法不是线程安全的。HashSet不能在多线程环境下修改。因此它只能用于顺序流stream()绝对不能用于并行流parallelStream()否则会导致数据竞争和不确定的结果。并行流模式ConcurrentHashMap.newKeySet().add为了在并行流中使用这种模式我们需要一个线程安全的集合来维护状态。ConcurrentHashMap.newKeySet()返回一个由ConcurrentHashMap支持的线程安全Set。它的add方法内部使用了并发安全的逻辑可以安全地在多个线程中调用。这样我们就可以利用并行流来加速大规模数据的去重处理。但要注意并行流本身有开销线程创建、结果合并对于小数据量可能得不偿失。5.3 灵活性与复杂场景应对这种方法的强大之处在于其灵活性。你可以在filter函数中实现任何复杂的去重逻辑。场景一根据多个属性去重SetString seenKeys new HashSet(); ListUser distinctUsers userList.stream() .filter(user - { String key user.getUserId() “|” user.getUserName(); // 组合键 return seenKeys.add(key); }) .collect(Collectors.toList());场景二条件去重例如保留年龄最大的这需要更复杂的状态维护通常filter就不够用了可能需要使用Collectors.toMap并自定义mergeFunction或者先分组再处理。场景三保留最后一次出现的记录只需将状态维护的逻辑稍作改动但需要更多代码通常不如toMap的(old, new) - new来得简洁。优点极致灵活你可以完全控制去重的逻辑包括基于复杂条件、动态键等。保留原始顺序因为是顺序过滤所以天然保留了元素在原始流中首次出现的顺序。概念简单易于理解和调试就是简单的“记录-检查”模式。缺点有状态操作违反函数式原则Stream操作理想上是无状态的。这种方法引入了外部可变状态Set使得操作不再是纯函数这在复杂的函数式流水线中可能带来困惑。并行流需要额外处理必须使用线程安全的集合增加了复杂性和轻微的性能开销。代码稍显冗长对于简单的根据单个属性去重代码量比前两种方法要多一些。6. 三种方法对比与选型建议为了更直观地对比我将三种方法的核心特性总结如下表特性维度方法一Collectors.toMap方法二TreeSetComparator方法三filter 状态Set核心原理利用Map键的唯一性利用TreeSet元素唯一性与自定义比较器外部记录已出现键在filter中拦截是否保留原列表顺序默认不保留需用LinkedHashMap不保留按比较器排序保留顺序流下去重策略控制非常灵活通过mergeFunction控制灵活通过Comparator定义“相等”非常灵活可自定义任意逻辑多属性去重支持支持需构造组合键对象支持使用Comparator.thenComparing链式调用支持需在filter内构造组合键并行流支持支持但需确保mergeFunction是结合性的且线程安全不支持TreeSet非线程安全支持需使用并发集合如ConcurrentHashMap.KeySet性能特点一次流转O(n)复杂度性能较好插入复杂度O(log n)数据量大时较慢且排序有开销O(n)复杂度但需维护外部集合有轻微开销代码简洁度较简洁较简洁相对冗长函数式纯度高终端操作高终端操作低有状态中间操作典型适用场景需要灵活控制保留策略、不严格要求原序或可用LinkedHashMap保序去重后需要按某属性排序的场景需要严格保留原列表顺序、或去重逻辑极其复杂的场景选型建议如果你的需求是“保留首次出现且不去关心顺序”方法一toMap通常是首选代码简洁性能良好。如果你的需求是“保留首次出现且必须严格保留原列表顺序”方法三filterHashSet是最直接的选择。或者使用方法一但指定LinkedHashMap::new作为Map工厂。如果你的需求是“去重后需要按某个属性排序”方法二TreeSet可以同时完成去重和排序一举两得。如果你的去重逻辑非常复杂例如需要根据动态条件或外部状态判断方法三的灵活性是无可替代的。如果处理的数据量非常大百万级以上且需要并行处理可以考虑方法三配合ConcurrentHashMap和并行流或者确保线程安全的前提下使用方法一的并行流版本。务必进行性能测试。简单起见作为通用工具方法我通常会封装一个使用方法一配合LinkedHashMap保序的通用工具类因为它平衡了简洁性、灵活性和性能。7. 常见问题排查与实战技巧实录在实际使用中你可能会遇到一些意想不到的问题。这里记录了几个我踩过的坑和对应的解决方案。7.1 问题一去重后列表顺序乱了现象使用Collectors.toMap去重后元素的顺序和原列表不一样了。根因Collectors.toMap默认使用HashMap而HashMap不保证遍历顺序。解决方案如果需要保留插入顺序使用LinkedHashMap.collect(Collectors.toMap(key, value, mergeFunc, LinkedHashMap::new))如果需要保留首次出现的顺序且不介意额外开销直接使用方法三filterHashSet。7.2 问题二并行流parallelStream下去重结果不正确或报错现象使用了parallelStream()结果去重后数量不对或者直接抛出并发修改异常。根因你使用的去重方法不是线程安全的。例如方法二中的TreeSet方法三中普通的HashSet都不是线程安全的容器。解决方案避免在非线程安全的去重方法中使用并行流。如果必须用并行流选择线程安全的方案方法三但将HashSet替换为ConcurrentHashMap.newKeySet()。方法一toMap本身在并行流下是安全的但其默认的合并器mergeFunction必须是结合性的。对于简单的(old, new) - old它是安全的。评估是否真需要并行流数据量不是特别大例如少于1万条时顺序流往往更快因为并行化有线程管理和上下文切换的开销。7.3 问题三根据多个属性去重时拼接字符串存在隐患现象使用user.getProp1() “_” user.getProp2()作为组合键理论上存在极低概率的键冲突例如“a_bc”和“ab_c”拼接后都是“a_bc”。解决方案使用更安全的连接符选择一个在属性值中几乎不可能出现的字符或字符串如“|||”、“\u0001”Unicode控制字符。使用对象作为键推荐做法。可以创建一个专用的Pair、Tuple类或者直接使用List// 使用List .collect(Collectors.toMap( user - Arrays.asList(user.getProp1(), user.getProp2()), Function.identity(), (old, new) - old ))确保作为键的对象正确实现了equals和hashCodeArrays.asList和List.of返回的列表是满足的。使用方法二的Comparator链Comparator.comparing(Obj::getProp1).thenComparing(Obj::getProp2)既清晰又安全。7.4 问题四去重依据的属性值为null导致空指针异常现象当对象的去重属性为null时抛出NullPointerException。根因Collectors.toMap的keyMapper函数返回null或者TreeSet的Comparator无法比较null。解决方案提前过滤如果业务上null值无意义可以在流开始时过滤掉.filter(user - user.getUserId() ! null)。处理null值在keyMapper或Comparator中处理null。例如对于toMap可以返回一个包装对象或特定标记.collect(Collectors.toMap( user - user.getUserId() ! null ? user.getUserId() : “NULL_MARKER”, Function.identity(), (old, new) - old ))对于TreeSet可以使用Comparator.nullsFirst或Comparator.nullsLastComparator.comparing(User::getUserId, Comparator.nullsFirst(Comparator.naturalOrder()))考虑使用Collectors.toMap的重载版本接受Map工厂但通常不如前两种方法直接。7.5 一个实用的通用工具方法封装最后分享一个我项目中常用的工具方法它使用方法一保序版并处理了常见的空集合情况import java.util.*; import java.util.function.Function; import java.util.stream.Collectors; public class StreamUtils { /** * 根据指定键提取器对列表进行去重保留首次出现的元素及其原始顺序。 * * param list 待去重的列表 * param keyExtractor 用于提取去重依据键的函数 * param T 列表元素类型 * param K 键的类型 * return 去重后的新列表 */ public static T, K ListT distinctByKey(ListT list, FunctionT, K keyExtractor) { if (list null || list.isEmpty()) { return new ArrayList(); } return list.stream() .collect(Collectors.collectingAndThen( Collectors.toMap( keyExtractor, Function.identity(), (oldValue, newValue) - oldValue, LinkedHashMap::new ), map - new ArrayList(map.values()) )); } // 使用示例 public static void main(String[] args) { ListUser users // ... 获取列表 ListUser distinctUsers StreamUtils.distinctByKey(users, User::getUserId); } }这个方法足够应对大部分“根据属性去重并保序”的场景代码简洁且意图明确。当然你可以根据团队的需要在此基础上扩展更多功能比如支持自定义保留策略、并行流处理等。