译自 Munro, Robert
像每个工程领域，自然语言处理（NLP）既有接受率约为20％或者更低的顶级会议，也有每篇论文都接受的地方。 这也就意味着这里有很多低质量论文。 然而除了 Quora 的 NLP 模块有提到，我在网上并没有找到太多关于 NLP 会议的介绍。
其实很多类似的知识都像是一种圈内人的隐性知识，对外人来说有些不透明。而且一些很好的会议也都没在推广上做太多工作，因为该领域的每个人都已经知道他们就是领导者了，没必要花多余的精力。
因此，对于试图在 NLP 中探索哪些应该读的圈外人或者新手来说，我认为我可以分享一些更全面的东西。 首先，简单起见，其实在 NLP 中，你几乎只需要查看这六个会议：
ACL: Association for Computational Linguistics
EMNLP: Empirical Methods in Natural Language Processing
NAACL: North American Chapter of the Association for Computational Linguistics
EACL: European Chapter of the Association for Computational Linguistics
COLING: International Conference on Computational Linguistics
CoNLL: Conference on Natural Language Learning
当然，同时你还可以看看信息检索，人工智能，机器学习和数据挖掘相关领域的顶级会议如：
SIGIR: Special Interest Group on Information Retrieval
AAAI: Association for the Advancement of Artificial Intelligence
ICML: International Conference on Machine Learning
ICDM: International Conference on Data Mining
ICLR: International Conference on Learning Representations
（更多可以查看我之前的一个分享。)
然后，还有少数一些相关的期刊。
Journal of Computational Linguistics
Transactions of the Association for Computational Linguistics
Journal of Information Retrieval
Journal of Machine Learning
所以对于嫌麻烦的人来说，这里有个极简阅读指南：
如果论文来自上面提到会议的主会场，或者是其中某个期刊，请阅读。 如果不是，请忽略它。 同样的如果你写出了具有开创性研究成果的论文，想要投稿，也可以如此参考。
若是想知道更详细的人，可以继续读下去。
更详细的阅读指导
上面这个是个简化版的回答，具体答案要复杂得多。 其实在其他地方发表 NLP 相关成果也很正常：比如我的大部分出版和发表都不是在上述这些场所中。
为了帮助你了解其中差异，以下是一些需要考虑的其他细节。 其中大部分是 NLP 领域的一般知识，还有些是来自我自己经验的主观知识：
1. 阅读：会议和期刊
会议是王道。 如果你正在查找论文，那么就得清楚会议和研讨会（workshop）之间有很大的差异。得确保论文来自主会议，而不是相关的研讨会。
还有，像 NLP 这样的工程领域的顶级会议通常比顶级期刊更好（与大多数科学不同）。这主要是因为其快速的周期，可以吸引更多的研究人员。当然，期刊标准仍然很高，一篇涵盖的研究内容通常要比典型的8或10页的会议论文要多。
......如果有人知道 workshop 和 symposium (两者中文翻译都是研讨会)之间的区别，请告诉我。
2. 跳过：关于某应用领域的研讨会
关于将 NLP 应用于某特定领域的研讨会，主要是针对在类似子领域中工作的人员，以分享他们的研究并寻找可能合作机会。 它也非常适合年轻研究人员获得他们的初次发表。而且拥有一个专注的学科领域，也有助于吸引其他研究人员到此应用领域。
例如，我参加了 IJCNLP 2013年的语言处理和危机信息研讨会的计划委员会。 这是一个很棒的研讨会，有一些实体论文，并引起了其他 NLP 研究人员的兴趣，他们可能会想将他们的技能运用到这个领域。 总的来说，它实现了它的初衷。 但是大多数提交的论文都被接受了，所以无法保证这些论文经过仔细审核。对于这方面的工作，最好留意之后几年同一作者在顶会上的论文。
3. 阅读：专注于 NLP 子领域的研讨会
例如，我在和 ACL 2012 同时进行的第4届命名实体研讨会（Named Entities Workshop, NEWS）上，发表了一篇关于灾难响应的命名实体识别的论文：
Munro, Robert and Christopher Manning. 2012. Accurate Unsupervised Joint Named-Entity Extraction From Unaligned Parallel Text. The 4th Named Entities Workshop (NEWS), Jeju, Korea.
我更倾向于相信有关子领域的研讨会，而不是关于应用领域的研讨会。你可以确保论文的审稿者都对“命名实体识别”这个子领域了解很多。但是这里也通常比主会议更容易被接受，因此在这样的研讨会上论文质量仍然不太高。我不确定 NEWS 的水平有多高，但是机器翻译等更受欢迎的子领域却会有很高的品质。例如，统计机器翻译研讨会 (Workshop on Statistical Machine Translation) 的论文，我相信都是经过了解相关领域的人充分审查的，几乎相当于大多数主会场上的论文了。
4. 跳过：主题演讲和邀请演讲
如果你被邀请了，那么（显然）没有双盲的同行评审。 比如我的一个例子：
Munro, Robert. 2010. Crowdsourced translation for emergency response in Haiti: the global collaboration of local knowledge. (Keynote) AMTA Workshop on Collaborative Crowdsourcing for Translation. Denver, Colorado.
主题演讲是个非常好的地方，让人们超越学术界限制来谈论大局和战略问题。 它也是人们总结大量过去工作的好地方。 但这样的内容不受双盲审查，所以你不应当把这些看成和经过仔细审查的论文一样。
5. 阅读：顶级会议的短论文
有些会议允许短论文，通常为4页。
在一个好的会议上，一篇短论文几乎总是比研讨会或次要会议上的长篇论文还要好。 大多数情况下，一篇短论文一般意味着它之前作为长论文提交被拒绝了，之后重新提交。它不用符合同一会议的长论文标准，只需要4页就行，所以一些会议甚至会要求人们同时提交长短论文，以确保一些刻意投短论文的，而不是被删减过的长论文。 查看会议的“征集论文”页面，以确定对短论文的确切信息。
6. 跳过：通过摘要审查（或根本没有）的会议
在人文学科中，会议论文通常得不到全面评审，期刊会更重要（这其实在工程学以外都非常常见）。
在 NLP 中，一个例子就是 LREC 会议，它的论文都只通过摘要进行审查，然后他们发布该摘要而无需进一步修改。 LREC 是查找 NLP 资源信息的最佳会议，也是那些创建语言资源的人聚集的最佳会议。 但这些论文并未经过同行评审。
7. 阅读：来自顶级机构/导师的博士论文
博士论文可以算作经过同行评审的工作，但是其中差异也和论文一样大。 如果博士论文是由顶尖大学授予的，那么它就比较有价值，但你还是得确定它在给定领域的专业性。可以看看谁在审查委员会，然后看看这些研究人员都怎么样：
http://scholar.google.com/citations?view_op=search_authors&hl=en&mauthors=label:natural_language_processing
博士审查委员会是不是由顶尖研究人员组成的？ 如果是的话，那你就可以读读。 通常一个优秀的博士论文，也会有几章内容是在顶级 NLP 会议上发表过的。
8. 跳过：领域外的会议和期刊
这是一些最糟糕论文出现的地方。如果审稿人没有 NLP 的背景，那么他们更可能让论文充满错误或误导性信息然后还被接受。甚至像 Nature 这样的期刊也可以通过糟糕的 NLP 文章：参见 Mark Liberman 对“Language cool as they expand”的评论（它的博客，Language Log 是关于语言的必读博客之一，即使没有同行评审）。
另一个例子是 ISCRAM：Information Systems for Crisis Response and Management。在很多场合，我看到自己的工作在那里被扭曲了。在一篇论文中，研究人员误解了我复杂的语言独立研究，错误地引用我们的话说，以英语为中心的研究确实适用于其他语言。这是一种错误的引用，以使他们能跳过建立（最难）90％的研究。
9. 阅读：被引用很多的论文
引用可以很好地指示出论文的重要性，但有的时候也会出现误导。 例如，BioNLP 这个子领域与生物学领域重叠，而生物学领域的研究人员多于 NLP，因此就有更多的人可以引用论文。
有时候，即使是技术报告（未经审查的论文）也可能具有影响力：
Winograd, Terry (1971). Procedures as a representation for data in a computer program for understanding natural language. Technical Report, MIT.
许多重要的论文都很相似，因为它们经常开创出科学领域。 根据经验，对于NLP 中的论文，1000次或更多次引用意味着它可能是高质量的研究，特别是如果其中许多引用来自于顶级会议的论文。
10. 跳过：书籍章节
如果论文是书的章节，那么很可能是伪装的研讨会论文。 许多较小的工程研讨会和会议将把会议记录作为一本书出版。 这不一定是故意欺骗 - 它起源于大多数论文可以在线发表之前，而且它是捆绑论文以便分发的简单方法。
在大多数其他情况下，书籍章节都是被邀请写的，因此不受双盲的同行评审。 而且如果真的是很有重量的研究的话，那也不会在书的章节，而是直接在顶会上发表了。
11. 阅读：来自顶级研究人员的教科书
这是一个比较难的过程：因为现在任何人都能随时出版一本书，并且想怎么叫就怎么叫，但最受欢迎的教科书往往来自顶级的研究人员。 我建议你可以查查作者先：如果他们在上述的顶级会议经常发表，那么教科书质量也应该很好。书的引用次数也是一个有用的指标。
（Andy: 举几个例子比如说 Manning，还有 Goldberg 他们的教科书就非常棒，如果你去查这俩人也会发现他们在顶会都有不少发表。）
12. SKIP：讨论可部署系统的学术论文
我们需要学者来推动科学的界限，这是一项罕见且至关重要的技能。而不是让我们最好和最聪明的人去生产标准化的软件 - 这个世界上已经有够多的了。
除非研究人员来自一家大型公司（微软，谷歌或IBM），且成立的研发团队专注于NLP，否则他们不会生产可用于工业的软件。 大规模的机器学习非常复杂，并且建立在许多与自然语言处理无关的操作和监控的软件开发技能之上。
13.阅读：你最喜欢的研究员的任何东西
我们都有被“审稿人＃3”给坑了的情况，看到我们认为好的研究被拒绝。 于是有时，一位优秀的研究人员会将这项研究简单地提交给一个较小的会议，以便在进入新项目之前与社区分享。 如果你已经了解某个研究人员可以提供高质量的工作，那么就可能在不太知名的地方寻找到一些宝石。
其他列表和我错过的东西
虽然我已经试图列出一些客观上公认特别棒的会议，但还是有些我不太了解，例如 IJCNLP International Joint Conference on Natural Language Processing 和新的关于计算语义的联合会议 SEM* 等等。
你可能会说，这些会议和上面列出的一些会议一样具有竞争力，只是现在缺一些声望而已。
还有一些更常见的机器学习/数据挖掘会议通常也有 NLP 论文：比如 NIPS 和 KDD，或者更侧重于语音识别等相关领域，如 Interspeech。
此外，你还可以找些列出各个会议截稿日期的网站来获得会议信息，例如 NLP Calendar。这些将使你对该领域的研究人员认为重要的内容有所了解。同样，可以在 aclweb.org 上查找会议的“接受率”。提交很多但接受率很低，通常是说明会议质量好的一个指标。
最后，有许多组织会为大学建立一个会议等级表。这些排名通常用于确定学者的资金，工资或工作机会。
