半导体芯片外观视觉检测系统的研究与开发

半导体芯片外观视觉检测系统的研究与开发

姓名：余轶申请学位级别：硕士专业：机械电子工程指导教师：史金飞

20070301

中文摘要半导体芯片外观视觉检测系统的研究与开发作者：余轶专业名称：杌电一体化指导教师：史金飞教授，东南大学，南京，中国中文摘要机器视觉在工业检测中已经得到了广泛的应用，本文针对某大型半导体企业在芯片检测过程中的实际需求及遇到的困难，利用机器视觉的优点，设计了一套基于机器视觉技术的半导体芯片外观检测系统，实现对出厂芯片连续、高效、快速的外观检测，提高了检测效率、节约人力成本并降低了工人劳动强度、更重要的是保证了检测的精度。针对检测中芯片的倾斜问题，为克服倾斜图像对检测区域搜索的影响，在传统算法的基础上进行改进，利用特征小模板对小角度倾斜不敏感的性质，通过两个小模板的匹配结果对待检芯片图像进行倾斜校正，然后再进行ＲＯＩ区域搜索。在执行时间增加很小的情况下显著提高了精度。保证了后续的各项外观参数检测的实时、准确与可靠。实际运行表明此方法切实可行。为检测芯片的字符缺陷，利用中值滤波对图像进行预处理，通过实验法和最佳阈值法相结合对图像进行二值化处理，使用Ｂｌｏｂ分析方法检测各个字符的尺寸值，运用哈夫变换获得字符整体相对芯片塑封体的位置值，判断芯片字符是否存在移位缺陷和倾斜缺陷。实际应用中本方案能有效地判断字符的此二种缺陷。对于芯片的引脚检测问题，使用ＬｏＧ边缘算子提取图像的边缘信息，将引脚的常见缺陷量化为对引脚个数、引脚长度值、宽度值、相邻引脚间距值的计算判断，并运用标定技术将图像处理所得的象素尺寸转换为实际尺寸。该方法可以很好地检测出芯片引脚的常见缺陷。本课题所开发的系统能检测芯片外观的各类主要缺陷，满足企业的实际检测需求．理论分析与应用表明，本文的研究工作具有实际的应用价值。关键词：芯片检测，机器视觉，Ｂｌｏｂ分析，哈夫变换ＡｂｓｔｒａｃｔＲｅｓｅａｒｃｈａｎｄＤｅｖｅｌｏｐｍｅｎｔｏｆｔｈｅＭａｃｈｉｎｅＶｉｓｉｏｎＳｙｓｔｅｍｆｏｒＡｐｐｅａｒａｎｃｅＩｎｓｐｅｃｔｉｏｎｏｆＥｌｅｃｔｒｏｎｉｃＣｏｍｐｏｎｅｎｔｓＢｙＹＵＹｉＳｕｐｅｒｖｉｓｅｄｂｙＰｒｏｆｅｓｓｏｒＳＨＩＪｉｎｆｅｉＳｃｈｏｏｌｏｆＭｅｃｈａｎｉｃａｌＥｎｇｉｎｅｅｒｉｎｇＳｏｕｔｈｅａｓｔＵｎｉｖｅｒｓｉｔｙ，Ｎａｎｊｉｎｇ２１００９６．Ｐｅｏｐｌｅ’￥ＲｅｐｕｂｌｉｃｏｆＣｈｉｎａＡｂｓｔｒａｃｔＭａｃｈｉｎｅｖｉｓｉｏｎ．ａｓａｐｒｏｍｉｓｉｎｇｔｅｃｈｎｏｌｏｇｙ，ｈａｓｂｅｅｎａｐｐｌｉｅｄｉｎｍａｎｙｆｉｅｌｄｓ．Ｏｎｅｏｆ血ｅｔｙｐｉｃａｌａｐｐｌｉｃａｔｉｏｎｓｉｓｔｈｅｉｎｓｐｅｃｔｉｏｎｕｓｅｄｉｎｉｎｄｕｓｔｒｉａｌａｒｅａ．Ｗｈｉｌｅｅｎｊｏｙｉｎｇｔｈｅｂｏｏｍｏｆｐｒｏｄｕｃｔｉｏｎ，ａｉｓｔｏｓａｙ，ｈｏｗｔｏｉｎｓｐｅｃｔｔｈｅｓｅｍｉｃｏｎｄｕｃｔｏｒｍａｎｕｆａｃｔｕｒｉｎｇｇｒｏｕｐｈａｓｍｅｔａｌｌｕｒｇｅｎｔａｐｐｅａｒａｎｃｅｏｆｓｅｍｉｃｏｎｄｕｃｔｏｒｃｈｉｐｓｅｆｆｅｃｔｉｖｅｌｙａｎｄｐｒｏｂｌｅｍ，ｔｈａｔｅｆｆｉｃｉｅｎｔｌｙ．Ｔｏｓｏｌｖｅｔｈｉｓｐｒｏｂｌｅｍ，ａｌｌｉｎｓｐｅｃｔｉｏｎｓｙｓｔｅｍｉｓｄｅｓｉｇｎｅｄａｎｄｄｅｖｅｌｏｐｅｄｕｓｉｎｇｍａｃｈｉｎｅｖｉｓｉｏｎ．Ｉｎｏｒｄｅｒｔｏｃｏｐｅｗｉｔｈｔｈｅｒｏｔａｔｉｏｎｏｆｃｈｉｐｉｍａｇｅ，ａｍｅｔｈｏｄｉｓｉｍｐｌｅｍｅｎｔｅｄｔｏｄｅｔｅｒｍｉｎｅｔｈｅｏｒｉｅｎｔａｔｉｏｎｏｆｔｈｅｏｆｒｏｔａｔｉｏｎｉｍａｇｅａｎｄａｄｊｕｓｔｉｔａｓｔｏｂｅｍａｔｃｈｅｄｂｙｔｗｏｎｏｎ－ｒｏｔａｔｅｄｔｅｍｐｌａｔｅｓ．Ｐａｒａｍｅｔｅｒｓａｒｃｏｂｔａｉｎｅｄｉｎｔｈｉｓｍｅｔｈｏｄｂｙｕｓｉｎｇｔｈｅｍａｔｃｈｉｎｇｏｆａｂｏｖｅｔｅｍｐｌａｔｅｓ．ＡＲｅｒｄｅ－ｒｏｔａｔｉｏｎｔｉｍｅｉｓｎｅｅｄｅｄ．Ａｐｐｌｉｃａｔｉｏｎｓｓｈｏｗｔｈａｔｔｈｅｐｒｏｐｏｓｅｄｍｅｔｈｏｄｉｓｓｔａｂｌｅｏｆｃｈｉｐｉｍａｇｅｉｎｔｅｒｍｓｏｆｔｈｅｓｅｐａｒａｍｅｔｅｒｓ，ｉｎｓｐｅｃｔｉｏｎａｃｃｕｒａｃｙｉｓｉｍｐｒｏｖｅｄｄｒａｍａｔｉｃａｌｌｙａｓｗｅｌｌａｓｊｕｓｔａｌｉｔｔｌｅｍｏｒｅａｎｄｓｕｃｃｅｓｓｆｕｌ．Ｉｎｔｈｅｐｒｏｃｅｓｓｏｆｍａｒｋｃｈｉｐｉｎｓｐｅ蛾ＭｅｄｉａｎＦｉｌｔｅｒｉｓｆｉｒｓｔｌｙａｐｐｌｉｅｄｔｏｒｅｄｕｃｅｔｈｅｎｏｉｓｅｏｆｔｈｅｉｎｐｕｔｉｍａｇｅ．ＴｈｅｎｔｈｅＯｐｔｉｍａｌＧｌｏｂａｌＴｈｒｅｓｈｏｌｄｉｎｇｍｅｔｈｏｄｉｓｕｓｅｄｆｂｒｉｍａｇｅｂｉｎａｔｉｚａｔｉｏｎａｎｄｓｅｇｍｅｎｔａｔｉｏｎ．Ａｆｔｅｒｔｈｅｓｅｔｈａｔ，ＢｌｏｂａｎａｌｙｓｉｓｉｓｅｍｐｌｏｙｅｄｔｏｏｂｔａｉｎｔｈｅｄｉｍｅｎｓｉｏｎｓｔｈｅｐａｒｍｎｅｔｅｒｓｏｆＰａｃｋａｇｅｏｕｔｌｉｎｅｃａｌｃｕｌａｔｅｄｏｆｅａｃｈｍａ＿ｄｃＷｉｔｈｔｗｏｄｉｍｅｎｓｉｏｎｓａｎｄｂｙＨｏｕｇｈＴｒａｎｓｆｏｒｍ，ｔｈｅｍａｊｏｒｄｅｆｅｃｔｓ，ｍａｒｋｓｈｉｆｔｉｎｇａｎｄｍａｒｋｒｏｔａｔｉｏｎ，Ｃａｌｌｂｅｄｅｔｅｒｍｉｎｅｄｅｆｆｅｃｔｉｖｅｌｙ．Ｗｈｅｎｃｏｍｉｎｇｔｏｔｈｅｌｅａｄｉｎｓｐｅｃｔｉｏｎ，ｔｏｂｅｇｉｎｗｉｔｈ，ＬｏＧｍａｓｋｉｓｃｏｎｖｏｌｕｔｅｄｗｉｔｈｔｈｅｐｒｅｔｒｅａｔｅｄｉｍａｇｅｆｏｒｅｄｇｅｄｅｔｅｃｔｉｏｎ．Ａｃｃｏｒｄｉｎｇｔｏｌｅａｄｅｄｇｅｉｎｆｏｒｍａｔｉｏｎ，ｔｈｅｄｉｍｅｎｓｉｏｎｓｏｆｌｅａｄｓ，ｓｕｃｈａｓｌｅｎｇｔｈ，ｗｉｄｔｈａｎｄｓｐａｃｉｎｇ，ａｒｅｃａｌｃｕｌａｔｅｄｉｎｔｈｅｉｍａｇｅｃｏｏｒｄｉｎａｔｅ．Ｔｈｅｎｔｈｅｃａｌｉｂｒａｔｉｏｎｔｅｃｈｎｏｌｏｇｙｉｓａｄｏｐｔｅｄｔｏｃｏｎｖｅｒｔｔｈｅｓｅｄｉｍｅｎｓｉｏｎｓｉｎｔｏｌｅａｄｓ’ｒｅａｌｐａｒａｍｅｔｅｒｓｉｎｓｐａｃｅｃｏｏｒｄｉｎａｔｅ．Ｔｈｉｓｓｏｌｕｔｉｏｎｏｆｉｎｓｐｅｃｔｉｏｎｉｓｐｒｏｖｅｄｔｏｂｅｐｒａｃｔｉｃａｂｌｅａｎｄｆｅａｓｉｂｌｅ．ｉｎｄｉｃａｔｅｔｈａｔｔｈｅｒｅｓｅａｒｃｈｗｏｒｋｄｏｎｅｉｎｔｈｉｓｔｈｅｓｉｓｉｓｏｆＴｈｅｏｒｅｔｉｃａｌａｎａｌｙｓｉｓａｎｄａｐｐｌｉｃａｔｉｏｎｐｒａｃｔｉｃａｌｖａｌｕｅ．ＫｅｙＷｏｒｄｓ：ＳｅｍｉｃｏｎｄｕｃｔｏｒＣｈｉｐＩｎｓｐｅｃｔｉｏｎ，ＭａｃｈｉｎｅＶｉｓｉｏｎ，ＢｌｏｂＡｎａｌｙｓｉｓ，Ｈｏｕｇｈ－ＴｒａｎｓｆｏｒｍⅡ东南大学学位论文独创性声明本人声明所呈交的学位论文是我个人在导师指导下进行的研究工作及取得的研究成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含为获得东南大学或其它教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示了谢意。研究生签名：东南大学学位论文使用授权声明东南大学、中国科学技术信息研究所、国家图书馆有权保留本人所送交学位论文的复印件和电子文档，可以采用影印、缩印或其他复制手段保存论文。本人电子文档的内容和纸质论文的内容相一致。除在保密期内的保密论文外，允许论文被查阅和借阅，可以公布（包括刊登）论文的全部或部分内容。论文的公布（包括刊登）授权东南大学研究生院办理。研究生签名：雄导师签名：逝芝日第一章绪论第一章绪论１．１课题的背景及意义作为全球芯片产业增长最快的地区和全球最具发展潜力的市场，２０１０年前，我国将成为仅次于美国的全球第二大芯片市场。中国不再仅仅是芯片消费大国，也开始成为芯片生产大国。伴随市场需求的扩张、产业规模的升级、技术水准的提高，我国已出现一批具备较强国际竞争力的品牌产品和强势企业。某大型半导体生产企业就是其中的佼佼者，几年来公司的产量和产值以超过２０％的速度递增，产量和规模日益增大的同时也带来了新的问题，即如何连续、高效、快速地对芯片的外观进行检测。目前企业主要是采用人工肉眼查看检测，不仅耗费巨大的人力成本，而且无法保证检测的精度和速度。为解决这一制约企业进一步发展的瓶颈问题，该企业决定利用机器视觉（图像处理）的优点，对芯片的外观进行全天大批量、不间断的检测，从而提升芯片产品的精度与出厂速度，增加企业的竞争力。机器视觉检测就是结合计算机技术和图像处理算法，使计算机能认识和“看懂”所要检测的物件，对目标图像进行分析判断，从而达到检测目标物体的目的。相比于人眼检测，机器视觉检测精度高、速度快、且能长时间连续工作“““。本课题就是围绕芯片外观检测展开，结合该大型半导体企业在检测过程中的实际需求及遇到的困难进行开发。利用机器视觉的优点，应用数字图像处理学理论和方法，对机器视觉检测系统的设计、结构及关键技术的实现等展开研究，重点阐述如何实现半导体芯片的引脚的检测与匹配实现以及检测芯片字符缺陷的理论基础和方案流程的选择。１．２国内外研究现状及发展概况１．２．１机器视觉的发展机器视觉是研究用计算机来模拟生物外显或宏观视觉功能的科学和技术，是一个相当新且发展十分迅速的研究领域，目前已成为计算机科学的重要研究领域之一。在上世纪二十年代人们开始用离散化的方法处理图像，五十年代机器视觉研究主要着眼于统计模式识别，如光学字符识别、工件表面、显微图片和航空图片的分析和解释。到了七十年代，麻省理工学院０ＶｄＴ）人工智能ＣＡＩ）实验室正式开设“机器视觉”（Ｍａｃｈｉｎｅｖｉｓｉｏｎ）课程，由Ｂ．ＩＣＰ．Ｈｏｒｎ教授讲授。七十年代末，ＤａｖｉｄＭａｒｒ教授提出计算视觉理论，为以后的机器视觉研究奠定了十分重要的基础。Ｍａｒｔ＂认为［３１，视觉是一个信息处理系统，对此系统过程应划分为三个阶段：第一阶段（早期阶段）是图像特征的抽取以及图像的基本描述，抽取图像中诸如角点、边缘、纹理、线条等基本特征；第二阶段（中期阶段）是以观察者为中心的对周围物体的观察，即２．５Ｄ观察；第三阶段（后期阶段）则是在以物体为中心的坐标系中，依靠先验知识和经验对物体及场景的３Ｄ重建（Ｋｅｃｏｎｓｔｒｕｃｔｉｏｎ）。Ｍａｒｌ＂理论是计算机视觉研究领域的里程牌，使机器视觉的研究有了比较明确的体系。但该理论还不是十分完善，在很多方面还具有争议，在随后的研究中也暴露了一些缺点，如：东南大学硕士学位论文认为视觉过程是成像过程的逆过程，但由于在成像过程中存在噪声及干扰，因此图像的三维成像过程实际上非常困难；而且理论中认为输入是被动的，视觉处理框架基本上是自下而上没有反馈的，处理目的也是不变的，总是要求出场景中物体的形状和位置；此外，Ｍａｒｒ理论对知识的应用重视不足。近年来，对机器视觉的研究一直方兴未艾，它的应用领域也在迅速扩大。目前机器视觉的研究主要分为两部分１４Ｊ：理论研究与应用研究。理论研究是在实验室的条件下，研究模拟人类视觉的各种理论与算法（如特征抽取、双目立体视觉、运动与光流、由线条图到实体、由阴影到形体、由纹理到形体等）；应用研究则是以解决实际问题为出发点，在研究中不得不考虑到应用现场的一些环境影响与困难，这类研究主要集中在识别、检测问题（包括产品的检查，产品的装配、产品的分类等）。本课题的研究就是属于后者的范畴。１．２．２机器视觉在半导体外观检测上的应用机器视觉技术正广泛地应用于各个方面［５１，从医学图像到遥感图像，从工业检测到文件处理，从毫微米技术到多媒体数据库等，需要人类视觉的场合几乎都需要机器视觉，特别在某些要求高或人类视觉无法感知的领域，如精确定量感知、危险现场感知，不可见物体感知等，机器视觉的作用就显得尤为重要了。机器视觉的一个主要、典型的应用就是对半导体芯片的外观检测。微电子技术的突飞猛进，使得各种半导体芯片的集成度越来越高，同时芯片的体积趋向于小型化及微型化，这些都对芯片的检测提出了较高的要求。而现场的大批量生产更使得传统的人工肉眼检测难以满足实际需求。机器视觉系统所具有的非接触性、连续性、经济性、灵活性等优点，使人们有了更好的选择，人工检测正逐渐被机器视觉检测所替代。将机器视觉应用于半导体检测，主要是通过对实时抓取的图像采用模式匹配进行定位，分析处理图像并得到图像的各项参数，与预先设置好的检测标准进行比较计算进而判断图像合格与否。自上世纪九十年代以来，机器视觉应用与外观检测又有了新的发展，国内外的学者已不仅仅局限于单纯的视觉检测系统的研究和设计，而是把机器视觉技术与工业生产底层过程现场（ＰＣＳ，ＰｒｏｃｅｓｓＣｏｎｔｒｏｌＳｙｓｔｅｍ）、制造执行系统（ＩＶＩＥＳ，ＭａｎｕｆａｃｔｕｒｉｎｇＥｘｅｃｕｔｉｏｎＳｙｓｔｅｍ）结合起来，实现柔性制造、敏捷制造、计算机集成制造，进而为企业高层的决策，企业资源管理（ＥＲＥＥｎｔｅｒｐｒｉｓｅＲｅｓｏｕｒｃｅＰｌａｎｎｉｎｇ）提供准确可靠的数据“．图１．１所示是目前市场上几种常见的半导体外观视觉检测系统。Ｃｏ）图１－１几种半导体外观视觉检测系统（ｃ）．２－第一章绪论图ｌ－ｌ（ａ）是马来西亚ＰｅＩＩ陆ｎ∞ｔｅｒ的ＰＭ４０．ＰＳ型芯片检测机。利用卷盘到卷盘的形式提供封装和包装后检测，可检测二维的引脚、字符和方向等；图ｌ一１Ｃｏ）Ｖｉｔｒｏｘ公所产的３维引脚，５侧视检系统，立体检测引脚的尺寸与站立度，也能检测塑封体的各个侧面；图ｌ—ｌ（ｃ）是台湾健鼎的ＴＭＴ－３２８３２测试一体机，可根据需要选用字符检测模块或引脚检测模块。与人工检测相比，机器视觉应用于半导体外观检测具有以下一些优点１．非接触性作为一个精确的检测设备，机器视觉系统通过分析处理被检对象图像对此对象进行测量。测量过程中并不需要接触，所以对被测对象没有磨损和危险，实现了无损检测。２．连续性机器视觉的优势是显而易见的，因为人有情绪，会疲劳，把人用作机器是不可靠的。与人眼相比，机器不仅不会疲劳，而且具有人所不具有的一致性和重复性，可以长时间不间断运作。此外，由于没有人工操作者，也就没有了人为造成的操作变化，多个系统可以设定单独运行。３．精确性近年来，由于芯片封装的小型化，生产的复杂程度增加，生产率却不断提升，加上各种新型元器件的广泛使用，使得在半导体芯片的封装和生产线上，仅仅使用人眼进行检测操作已经不能保证生产线的质量和效率。检测的速度和精确度在很长时间内，是制约芯片产能和质量进一步提高的瓶颈。如何具有与封装生产相匹配的速度，实现１００％的在线检测，一直是半导体制造商最为关注的问题。而检测速度和精确性正是机器视觉检测具备的一个明显优势，日新月异的机器视觉技术，正在代替人进行全自动的产品检测。４．经济性随着视觉检测技术的逐步成熟与处理硬件设备价格的降低，机器视觉系统的经济性逐渐显现出来。一套视觉检测系统可以代替多个人工检测者。另外机器视觉系统普遍的操作和维持费用都比较低。５．可扩展性机器视觉系统能够进行各种不同的测量。机器视觉系统比光学和机器传感器具有更好的适应性，多样性，灵活性和可重组性。当需要改变检测过程时，对机器视觉系统来说“工具更换”仅仅是更新软件，而非升级昂贵的硬件。当生产线重组之后，机器视觉系统往往可以被保留下来而继续使用。尽管人们对机器视觉进行了卓有成效的研究，研究出了大量的技术和算法，但其仍处于不成熟的阶段，将机器视觉应用于芯片检测必然要面对一定的难点，总结起来，主要有以下几个方面【５１１７］［８］：１．机器视觉的唯一输入是二维图像，而三维场景被投影为二维图像时，深度和不可见部分的信息就会丢失，因而会出现不同形状的三维物体投影在图像平面上产生相同图像的问题，此外，在不同视角获取同一物体的图像也会有很大的不同。这在检测芯片的引脚时显得尤为突出，因为大部分的芯片引脚并不共面。如图ｌ－２所示。．３．东南大学硕士学位论文图１－２芯片引脚的不共面性２．工业现场环境的各种因素，如照明、芯片形状、表面颜色、相机以及空间关系变化都会影响所获得的图像，进而直接影响到检测的效果与成败，因此，如何提高现场环境效果及避免环境因素的影响也是不可忽略的闯题。３．芯片图像的信息量十分巨大，比如分辨率为５１２Ｘ５１２的灰度图像的数据量为２５６Ｋ，巨大的数据量不仅占用存贮空间，而且必然使得执行时间大幅增加，不易实现快速处理。而现场的要求是实时、大批量，多幅并行处理，这样就对算法的选择与优化提出了很高的要求。４．实时采集的图像不可避免地有一定角度的倾斜和旋转，准确快速地对图像进行定位和分割处理并非易事，在对速度要求高的检测场合这个问题显得尤为突出，而这一步的成败直接决定了后续的检测处理结果。日前国内外对于半导体芯片外观检测已经有了很多种成型的技术和算法，应用在不同的机器视觉检测场合，但工业现场的情况千变万化，没有固定的模式和算法去解决所有的问题，没有“通法”也就成了机器视觉系统特点之一，研究人员必须根据检测所要达到的标准和目标，综合考虑现场的各种情况设计开发合适的机器视觉系统。而国内目前所使用的视觉检测系统大多为进口产品，不仅成本较高，而且与国内的生产流程和现状难以融合。本课题的目标就是针对某个特定企业半导体芯片的尺寸和外观检测要求，实现针对性开发和定制开发。１．３本课题的研究内容和组织安排本课题的研究内容是针对该企业在半导体芯片大批量生产检测中出现的困难，利用机器视觉实现芯片外观检测的自动化与智能化。根据企业的具体要求和现场的实际情况，进行半导体芯片外观检测系统的设计及总体框架搭建。在半导体芯片的引脚检测模块，设计从图像预处理、ＲＯＩ（ＲｅｉｇｎｏｆＩｎｔｅｒｅｓｔ）搜索（模板匹配）、边缘检测、边缘信息提取及根据所获得的检测信息进行决策判断的方案过程。通过对不同预处理方法、模板匹配方法、边缘提取方法的研究和比较，通过实验选出最适合本课题应用的方法，以得到最佳的引脚参数信息。在半导体芯片的字符检测模块，预处理和ＲＯＩ搜索同引脚检测模块，利用Ｂｌｏｂ（斑点）分析处理获得字符的倾斜角度、整体字符印刷区域的位置，确保印刷字符均匀、无偏斜地分布在芯片表面。本文内容共分六章，分别从理论和应用的角度对课题的重点和难点进行了深入的分析：第一章：介绍课题的背景和意义、国内外研究现状、论文所做工作以及全文的安排；·４－第一章绪论第二章：介绍有关机器视觉的基本概念，系统的总体架构分析，本机器视觉系统的软、硬件系统构成，以及所用的一些机器视觉设备：第三章：讲述图像的ＲＯＩ区域搜索技术，通过对不同的算法的分析比较，并针对现场的特定情况，提出更有效的改进方法，并经过实验验证；第四章：对半导体芯片的字符检测问题进行详细的阐述，包括检测过程的基本原理、算法、实现以及实验结果等；第五章：针对半导体芯片的引脚检测模块，详细介绍系统实现的具体方法和关键技术；第六章：对整个系统进行总结，分析本系统的不足及有待改进的方面。并对进一步的研究和完善提出了建议。．５．东南大学硕士学位论文第二章系统总体架构分析本章将针对半导体芯片检测的实际需求和检测目标，分析介绍本系统的设计思想及检测流程。简述所需的相关设备平台及其性质，以及选取原则。２．１系统需求分析通过对生产现场的调研，我们发现半导体芯片的主要缺陷分布在引脚和字符两方面，此两类的常见缺陷如图２．１和图２－２所示：字符的常见缺陷主要分为字符移位缺陷和字符的整体倾斜缺陷（图２－１）。实际检测中又以ｘ／Ｙ方向的偏移最为普遍，要求系统能准确快速地处理字符图像，计算出偏移的位移和方位，同时对其他类型的缺陷也能作出精确判断。（ａ）字符倾斜（ｂ）字符Ｙ方向偏移图２－１芯片字符常见缺陷一黼∞（ａ）歪脚（ｂ）缺脚（ｃ）断脚（ｄ）脚扭曲（ｃ）切偏图２－２芯片引脚常见缺陷图２－２（ａ）表示以管脚中心线为基准，管脚向任一方向弯曲使管脚顶端距原位置偏离（歪脚）；图２－２（ｂ）指芯片脚数少于规定脚数或有松动；图２－２（ｃ）所示缺陷是同一产品不同引脚之长度差异，即引脚折断；图２－２（ｄ）为引脚扭曲；图２－２（ｅ）和图２－２（ｆ）则表示中筋凸出或凹陷和中筋未切断导致脚与脚连接。本文所描述的检测系统需检测出以上各类引脚不良，通（Ｏ连筋．６－第二章系统总体架构分析过对引脚几何形状的处理分析，不符合检测标准的被定义为不合格芯片。整个系统实行在线检测，要求对芯片外观的各种参数进行快速攫取与计算，有效识别各类缺陷，准确区分合格芯片与不良芯片。此外，应考虑到企业生产能力的提高、产品类型的多样化及生产线的更新换代，使系统具有可扩展性与通用性。要满足芯片外观检测的实际需求，本检测系统必须考虑以下几个方面的要求：１．精度要求系统应检测出引脚和字符的上述常见缺陷，对于芯片整体外观检测，要求误识率在Ｏ．１％以下：２．速度要求检测每一芯片的所用时间受到需要测量的项目数量、所需的操作过程，及主机速度的影响。考虑到企业实际生产能力及未来的产能扩容，检测速度应达到３个芯片，秒；３．通用性要求系统按模块化设计开发，使检测项目和检测内容通用灵活，能检测多种类型芯片，易于后续开发和功能扩展。２．２半导体芯片视觉检测系统机器视觉检测系统的总体结构大体上分为两种：一种是传统的由光源、光学系统、ＣＣＤ／ＣＭＯＳ相机、计算机、图像处理单元（或图像采集卡）、机器视觉处理软件、人机接口、通讯接口等设备组成的机器视觉系统结构；另外一种是基于嵌入式技术的“聪明相机”（ＳｍａｒｔＣａｍｅｒａ）。考虑到工业现场的复杂环境及企业的开发成本。我们设计了一套以计算机为中心，由视觉传感器、高速图像采集卡等模块组成的检测系统，如图２－３所示。１．相机与镜头２．光源３．传感器４．图像采集卡５．计算机６．检测软件７．Ｉ／ｏ及网络连接图２－３基于ＰＣ的机器视觉系统２．２．１相机相机是机器视觉系统中的一个关键组件，其最本质的功能就是将光信号转变成为有序的电信号。选择合适的相机也是机器视觉系统设计中的重要环节，相机不仅直接决定所采集到的图像分辨率、图像质量等，同时也与整个系统的运行模式直接相关。．７－东南大学硕士学位论文２．２．ｉ．Ｉ相机的主要参数嘲１．分辨率（Ｒｅｓｏｌｕｔｉｏｎ）：相机每次采集图像的象素点数（Ｐｉｘｅｋ）．对于数字相机一般是壹接与光电传感器的像元数对应的，对于模拟相机则是取决于视频制式，ＰＡＬ制为７６８＊５７６，ＮＴＳＣ制为６４０＊４８０：２．象素深度（ＰｉｘｅｌＤｅｐｔｈ）：即每象素数据的位数，一般常用的是８Ｂｉｔ，对于数字相机一般还会有ｌＯＢｉｔ、１２Ｂｉｔ等；３．最大帧率（ＦｒａｍｅＲａｔｅ）／行频（ＬｉｎｅＲａｔｅ）：相机采集传输图像的速率，对于面阵相机一般为每秒采集的帧数（Ｆｒａｍｅｓ／Ｓｅｃ．），对于线阵相机为每秒采集的行数（Ｈｚ）；４．曝光方式（Ｅｘｐｏｓｕｒｅ）和快门速度（Ｓｈｕｔｔｅｒ）：对于线阵相机都是逐行曝光的方式，可以选择固定行频和外触发同步的采集方式，曝光时间可以与行周期一致，也可以设定一个固定的时间；面阵相机有帧曝光、场曝光和滚动行曝光等几种常见方式，数字相机一般都提供外触发采图的功能。快门速度一般可到１０微秒，高速相机还可以更快：５．象素尺寸（ＰｉｘｅｌＳｉｚｅ）：象素大小和分辨率共同决定了相机靶面的大小。目前数字相机象素尺寸为３ｕｍ．１０ｔｔｍ，一般来说，象素尺寸越小，制造难度越大，图像质量也越不容易提高；６．光谱响应特性（ＳｐｅｃｌｒａｌＲａｎｇｅ）：是指该像元传感器对不同光波的敏感特性，一般响应范围是３５０ｎｍ－－１０００ｎｍ，一些相机在靶面前加了一个滤镜，滤除红外光线，如果系统需要对红外感光时可去掉该滤镜。２．２．１．２相机的分类与选用目前图像数字化设备中采用的相机多种多样，这些相机根据不同的标准可分为不同的种类“ｑｌｌｌｌ：按感光芯片可划分为ＣＣＤ相机与ＣＭＯＳ相机；按输出图像信号格式划分模拟相机和数字相机；按像元排列方式划分面阵相机和线阵相机。当为一个新的视觉系统选用相机时，首先要考虑相机的分辨率，这是因为相机的分辨率会直接影响到整个视觉系统的计算精度。而衡量系统精度的标准，就是我们常常听到的象素值一－－ＣＣＤ芯片上象素所对应的实际长度。象素值的计算公式如下：象素值（ｘ方向）＝视野范围（Ｘ方向）÷ＣＣＤ芯片象素数量（ｘ方向）象素值（Ｙ方向）＝视野范围（Ｙ方向）÷ＣＣＤ芯片象素数量（Ｙ方向）这个象素值越小，系统的计算精度就越高。对于一个有具体精度要求的项目，计算相机分辨率的公式如下：分辨率（ｘ方向）＝视野范围（ｘ方向）÷理论象素值（ｘ方向）分辨率（Ｙ方向）＝视野范围（Ｙ方向）÷理论象素值（Ｙ方向）理论象素值是根据项目精度的要求推算得出的象素值，象素值只有达到这一数值，才能保证系统的精度符合要求。除了精度要求外，另一个必须考虑的是速度上的要求。系统速度的快慢取决于整个视觉系统运行的时间，包括成像时间和处理时间。机器视觉检测系统为一个实时处理系统，所选用的相机成像时间必须控制在一定范围内。除了以上因素之外，在为系统选用相机的时候，还要考虑选用的相机是否与现有的采集卡匹配。主要包括：视频信号的匹配，分辨率的匹配，特殊功能的匹配，相机类型的匹配等。．３－第二章系统总体架构分析２．２．１．３本系统采用的相机类型通过对现场生产线的调研，并考虑到成本因素，本系统决定采用Ｓｏｎｙ公司生产ＸＣ－５５工业相机。表２．１传感器类型象素输出ＸＣ．５５相机主要参数１／３英寸连续扫描ＣＣＤ６５９Ｘ４９４ＲＳ一１７０（ＥＩＡ）ＤＣ电源其他＋１２Ｖ异步触发图２－４ＸＣ一５５工业相机２，２．２图像采集卡在机器视觉系统中，图像采集卡是图像采集部分和图像处理部分的接口，对相机所输出的视频数据进行实时采集，并提供给图像的处理单元。图像采集卡必须与相机协调工作，才能完成特定的图像采集任务。在工业检测中不可以用多媒体级的采集卡，因为这些采集卡用自动增益控制、边缘增强、颜色增强等电路而改变了图像的数据，虽然获得的图像人眼看起来更加动人，但是当这些被改变的图像被机器视觉软件处理后，可能导致错误的检测结果，影响着检测过程的准确性。而工业级的采集卡可以保证从相机获取的数字图像在被传输到主机处理前是一个正确的格式。为了满足工业应用中高速、大量的图像数据处理要求，机器视觉系统的图像采集卡除完成常规的Ａ／Ｄ转换之外，还应具备以下功能：１．采集来自相机的高速数据流，并通过ＰＣ总线高速传输至机器视觉系统的存储单元和处理单元；２．对多通道输出的信号能进行重构，恢复原始图像；３．对相机及机器视觉系统中其他模块（如光源等）进行功能控制。本系统采用ＦＡＳＴ公司出品的ＦＶＣ０２图像采集卡。ＦＶＣ０２是一款ＰＣＩ总线规格、多通道高速图像输入采集卡．－９－东南大学硕士学位论文图２－６表２外形尺寸＋５Ｖ２Ｆ、，ｃ０２图像采集卡ＦＶＣ０２图像采集卡主要规格１７４ｍｍｘ１０６．６８ｒａｍ（不包括连接器的突起部分）采集卡消耗电流相机供给电流＋１２Ｖ－１２Ｖ约６００ｍＡ约２００ｍＡ（ｍａｘ）约９０ｍｈ（ｍａｘ）约２Ａ（ｍａｘ））２频道ｉ．０＋１２Ｖ（由Ｊ３供给）图像输入频道数输入信号水平／垂直扫描频率等外部同期信号（输出）帧快门（每台相机最大供给电流约为ＩＡ）实际的供给电流将根据连接的相机及台数而变化。Ｖｐ—ｐ／７５Ｑ合成影像（水平）可编程的（约１５．７３４ｌ【｝Ｉｚ～３１．４６８Ｉ（｝Ｉｚ）输入影像（垂直）可编程的（约５Ｈｚ～１２０Ｈｚ）（隔行／非隔行）可编程的２频道（皿／ｖＤ）普通（１／１００～１／８０００秒）随机触发（１／４～１／１０００００秒）２点、ＴＴＬ（负逻辑）控制输入随机触发要求输入２．２．３光源与照明光源也是机器视觉系统中的重要组成部分，直接影响输入图像数据的质量和整个处理结果的好坏。因此照明设计是机器视觉系统设计中的重要环节。为了创造良好、稳定的观察和测量条件，人们制成了多种人工光源，如自炽灯、卤素灯、发光二极管（ＬＥＤ）及激光光源，针对每个特定的应用实例，要选择相应的照明装置，以达到最佳效果。机器视觉系统的照明设计应重点考虑四个基本因素：１．镜头的视场在照明系统的设计中，应根据被测对象的尺寸确定镜头的视场，再根据镜头视场的大小决定最佳的照明系统；２．照明系统与工件的间距．１０一第二章系统总体架构分析应全面了解镜头到工件的距离，从而确定光源与工件的距离；３．工件的外形、条件及颜色工件表面的形状、平坦度，光滑程度等条件决定照明的选择。最佳的照明颜色可通过检测工件或被检测区域的颜色来决定；４．成像物镜应针对确定的成像物镜进行照明系统的设计，如：工件中需要可视化的部分、划痕、缺陷等是否被显现，工件表面的是否能够辨认等。在机器视觉系统设计中，只有充分理解实际应用场合和应用环境，才能选择出最佳的光源和照明形式，从而获得高质量的图像，最大限度地保证检测的稳定性和可靠性。２．３系统软件的原理及流程系统软件是整个机器视觉系统的大脑和中枢，最终的控制和决策都由其完成。本系统利用图像处理技术对实时采集到的图像进行预处理和模板匹配定位，根据不同的检测类别选择具体的处理区域，对分区域内的图像作进一步的分析，提取相关的特征和图像数据，再根据设定的尺寸标定值和标准参数公差判断此区域目标是否合格，从而实现对半导体芯片外观的视觉检测。系统软件的工作原理如图２．７。图２－７系统软件工作原理图为了更好地开发和维护，使检测项目和检测内容灵活方便，且方便进一步的完善和扩展。本系统软件采用模块化设置，各个相对独立的模块完成不同的功能，整个系统包括七个模块（图２—８），分别介绍如下：东南大学硕士学位论文图２．８系统模块图１．图像采集包括对采集卡和相机的参数初始化和信号同步，可以实现相机连续采集、单步采集和随机触发采集。单步采集对应在现场对任一芯片进行图像抓取、处理从而获得参数；连续采集是使系统按一定的频率进行采集图像：随机触发采集对应于现场的实时检测，当传感器检测到有芯片时，发出触发电平信号控制相机对芯片拍照。此外，还可以在无硬件连接的情况下脱机虚拟运行，从磁盘或其他存储器中调入图像，进行参数设定或模拟现场运行；２．参数设置参数设置主要是对系统正确工作所必需的参数进行设置，包括检测模板设定、芯片引脚和字符检测的公差值设定、相机标定设定。为了获取图像检测所必需的处理区域，如图像上引脚或字符所在的区域，需要将这些区域在标准图像上的所对应区域设置为检测模扳，即进行区域模板设定；此外，根据采集所得或系统调入的标准图像获取标准值，对芯片引脚和字符检测的公差值进行设定；由于图像处理所得的尺寸皆为象素尺寸，而检测的公差则是由实际尺寸表示，因此必须将处理过程中得到象素尺寸值转换为实际尺寸值，转换关系由相机标定设定完成；３．前期处理在实际的检测环境中，系统所获得的原始图像由于受到各种条件限制和随机干扰，并不能直接在视觉系统中使用，为了更好地对图像进行分析，必须在处理之前对图像进行一定的前期预处理。本模块就是完成必要的图像处理功能，包括增强图像的对比度、滤除图像中的随机噪声、图像二值变换，图像边缘信息的加强等，为后续的处理过程减少工作量及提高精度；４．区域匹配为了获取待检对象在图像上的所在位置，必须搜索到包含这些对象的相应的ＲＯＩ（ＲｅｉｇｎｏｆＩｎｔｅｒｅｓｔ）区域，即感兴趣区域。利用在参数设置中设定好的区域模板对待检芯片的图像进行匹配，从而获得具体分析检测的范围和目标；５．字符检测对匹配到的字符ＲＯＩ区域进行详细分析，处理获得待检芯片字符的各项尺寸，利用系统操作用户预先设置的公差值分析判断字符是否存在移位（水平、垂直偏移）缺陷以及倾斜缺陷；保存字符检测不合格的芯片图像；统计字符检测的结果：显示具体的缺陷类型与检测过程中出现的异常，并可设定相应的异常处理选项：６．引脚检测与字符在线检测模块类似，本模块是对芯片的引脚部分进行检测，通过分析引脚ＲＯＩ区域，提取芯片引脚的各项特征参数，如个数、长度、间距、宽度等，并把象素尺寸值转换为实际尺寸值，结合设定的公差值检测引脚存在的各类缺陷，包括歪脚、扭脚、缺脚、断脚，．１２－第二章系统总体架构分析保存存在这些缺陷的芯片图像，对芯片引脚检测的结果进行实时统计，显示检测异常并对这些异常进行处理：７．数据管理为保证检测的可靠和精度，本系统开发为多用户系统，不同的用户对应不同的操作等级，所具备的操作权限也各不相同，可分为管理员级和普通用户级，管理员用户具备系统操作的最高权限，能操作系统的所有功能，如系统初始化参数的设定、检测芯片模板的设定以及检测的公差设定等：普通用户则只能调用由管理员用户预先设定好的参数值和环境变量，完成芯片的检测，这些操作即是由数据管理模块完成。除此以外，本模块还记录管理检测过程中的数据信息，如操作时间、操作具体人员、操作的批次值蚍及操作所获得字符检测结果和引脚检测结果。本系统软件选用ＶｉｓｕａｌＣ什６．０作为开发工具，ＶｉｓｕａｌＣ＋＋６．０是一款用Ｃ，ｃ＋＋语言开发Ｗｉｎ３２应用程序的集成开发环境，既能利用Ｃ／Ｃ＋＋语言的简洁和高效率，以及对系统软、硬件的良好支持，又能大大简化Ｗｉｎｄｏｗｓ应用程序的开发过程，利于可视化操作界面的实现。２．４本章小结本章通过分析半导体芯片检测的需求和检测目标，介绍了芯片外观视觉检测系统的组成和各自特点，同时阐述了系统软件的原理及流程，分析介绍本系统软件的组成模块及各部分的任务和功能。·１３－东南大学硕士学位论文第三章基于模板匹配的Ｒ０Ｉ区域搜索在半导体器件外观视觉检测中，首先要根据检测项目搜索到相应区域，该区域包含待检的对象，如：引脚（Ｌｅａｄ）、字符（Ｍａｒｋ）、塑封体（Ｐａｃｋａｇｅ）等，在图像处理上通常把这些区域称为ＲＯＩ（Ｒｅｇｉｏｎ的前提和保证。常用的搜索ＲＯＩ区域的方法是模板匹配，模板匹配是机器视觉的重要的一部分，指在目标图像中寻找预先设定的已知模式（模板图像）的过程。选择匹配算法时关键要考虑到现场应用的速度要求，同时也要兼顾到匹配精度。ＯｆＩｎｔｅｒｅｓｔ）区域，因此能准确快速地搜索到相应的ＲＯＩ区域是有效检测３．１模板匹配模板是图像或图像子图的一种表达方式，本身仍然是一幅图像。传统的匹配算法是基于模板的平移运动，通过计算模板与待匹配图像的某个区域（子图）的相似度来判断目标图像中是否有与模板相匹配的区域。将已知的模板，和待检图像中同样大小的一块区域去对比，最开始时，模板的左上角点和图像的左上角点是重合的，然后平移到下一个象素，重复进行同样的操作，所有的位置都对比完后，差别最小的那块就是我们要找的区域，这就是模板匹配的基本思想Ｉｔ２］．常见的匹配算法主要有绝对平衡搜索法、归一化相关法、序贯相似性检测法等。口图３－１模板匹配示意图３．１．１绝对平衡搜索法鲫Ｉｔ３】绝对平衡搜索法（ＡｂｓｏｌｕｔｅＢａｌａｎｃｅＳｅａｒｃｈ，ＡＢＳ）直接计算目标图像上的搜索范围和模板上所对应的象素的灰度值的差别，设目标图像为，，模板为ｎ则匹配度上可以表示为三＝∑ＩＦ－Ｔ或Ｌ＝∑俨一ｒ）２对ＡＢＳ值的计算有两种准则，可根据实际匹配场合灵活选择，分别介绍如下：１．最小均方差准则（ｍｅａｎｓｑｕａｒｅ（３．１）（３．２）ｅｎ仉ＭＳＥ），定义为：．１４．第三章基于模板匹配的ＲＯＩ区域搜索ＭＳＥ（州＝击蔷Ｍ荟Ｎ陬∽－，（朋伽切】２通过对上式的极小化可以估计出位置矢量ｒ＝咖，帕，即【ｍ，珂】２＝ａｒｇｍｉｎＭＳＥ（ｍ，∞２．最小平均绝对差准则（ｍｅａｎａｂｓｏｌｕｔｅ（３．３）（３．４）ｄｉｆｆｅｒｅｎｃｅ．ＭＡＤ），定义为：ｏ‘５’刎肋∽２面１善荟陬砌。，（卅ｍ川此时，位置矢量ｒ＝（朋，疗）的估计值为：【ｍ，川７＝ａｒｇｍｉｎＭＡＤ（ｍ，行）（３．６）绝对平衡搜索法简单直接，易于实现，但具有明显的局限性，当搜索图像的灰度值发生了线性变换，该方法就会无所适从，甚至完全失效。此外，不同的匹配场合所需的匹配阈值也不相同，难以事先选定。３．１．２归一化相关法归一化相关算法（ＮｏｒｍａｌｉｚｅｄＣｏｒｒｅｌａｔｉｏｎ，ＮＣ）是通过计算模板图像和目标图像的互相关值来确定匹配的方法１１４】㈦【１６１。设模板ｒ在搜索图上平移，被模板覆盖搜索图下的那个图像叫做子图Ｊ”，（珥１１）为子图的左上角象素点在待检图像ｓ＿ｋ的坐标，称为参考点，设待匹配的图像大小是ＮｘＮ，模板的大小是Ｍ×Ｍ，则玛ｎ的取值范围是：Ｊ＜面ｎ（Ｎ一盯＋ｊ．当模板与子图一致时，ｒ和Ｊ…之差为最小。其公式为：ＭＭＤ（ｍ，功＝∑∑ＩＳ”（‘，）一ｒ（‘朋２ｉ＝１产Ｉ（３．７）展开为ＭＭＭＭＭＭＤ（ｍ，－）＝ＺＺｔｓ…（ｆ，．，）】２－：ＺＺｔｓ”（ｆ，力×ｒ（ｆ，，）１＋∑∑口（ｆ’力】２（３．８）ｉ＝１ｊ＝ｌｉ＝１ｊ＝ｌｉ＝１』－ｌ第一项是子图的能量，它随位置伽．帕的变化而改变，但它和图像与模板之间的匹配与否无关。第三项表示模板的总能量，是一个常数，与模板处于图像中什么位置无关。第二项是子图和模板的互相关（Ｃｏｒｒｅｌａｔｉｏｎ），它也随位置∞，帕的变化而改变，是匹配与否的关键，当模板与子图匹配时这一项的绝对值最大。因而可以得到模板屿子图∥瓢力归一化互相关系数：．１５－东南大学硕士学位论文∑Ｚｓ”（ｉ，ｊ）ｘＴ（ｉ，＿，）Ｒ（ｍ，，Ｏ＝（３．９）Ｒ（ｍ，疗）即为归一化积相关系数，Ｒ（ｍ，功越大，子图和模板越相似，故根据Ｒ（ｍ，功值的大小就可以找到匹配区域。归一化算法具有很高的准确性、适应性㈣，且不易受到灰度值线性变化的影响，但计算量较大，需较长的匹配时间。３．１．３序贯相似性检测法直接用归一化相关法来进行匹配计算量很大，因为模板要在（Ｎ—Ｍ＋１）２个参考位置上做相关性计算，而除匹配点以外，在其他点上所做的都是无用功。因此，人们提出了一种叫做序贯相似性检测的算法（ＳｅｑｕｅｎｔｉａｌＳｉｍｉｌａｒｉｔｙＤｅｔｅｃｔｉｏｎＡｌｇｏｒｉｔｈｍ，ＳＳＤＡ），具体实现过程如下【１ｓ］Ｉ【１９１：１．定义绝对误差值８（ｍ，甩，‘，＾）爿ｓ”（‘，五）一Ｓ（ｍ，甩）一Ｔ（ｉｋ，五）＋ｒＩ其中（３．１０）Ｓ（ｍ，Ｂ）＝矛１缶Ｍ萎Ｍｓ”（‘力（３．１１）亍＝矛１备Ｍ善Ｍ２．选取一个固定阈值瓦ｍＤ（３．１２）３．在子图Ｊ”中随机选取象素点，计算该点与ｒ中所对应点的误差值占，然后将此差值和其它点对的差值累加，当累加，次后误差超过瓦，停止累加并记下此时的次数，，定义ＳＳＤＡ的检测曲面为：砌，帕＝｛，ｉ。必【善咖＾讥）≥轴过瓦．＠Ⅲ４．Ｉ（ｍ，力值大的点（用，功作为匹配点，因为这点上需要很多次累加才能使总误差∑ｇ超应用这一算法，由于大多数的计算只是加减运算，而且这一计算在很多位置上中途就停．１６．第三章基于模板匹配的ＲＯＩ区域搜索止了，因此大幅度地缩短了运行时间，提高匹配速度口ｏ】。３．１．４模板匹配的局限与困难模板匹配的主要局限是模板只能平行移动，在目标图像旋转或大小变化的情况下，准确度会大大降低。甚至会完全失效。而现场的待测芯片完全没有倾斜是几乎不可能的。图３－２（ｂ）是用图３—２（ａ）所示模板在倾斜５。的芯片图像上的匹配结果，可以看出搜索的ＲＯＩ区域已经不是我们所需检出的区域，即匹配失败。对此人们提出了对于运动的广义图像运动匹配阿，相对于平移运动能更好地处理旋转、缩放等问题，但运动估计的复杂度也随之增大，需要搜索的空间由传统算法所需的二维搜索空间增加到三维及以上，执行时间也增加若干数量等级，实时性无法保证。显然这并不适合在半导体芯片大批量视觉检测中应用。在半导体检测过程中，待测芯片的旋转量一般并不太大，但包含待检项目的ＲＯＩ区域通常都较大，如果直接以ＲＯＩ区域为模板来进行相似度匹配，即使图像只有微小倾斜，匹配结果的精确度也大大降低，但图像的微小倾斜对于较小模板匹配却几乎没有影响。因此本系统采用先利用特征小模板匹配，计算图像的倾斜角度进而进行图像校正，然后再对校正后的图像进行ＲＯＩ区域搜索的方法，很好地解决了上述问题，满足了工业现场的应用要求。（ａ）设定的模板图３－２模板匹配效果图⑩匹配结果３．２利用小模板匹配对倾斜图像纠偏３．２．１小模板先行匹配的基本思路为了满足半导体视觉外观检测中对速度和精度的要求，且根据检测现场芯片倾斜角度不大（一般为一３～３。）的特点，我们充分利用传统算法实时性好及小模板对倾斜不敏感的性质，通过小模板匹配对倾斜的目标图像进行校正。第一步要检测出目标图像的旋转角度，在标准图像中制作两个尽可能小且包含足够特征信息的模板，如图３－３所示，求得这两个区域的中心坐标及两中心连线中点的坐标。因为模板小且图像倾斜角度小，故在待检图像中能很好地匹配到这两个模板的子图。同样，可以得到子图的中心坐标和两子图中心连线中点的坐标值，如图３－４所示。．１７．东南大学硕士学位论文图３—３标准图像中的小模板示意图图３－４目标图像中的匹配示意图模板一和模板二中心连线的倾斜角度口：ａｒｃｔａｎ丝二丛，这两个模板所分别匹配到的ｘ２一墨子图一和子图二中心连线的倾斜角度口＝ａｒｃｔａｎ丝。＝４，故可得出待检图像相对于标准图ｘ２一‘像的旋转角度妒＝∥一口，左右偏离量ｘ＝而。一而，上Ｔ偏离ｆＹ＝Ｙｏ’一％。通过这三个参数就可以对待检图像进行倾斜和平移校正，大大提高了后续过程的处理精度和速度。３．２．２特征小模板的提取与选择由于先利用特征小模板进行匹配校正，故对小模板的搜索精度必须有所保证，而小模板的提取与选择对搜索精度有着重大的影响，因此，如何选择小模板成为决定整个检测过程成败的第一步，也是我们必须面对和考虑的问题。一般来讲，小模板的选择应遵循如下的标准和原则：１．模板应具有唯一性与互斥性。选取为模板的区域在图像中应有着鲜明的特征，可以明确地与其他区域进行区分。如图３－５（ａ）中的ｂ、ｄ、ｅ模板在图像中具有唯一性，而ａ和ｃ则由于相似的区域太多，并不适宜作为匹配的小模板。在图３－５（ｂ）中，ａ、ｃ、ｄ作为模板较好，而ｂ模板由于下排有两个引脚，搜索匹配时容易误判。同理，图３－５（ｃ）中的ａ、ｃ模板的选取合理，而ｂ区域显然不适合作为模板。图３－５小模板的选取·１８－第三章基于模板匹配的ＲＯＩ区域搜索２．模板所包含的灰度信息应尽可能地丰富。对计算机来说，模板的信息量越丰富，它搜索相似区域时的匹配依据就越多，搜索的精度也就会越高，即使图像出现较大偏斜时也能很好工作。所以图３－５（ｂ）中的ａ区域比ｃ区域更适合作为模板，因为它包含了一部分的引脚，区域内的灰度信息量大大增加了。３．小模板的常用选择区域。①特征引脚，如图３－５∞的ｄ：②特征标记，如图３—５（ａ）的ｂ；③芯片表面的字符，如图３—５（ａ）的ｄ；④芯片塑封体的边角，如图３－５（ａ）的ｅ，图３－５（ｂ）的ａ、ｃ：图３—５（ｃ）的ａ、ｃ。３．２．３实验结果及分析根据以上的分析，我们应用本技术对三种不同类型的芯片进行匹配检验。在实际应用中，ＲＯＩ模板及特征小模板均是从标准图像上得出，图３－６所示为标准图像中的小模板设定，图３—７、图３－８是分别应用小模板来匹配倾斜－－５。和５。图像的结果。图３咱标准图像及特征小模板图３－７对倾斜．５。图像的匹配．１９－东南大学硕士学位论文图３—８对倾斜５。图像的匹配通过对．５～５。之间的倾斜图像的匹配来看，结果令人满意，对于半导体外观视觉检测中芯片偏斜．３￣３。的情况是完全适用的。根据匹配结果的各个参数就可以把有倾斜的待检芯片图像校正过来，图３－９是根据对倾斜５。的芯片一图像的匹配结果进行倾斜校正后的图像，这时就可以用ＲＯＩ模板来匹配具体的检测区域，接下来在各个检测区域内进行芯片外观的具体检测。图３－９对倾斜５。芯片一图像的校正图３－１０运用本文方法后的匹配结果我们以搜索芯片一的下排引脚区域为例，用图３－２（ａ）的模板对经过图３－８（ａ）和图３－９所示过程处理后的图像进行匹配，结果如图３—１０所示（为显示清晰，在图中没有显示小模板的匹配子图），可以看出在图中很好地匹配到所设定的区域模板，为这部分引脚的检测提供可靠、准确的ＲＯＩ区域。３．３本章小结ＲＯＩ区域搜索是半导体外观视觉检测系统实现有效检测的关键，本章介绍了常用的ＲＯＩ区域搜索方法一模板匹配，阐述模板匹配的过程及几种常见的匹配算法。针对传统算法中模板只能平移、无法处理旋转及倾斜图像的缺点，本文实现了一种运用特征小模板对倾斜图像进行匹配和角度计算并校正图像的方法。利用特征小模板对图像小角度倾斜不敏感的性质，在半导体的视觉检测应用中，先通过两个小模板的匹配结果对待检芯片图像进行倾斜校正，然后再进行ＲＯＩ区域搜索。在执行时间增加很小的情况下显著提高了精度，保证了后续的各项外观检测实时、准确与可靠。－２０．第四章半导体芯片的字符检测第四章半导体芯片的字符检测字符（Ｍａｒｋ）检测是半导体芯片外观检测的重要一环，主要用来检测芯片表面所印文字或图案的存在与否、形状方向、位置以及清晰度等，能否快速准确地检测出芯片字符的缺陷决定了整个外观视觉检测系统的优劣。本章针对芯片字符的常见缺陷，分析检测的重点及难点并提出行之有效的处理方法。４．１芯片图像的预处理在工业现场下，图像处理系统所获得的原始图像由于受到各种条件限制和随机干扰，一般并不能直接在视觉系统中使用，有必要在正式应用处理前对它进行预处理，包括图像对比度的增强、随机噪声的去除、边缘特征的加强等。目的就是为后续的处理过程减少工作量及提高精度ｌｚｌＪ［２２１。原始图像常被随机信号（噪声）所污染，噪声干扰的出现，使图像质量下降、特征模糊甚至淹没，因此，必须在图像分析之前对噪声进行消除。在图像处理领域，将噪声的去除称之为图像平滑或滤波。常见的噪声包括椒盐（Ｓａｌｔ＆Ｐｅｐｐｅｒ）噪声，脉冲（Ｉｍｐｕｌｓｅ）噪声、高斯（Ｇａｕｓｓ）噪声等，相应的滤波处理方法也多种多样，主要分为频域滤波和空域滤波两大类，目的是改善图像质量并突出元素特征。１．频域滤波频域滤波（又称变换域法）将图像从空间域变换到频谱域，在频谱域中检测和研究图像特性，并利用变换函数对其进行滤波处理，然后将处理过的频谱通过逆变换在空间域中恢复图像，从而获得期望的处理效果。以博立叶变换为例，首先对图像讹纠进行二维正交变换（傅立叶变换）得到Ｆ（ｇ砂，然后对其进行卷积计算处理，设卷积函数为Ｈ（ｇ纠，则输出为：Ｇ（ｕ，ｖ）＝Ｈ＠，ｖ）×Ｆ（ｕ，ｖ）对式（４．１）进行逆变换即得经频域处理后的空间域图像：（４．１）ｇ（ｘ，Ｙ）＝Ｆ～Ｇ（ｕ，ｖ）（４．２）上式中Ｆ。为反傅立叶变换。处理过程如图４．１所示。舷力—咂亟羽胡—堰鲴一如力，（蛳ｖ）川纠Ｇ（“，ｖ）图４－１频域滤波过程图常见的频域滤波包括低通滤波、高通滤波、带阻滤波、同态滤波等，其优点是处理速度较快，构成方式清晰明了，滤波广度大且预测性能较好，但变换包含复杂的数学处理过程，难以掌握与理解。．２ｌ·东南大学硕士学位论文２．空域滤波频域滤波是频域乘以频域滤波函数肌ｔ纠而成，也即相当于在空间域把图像与滤波函数的空域函数做卷积，因此，在频域的滤波处理可改为空域的执行卷积，成为空域滤波，又称空间域处理法。设频域的滤波函数为何似砂，其在空域所对应函数为＾良砂，则在空域用讹力和＾阢叫做卷积与在频域是一样的。设图像骶纠为Ⅳ×Ⅳ，则＾阮纠也要ＮＸＮ大小，但这样做卷积需耗费大量的时间，较常采用的是小区卷积，即把图像分成许多小区进行滤波，这些小区可用３Ｘ３、５×５或者ＮＸＮ表示，由于此滤波在空域做卷积，所以成为空域滤波或空间滤波。在空间域进行滤波的算法有很多种，可用来解决不同的噪声污染情况，其中具有代表性且常用的方法是均值滤波和中值滤波，下面将针对这两种算法进行阐述和分析。４．１．１均值滤波与中值滤波４．１．１．１均值滤波均值滤波属于线性滤波的范畴，采用一个有奇数点的滑动窗口在图像上滑动，窗口中心点所对应象素的灰度值用窗口内所有象素的平均值代替：ｈ［ｉ，俨石１∑以女，力』Ｈ（｝．，ｋⅣ（４．３）肘为象素【ｆ，刀的领域Ｎ内的象素点数和。均值滤波可以通过卷积模板的卷积运算来实现，在取均值过程中。可以规定各个象素点所占的权重，选择权值时应使滤波器只有一个峰值，并保证在水平和垂直方向上对称。典型的３Ｘ３均值滤波的权值模板如图４．２。ｌ２１一×１６１２４２ｌ２ｌ图４．２典型３×３均值滤波加权模板４．１．１．２中值滤波线性滤波虽然降低了噪声，但却去除了图像中的高频成分和锐化细节，从而牺牲了精确定位的能力ｏ”。对此人们对线性滤波进行改进，提出了非线性滤波，中值滤波就是一种非线性滤波算法，其基本思想是象素点的灰度值并不是用它的领域均值来代替，而是用领域灰度值的中值来代替酬。中值滤波的原理为：．２２－第四章半导体芯片的字符检测把一组数ＸＩ，Ｘ２，Ｘ＾…，而按数值的大小顺序排列：而，≤砣≤话《～≤瓦其中值为（４．４）在一维情况下，中值滤波首先确定一个含有奇数个象素的窗口矾Ｗ正中间那个象素的值用矿内各相素的中值代替。设输入序列为‰ｆ∈毋，Ｉ为自然数集合或子集，窗口长度为ｎ，则滤波器输出为：乃＝＾如ｄ｛１）＝Ｍｅｄ｛ｘ。。－·．Ｊ，…善。。｝其中ｆ∈，，护—（ｎ－—１）。２（４．５）在二维情况下，可以利用某种形式的二维窗口。设扛≯ｒ￡∥∈，），表示图像中各象素点的灰度值，滤波窗口Ｗ为Ａ的二维中值滤波可定义为：物＝＾庇ｄｋ｝＝Ｍｅｄ｛ｘ（Ｍ（ｍ），（¨）∈彳，（ｆ，／）∈，２｝（４．６）由于中值滤波不依赖于领域内那些与典型值相差很大的点，因此，在去除噪声的同时又能保留图像的边缘信息，而且滤波也不再需要加权计算。该算法自从提出以来在机器视觉领域获得了广泛的研究和应用。４．１．１．３两种算法的对比将图４－３三种典型图分别进行均值滤波和中值滤波处理，只考虑水平方向３Ｘｌ一维模板，均值滤波采用１／３ｘ（１１．１）的Ｂｏｘ模板和１／４ｘ（Ｉ２．１）Ｇａｕｓｓ模板，处理结果见图４－４。０００００００００１ｌ１１１１１１１一ｌ１一１１—１１２３２ｌＯｌｌ１０２３２１１ｌ１１１／３２／３１／４３／４０１ｘ／３－１／３Ｖ３—１／３１／３Ｏ１Ｏ一ｌ０ｌＯ一１０ｌ（ａ）Ｓｔｅｐ图（ｂ）高斯噪声图图４．３待处理典型图（ｃ）脉冲噪声图－２３—东南大学硕士学位论文归肛。１／３１／３１／３１／３２／３２／３２／３２／３１一１／３１／９０１／３一“９０—１／３“９０８／９１１／１２１３／３５４／３１３／３７／３５１／３－１／３“３３／３４／３１３／３（ａ）经过Ｂｏｘ模板处理后的图１／４１／１２１／３１／１６５／１６０１／４０１３／４２／３１１／１２１１／１６１５／１６１３／４ＯＯＯＯＯＯＯＯ们—叫引ｌ叫１５／４９／２１５／４６７６娜啦娜（ｂ）经过Ｇａｕｓｓ模板处理后的图ＯＯ０Ｏｌ２２／３３／４３，ⅣＯｏ归Ｏ●ｏ３ｏ奶班ｏｌｏ奶ｏ，一汜¨汜一２扪—刘（ｃ）经过中值滤波处理后的图图４－４均值滤波和中值滤波处理图从图上可以看出，应用均值滤波后，图像变得平滑，但边界区域变得模糊了。中值滤波则能很好地保持原来的边界，而且对去除脉冲噪声最为有效，此外，对于孤立点、线的噪声也有较好的滤除效果，但对高斯噪声污染的图像却不宜采用中值滤波。图４－５是运用均值滤波和中值滤波对同一幅图像的实际处理效果图。（ａ）原始图像．２４．第四章半导体芯片的字符检测（ｂ）均值滤波后的图像图４－５滤波效果图（Ｃ）中值滤波后的图像原始图像上有较多的噪声点，应用均值滤波和中值滤波均能有效去除，但均值滤波却模糊了图像边缘，牺牲了图像中的锐化细节。中值滤波在去除噪声的同时又能很好地保留图像的边缘特征，方便后续过程的定位和处理，因此本视觉检测系统决定采用中值滤波的方法对图片进行预处理。４．１．２图像二值化二值化是数字图像处理中的一项最基本的变换方法，通过用户设定或算法生成一个阈值，如果图像中的某象素点的灰度值小于该值，将该点的灰度值设置为０或２５５，反之则设定２５５或０，这样就将灰度图像变成了黑自二值图像，突出所关注的目标部分，方便后继处理。二值化最关键之处在于选择阈值，选择阈值时，可采用的最简单的办法是对分块中的亮度取平均值，并选择ｋ＋△ｆ作为阈值，其中Ａｉ是某－？－，Ｊ、的增量，在２５６个灰度级别中可以取为５１２５３。为了得到更为精确的分割阈值，则需采用更复杂的算法，常用手段之一是基于直方图分析的阈值选取法。４．１．２．１直方图图像的直方图是一个定义在规定亮度值范围上的函数，反映图像中的灰度值与出现这种灰度的概率之间的关系，表征象素灰度分布的统计特性跚。通过灰度直方图，能大概了解一副灰度图的明暗情况。灰度直方图中，横坐标代表象素灰度值。对于８－ｂｉｔ的灰度位图来说，象素灰度值共有０到２５５这２５６个值，因此灰度图的横坐标就一共有２５６个单位。灰度直方图的纵坐标代表比例，即以横坐标为灰度值的象素占整个图像象素个数的比例是多少。实际上纵坐标也就是灰度级的概率密度函数。这样就可以根据任一灰度图做出一条曲线，而这条曲线在概率统计理论中就是象素灰度值分布密度曲线。图如６是一幅芯片图像的直方图。．２５．东南大学硕士学位论文０４………一ｆ嚣。…．１９２…～…。２５５图４．６半导体芯片图像的直方图图中有两个峰，除噪声点外，图像中的每个点都属于此两个区域，在两个峰值间存在一个适当的点可作为二值化的最佳阈值。４．１．２．２最佳阈值的确定…图像由物体和背景组成，设背景和物体所对应的灰度值概率分布密度分别为丑（Ｆ）和Ｂ（，），面积比分别为舅和昱，则最＋最＝１·混合概率分布密度为Ｐ（，）＝丑最（，）＋昱县（，）利用两个高斯的和来拟合直方图时（４．７）即，＝击卅等等，＋去时等茅，其中，一、鸬是背景和物体的均值；ｑ、ｃｒ２是围绕均值的标准偏差·的则当作物体的组成部分。将物体上的象素点错分为背景点的概率为：ｒ∽ｓ，设背景比物体暗，即“＜乜ｔ二值化后灰度值低于阈值ｒ的象素点归为背景，高于ｒ巨（刃＝』昱（Ｆ）ｃ扩同理，将背景点误分为物体点的概率为：（４．９）易（乃＝ｎ（，）卵ｒ（４．１０）总的误分概率为：Ｅ（Ｄ＝￡巨（丁）＋只最（Ｄ．２６．（４．１１）第四章半导体芯片的字符检测将Ｅ（ｒ）对Ｔ求微分并使结果等于零，有暑暑（，）＝昱只（ｒ）（４．１２）将由式（４．７）和式（４．８）所得的弓（Ｆ）、昱（Ｆ）代入上式，两边取对数，整理得方程：ＡＴ２＋Ｂｒ＋Ｃ＝０（４．１３）其中，Ａ＝砰一呸２，Ｂ＝２（／１１呸２一心霄），Ｃ＝砰正一西彳＋２砰呸２１１１（吒丑／ｑ昱）设方差盯２＝彳＝司，此时方程有惟一解：ｒ＝型丛＋』．－ｌＩｌ（Ｂ／置）２（４．１４）Ｈ一鸬一”如果直方图的分布不均匀的，利用高斯分布来拟合双峰不可避免地会引入误差，此时可以通过迭代算法对最佳阈值进行修正［２５１。首先，将最佳阈值ｒ作为初始阈值把图像分割两部分，分别计算这两部分的均值口，和Ｕ２，以口，和Ⅳ２的平均值作为新的阈值，重复这一过程直至阈值收敛于某一解。迭代算法虽然会增加处理时间，但处理效果会更准确。在本系统的应用现场环境中，可以很好地控制光源和照明，同时可以调节相机的曝光。使得引脚看不见，突显芯片字符区域，有利于字符的处理。而且通过这样的控制，最佳阈值可以看成是不随时间变化的常量。因此，本系统通过实验法和最佳阈值法来共同确定二值化的分割值，图４．７是对芯片字符部分的二值化效果图。图４－７芯片字符的二值化效果图４．２字符移位缺陷检测芯片字符的移位缺陷分为两类，一类是水平方向偏移，印刷的字符太靠左或太靠右；另一类是垂直方向偏移，字符偏向于上下引脚端。检测系统应能在芯片表面定位字符，按照检测公差来判断是否存在移位缺陷。本系统对芯片字符移位的检测标准规定为：．２７．东南大学硕士学位论文ａ————●●■—一ＭＣ０９７０８８广、１ｎｎ—ｎｂｃ：ｒ｜口｜Ｕ｜口ＪＵ｜口ｌ０｜口｜一ｎｎｎ１№ＨＭｃ０ｃＤ７０８８－——●｜口｜｜口ＪＵＵＪＪ．＿图４－８芯片字符移位缺陷示意图对于字符水平方向移位，见图４，８（ａ），水平方向大于一个最小字宽（即ｂ＞ａ）为不良；图舢８㈣是字符垂直方向移位。偏移大于１陀个最小字高（即ｂ＞ａ／２）为不良。针对以上的检测标准，那么应该得到所有字符的字宽和字高，经过冒泡排序得到最小字宽和最小字高，有了最小字宽和最小字高，才有用来比较的标准，这是检测的前提和基础。为了实现这一目的，在本系统中利用Ｂｌｏｂ技术得到各个字符最小化的封闭轮廓，从而得到字符的各项参数，包括面积、周长、形心、宽度及高度等。Ｂｌｏｂ技术４．２．１Ｂｌｏｂ（斑点）是指同一张图像上，具备相同条件或属性的象素互相接触或相邻而形成的区域或面积。基于Ｂｌｏｂ的图像特征分析思想来自人类视觉【２９咿ｑ，人在观察周遭事物时会先根据图像特征的相似性把场景粗略地分为几个不同的区域，然后再对目标区域进行仔细观察。模仿这一过程，在机器视觉领域，可以首先对图像进行分割（－－值化），将目标对象从背景中分离出来，由连通区域的象素组成若干Ｂｌｏｂ区域，再对各个区域进行分析，完成对象的识别、定位和检测”“．Ｂｌｏｂ分析经过二值化的图像包含一块块的连通区域，但各个区域的图像信息仍然未知，这就需要进行Ｂｌｏｂ分析。通过对连通区域的特征分析，就可以将图像的灰度信息迅速转化为所需的图像形状信息。对Ｂｌｏｂ分析主要包括Ｂｌｏｂ的统计和Ｂｌｏｂ的信息提取［３２】。对Ｂｌｏｂ的统计就是统计出图像或子图中满足条件的Ｂｌｏｂ区域数目并对各个区域进行标号，再对各个标号后的Ｂｌｏｂ进行属性统计。而对Ｂｌｏｂ的信息提取过程就是根据所要求的参数项目，针对性提取Ｂｌｏｂ特征信息。如区域个数、区域质心、区域面积、区域周长、区域外接最小矩形等，还可以提供相关斑点间的拓扑结构。Ｂｌｏｂ区域包含的常见信息如图４．９所示，下面分别对其进行阐述。－２８－第四章半导体芯片的字符检测ｔｏｐｒｉｇｈｔ图４－９Ｂｌｏｂ信息图在图像处理中，一块区域Ｒ（工，力的面积ｓ可定义为该区域内所有象素数目总和，即ｓ（Ｒ（Ｊ，删＝∑ｆ（ｘ，ｙ）（，－ｙ）Ｅ片（纠（４．１５）此区域边界上象素点的数耳则定义为周长参数，（Ｒ＠，ｙ））＝｛处于边界上的象素点（ｘ，Ｙ）的数目｝，式中（ｘ，ｙ）∈足（‘力。区域另一个重要的表征参数是形心。形心的计算公式为：；一Ｐ√。赢咖∽舻ＬＳ２鼍５｝ｆ丽（ｘ。ｙ）（４．１６）＝一户．“，赢珈川户一Ｓ。鼍｝ｆ而（ｘ＞’（４．１７）．ｙ１‘ｔ一，圬＾‘ｊ，＂除了以上的几何信息外，Ｂｌｏｂ的边缘信息也常是区域分析中关注的特征参数，包括区域的轮廓细节和上下左右各个方位的极值点。但在对芯片的字符进行Ｂｌｏｂ分析时，我们并不关心具体的轮廓走向，只需获得边缘上的某些特征关键点，也就是Ｂｌｏｂ区域的最小外接矩形尺寸。此矩形可由以下公式确定：ｔｏｐ＝ｍｉｎ｛（ｘ，ｙ）Ｉ＠，ｙ）∈足∽ｙ），（４．１８）６０物声。嗲眠ｙ）№），）∈Ｒ（ｚ，ｙ））坳。Ｈ归｛∽删（工，ｙ）∈ｇ（ｘ，ｙ））ｒｉｇｈｔ２（４·１９）（４．２０）ｎ≯‰＿），）ｌ阮力∈Ｒ，Ｃｘ，ｙ）｝（４．２１）．２９．东南大学硕士学位论文４．２．２利用Ｂｌｏｂ检测字符移位缺陷为了获得良好的芯片图像，保证字符检测的准确，可靠，本系统采用专用的ＬＥＤ光源，配合相机的曝光突出芯片的字符区域，弱化芯片引脚，避免将引脚图像当作字符ＢＩｏｂ处理。芯片字符移位缺陷检测的流程图如图４．１０所示，图像经过滤波、二值化处理去除噪声和背景区域，提取字符区域。运用Ｂｌｏｂ分析得到各个字符的参数特征，处理得出字符组的最小字宽和最小字高，再根据哈夫变换（哈夫变换将在下一节介绍）得出字符整体相对于芯片塑封体的偏移量判断芯片是否存在字符移位缺陷。图４－１０字符移位缺陷检测流程图图４－１１是对芯片进行Ｂｌｏｂ处理后的图像·则最小字宽６缸和最小字高＾丑衄ｂｆｆｉ．＝ｍｉｎ｛ｒｉｇｈｔｊ一＾吮）（４．２２）（４．２３）图４－１１字符Ｂｌｏｂ处理图从上图中可以看出，图像上有部分非字符区域也被当作字符Ｂｌｏｂ处理，对此我们可以设定Ｂｌｏｂ目标物面积下限值，低于这一值的区域将不进行Ｂｌｏｂ分析，在本系统中此值一般设为３０。经过以上的处理，可以得到偏移的公差值，根据检测标准，判断字符整体在ｘ或Ｙ方向的偏移量是否在上述的公差范围内，也即判断芯片此项检测是否合格，那么检测中就必须得到字符整体相对于芯片塑封体的位置大小。－３０．第四章半导体芯片的字符检测芯片的字符是整排一起印在塑封体上，因此如果存在偏移，字符是作为一个整体偏移的，而不是其中的某一个或某一些字符的单独偏移，所以我们只要测得某一字符相对于塑封体的位置值，再与此字符的标准位置值作差即得到这一字符的偏移量，也就是整体字符的偏移量。实际开发中是利用哈夫变换得到塑封体的左边缘和底边缘，判断字符组的第一个字符分别与两边缘的距离。如图４一１２。＼／暗麦交接缝图４一１２字符偏移检测图图中ｘ是芯片第一个字符外接矩形左侧到塑封体左边缘哈夫变换线的距离，Ｙ表示是矩形底边到塑封体底边哈夫线的距离值。计算此二值与标准距离值％，％的差距值，如超出由最小字宽和最小字高所得的公差值，则芯片存在字符移位缺陷。即芯片必须满足ＩＸ－－ｘｏ阵龟ｍ和ｌｙ一％峰＾ｍ／２。４．３字符的倾斜缺陷检测对于字符的倾斜缺陷检测，由上一节的论述可知，芯片字符是整排印于塑封体之上，如果存在倾斜缺陷，则字符组相当于围绕塑封体平面的法线进行某一角度的旋转，我们只需检测同排字符的首尾高度差是否在允许的公差范围内就可以判断芯片字符倾斜与否。本系统的检测标准规定为两端高低差距大于１／２个最小字宽为不良（图４－１３）．最小字宽可以通过上一节所述检测步骤获得，那么检测的关键是获得图中所示的两端高低差。本系统中是利用Ｂｌｏｂ分析和哈夫变换间接得出，首先介绍哈夫变换的原理。端高低差图４一１３芯片字符倾斜缺陷示意图东南大学硕士学位论文４．３．ｉ哈夫变换４．３．Ｉ．１哈夫变换的原理哈夫（Ｈｏｕｇｈ）变换是利用图像的全局特性将对象的边缘象素连接从而得到被检测对象的边界口”。根据图像空间和Ｈｏｕｇｈ参数空间的点一线对偶性，把图像空间中的检测问题转换到参数空间，在参数空间里进行简单的累加统计，然后在Ｈｏｕｇｈ参数空间寻找累加器峰值来检测出目标对象的边界。哈夫变换检测的最简单的形状就是直线ｏ“，设一条直线表示为：ｙ＝ａｘ＋ｂ（４．２４）其中，口是直线的斜率，ｂ是该直线的截距。参数４和ｂ共同决定了这条直线。设（而，咒）是直线上的一点，代入式４．２４并将其变换得：ｂ２ｙｆ—ｘｌ口（４．２５）它表示的是参数空间＜ａ，ｂ＞的一条直线，也即图像空间直线上的任一点都对应于参数空间的一条直线，反之亦然。因此，如果在图像空间中几个点共线，则它们对应的参数空间直线就会相交于＜ａ，ｂ＞空间的同一点ｐ”。将上述方法应用于垂直线时，参数４会变得无穷大∞】口“。故常使用直线的极坐标形式，即：口＝ｘｃｏｓＯ＋ｙｓｉｎＯ（４．２６）在此形式下，ｐ和口都是有界的。每一组户和口都将决定一条直线，而所有满足上式的点Ｏ，力都在此直线上，见图４－１４。图４－１４ｐ和ｐ形式表示的直线－３２－第四章半导体芯片的字符检测４．３．１．２哈夫变换的算法实现算法的具体实现过程如下：１．构造一个累加器数组，参数空间（ｐ，口）中的每一点都对应一个累加都初始化为零；２．针对图像边缘的每一点，对目的所有值计算Ｐ的值；Ａ（ｐ，口），累加器３．根据计算所得的（Ｐ，曰）值使相应的累加器Ａ（ｐ，印加ｌ；４．累加器数组的最大值就对应直线的参数。４．３．２利用哈夫变换检测字符倾斜缺陷我们已经知道检测的关键是获得字符区域的两端高低差，如果芯片只有单排字符，则可以如图４．１３倾斜示意图所示将两端的Ｙ方向的尺寸相减得出。但芯片常常有两排甚至多排字符，确定每一排的两端字符并非易事，为了使系统更具有通用性，本系统采用相对距离差来解决这个问题。如图４．１５所示，图像经哈夫变换后得到塑封体的底部边缘，ａ与ｂ分别是第一个字符与最后一个字符（图中绿色Ｂｌｏｂ区域）到此边缘的距离，将二者的差值与标准差值相减，若超出公差６ｋ／２，则判为倾斜。哈夫变换所得的塑封体底部边缘图４－１５字符倾斜缺陷检测图４．４字符检测软件实现和运行实例系统字符检测包括参数设定部分和实时检测部分。．３３－东南大学硕士学位论文图４．１６为字符公差值设定与模板学习界面，对标准图像制作检测模板，计算得出各项标准值和公差值，能保存和重新调用这些检测参数值。图４．１６字符检测公差设定界面图４－１７为字符实时检测界面，显示所检测的字符图像，对检测结果进行统计，计算显示检测时间，以及保存不合格图像等。图４．１７字符实时检测界面－３４．第四章半导体芯片的字符检测４．５本章小结本章根据半导体芯片字符缺陷检测的要求与标准，设计实现了检测的过程与检测方法。图像经中值滤波平滑后；使用最佳阈值法对图像进行二值化分割；利用Ｂｌｏｂ分析提取各个字符区域的几何形状信息；利用哈夫（｝Ｉｏｕｇｌｌ）变换检测出芯片塑封体的边缘；计算字符在塑封体上的位移量和倾斜量；判断芯片是否存在字符移位缺陷和字符倾斜缺陷。在实际检测中的应用证明此检测流程和方法有效可靠，满足系统的检测需求。．３５．东南大学硕士学位论文第五章半导体芯片的引脚检测半导体芯片的引脚缺陷不仅破坏芯片的外观美观，而且直接影响芯片的实际应用功能。生产过程中产生的引脚缺陷主要有缺脚、断脚、歪脚等，归结到检测项目分别对应于引脚个数、引脚长度以及引脚宽度和引脚间距。本章将根据这些检测项目，选取合适的处理方法，设计并实现检测的全过程。为了检测引脚图像的尺寸，首先必须精确提取引脚的边缘轮廓。５．１芯片引脚的边缘检测边缘（ｅｄｇｅ）是图像最基本的特征，指图像亮度突然变化的部分，常存在于目标与背景、目标与目标、区域与区域之间［３７１。边缘一般可以分为两类：一类为阶跃边缘，表现为图像亮度在不连续处两边的象素灰度值有着显著的差异；另一类为线条边缘，表现为图像亮度突然从一个灰度值变化到另一个灰度值，然后又很快返回到原值或接近原值。由于图像传感器件的特性和光学衍射效应影响，实际图像中阶跃边缘会变成斜坡边缘，线条边缘则变成屋脊边缘。（ａ）阶跃边缘（ｂ）线条边缘（ｃ）斜坡边缘图５．１图像中的各类边缘（ｄ）屋脊边缘图像边缘是灰度不连续的结果，在那里的导数值会很大，因此可以利用求导数的方法来检测这种不连续性，可以理解为寻找灰度级的一阶微分的最大值点或二阶微分的过零点口目。实际检测中，人们是利用微分边缘检测算子与图像的卷积来完成。下面将对一些经典的边缘检测算子进行阐述和分析，并通过实验结果选取适合芯片引脚边缘检测的方法。５．１．１经典边缘提取算法１．梯度算子对于二维图像来说，其局部特性的显著变化可以用梯度来检测。对于函数，０，ｙ），它的梯度定义为：ｗ鹊町＝嗟争此向量的模和方向分别为：－３６－＠。第五章半导体芯片的引脚检测ｖ厂ｌ＝√石｝＿可口（训）＝积ａｎ（ｇ／ｑ）对以上公式中的偏导数常用小区域模板卷积来近似计算。对Ｇ。和Ｇ。运用不同的模板，这些模板共同构成一个梯度算子。常用的梯度算子有Ｒｏｂｅｒｔｓ算子、Ｓｏｂｅｌ算子和Ｐｒｅｗｉｔｔ算子。Ｒｏｂｅｒｔｓ算子是利用局部差分来寻找边缘【”１，公式为：｜１叮｝√（厂（ｘ，ｙ）一ｆ（ｘ＋ｌ，ｙ＋１））２＋（／Ｏ＋１，力一厂（工，ｙ＋１））２在应用中，常用绝对值来近似（５．２）１１叮ｆ刊ｆ（工，＿ｙ）一ｆ（了＋１，），＋１）ｌ＋Ｉｆ（ｘ＋ｌ，力一ｆ（ｘ，ｙ＋１）Ｉ（５．３）用卷积模板表示如图５－２（ａ），故Ｒｏｂｅｒｔｓ算子是内插点＠＋１／２，ｙ＋ｌ／２）处连续梯度的近似值，而非预期点（ｘ，ｙ）的近似值。Ｓ０１）ｅｌ算子是在３Ｘ３的领域内计算梯度值，这样可以避免在象素的内插点上计算梯度。此外Ｓｏｂｅｌ算子对于象素位置的影响作了权重计算，将重点放在接近于模板中心的象素点上，其卷积模扳如图５－２（ｂ）所示。Ｐｒｅｗｉｔｔ算子与Ｓｏｂｅｌ边缘算子的偏导函数形式完全一样，只是它没有对象素位置计算作加权处理。图５－２（ｃ）为Ｐｒｅｗｉｔｔ算子的卷积模板。圈田田－１Ｉ圈田圈ｏ（ａ）Ｒｏｂｅｒｔｓ模板２．拉普拉斯算子Ｃｏ）Ｓｏｌ”ｌ模板（ｃ）Ｐｒｅｗｉｔｔ模板图５－２梯度算子卷积模板一阶导数的边缘检测器，如果所求的一阶导数高于某一阈值，可以确定该点为边缘点。但这会导致检测边缘点不唯一。更好的方法就是求梯度局部最大值对应的点，即二阶导数的过零点，从而获得准确的边缘点。拉普拉斯（Ｌａｐｌａｃｉａｎ）算子就是一种二阶微分算子。函数ｆ（ｘ，ｙ）的拉普拉斯算子定义为Ｖ２，＝警芬其差分形式如下：（５．４）Ｖ２ｆ（ｘ，Ｙ）＝厂（工＋ｌ，力＋，（工一１，ｙ）＋厂（ｘ，），＋１）＋厂（五），一１）一４ｆ（ｘ，ｙ）（５．５）同梯度算子一样。拉普拉斯算子常借助各种模板实现。为防止图像产生灰度偏移，对模板的要求是中心象素的系数与邻近象素的系数正负相反，且总系数和应为零。式（５．５）对应的模板为图５－３（ａ），图５．３（ｂ）是使中心点具有更大权重的模板。－３７－东南大学硕士学位论文０ｌ．４ｌ０ｌ０ｔ０（ａ）图５－３拉普拉斯算子模板（ｂ）拉普拉斯算子各向同性且线性和位移不变，对孤立的象素点和细线的响应较强烈，对噪声有加强作用，因此，在使用拉普拉斯算子检测边缘前应对图像进行平滑滤波处理。３．ＬｏＧ算子由于拉普拉斯算子对噪声比较敏感，所以希望在边缘检测前滤除噪声。ＬｏＧ（ＬａｐｌａｃｉａｎｏｆＧａｕｓｓｉａｎ）算子就能解决此类闯题，它将高斯平滑滤波器和拉普拉斯边缘检测器结合在一起，先滤除噪声，再检测边缘，处理效果优于拉普拉斯算子［４０ｊ。图像，＠，力经高斯平滑滤波后为：ｇＯ，），）＝ｆ（ｘ，力圆＾∽），）其中，＾Ｏ，ｙ）为高斯平滑函数。再对ｇＯ，ｙ）采用拉普拉斯算子检测边缘：Ｖ２９（工，ｙ）＝Ｖ２【厂（ｘ，ｙ）ｏ＾（ｘ，＿ｙ）】由卷积性质，上式可变为（５．６）（５．７）Ｖ２９（ｘ，ｙ）＝厂阮力ｏＶ２而Ｏ，力（５．８）又Ｖｚ坼，ｙ）：赤（￡≠－２），等，而运用啪算子检测黼就是寻找使式（５．８）等于零的点。５．１．２各种算法的比较与实验结果分析利用以上介绍的几种边缘检测算子对芯片引脚进行检测实验，如图５．４所示，其中：（ａ）为引脚原图像，（ｂ）～（ｆ）分别为应用Ｒｏｂｅｒｔｓ算子、Ｓｏｂｅｌ算子、Ｐｒｅｗｉｔｔ算子、拉普拉斯算子、ＬｏＧ算予得到的检测结果。（ａ）芯片引脚原图（ｂ）ｇｏｂｅｒｔｓ算子检测图（ｃ）Ｓｏｂｅｌ算子检测图（ｄ）Ｐｒｅｗｉｔｔ算子检测图．３８－第五章半导体芯片的引脚检测（ｅ）拉普拉斯算子检测图（ＯＬｏＧ算子检测图图５＿４边缘算子检测效果图从上图可以看出，对于Ｒｏｂｅｒｔｓ算子，因其利用局部差分算子提取边缘，对边缘的定位精确度较高。但容易丢失部分边缘，如图中引脚根部边缘，此外，Ｒｏｂｅｒｔｓ算子无法抑制噪声，适合于灰度级变化显著且噪声低的图像。Ｓｏｂｅｌ算子和ｌ＇ｒｅｗｉｔ：ｔ算子对噪声有一定的抑制能力，边缘寻找和定位都比较准确，但易出现多象素边缘，如图５－４（ｃ）和图５．４（ｄ），边缘线条都比较粗和浓厚，需要做进一步的细化方可使用。这两种算子适合于灰度级渐变的图像。拉普拉斯算子能有效地检测出孤立点，图５．４Ｃｅ）中塑封体上的很多的小象素突变点也被检出。但也容易造成不连续的边缘。图中所检测出的引脚边缘就是一些分段的曲线。拉普拉斯算子常适用于屋脊边缘图像。ＬｏＧ算子利用高斯滤波及二阶差分运算来进行检测，如图５．４∞，可以检测出更多的边缘，且在很大程度上消除了伪边缘的存在，定位精度较高，由于其对图像进行平滑，故抗噪声能力比拉普拉斯算子好。为了保证引脚边缘检测的准确性和稳定性，本系统决定采用ＬｏＧ算子检测半导体芯片的引脚边缘。５．２象素尺寸到实际尺寸的转换图像处理中所得的尺寸皆为象素尺寸，但引脚检测公差是以实际尺寸的形式规定，因此，在判断分析前，必须把检测到的象素尺寸转换为实际尺寸，这是通过对系统的标定来完成的。标定就是建立图像象素位置或尺寸与真实场景点位置或尺寸间的关系…ＪＨＪ。在本系统实现中，由于芯片在相机中心光轴附近，可不考虑镜头畸变影响，同时在结构与安装上保证了相机中心光轴与被摄的平面成垂直关系，所以是最简单的比例标定，即从图像中的象素距离以某比例关系映射到实际的距离。比如：实际某段距离为１０毫米，其在图像中的象素距离为１００，则比例关系为０．１毫米／象素，即１象素代表实际０．１毫米的距离。这样对于图像中的任意两点，通过象素距离及比例换算关系，可以得到其实际的距离。所以标定的目标就是这个比例关系。标定比例是应用一把比较精确的刻度尺或量块来获得的，如图５．５。．３９－东南大学硕士学位论文／两标定点一一图５．５系统标定结果标定时，需选择两个标定点，标定点的象素坐标可在图像中采点自动获得。然后通过计算获得象素距离。两标定点的选择。尽量选择实际尺寸容易精确获得的位置，如图５—５中的两点，实际距离就为１０ｒａｍ。在计算了两标定点的象素距离，并输入两标定点的实际距离后，即可计算出标定结果。如图５－５中的０．０２９７６１９毫米／象素。该标定值可以保存，以便以后调用。只要以前精确标定过，系统检测中就可利用此标定关系直接计算显示实际尺寸，不必重新标定。但如果相机与芯片导轨平面等涉及摄像系统的结构发生变化，如重新调焦，则就必须重新标定。５．３芯片引脚缺陷检测芯片引脚检测的流程图如图５－６所示，芯片图像经过ＬｏＧ算子寻找出引脚边缘，分析提取出引脚的各项尺寸，再与相对应的标准公差值作比较，进而判断引脚是否存在缺陷。．４０－第五章半导体芯片的引脚检测图５－６芯片引脚检测流程图引脚的宽度值和间距值决定芯片引脚是否存在歪脚和扭脚缺陷，还可用来判断引脚是否切偏或连筋，其中前两种缺陷在实际检测中较易出现。此二值可以利用沿Ｘ方向的检测线来检出。设线，是一条贯穿引脚区域的直线，则此直线被引脚的边缘轮廓分成若干线段，这些线段长度分别对应单个引脚宽度值和相邻引脚间距值，且这两类值交替出来，见图５—７。通过对行方向的扫描就可以同时得出芯片引脚宽度和芯片引脚间距。方向线，Ｎ］／ｒＩ｜ｌ／图５－７引脚宽度和间距检测示意图为了判断引脚是否缺脚，就必须检出图像的引脚个数值，本系统中引脚个数是运用上一章介绍的Ｂｌｏｂ方法获得，对芯片引脚所在区域进行Ｂｌｏｂ分析，统计出此子图中满足条件的Ｂｌｏｂ区域（即各个引脚区域）数目，也就是芯片引脚数目。对芯片断脚缺陷的检测可归结为对引脚长度尺寸的分析，以每个引脚区域的形心为起点，沿垂直方向分别寻找两端的边缘象素点，此两点间的距离值即为引脚长度，再与检测公差相比较就可以判断引脚存在断脚缺陷与否。为缩短程序运行时间，避免系统作无用功。引脚参数获得与比较是间隔进行，即测得一．４１．东南大学硕士学位论文项参数，就对该项参数进行分析，判断是否在允许的公差范围内，如超出范围，则程序跳出执行，输出缺陷结果并结束。反之，合格则继续进行下一项检测。（ａ）扭脚缺陷（ｂ）缺脚缺陷（ｃ）断脚缺陷图５，８引脚各项缺陷检测图图５．８是引脚的主要缺检测效果图像，其中（ａ）和（ｂ）对应芯片的上排引脚，（ｃ）所示是芯片的下排引脚。图（ａ）由于存在扭脚，缺陷脚的宽度和间距均远超公差范围，系统判断此芯片不合格。对于引脚个数和引脚长度的检测将不再进行。（ｂ）中宽度和间距值均合格，但Ｂｌｏｂ统计引脚个数不符标准，判定存在缺脚缺陷。（ｃ）中由于下排引脚中第一个引脚长度值不合格，即发生断脚，故此排其他引脚的长度值无需计算。５．４软件实现与运行实例系统引脚检测部分可分为参数设定和实时检测两分部分。图５．９为引脚公差值设定界面，可对标准图像现场制作检测模板，测得标准值和输入公差，并能保存这些检测参数值；也可以调入已保存的公差值和模板参数，作为实时检测的标准。．４２．第五章半导体芯片的引脚检测图５．９引脚公差值设定界面图５．１０为引脚检测运行界亟，实时显示正在检测的芯片图像，统计引脚检测结果和｝脚检测运行时间，并保存引脚不合格的芯片图像。图５．１０引脚检测运行界面．４３．东南大学硕士学位论文５．５本章小结本章设计并实现芯片引脚检测的方法与过程。介绍经典的边缘检测算法并对这些算法进行实验和分析比较；选取ＬｏＧ算子检测引脚的边缘轮廓；利用边缘信息取得引脚的各项尺寸；将引脚象素尺寸转换为实际尺寸，并结合公差判别芯片引脚外观的优劣。整套检测流程有效、可靠，在实际检测中得到了很好的应用。－４４．第六章总结与展望第六章总结与展望６．１主要工作针对某大型半导体芯片生产企业在芯片外观检测过程中存在的问题及需求，本文利用计算机视觉的优点，应用数字图像处理的理论和方法，对机器视觉检测系统的设计、结构及关键技术的实现等展开研究，并完成系统的研制与开发，解决了企业所面临的困难。总结起来，主要工作如下：１．根据企业生产中出现的常见芯片缺陷，分析系统设计的具体要求，并考虑到现场的环境和特点，对系统的各个模块进行设计和选定，将企业的开发需求和高校的研究领域有机结合；２．针对检测中芯片的倾斜问题，结合芯片倾斜角度不大的特点，在传统算法的基础上进行改进，先利用小模板匹配、计算倾斜角度再校正芯片图像，方便后续的检测过程；３．为检测芯片的字符缺陷，提出从图像滤波平滑、图像二值化到缺陷检测的思路，研究分析不同的预处理方法，实验比较中值滤波和均值滤波的各自特点和效果；将字符缺陷归类为移位缺陷和倾斜缺陷，参照企业的检测要求和判别标准，运用Ｂｌｏｂ分析和哈夫变换对上述缺陷进行检测；４．对于芯片的引脚检测问题，研究不同的边缘提取算法，对各种算法进行比较和分析，根据芯片检测现场的实际情况选取合适的方案。提取边缘信息后，将引脚的常见缺陷量化为对引脚个数、引脚长度值、宽度值、相邻引脚间距值的计算判断，设计不同的检测方案分别求取上述各类引脚尺寸，并利用标定技术将图像处理所得的象素尺寸转换为实际尺寸：５．本系统经过在现场的实际应用，证明可以达到企业对半导体芯片外观的检测要求，获得了企业的肯定与认可。为企业的技术革新和生产链升级提供新的思路和平台。６．２研究展望在完成整个系统的研究与开发后，回顾全部的处理过程，作者认为在后续的开发中，可以在以下方面进行进一步的改进和研究：１．对系统硬件条件进行改善，特别是进一步改进系统光源和相机安装定位，可以使系统的处理精度和稳定性得以提高；２．本系统设计检测芯片引脚和字符方面最主要和最常见的缺陷，但其他的一些缺陷仍然会出现，后续研究可以针对一些小概率缺陷进行检测，进一步提升检测的全面性；３．本系统所用的匹配是基于灰度值的匹配，易受到光照条件和图像形状变化的影响，在未来的研究和开发中可以考虑基于图像特征的匹配，即利用图像的物理形状（边缘、骨架等）特征进行图像匹配，获得更好的匹配效果；４．软件的设计方面，可对图像处理算法和程序进一步优化，以减少处理时间，提升系统的处理速度。．４５－东南大学硕士学位论文致谢本论文是在导师史金飞教授的悉心指导下完成的。从论文的选题、理论研究、系统设计到模块开发，处处都浸透着导师的心血。尤其是导师史金飞教授渊博的学识、高尚的情操、严谨的治学态度以及生活上无微不至的关怀都将使作者终生受益。在论文研究过程中，导师史金飞教授给予作者全力的帮助和精心的指导，在此，谨向为培养我付出辛勤劳动的导师史金飞教授表示最衷心的感谢，致以崇高的敬意！并祝他身体健康，全家幸福。课题的研究还得到了罗翔副教授的大力支持，他在相关领域给予作者指引，并一直关注着本课题的进展，在课题进展的不同阶段给作者提出了许多中肯而宝贵的建议，在此向他表示衷心的感谢！感谢张磊博士在技术上给予作者的指导和支持，另外还要感谢李凯、梅军、常春国、范江艳等同学在课题研究上的探讨与帮助，在此向他们表示深切的谢意！最后我要感谢我的父母和我的哥哥，感谢他们二十多年来对我的关心与鼓励，论文的完成与他们的支持和关心是分不开的。余轶．４６．参考文献参考文献ｒｏｒｓｙｄｉＤＡ，ＰｏｎｃｅＪ．ＣｏｍｐｕｔｅｒＶｉｓｉｏｎ：ＡＭｏｄｅｍＪａｉｌｌＲ，ＫａｓｔｕｒｉＲ，ＳｃｈｔｍｃｋＢＡｐｐｒｏａｃｈ【Ｍ】．ＰｒｅｎｔｉｃｅＨａｌｌ，２００２Ｇ．ＭａｃｈｉｎｅＶｉｓｉｏｎ【Ｍ】．Ｂｅｉｊｉｎｇ：ＣｈｉｎａＭａｃｈｉｎｅＰｒｅｓｓ，２００３ｎ口ｐＭａｒｔＤ．Ｖｉｓｉｏｎ－ＡｃｏｍｐｕｔａｔｉｏｎａｌＩｎｖｅｓｔｉｇａｔｉｏｎｉｎｔｏｔｈｅＨｕｍａｎＲｅｐｒｅｓｅｎｔａｔｉｏｎａｎｄＰｒｏｃｅｓｓｉｎｇｏｆＶｉｓｕａｌＩｎｆｏｒｍａｔｉｏｎ［Ｍ］．ＳａｎＦｒａｎｃｉｓｃｏ：Ｆｒｅｅｍａｎ，１９８２艾海舟．机器视觉及其应用【Ｊ】．科学中国人，１９９７（９）：２３－２５贾云得．机器视觉［Ｍ］．北京：科学出版社：２０００Ｈ陋№崔雪临．基于机器视觉的半导体器件检测系统的开发［Ｄ］：［硕士学位论文］．南京：东南大学机械工程学院，２００４吴立德．计算机视觉［Ｍ］．上海：复旦大学出版社，１９９３钟玉琢，乔秉新，李树青．机器人视觉技术［Ｍ］．北京：国防工业出版社，１９９４ｐ隅ｐ大恒图像．工业摄像机概述及主要参数［ＥＢ／ｏＬ］．ｈｔｔｐ：／／ｗｗｗ．ｄａｈｅｎｇ－ｉｍａｇｅ．ｃｏｍ／ｓｙｓｖｉｓｉｏｎｂａｓｉｃ－ｄｅｃａ．ｈ仃ｎ【１０】陆宗骐．ｃ／Ｃ＋＋图像处理编程［Ｍ］．北京：清华大学出版社，２００５【１１】刘小力．机器人视觉伺服系统的图像处理和标定技术研究ｐ】：【硕士学位论文】．南京：东南大学机械工程学院，２００５【１２］黄涛．模板匹配在图像识别中的应用【Ｊ】．云南大学学报，２００５，２７（５Ａ）：３２７－３３２【１３】孙远。周刚慧，赵立初，等．灰度图像匹配的快速算法［Ｊ】．上海交通大学学报，２０００，３４（５）：７０２－７０４【１４】章品正，舒华忠．旋转入脸的模板匹配定位与旋转角度估算方法【刀．电路与系统学报．２００４。９（５）：３０一３３［１５】李俊山，沈绪榜．归一化积相关图像匹配算法中的图像分块并行处理方法川．小型微型计算机系统．２００４，２５（１１）：１９８６—１９８９【１６】杨小冈，曹菲，缪栋，等．基于相似度比较的图像灰度匹配算法研究ｍ．系统工程与电子技术，２００５，２７（５）：９１８—９２１【１７】刘学东，贾玉林，孙吴．相关算法中跟踪稳定性问题的研究们．红外与激光工程，１９９８，２７（１）：９－１３【１８】ＢａｍｅａＤＩ，ＳｉｌｖｅｒｍａｎＨＦ．Ａｃｌａｓｓｏｆａｌｇｏｒｉｔｈｍｓｆｏｒｆａｓｔｄｉｇｉｔａｌｉｎｌａｇｏｒｅｇｉｓｔｒａｔｉｏｎ［Ｊ】．ＩＥＥＥＴｒａｎｓＣｏｍｐｕｔｅｒｓ，１９７２，Ｃ－２１：１７９－１８６ｆ１９】李彦锋，徐可欣，刘瑾，等．基于ＳＳＤＡ的模板匹配法在指纹识别中的应用们．纳米技术与精密工程，２００６，４（１）：６３—６６【２０】贾永红．计算机图像处理与分析［Ｍ］．武汉：武汉大学出版社，２００１【２１】田村秀行编著．计算机图像处理［Ｍ］．金喜子，乔双译．北京：科学出版社，２００４［２２】ＲｏｓｅｎｆｅＩｄＡ，ＫａｋＡＣ．ＤｉｇｉｔａｌＰｉｃｔｕｒｅＰｒｏｃｅｓｓｉｎｇ［Ｍ］．２”ｅｄｉｔｉｏｎ．ＮｅｗＹｏｒｋ：ＡｃａｄｅｍｉｃＰｒｅｓｓ，１９８２【２３Ｊ杨淑莹．ＶｃＨ图像处理程序设计［Ｍ】．北京：清华大学出版社，２００５［２４】ＴｙａｎＳＧ．Ｍｅｄｉａｎｆｉｌｔｅｒｉｎｇ：ｄｅｔｅｒｍｉｎｉｓｔｉｃｐｒｏｐｅｒｔｉｅｓ［Ｃ］．Ｉｎ：ＨｕａｎｇＴＳ，ｅｘｌｓ．Ｔｗｏ－ＤｉｍｅｎｓｉｏｎａｌＤｉｇｉｔａｌＳｉｇｎａｌＰｒｏｃｅｓｓｉｎｇ，ｖｏｌｕｍｅＩＩ．Ｂｅｒｌｉｎ：ＳｐｒｉｎｇｅｒＶｅｆｌａｇ，１９８１［２５】ＳｎｙｄｅｒＷＥ，ＱｉＨ．Ｍａｃｈｉｎｅｖｉｓｉｏｎ［Ｍ］．Ｂｅｏｉｎｇ：Ｃｈｉｎａ［２６】阮秋琦．数字图像处理学［Ｍ】．电子工业出版社，２００１ｍａｃｈｉｎｅｐｒｅｓｓ，２００５【２７１傅德胜，寿亦禾．图形图像处理学［Ｍ】．南京：东南大学出版社，２００２．４７．东南大学硕士学位论文［２８】ＲｉｄｌｅｒＴＷ，ＣａｌｖａｒｄＳ．Ｐｉｃｔｕｒｅｔｈｒｅｓｈｏｌｄｉｎｇｕｓｉｎｇａｌｌｉｔｅｒａｔｉｖｅｓｅｌｅｃｔｉｏｎｍｅｔｈｏｄ［Ｊ］．ＩＥＥＥＴｒａｎｓａｃｔｉｏｎｓｏｎＳｙｓｔｅｍｓ，ＭａｎａｎｄＣｙｂｅｒｎｅｔｉｃｓ，１９７８，８（８）：６３０—６３２［２９】刘伟，袁修干，杨春信，等．生物视觉与计算机视觉的比较【刀．航天医学与医学工程，２００ｌ，１４０）：３０３－３０７【３ＩＤ】鲍建跃．基于ＢＬＯＢ的积木特征提取算法们．现代电子技术，２００４（９）：２３—２５【３ｌＪ陈丽娜．对象实对检测和精确定位应用研究０，】：【博士学位论文】．广州：华南农业大学，２００３ｐ２】王臣豪，刘富强，田敏，等．基于Ｂｌｏｂ的车辆识别及其跟踪算法研究阴．信号处理．２００５（４Ａ）：３７０－３７４【３３】章毓晋．图像分割【Ｍ】．科学出版社，２００１［３４】ＨｏｕｇｈＰＶＣ．ＡＭｅｔｈｏｄｅｎｄＭｅａｎｓｆｏｒＲｅｃｏｇｎｉｚｉｎｇＣｏｍｐｌｅｘＰａｔｔｅｒｎｓ［Ｐ］．ＵＳＰａｔｅｎｔ３，０６９，６５４，１９６２【３５】ＳｏｎｋａＭ，ＨｌａｖａｃＶ，ＢｏｙｌｅＩＬ图像处理、分析与机器视觉［Ｍ］．北京：人民邮电出版社，２００３ｆ３６】张广军．机器视觉［Ｍ］．北京：科学出版社，２００５ｐ７】周龙，陈绵云．基于灰关联分析的储粮害虫图像边缘检测算法们．华中科技大学学报，２００５，３３（４）：６１—６３［３８】甘金来．图像边缘检测算法的比较研究［Ｄ］：［硕士学位论文］．电子科技大学，２００５【３９】ＲｏｂｅｒｔｓＬＧ．Ｍ∞ｈｍｅｐｅｒｃｅｐｔｉｏｎｏｆｔｈｒｅｅ－ｄｉｍｅｎｓｉｏｎａｌｓｏｌｉｄｓ［Ｃ］．Ｉｎ：Ｔｉｐｐｅ拄ＪＴ，ｅｄｓ．ＯｐｔｉｃａｌａｎｄＥｌｅｃｔｒｏ－ＯｐｔｉｃａｌＩｎｆｏｒｍａｔｉｏｎＰｒｏｃｅｓｓｉｎｇ．Ｃｍｎｂｒｉｄｇｅ，ＭＡ：ＭＩＴＰｒｅｓｓ，１９６５．１５９一１９７【４０】李小红．基于ＬｏＧ滤波器的图像边缘检测算法的研究［Ｊ］．计算机应用与软件，２００５，２２（５）：１０７—１０８【４ｌ】ＢｉｓｈｏｐＢＥ，ＳｐｏｎｇＭＷ．ＡｄａｐｔｉｖｅＣａｌｉｂｒａｔｉｏｎａｎｄＣｏｎｔｒｏｌｏｆ２ＤＭｏｎｏｃｕｌａｒＶｉｓｕａｌＳａ，ｖｏＳｙｓｔｅｍｓ［Ｊ］．ＣｏｎｔｒｏｌＥｎｇｉｎｅｅｒｉｎｇＰｒａｃｔｉｃｅｔ１９９９（７）：４２３－４３０［４２】刘振宇，陈英林，曲道奎，等．机器人标定技术研究［Ｊ］．机器人，２００２，２４（５）：４４７４５０－４８－攻读硕士研究生期间所发表论文及奖励攻读硕士研究生期间所发表论文及奖励１．余轶，张磊，史金飞．一种实用的ＲＯＩ区域实时搜索方法．中国制造业信息化，２００７，３６（３）：７２－７６２．２００５～２００６年度东南大学一等奖学金．．４９．．半导体芯片外观视觉检测系统的研究与开发

作者：

学位授予单位：

余轶东南大学

1.期刊论文 殷伯华.初明璋.林云生.韩立.YIN Bo-hua.CHU Ming-zhang.LIN Yun-sheng.HAN Li CD-AFM在45 nm节点半导体芯片检测过程中的应用 -电子显微学报2009,28(2)

本文介绍了关键尺寸原子力显微镜(CD-AFM)在半导体芯片制造中的应用.通过对比现有的半导体检测仪器与原子力显微镜的工作原理和检测方法,详细探讨了原子力显微镜在目前的半导体芯片45nm节点工艺关键尺寸检测中的优势地位.根据芯片在线关键尺寸检测的具体要求,提出了原子力显微镜急待解决的相关研究内容.

2.学位论文 沈勃 基于机器视觉的QFN芯片检测软件的设计与实现 2007

大规模集成电路的外观检测在半导体芯片的后道生产工序中占有举足轻重的地位。外观检测作为组装部的最后一道工序，一方面，它为产品的出货质量把关。另一方面，它为整个芯片组装部的各工序提供及时的产品质量信息反馈，以帮助各工序及时发现本身存在的质量隐患，避免产生大批量次品。

作为芯片封装的一种形式，QFN(Quad Flat Non-Lead)是一种较新的封装形式。目前，在国际上能够对QFN产品进行有效检测的系统还很少。本文的主要研究工作是设计开发一套QFN芯片外观检测软件。论文分析了生产工艺中确实存在以及一些潜在的有重大影响的缺陷，将这些缺陷分为两大类：芯片的尺寸偏差和芯片的外观缺陷，其中，尺寸偏差包括芯片的外形尺寸和管脚相对芯片的偏移。外观缺陷包括外来物、划伤、溢胶、空洞等等。针对被检测的各种缺陷和被测量值，确立了先学习后检测的算法思路。即先对被测芯片的外型、位置、中心等相关信息进行学习，同时，将被测芯片的模板及其参考参数保存在硬盘中。然后运用这些学习的结果与每一颗被测芯片的对应信息进行比较，最后得出关于芯片合格与否的结论。整个程序采用模块化的设计思路，程序结构简化，效率高。

这套QFN测量、检测系统已通过严格评估，检测速度为289ms/unit，高于业界同类产品的平均水平；检测率在不产生漏杀的情况下，过杀率为1.4％，远低于业界3％的平均水平；在尺寸测量和外观缺陷检测方面完全满足设计要求和生产的实际需要。

本文链接：http://d.g.wanfangdata.com.cn/Thesis_Y1186280.aspx

授权使用：北京服装学院(bjfzxy)，授权号：052f880c-520f-401b-9b0a-9e6d0111886c

下载时间：2011年1月16日