在负载均衡的思路下，多台服务器为对称方式，每台服务器都具有同等的地位，可以单独对外提供服务而无须其他服务器的辅助。通过负载分担技术，将外部发送来的请求按一定规则分配到对称结构中的某一台服务器上，而接收到请求的服务器都独立回应客户机的请求。
提供服务的一组服务器组成了一个应用服务器集群(cluster)，并对外提供一个统一的地址。当一个服务请求被发至该集群时，根据一定规则选择一台服务器，并将服务转定向给该服务器承担，即将负载进行均衡分摊。
通过应用负载均衡技术，使应用服务超过了一台服务器只能为有限用户提供服务的限制，可以利用多台服务器同时为大量用户提供服务。当某台服务器出现故障时，负载均衡服务器会自动进行检测并停止将服务请求分发至该服务器，而由其他工作正常的服务器继续提供服务，从而保证了服务的可靠性。
上述的集群技术一般都用于Web服务器、应用服务器等，而不是用于数据库服务器，即不是用于有共享的存储的服务。数据库服务器将涉及到加锁、回滚等一系列问题，要复杂的多。一般数据库服务器只是使用双机，其中一台工作，另一台备份。数据库的双机并行只用于大型数据库中。可参见：
系统高可用性与双机备份常见问题与方案选择
负载均衡实现的方法有几种：
最简单的是通过DNS，但只能实现简单的轮流分配，也不能处理故障
如果是基于MS IIS，Windows 2003 Server本身就带了负载均衡服务。但这一服务也只是轮流分配。
硬件方式，通过交换机的功能或专门的负载均衡设备可以实现。对于流量的分配可以有多种方式，但基本上都是应用无关的，与服务器的实际负载关系也不大。另外，设备的价格较贵(优点是能支持很多台服务器)。这种方式往往适合大流量、简单应用。
软件方式，通过一台负载均衡服务器进行，上面安装软件。这种方式比较灵活，成本相对也较低。另外一个很大的优点就是可以根据应用的情况和服务器的情况采取一些策略。这方面比较典型的软件产品，是富士通西门子公司的PCL SIS负载均衡软件。
