网络利器

[wxb]

网络问题处理利器

[wxb]

Netcat(nc)

Netcat is a versatile utility for working with TCP or UDP data.

• More information: https://nmap.org/ncat.
• Man page : https://nmap.org/book/ncat-man.html

[wxb]

TLDR

- Listen on a specified port and print any data received:
    nc -l port

- Connect to a certain port:
    nc ip_address port

- Set a timeout:
    nc -w timeout_in_seconds ipaddress port

- Keep the server up after the client detaches:
    nc -k -l port

- Keep the client up even after EOF:
    nc -q timeout ip_address

- Scan the open ports of a specified host:
    nc -v -z ip_address port

- Act as proxy and forward data from a local TCP port to the given remote host:
    nc -l local_port | nc hostname remote_port

[wxb]

4.1 RPC入门

go语言高级编程

• 通过nc命令nc -l 1234在同样的端口启动一个TCP服务。然后再次执行一次RPC调用将会发现nc输出了以下的信息：

{"method":"HelloService.Hello","params":["hello"],"id":0}

• 我们可以通过直接向架设了RPC服务的TCP服务器发送json数据模拟RPC方法调用：

echo -e '{"method":"HelloService.Hello","params":["hello"],"id":1}' | nc localhost 1234

[wxb]

wrk

a HTTP benchmarking tool

wrk is a modern HTTP benchmarking tool capable of generating significant
load when run on a single multi-core CPU. It combines a multithreaded
design with scalable event notification systems such as epoll and kqueue.

An optional LuaJIT script can perform HTTP request generation, response
processing, and custom reporting. Details are available in SCRIPTING and
several examples are located in scripts/.

Basic Usage

wrk -t12 -c400 -d30s http://127.0.0.1:8080/index.html

This runs a benchmark for 30 seconds, using 12 threads, and keeping
400 HTTP connections open.

Output:

Running 30s test @ http://127.0.0.1:8080/index.html
  12 threads and 400 connections
  Thread Stats   Avg      Stdev     Max   +/- Stdev
    Latency   635.91us    0.89ms  12.92ms   93.69%
    Req/Sec    56.20k     8.07k   62.00k    86.54%
  22464657 requests in 30.00s, 17.76GB read
Requests/sec: 748868.53
Transfer/sec:    606.33MB

[wxb]

HTTPie: human-friendly CLI HTTP client for the API era

HTTPie (pronounced aitch-tee-tee-pie) is a command-line HTTP client.
Its goal is to make CLI interaction with web services as human-friendly as possible.
HTTPie is designed for testing, debugging, and generally interacting with APIs & HTTP servers.
The http & https commands allow for creating and sending arbitrary HTTP requests.
They use simple and natural syntax and provide formatted and colorized output.

[wxb]

httpstat

It's like curl -v, with colours.

Imitation is the sincerest form of flattery.

But seriously, https://github.com/reorx/httpstat is the new hotness, and this is a shameless rip off.

[wxb]

iptables 防火墙

是用于实现Linux下访问控制的功能的，它分为硬件的或者软件的防火墙两种。

无论是在哪个网络中，防火墙工作的地方一定是在网络的边缘。

而我们的任务就是需要去定义到底防火墙如何工作，这就是防火墙的策略，规则，以达到让它对出入网络的IP、数据进行检测。

[wxb]

iptables 详解

1. iptables的工作机制

• NetFilter(网络过滤器) 规定的五个规则链:

  任何一个数据包，只要经过本机，必将经过这五个链中的其中一个链:

  1. PREROUTING (路由前)
  2. INPUT (数据包流入口)
  3. FORWARD (转发管卡)
  4. OUTPUT(数据包出口)
  5. POSTROUTING（路由后）

• 数据流走向
  

  1. 一个数据包进入网卡时，它首先进入PREROUTING链，内核根据数据包目的IP判断是否需要转发出去。
  2. 如果数据包就是进入本机的，它就会沿着图向下移动，到达INPUT链。数据包到了INPUT链后，任何进程都会收到它。本机上运行的程序可以发送数据包，这些数据包会经 过OUTPUT链，然后到达POSTROUTING链输出。
  3. 如果数据包是要转发出去的，且内核允许转发，数据包就会如图所示向右移动，经过 FORWARD链，然后到达POSTROUTING链输出。

2. 规则、表和链

• 规则（rules）

  规则（rules）其实就是网络管理员预定义的条件，规则一般的定义为“如果数据包头符合这样的条件，就这样处理这个数据包”。规则存储在内核空间的信息包过滤表中，这些规则分别指定了源地址、目的地址、传输协议（如TCP、UDP、ICMP）和服务类型（如HTTP、FTP和SMTP）等。当数据包与规则匹配时，iptables就根据规则所定义的方法来处理这些数据包，如放行（accept）、拒绝（reject）和丢弃（drop）等。配置防火墙的主要工作就是添加、修改和删除这些规则。

• 链（chains）

  链（chains）是数据包传播的路径，每一条链其实就是众多规则中的一个检查清单，每一条链中可以有一条或数条规则。当一个数据包到达一个链时，iptables就会从链中第一条规则开始检查，看该数据包是否满足规则所定义的条件。如果满足，系统就会根据该条规则所定义的方法处理该数据包；否则iptables将继续检查下一条规则，如果该数据包不符合链中任一条规则，iptables就会根据该链预先定义的默认策略来处理数据包。

• 表（tables）

  未理解

3. 命令说明

iptables [-t 表] -命令 匹配   操作

• -t 表

  表选项用于指定命令应用于哪个iptables内置表。

• 命令

  命令选项用于指定iptables的执行方式，包括插入规则，删除规则和添加规则，如下表所示

  -P  --policy        <链名>  定义默认策略
  -L  --list          <链名>  查看iptables规则列表
  -A  --append        <链名>  在规则列表的最后增加1条规则
  -I  --insert        <链名>  在指定的位置插入1条规则
  -D  --delete        <链名>  从规则列表中删除1条规则
  -R  --replace       <链名>  替换规则列表中的某条规则
  -F  --flush         <链名>  删除表中所有规则
  -Z  --zero          <链名>  将表中数据包计数器和流量计数器归零
  -X  --delete-chain  <链名>  删除自定义链
  -v  --verbose       <链名>  与-L他命令一起使用显示更多更详细的信息
  

• 匹配规则

  匹配选项指定数据包与规则匹配所具有的特征，包括源地址，目的地址，传输协议和端口号，如下表所示

  -i --in-interface    网络接口名>     指定数据包从哪个网络接口进入，
  -o --out-interface   网络接口名>     指定数据包从哪个网络接口输出
  -p ---proto          协议类型        指定数据包匹配的协议，如TCP、UDP和ICMP等
  -s --source          源地址或子网>   指定数据包匹配的源地址
     --sport           源端口号>       指定数据包匹配的源端口号
     --dport           目的端口号>     指定数据包匹配的目的端口号
  -m --match           匹配的模块      指定数据包规则所使用的过滤模块
  

• 动作

  前面我们说过iptables处理动作除了 ACCEPT、REJECT、DROP、REDIRECT 、MASQUERADE 以外，还多出 LOG、ULOG、DNAT、RETURN、TOS、SNAT、MIRROR、QUEUE、TTL、MARK等。我们只说明其中最常用的动作：

  • REJECT 拦阻该数据包，并返回数据包通知对方，可以返回的数据包有几个选择：ICMP port-unreachable、ICMP echo-reply 或是tcp-reset（这个数据包包会要求对方关闭联机），进行完此处理动作后，将不再比对其它规则，直接中断过滤程序。范例如下：

  iptables -A  INPUT -p TCP --dport 22 -j REJECT --reject-with ICMP echo-reply
  

  • DROP 丢弃数据包不予处理，进行完此处理动作后，将不再比对其它规则，直接中断过滤程序。

  • REDIRECT 将封包重新导向到另一个端口（PNAT），进行完此处理动作后，将会继续比对其它规则。这个功能可以用来实作透明代理 或用来保护web 服务器。例如：

  iptables -t nat -A PREROUTING -p tcp --dport 80 -j REDIRECT--to-ports 8081
  

4.常用示例

• 查看防火墙的状态

  iptables -L -n -v --line-numbers
  

• 启动/停止/重启防火墙

  service iptables stop
  service iptables start
  service iptables restart
  

• 删除一条规则

  iptables -L INPUT -n --line-numbers
  iptables -L OUTPUT -n --line-numbers
  iptables -L OUTPUT -n --line-numbers | less
  iptables -L OUTPUT -n --line-numbers | grep 202.54.1.1
  

• 插入一条规则

  iptables -I INPUT 2 -s 202.54.1.2 -j DROP
  

• 保存防火墙规则

  service iptables save
  

• 加载防火墙规则

  iptables-restore < /root/my.active.firewall.rules
  

• 删除公共接口上的私有地址

  iptables -A INPUT -i eth1 -s 192.168.0.0/24 -j DROP
  iptables -A INPUT -i eth1 -s 10.0.0.0/8 -j DROP
  

• 屏蔽 ip 地址

  iptables -A INPUT -s 1.2.3.4 -j DROP
  iptables -A INPUT -s 192.168.0.0/24 -j DROP
  

• 屏蔽入站端口

  iptables -A INPUT -p tcp -s 1.2.3.4 --dport 80 -j DROP
  iptables -A INPUT -i eth1 -p tcp -s 192.168.1.0/24 --dport 80 -j DROP
  

• 屏蔽出站ip

  iptables -A OUTPUT -d 192.168.1.0/24 -j DROP
  iptables -A OUTPUT -o eth1 -d 192.168.1.0/24 -j DROP
  

• 记录并删除包

  iptables -A INPUT -i eth1 -s 10.0.0.0/8 -j LOG --log-prefix "IP_SPOOF A: "
  iptables -A INPUT -i eth1 -s 10.0.0.0/8 -j DROP
  

• 通过 mac 地址过滤数据

  iptables -A INPUT -m mac --mac-source 00:0F:EA:91:04:08 -j DROP
  

  只接收MAC地址为00:0F:EA:91:04:07的TCP流量

  iptables -A INPUT -p tcp --destination-port 22 -m mac --mac-source 00:0F:EA:91:04:07 -j ACCEPT
  

• 过滤 ICMP ping 请求

  iptables -A INPUT -p icmp --icmp-type echo-request -j DROP
  iptables -A INPUT -i eth1 -p icmp --icmp-type echo-request -j DROP
  

• 开启范围端口

  iptables -A INPUT -m state --state NEW -m tcp -p tcp --dport 7000:7010 -j ACCEPT
  

• 开启范围 ip

  iptables -A INPUT -p tcp --destination-port 80 -m iprange --src-range 192.168.1.100-192.168.1.200 -j ACCEPT
  

• 删除规则

  如果想要删除一条规则，那么可以直接使用序号，例如 INPUT 的第 4 条可以直接这么删除

  iptables -D INPUT 4
  

[wxb]

tldr iptables

iptables

  Program that allows configuration of tables, chains and rules provided by the Linux kernel firewall.
  More information: https://www.netfilter.org/projects/iptables/.

  - View chains, rules, and packet/byte counters for the filter table:
    sudo iptables -vnL

  - Set chain policy rule:
    sudo iptables -P chain rule

  - Append rule to chain policy for IP:
    sudo iptables -A chain -s ip -j rule

  - Append rule to chain policy for IP considering protocol and port:
    sudo iptables -A chain -s ip -p protocol --dport port -j rule

  - Add a NAT rule to translate all traffic from the 192.168.0.0/24 subnet to the host's public IP:
    sudo iptables -t nat -A POSTROUTING -s 192.168.0.0/24 -j MASQUERADE

  - Delete chain rule:
    sudo iptables -D chain rule_line_number

  - Save iptables configuration of a given table to a file:
    sudo iptables-save -t tablename > path/to/iptables_file

  - Restore iptables configuration from a file:
    sudo iptables-restore < path/to/iptables_file

[wxb]

Squid

Squid 是一个开源的代理服务器和 Web 缓存服务器，支持 HTTP、HTTPS、FTP 等协议。它主要用于：

• 代理服务：允许用户通过代理服务器访问互联网。

• 缓存加速：缓存常用资源，减少带宽消耗，提高访问速度。

• 访问控制：通过 ACL（访问控制列表）限制或允许特定用户或 IP 访问资源。

Squid 和 Nginx 的优缺点对比

1. Squid 的优点

• 强大的缓存功能：支持多种缓存策略，适合加速访问和节省带宽。
• 灵活的访问控制：通过 ACL 可以实现复杂的访问控制。
• 支持多种协议：支持 HTTP、HTTPS、FTP 等协议。
• 适合企业级代理：广泛用于企业内部网络的代理和访问控制。

2. Squid 的缺点

• 配置复杂：对于新手来说，配置和管理相对复杂。
• 性能较低：相比 Nginx，Squid 的处理性能较低，不适合高并发场景。
• 资源消耗较高：缓存功能会占用较多的内存和磁盘空间。

3. Nginx 的优点

• 高性能：处理高并发请求的能力非常强。
• 配置简单：语法简洁，易于上手。
• 模块丰富：支持多种模块（如负载均衡、SSL 终端等）。
• 广泛支持：社区活跃，文档丰富。

4. Nginx 的缺点

• 缓存功能有限：虽然支持缓存，但功能不如 Squid 强大。
• 访问控制较弱：相比 Squid，ACL 功能较为简单。
• 主要针对 HTTP/HTTPS：对其他协议的支持较弱。

选择建议

• 如果你需要 高性能的反向代理 或 负载均衡，选择 Nginx。
• 如果你需要 强大的缓存功能 或 复杂的访问控制，选择 Squid。