github-io/Java.html at master · llijiajun/github-io · GitHub

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
153
154
155
156
157
158
159
160
161
162
163
164
165
166
<!DOCTYPE html>
<html lang="en">

  <head>
  <meta charset="UTF-8">
  <meta name="viewport" content="width=device-width, initial-scale=1.0">

  <title>

      Java &middot; Homepage of Jiajun Li

  </title>

  <!-- CSS -->
  <link rel="stylesheet" href="/github-io/assets/main.css">
  <link rel="stylesheet" href="https://fonts.googleapis.com/css?family=Libre+Baskerville:400,400i,700">

  <!-- Favicon -->
  <link rel="icon" type="image/png" sizes="32x32" href="/github-io/assets/favicon-32x32.png">
  <link rel="icon" type="image/png" sizes="16x16" href="/github-io/assets/favicon-16x16.png">
  <link rel="apple-touch-icon" sizes="180x180" href="/github-io/assets/apple-touch-icon.png">
  <link rel="stylesheet" href="https://imsun.github.io/gitment/style/default.css">
  <script src="https://imsun.github.io/gitment/dist/gitment.browser.js"></script>
  <!-- RSS -->
  <!-- feed_meta -->
  <script type="text/javascript" src="https://cdn.mathjax.org/mathjax/latest/MathJax.js?config=default"></script>
  <script src="//cdn1.lncld.net/static/js/3.0.4/av-min.js"></script>
    <script src='//unpkg.com/valine/dist/Valine.min.js'></script>
</head>


  <body>
  <nav class="nav">
      <div class="nav-container">
        <a href="/github-io/">
          <h2 class="nav-title">Homepage of Jiajun Li</h2>
        </a>
        <ul>
          <li><a href="/github-io/about">About</a></li>
          <li><a href="/github-io/">Home</a></li>
        </ul>
      </div>
    </nav>

    <main>
      <div class="catalogue">


    <a href="/github-io/2022-03-02/Spark-01" class="catalogue-item">
      <div>
        <time datetime="2022-03-02 00:00:00 +0800" class="catalogue-time">March 02, 2022</time>
        <h1 class="catalogue-title">记配置n遍spark多机分布式环境</h1>
        <div class="catalogue-line"></div>

        <p>
          背景 最近由于论文的关系，设计的算法需要在分布式环境下，测试算法的通信时间通信代价，于是尝试配置了多台机器的分布式环境。由于配置过程较为复杂，其中也遇到许许多多问题，由于各式各样的因素，不得不一直转换不同的环境，完成机器的配置。虽然由于水平不足，犯了许多不必要的配置错误，有的问题看起来比较愚蠢，但为了之后避免踩入相同的坑，也就将这一路以来，不断配置更新的过程写成文章，以方便查找。 配置20遍 最初使用的平台是人大校级计算平台，在这个平台上，可以申请一定数量的机器，然后以科研结果作为经费抵扣。使用此平台的原因是之前有前辈在上面配置过 Spark 环境，而我有一定机会可以直接利用他配置好的成果，然而事情并没有像我想象的那么简单。此时出现了两个主要的问题，其一是该环境并没有真正配置yarn，并不能做到真正的并行；其次实际上此平台的集群是在一个大机器上分割出的小虚拟机组成集群，这样的集群实际上的通信代价是非常低的，这无法体现出我们算法的优势，因此我不得不寻找其他平台。之后就在组里先找了6台服务器，直接利用这6台服务器搭建一个集群，虽然机器数目少一点，但平摊下来，每个机器都比原来的配置要更好。当然事情不会那么顺利，由于我实验操作的数据量极大，我不断试探服务器计算能力的上限，最终这些服务器也难堪重负，纷纷内存耗尽、磁盘耗尽，引发了一系列不好的连锁反应，究其原因是我没有做docker环境隔离（要学的东西还很多）。由于当时论文ddl在即，让我只能在夜间跑代码，完全是不可能完成目标的，因此我不得不使用阿里云下的服务器。之后就搞了16台阿里云服务器，并在上面配置真·分布式环境，此时我已经有了十次左右配置环境的经验，但哪怕如此，又经历了经费不足、神秘bug等等意想不到的问题，但我最终还是勉强完成了论文，初次投稿当然还是被拒了。之后改投论文的过程中，吸取了服务器可能很容易崩，随时可能换机器的现实，尽可能地将许多作业改为了批处理，终于又配置了很多次，最终完成了实验和论文。 分布式环境的成分 HDFS 虽然说使用 Spark...
        </p>

      </div>
    </a>


    <a href="/github-io/2018-07-15/Java-01_HelloWorld" class="catalogue-item">
      <div>
        <time datetime="2018-07-15 00:00:00 +0800" class="catalogue-time">July 15, 2018</time>
        <h1 class="catalogue-title">Java HelloWorld</h1>
        <div class="catalogue-line"></div>

        <p>
          Java HelloWorld //Helloworld.java public class HelloWorld{ public static void main(String...
        </p>

      </div>
    </a>


    <a href="/github-io/2018-06-11/EJB-01-Ant-demo" class="catalogue-item">
      <div>
        <time datetime="2018-06-11 00:00:00 +0800" class="catalogue-time">June 11, 2018</time>
        <h1 class="catalogue-title">EJB——Ant Demo——simple package</h1>
        <div class="catalogue-line"></div>

        <p>
          背景 简单的java情况下，使用命令行编译运行一个jar包的demo 目录结构 C:. │ mymanifest │ run.bat │ runjar.bat...
        </p>

      </div>
    </a>


</div>


    </main>

    <footer>
      <span>
        &copy; <time datetime="2024-07-20 17:45:49 +0800">2024</time> . Made with HadesJun.
      </span>
    </footer>
  </body>
</html>