1 /*===---- avx512vldqintrin.h - AVX512VL and AVX512DQ intrinsics ---------------------------===
2 *
3 * Permission is hereby granted, free of charge, to any person obtaining a copy
4 * of this software and associated documentation files (the "Software"), to deal
5 * in the Software without restriction, including without limitation the rights
6 * to use, copy, modify, merge, publish, distribute, sublicense, and/or sell
7 * copies of the Software, and to permit persons to whom the Software is
8 * furnished to do so, subject to the following conditions:
9 *
10 * The above copyright notice and this permission notice shall be included in
11 * all copies or substantial portions of the Software.
12 *
13 * THE SOFTWARE IS PROVIDED "AS IS", WITHOUT WARRANTY OF ANY KIND, EXPRESS OR
14 * IMPLIED, INCLUDING BUT NOT LIMITED TO THE WARRANTIES OF MERCHANTABILITY,
15 * FITNESS FOR A PARTICULAR PURPOSE AND NONINFRINGEMENT. IN NO EVENT SHALL THE
16 * AUTHORS OR COPYRIGHT HOLDERS BE LIABLE FOR ANY CLAIM, DAMAGES OR OTHER
17 * LIABILITY, WHETHER IN AN ACTION OF CONTRACT, TORT OR OTHERWISE, ARISING FROM,
18 * OUT OF OR IN CONNECTION WITH THE SOFTWARE OR THE USE OR OTHER DEALINGS IN
19 * THE SOFTWARE.
20 *
21 *===-----------------------------------------------------------------------===
22 */
23
24 #ifndef __IMMINTRIN_H
25 #error "Never use <avx512vldqintrin.h> directly; include <immintrin.h> instead."
26 #endif
27
28 #ifndef __AVX512VLDQINTRIN_H
29 #define __AVX512VLDQINTRIN_H
30
31 /* Define the default attributes for the functions in this file. */
32 #define __DEFAULT_FN_ATTRS __attribute__((__always_inline__, __nodebug__))
33
34 static __inline__ __m256i __DEFAULT_FN_ATTRS
_mm256_mullo_epi64(__m256i __A,__m256i __B)35 _mm256_mullo_epi64 (__m256i __A, __m256i __B) {
36 return (__m256i) ((__v4di) __A * (__v4di) __B);
37 }
38
39 static __inline__ __m256i __DEFAULT_FN_ATTRS
_mm256_mask_mullo_epi64(__m256i __W,__mmask8 __U,__m256i __A,__m256i __B)40 _mm256_mask_mullo_epi64 (__m256i __W, __mmask8 __U, __m256i __A, __m256i __B) {
41 return (__m256i) __builtin_ia32_pmullq256_mask ((__v4di) __A,
42 (__v4di) __B,
43 (__v4di) __W,
44 (__mmask8) __U);
45 }
46
47 static __inline__ __m256i __DEFAULT_FN_ATTRS
_mm256_maskz_mullo_epi64(__mmask8 __U,__m256i __A,__m256i __B)48 _mm256_maskz_mullo_epi64 (__mmask8 __U, __m256i __A, __m256i __B) {
49 return (__m256i) __builtin_ia32_pmullq256_mask ((__v4di) __A,
50 (__v4di) __B,
51 (__v4di)
52 _mm256_setzero_si256 (),
53 (__mmask8) __U);
54 }
55
56 static __inline__ __m128i __DEFAULT_FN_ATTRS
_mm_mullo_epi64(__m128i __A,__m128i __B)57 _mm_mullo_epi64 (__m128i __A, __m128i __B) {
58 return (__m128i) ((__v2di) __A * (__v2di) __B);
59 }
60
61 static __inline__ __m128i __DEFAULT_FN_ATTRS
_mm_mask_mullo_epi64(__m128i __W,__mmask8 __U,__m128i __A,__m128i __B)62 _mm_mask_mullo_epi64 (__m128i __W, __mmask8 __U, __m128i __A, __m128i __B) {
63 return (__m128i) __builtin_ia32_pmullq128_mask ((__v2di) __A,
64 (__v2di) __B,
65 (__v2di) __W,
66 (__mmask8) __U);
67 }
68
69 static __inline__ __m128i __DEFAULT_FN_ATTRS
_mm_maskz_mullo_epi64(__mmask8 __U,__m128i __A,__m128i __B)70 _mm_maskz_mullo_epi64 (__mmask8 __U, __m128i __A, __m128i __B) {
71 return (__m128i) __builtin_ia32_pmullq128_mask ((__v2di) __A,
72 (__v2di) __B,
73 (__v2di)
74 _mm_setzero_si128 (),
75 (__mmask8) __U);
76 }
77
78 static __inline__ __m256d __DEFAULT_FN_ATTRS
_mm256_mask_andnot_pd(__m256d __W,__mmask8 __U,__m256d __A,__m256d __B)79 _mm256_mask_andnot_pd (__m256d __W, __mmask8 __U, __m256d __A, __m256d __B) {
80 return (__m256d) __builtin_ia32_andnpd256_mask ((__v4df) __A,
81 (__v4df) __B,
82 (__v4df) __W,
83 (__mmask8) __U);
84 }
85
86 static __inline__ __m256d __DEFAULT_FN_ATTRS
_mm256_maskz_andnot_pd(__mmask8 __U,__m256d __A,__m256d __B)87 _mm256_maskz_andnot_pd (__mmask8 __U, __m256d __A, __m256d __B) {
88 return (__m256d) __builtin_ia32_andnpd256_mask ((__v4df) __A,
89 (__v4df) __B,
90 (__v4df)
91 _mm256_setzero_pd (),
92 (__mmask8) __U);
93 }
94
95 static __inline__ __m128d __DEFAULT_FN_ATTRS
_mm_mask_andnot_pd(__m128d __W,__mmask8 __U,__m128d __A,__m128d __B)96 _mm_mask_andnot_pd (__m128d __W, __mmask8 __U, __m128d __A, __m128d __B) {
97 return (__m128d) __builtin_ia32_andnpd128_mask ((__v2df) __A,
98 (__v2df) __B,
99 (__v2df) __W,
100 (__mmask8) __U);
101 }
102
103 static __inline__ __m128d __DEFAULT_FN_ATTRS
_mm_maskz_andnot_pd(__mmask8 __U,__m128d __A,__m128d __B)104 _mm_maskz_andnot_pd (__mmask8 __U, __m128d __A, __m128d __B) {
105 return (__m128d) __builtin_ia32_andnpd128_mask ((__v2df) __A,
106 (__v2df) __B,
107 (__v2df)
108 _mm_setzero_pd (),
109 (__mmask8) __U);
110 }
111
112 static __inline__ __m256 __DEFAULT_FN_ATTRS
_mm256_mask_andnot_ps(__m256 __W,__mmask8 __U,__m256 __A,__m256 __B)113 _mm256_mask_andnot_ps (__m256 __W, __mmask8 __U, __m256 __A, __m256 __B) {
114 return (__m256) __builtin_ia32_andnps256_mask ((__v8sf) __A,
115 (__v8sf) __B,
116 (__v8sf) __W,
117 (__mmask8) __U);
118 }
119
120 static __inline__ __m256 __DEFAULT_FN_ATTRS
_mm256_maskz_andnot_ps(__mmask8 __U,__m256 __A,__m256 __B)121 _mm256_maskz_andnot_ps (__mmask8 __U, __m256 __A, __m256 __B) {
122 return (__m256) __builtin_ia32_andnps256_mask ((__v8sf) __A,
123 (__v8sf) __B,
124 (__v8sf)
125 _mm256_setzero_ps (),
126 (__mmask8) __U);
127 }
128
129 static __inline__ __m128 __DEFAULT_FN_ATTRS
_mm_mask_andnot_ps(__m128 __W,__mmask8 __U,__m128 __A,__m128 __B)130 _mm_mask_andnot_ps (__m128 __W, __mmask8 __U, __m128 __A, __m128 __B) {
131 return (__m128) __builtin_ia32_andnps128_mask ((__v4sf) __A,
132 (__v4sf) __B,
133 (__v4sf) __W,
134 (__mmask8) __U);
135 }
136
137 static __inline__ __m128 __DEFAULT_FN_ATTRS
_mm_maskz_andnot_ps(__mmask8 __U,__m128 __A,__m128 __B)138 _mm_maskz_andnot_ps (__mmask8 __U, __m128 __A, __m128 __B) {
139 return (__m128) __builtin_ia32_andnps128_mask ((__v4sf) __A,
140 (__v4sf) __B,
141 (__v4sf)
142 _mm_setzero_ps (),
143 (__mmask8) __U);
144 }
145
146 static __inline__ __m256d __DEFAULT_FN_ATTRS
_mm256_mask_and_pd(__m256d __W,__mmask8 __U,__m256d __A,__m256d __B)147 _mm256_mask_and_pd (__m256d __W, __mmask8 __U, __m256d __A, __m256d __B) {
148 return (__m256d) __builtin_ia32_andpd256_mask ((__v4df) __A,
149 (__v4df) __B,
150 (__v4df) __W,
151 (__mmask8) __U);
152 }
153
154 static __inline__ __m256d __DEFAULT_FN_ATTRS
_mm256_maskz_and_pd(__mmask8 __U,__m256d __A,__m256d __B)155 _mm256_maskz_and_pd (__mmask8 __U, __m256d __A, __m256d __B) {
156 return (__m256d) __builtin_ia32_andpd256_mask ((__v4df) __A,
157 (__v4df) __B,
158 (__v4df)
159 _mm256_setzero_pd (),
160 (__mmask8) __U);
161 }
162
163 static __inline__ __m128d __DEFAULT_FN_ATTRS
_mm_mask_and_pd(__m128d __W,__mmask8 __U,__m128d __A,__m128d __B)164 _mm_mask_and_pd (__m128d __W, __mmask8 __U, __m128d __A, __m128d __B) {
165 return (__m128d) __builtin_ia32_andpd128_mask ((__v2df) __A,
166 (__v2df) __B,
167 (__v2df) __W,
168 (__mmask8) __U);
169 }
170
171 static __inline__ __m128d __DEFAULT_FN_ATTRS
_mm_maskz_and_pd(__mmask8 __U,__m128d __A,__m128d __B)172 _mm_maskz_and_pd (__mmask8 __U, __m128d __A, __m128d __B) {
173 return (__m128d) __builtin_ia32_andpd128_mask ((__v2df) __A,
174 (__v2df) __B,
175 (__v2df)
176 _mm_setzero_pd (),
177 (__mmask8) __U);
178 }
179
180 static __inline__ __m256 __DEFAULT_FN_ATTRS
_mm256_mask_and_ps(__m256 __W,__mmask8 __U,__m256 __A,__m256 __B)181 _mm256_mask_and_ps (__m256 __W, __mmask8 __U, __m256 __A, __m256 __B) {
182 return (__m256) __builtin_ia32_andps256_mask ((__v8sf) __A,
183 (__v8sf) __B,
184 (__v8sf) __W,
185 (__mmask8) __U);
186 }
187
188 static __inline__ __m256 __DEFAULT_FN_ATTRS
_mm256_maskz_and_ps(__mmask8 __U,__m256 __A,__m256 __B)189 _mm256_maskz_and_ps (__mmask8 __U, __m256 __A, __m256 __B) {
190 return (__m256) __builtin_ia32_andps256_mask ((__v8sf) __A,
191 (__v8sf) __B,
192 (__v8sf)
193 _mm256_setzero_ps (),
194 (__mmask8) __U);
195 }
196
197 static __inline__ __m128 __DEFAULT_FN_ATTRS
_mm_mask_and_ps(__m128 __W,__mmask8 __U,__m128 __A,__m128 __B)198 _mm_mask_and_ps (__m128 __W, __mmask8 __U, __m128 __A, __m128 __B) {
199 return (__m128) __builtin_ia32_andps128_mask ((__v4sf) __A,
200 (__v4sf) __B,
201 (__v4sf) __W,
202 (__mmask8) __U);
203 }
204
205 static __inline__ __m128 __DEFAULT_FN_ATTRS
_mm_maskz_and_ps(__mmask8 __U,__m128 __A,__m128 __B)206 _mm_maskz_and_ps (__mmask8 __U, __m128 __A, __m128 __B) {
207 return (__m128) __builtin_ia32_andps128_mask ((__v4sf) __A,
208 (__v4sf) __B,
209 (__v4sf)
210 _mm_setzero_ps (),
211 (__mmask8) __U);
212 }
213
214 static __inline__ __m256d __DEFAULT_FN_ATTRS
_mm256_mask_xor_pd(__m256d __W,__mmask8 __U,__m256d __A,__m256d __B)215 _mm256_mask_xor_pd (__m256d __W, __mmask8 __U, __m256d __A,
216 __m256d __B) {
217 return (__m256d) __builtin_ia32_xorpd256_mask ((__v4df) __A,
218 (__v4df) __B,
219 (__v4df) __W,
220 (__mmask8) __U);
221 }
222
223 static __inline__ __m256d __DEFAULT_FN_ATTRS
_mm256_maskz_xor_pd(__mmask8 __U,__m256d __A,__m256d __B)224 _mm256_maskz_xor_pd (__mmask8 __U, __m256d __A, __m256d __B) {
225 return (__m256d) __builtin_ia32_xorpd256_mask ((__v4df) __A,
226 (__v4df) __B,
227 (__v4df)
228 _mm256_setzero_pd (),
229 (__mmask8) __U);
230 }
231
232 static __inline__ __m128d __DEFAULT_FN_ATTRS
_mm_mask_xor_pd(__m128d __W,__mmask8 __U,__m128d __A,__m128d __B)233 _mm_mask_xor_pd (__m128d __W, __mmask8 __U, __m128d __A, __m128d __B) {
234 return (__m128d) __builtin_ia32_xorpd128_mask ((__v2df) __A,
235 (__v2df) __B,
236 (__v2df) __W,
237 (__mmask8) __U);
238 }
239
240 static __inline__ __m128d __DEFAULT_FN_ATTRS
_mm_maskz_xor_pd(__mmask8 __U,__m128d __A,__m128d __B)241 _mm_maskz_xor_pd (__mmask8 __U, __m128d __A, __m128d __B) {
242 return (__m128d) __builtin_ia32_xorpd128_mask ((__v2df) __A,
243 (__v2df) __B,
244 (__v2df)
245 _mm_setzero_pd (),
246 (__mmask8) __U);
247 }
248
249 static __inline__ __m256 __DEFAULT_FN_ATTRS
_mm256_mask_xor_ps(__m256 __W,__mmask8 __U,__m256 __A,__m256 __B)250 _mm256_mask_xor_ps (__m256 __W, __mmask8 __U, __m256 __A, __m256 __B) {
251 return (__m256) __builtin_ia32_xorps256_mask ((__v8sf) __A,
252 (__v8sf) __B,
253 (__v8sf) __W,
254 (__mmask8) __U);
255 }
256
257 static __inline__ __m256 __DEFAULT_FN_ATTRS
_mm256_maskz_xor_ps(__mmask8 __U,__m256 __A,__m256 __B)258 _mm256_maskz_xor_ps (__mmask8 __U, __m256 __A, __m256 __B) {
259 return (__m256) __builtin_ia32_xorps256_mask ((__v8sf) __A,
260 (__v8sf) __B,
261 (__v8sf)
262 _mm256_setzero_ps (),
263 (__mmask8) __U);
264 }
265
266 static __inline__ __m128 __DEFAULT_FN_ATTRS
_mm_mask_xor_ps(__m128 __W,__mmask8 __U,__m128 __A,__m128 __B)267 _mm_mask_xor_ps (__m128 __W, __mmask8 __U, __m128 __A, __m128 __B) {
268 return (__m128) __builtin_ia32_xorps128_mask ((__v4sf) __A,
269 (__v4sf) __B,
270 (__v4sf) __W,
271 (__mmask8) __U);
272 }
273
274 static __inline__ __m128 __DEFAULT_FN_ATTRS
_mm_maskz_xor_ps(__mmask8 __U,__m128 __A,__m128 __B)275 _mm_maskz_xor_ps (__mmask8 __U, __m128 __A, __m128 __B) {
276 return (__m128) __builtin_ia32_xorps128_mask ((__v4sf) __A,
277 (__v4sf) __B,
278 (__v4sf)
279 _mm_setzero_ps (),
280 (__mmask8) __U);
281 }
282
283 static __inline__ __m256d __DEFAULT_FN_ATTRS
_mm256_mask_or_pd(__m256d __W,__mmask8 __U,__m256d __A,__m256d __B)284 _mm256_mask_or_pd (__m256d __W, __mmask8 __U, __m256d __A, __m256d __B) {
285 return (__m256d) __builtin_ia32_orpd256_mask ((__v4df) __A,
286 (__v4df) __B,
287 (__v4df) __W,
288 (__mmask8) __U);
289 }
290
291 static __inline__ __m256d __DEFAULT_FN_ATTRS
_mm256_maskz_or_pd(__mmask8 __U,__m256d __A,__m256d __B)292 _mm256_maskz_or_pd (__mmask8 __U, __m256d __A, __m256d __B) {
293 return (__m256d) __builtin_ia32_orpd256_mask ((__v4df) __A,
294 (__v4df) __B,
295 (__v4df)
296 _mm256_setzero_pd (),
297 (__mmask8) __U);
298 }
299
300 static __inline__ __m128d __DEFAULT_FN_ATTRS
_mm_mask_or_pd(__m128d __W,__mmask8 __U,__m128d __A,__m128d __B)301 _mm_mask_or_pd (__m128d __W, __mmask8 __U, __m128d __A, __m128d __B) {
302 return (__m128d) __builtin_ia32_orpd128_mask ((__v2df) __A,
303 (__v2df) __B,
304 (__v2df) __W,
305 (__mmask8) __U);
306 }
307
308 static __inline__ __m128d __DEFAULT_FN_ATTRS
_mm_maskz_or_pd(__mmask8 __U,__m128d __A,__m128d __B)309 _mm_maskz_or_pd (__mmask8 __U, __m128d __A, __m128d __B) {
310 return (__m128d) __builtin_ia32_orpd128_mask ((__v2df) __A,
311 (__v2df) __B,
312 (__v2df)
313 _mm_setzero_pd (),
314 (__mmask8) __U);
315 }
316
317 static __inline__ __m256 __DEFAULT_FN_ATTRS
_mm256_mask_or_ps(__m256 __W,__mmask8 __U,__m256 __A,__m256 __B)318 _mm256_mask_or_ps (__m256 __W, __mmask8 __U, __m256 __A, __m256 __B) {
319 return (__m256) __builtin_ia32_orps256_mask ((__v8sf) __A,
320 (__v8sf) __B,
321 (__v8sf) __W,
322 (__mmask8) __U);
323 }
324
325 static __inline__ __m256 __DEFAULT_FN_ATTRS
_mm256_maskz_or_ps(__mmask8 __U,__m256 __A,__m256 __B)326 _mm256_maskz_or_ps (__mmask8 __U, __m256 __A, __m256 __B) {
327 return (__m256) __builtin_ia32_orps256_mask ((__v8sf) __A,
328 (__v8sf) __B,
329 (__v8sf)
330 _mm256_setzero_ps (),
331 (__mmask8) __U);
332 }
333
334 static __inline__ __m128 __DEFAULT_FN_ATTRS
_mm_mask_or_ps(__m128 __W,__mmask8 __U,__m128 __A,__m128 __B)335 _mm_mask_or_ps (__m128 __W, __mmask8 __U, __m128 __A, __m128 __B) {
336 return (__m128) __builtin_ia32_orps128_mask ((__v4sf) __A,
337 (__v4sf) __B,
338 (__v4sf) __W,
339 (__mmask8) __U);
340 }
341
342 static __inline__ __m128 __DEFAULT_FN_ATTRS
_mm_maskz_or_ps(__mmask8 __U,__m128 __A,__m128 __B)343 _mm_maskz_or_ps (__mmask8 __U, __m128 __A, __m128 __B) {
344 return (__m128) __builtin_ia32_orps128_mask ((__v4sf) __A,
345 (__v4sf) __B,
346 (__v4sf)
347 _mm_setzero_ps (),
348 (__mmask8) __U);
349 }
350
351 #undef __DEFAULT_FN_ATTRS
352
353 #endif
354