quant-a.S 15 KB

123456789101112131415161718192021222324252627282930313233343536373839404142434445464748495051525354555657585960616263646566676869707172737475767778798081828384858687888990919293949596979899100101102103104105106107108109110111112113114115116117118119120121122123124125126127128129130131132133134135136137138139140141142143144145146147148149150151152153154155156157158159160161162163164165166167168169170171172173174175176177178179180181182183184185186187188189190191192193194195196197198199200201202203204205206207208209210211212213214215216217218219220221222223224225226227228229230231232233234235236237238239240241242243244245246247248249250251252253254255256257258259260261262263264265266267268269270271272273274275276277278279280281282283284285286287288289290291292293294295296297298299300301302303304305306307308309310311312313314315316317318319320321322323324325326327328329330331332333334335336337338339340341342343344345346347348349350351352353354355356357358359360361362363364365366367368369370371372373374375376377378379380381382383384385386387388389390391392393394395396397398399400401402403404405406407408409410411412413414415416417418419420421422423424425426427428429430431432433434435436437438439440441442443444445446447448449450451452453454455456457458459460461462463464465466467468469470471472473474475476477478479480481482483484485486487488489490491492493494495496497498499500501502503504505506507508509510511512513514515516517518519520521522523524525526527528529530531532533534535536537538539540541542543544545546547548549550551552553554555556557558559560561562563564565566567568569570571572573574
  1. /****************************************************************************
  2. * quant.S: arm quantization and level-run
  3. *****************************************************************************
  4. * Copyright (C) 2009-2018 x264 project
  5. *
  6. * Authors: David Conrad <lessen42@gmail.com>
  7. * Janne Grunau <janne-x264@jannau.net>
  8. *
  9. * This program is free software; you can redistribute it and/or modify
  10. * it under the terms of the GNU General Public License as published by
  11. * the Free Software Foundation; either version 2 of the License, or
  12. * (at your option) any later version.
  13. *
  14. * This program is distributed in the hope that it will be useful,
  15. * but WITHOUT ANY WARRANTY; without even the implied warranty of
  16. * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the
  17. * GNU General Public License for more details.
  18. *
  19. * You should have received a copy of the GNU General Public License
  20. * along with this program; if not, write to the Free Software
  21. * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02111, USA.
  22. *
  23. * This program is also available under a commercial proprietary license.
  24. * For more information, contact us at licensing@x264.com.
  25. *****************************************************************************/
  26. #include "asm.S"
  27. const pmovmskb_byte, align=4
  28. .byte 1,2,4,8,16,32,64,128
  29. .byte 1,2,4,8,16,32,64,128
  30. endconst
  31. const mask_2bit, align=4
  32. .byte 3,12,48,192,3,12,48,192
  33. .byte 3,12,48,192,3,12,48,192
  34. endconst
  35. const mask_1bit, align=4
  36. .byte 128,64,32,16,8,4,2,1
  37. .byte 128,64,32,16,8,4,2,1
  38. endconst
  39. .text
  40. .macro QUANT_TWO bias0 bias1 mf0 mf1 mf2 mf3 mask load_mf=no
  41. vadd.u16 q8, q8, \bias0
  42. vadd.u16 q9, q9, \bias1
  43. .ifc \load_mf, yes
  44. vld1.64 {\mf0-\mf3}, [r1,:128]!
  45. .endif
  46. vmull.u16 q10, d16, \mf0
  47. vmull.u16 q11, d17, \mf1
  48. vmull.u16 q12, d18, \mf2
  49. vmull.u16 q13, d19, \mf3
  50. vshr.s16 q14, q14, #15
  51. vshr.s16 q15, q15, #15
  52. vshrn.u32 d16, q10, #16
  53. vshrn.u32 d17, q11, #16
  54. vshrn.u32 d18, q12, #16
  55. vshrn.u32 d19, q13, #16
  56. veor q8, q8, q14
  57. veor q9, q9, q15
  58. vsub.s16 q8, q8, q14
  59. vsub.s16 q9, q9, q15
  60. vorr \mask, q8, q9
  61. vst1.64 {d16-d19}, [r0,:128]!
  62. .endm
  63. .macro QUANT_END d
  64. vmov r2, r3, \d
  65. orrs r0, r2, r3
  66. movne r0, #1
  67. bx lr
  68. .endm
  69. // quant_2x2_dc( int16_t dct[4], int mf, int bias )
  70. function quant_2x2_dc_neon
  71. vld1.64 {d0}, [r0,:64]
  72. vabs.s16 d3, d0
  73. vdup.16 d2, r2
  74. vdup.16 d1, r1
  75. vadd.u16 d3, d3, d2
  76. vmull.u16 q3, d3, d1
  77. vshr.s16 d0, d0, #15
  78. vshrn.u32 d3, q3, #16
  79. veor d3, d3, d0
  80. vsub.s16 d3, d3, d0
  81. vst1.64 {d3}, [r0,:64]
  82. QUANT_END d3
  83. endfunc
  84. // quant_4x4_dc( int16_t dct[16], int mf, int bias )
  85. function quant_4x4_dc_neon
  86. vld1.64 {d28-d31}, [r0,:128]
  87. vabs.s16 q8, q14
  88. vabs.s16 q9, q15
  89. vdup.16 q0, r2
  90. vdup.16 q2, r1
  91. QUANT_TWO q0, q0, d4, d5, d4, d5, q0
  92. vorr d0, d0, d1
  93. QUANT_END d0
  94. endfunc
  95. // quant_4x4( int16_t dct[16], uint16_t mf[16], uint16_t bias[16] )
  96. function quant_4x4_neon
  97. vld1.64 {d28-d31}, [r0,:128]
  98. vabs.s16 q8, q14
  99. vabs.s16 q9, q15
  100. vld1.64 {d0-d3}, [r2,:128]
  101. vld1.64 {d4-d7}, [r1,:128]
  102. QUANT_TWO q0, q1, d4, d5, d6, d7, q0
  103. vorr d0, d0, d1
  104. QUANT_END d0
  105. endfunc
  106. // quant_4x4x4( int16_t dct[4][16], uint16_t mf[16], uint16_t bias[16] )
  107. function quant_4x4x4_neon
  108. vpush {d8-d15}
  109. vld1.64 {d28-d31}, [r0,:128]
  110. vabs.s16 q8, q14
  111. vabs.s16 q9, q15
  112. vld1.64 {d0-d3}, [r2,:128]
  113. vld1.64 {d4-d7}, [r1,:128]
  114. QUANT_TWO q0, q1, d4, d5, d6, d7, q4
  115. vld1.64 {d28-d31}, [r0,:128]
  116. vabs.s16 q8, q14
  117. vabs.s16 q9, q15
  118. QUANT_TWO q0, q1, d4, d5, d6, d7, q5
  119. vld1.64 {d28-d31}, [r0,:128]
  120. vabs.s16 q8, q14
  121. vabs.s16 q9, q15
  122. QUANT_TWO q0, q1, d4, d5, d6, d7, q6
  123. vld1.64 {d28-d31}, [r0,:128]
  124. vabs.s16 q8, q14
  125. vabs.s16 q9, q15
  126. QUANT_TWO q0, q1, d4, d5, d6, d7, q7
  127. vorr d8, d8, d9
  128. vorr d10, d10, d11
  129. vorr d12, d12, d13
  130. vorr d14, d14, d15
  131. vmov r0, r1, d8
  132. vmov r2, r3, d10
  133. orrs r0, r1
  134. movne r0, #1
  135. orrs r2, r3
  136. orrne r0, #2
  137. vmov r1, r2, d12
  138. vmov r3, ip, d14
  139. orrs r1, r2
  140. orrne r0, #4
  141. orrs r3, ip
  142. orrne r0, #8
  143. vpop {d8-d15}
  144. bx lr
  145. endfunc
  146. // quant_8x8( int16_t dct[64], uint16_t mf[64], uint16_t bias[64] )
  147. function quant_8x8_neon
  148. vld1.64 {d28-d31}, [r0,:128]
  149. vabs.s16 q8, q14
  150. vabs.s16 q9, q15
  151. vld1.64 {d0-d3}, [r2,:128]!
  152. vld1.64 {d4-d7}, [r1,:128]!
  153. QUANT_TWO q0, q1, d4, d5, d6, d7, q0
  154. .rept 3
  155. vld1.64 {d28-d31}, [r0,:128]
  156. vabs.s16 q8, q14
  157. vabs.s16 q9, q15
  158. vld1.64 {d2-d5}, [r2,:128]!
  159. QUANT_TWO q1, q2, d4, d5, d6, d7, q1, yes
  160. vorr q0, q0, q1
  161. .endr
  162. vorr d0, d0, d1
  163. QUANT_END d0
  164. endfunc
  165. .macro DEQUANT_START mf_size offset dc=no
  166. mov r3, #0x2b
  167. mul r3, r3, r2
  168. lsr r3, r3, #8 // i_qbits = i_qp / 6
  169. add ip, r3, r3, lsl #1
  170. sub r2, r2, ip, lsl #1 // i_mf = i_qp % 6
  171. .ifc \dc,no
  172. add r1, r1, r2, lsl #\mf_size // dequant_mf[i_mf]
  173. .else
  174. ldr r1, [r1, r2, lsl #\mf_size] // dequant_mf[i_mf][0][0]
  175. .endif
  176. subs r3, r3, #\offset // 6 for 8x8
  177. .endm
  178. // dequant_4x4( int16_t dct[16], int dequant_mf[6][16], int i_qp )
  179. .macro DEQUANT size bits
  180. function dequant_\size\()_neon
  181. DEQUANT_START \bits+2, \bits
  182. .ifc \size, 8x8
  183. mov r2, #4
  184. .endif
  185. blt dequant_\size\()_rshift
  186. vdup.16 q15, r3
  187. dequant_\size\()_lshift_loop:
  188. .ifc \size, 8x8
  189. subs r2, r2, #1
  190. .endif
  191. vld1.32 {d16-d17}, [r1,:128]!
  192. vld1.32 {d18-d19}, [r1,:128]!
  193. vmovn.s32 d4, q8
  194. vld1.32 {d20-d21}, [r1,:128]!
  195. vmovn.s32 d5, q9
  196. vld1.32 {d22-d23}, [r1,:128]!
  197. vmovn.s32 d6, q10
  198. vld1.16 {d0-d3}, [r0,:128]
  199. vmovn.s32 d7, q11
  200. vmul.s16 q0, q0, q2
  201. vmul.s16 q1, q1, q3
  202. vshl.s16 q0, q0, q15
  203. vshl.s16 q1, q1, q15
  204. vst1.16 {d0-d3}, [r0,:128]!
  205. .ifc \size, 8x8
  206. bgt dequant_\size\()_lshift_loop
  207. .endif
  208. bx lr
  209. dequant_\size\()_rshift:
  210. vdup.32 q15, r3
  211. rsb r3, r3, #0
  212. mov ip, #1
  213. sub r3, r3, #1
  214. lsl ip, ip, r3
  215. .ifc \size, 8x8
  216. dequant_\size\()_rshift_loop:
  217. subs r2, r2, #1
  218. .endif
  219. vdup.32 q10, ip
  220. vld1.32 {d16-d17}, [r1,:128]!
  221. vdup.32 q11, ip
  222. vld1.32 {d18-d19}, [r1,:128]!
  223. vmovn.s32 d4, q8
  224. vld1.32 {d16-d17}, [r1,:128]!
  225. vmovn.s32 d5, q9
  226. vld1.32 {d18-d19}, [r1,:128]!
  227. vmovn.s32 d6, q8
  228. vld1.16 {d0-d3}, [r0,:128]
  229. vmovn.s32 d7, q9
  230. vdup.32 q12, ip
  231. vdup.32 q13, ip
  232. vmlal.s16 q10, d0, d4
  233. vmlal.s16 q11, d1, d5
  234. vmlal.s16 q12, d2, d6
  235. vmlal.s16 q13, d3, d7
  236. vshl.s32 q10, q10, q15
  237. vshl.s32 q11, q11, q15
  238. vshl.s32 q12, q12, q15
  239. vshl.s32 q13, q13, q15
  240. vmovn.s32 d0, q10
  241. vmovn.s32 d1, q11
  242. vmovn.s32 d2, q12
  243. vmovn.s32 d3, q13
  244. vst1.16 {d0-d3}, [r0,:128]!
  245. .ifc \size, 8x8
  246. bgt dequant_\size\()_rshift_loop
  247. .endif
  248. bx lr
  249. endfunc
  250. .endm
  251. DEQUANT 4x4, 4
  252. DEQUANT 8x8, 6
  253. // dequant_4x4_dc( int16_t dct[16], int dequant_mf[6][16], int i_qp )
  254. function dequant_4x4_dc_neon
  255. DEQUANT_START 6, 6, yes
  256. blt dequant_4x4_dc_rshift
  257. lsl r1, r1, r3
  258. vdup.16 q2, r1
  259. vld1.16 {d0-d3}, [r0,:128]
  260. vdup.16 q15, r3
  261. vmul.s16 q0, q0, q2
  262. vmul.s16 q1, q1, q2
  263. vst1.16 {d0-d3}, [r0,:128]
  264. bx lr
  265. dequant_4x4_dc_rshift:
  266. vdup.16 d4, r1
  267. vdup.32 q15, r3
  268. rsb r3, r3, #0
  269. mov ip, #1
  270. sub r3, r3, #1
  271. lsl ip, ip, r3
  272. vdup.32 q10, ip
  273. vdup.32 q11, ip
  274. vld1.16 {d0-d3}, [r0,:128]
  275. vdup.32 q12, ip
  276. vdup.32 q13, ip
  277. vmlal.s16 q10, d0, d4
  278. vmlal.s16 q11, d1, d4
  279. vmlal.s16 q12, d2, d4
  280. vmlal.s16 q13, d3, d4
  281. vshl.s32 q10, q10, q15
  282. vshl.s32 q11, q11, q15
  283. vshl.s32 q12, q12, q15
  284. vshl.s32 q13, q13, q15
  285. vmovn.s32 d0, q10
  286. vmovn.s32 d1, q11
  287. vmovn.s32 d2, q12
  288. vmovn.s32 d3, q13
  289. vst1.16 {d0-d3}, [r0,:128]
  290. bx lr
  291. endfunc
  292. .macro decimate_score_1x size
  293. function decimate_score\size\()_neon
  294. vld1.16 {q0, q1}, [r0, :128]
  295. movrel r3, mask_2bit
  296. vmov.s8 q3, #0x01
  297. vqmovn.s16 d0, q0
  298. vqmovn.s16 d1, q1
  299. vqabs.s8 q2, q0
  300. vld1.8 {q8}, [r3, :128]
  301. vceq.s8 q1, q0, #0
  302. vcgt.s8 q2, q2, q3
  303. vand.u8 q1, q1, q8
  304. vshrn.u16 d4, q2, #4
  305. vpadd.u8 d2, d2, d3
  306. vpadd.u8 d4, d4, d4
  307. vpadd.u8 d2, d2, d2
  308. vmov.32 r2, d4[0]
  309. vmov.32 r1, d2[0]
  310. cmp r2, #0
  311. beq 0f
  312. mov r0, #9
  313. bx lr
  314. 0:
  315. mvns r1, r1
  316. mov r0, #0
  317. bxeq lr
  318. .ifc \size, 15
  319. lsr r1, r1, #2
  320. .endif
  321. rbit r1, r1
  322. movrelx r3, X264(decimate_table4), r2
  323. 1:
  324. clz r2, r1
  325. lsl r1, r1, r2
  326. lsr r12, r2, #1
  327. ldrb r2, [r3, r12]
  328. lsls r1, r1, #2
  329. add r0, r0, r2
  330. bne 1b
  331. bx lr
  332. endfunc
  333. .endm
  334. decimate_score_1x 15
  335. decimate_score_1x 16
  336. function decimate_score64_neon
  337. push {lr}
  338. vld1.16 {q8, q9}, [r0, :128]!
  339. vld1.16 {q10, q11}, [r0, :128]!
  340. vld1.16 {q12, q13}, [r0, :128]!
  341. vld1.16 {q14, q15}, [r0, :128]
  342. movrel r3, mask_1bit
  343. vmov.s8 q3, #0x01
  344. vqmovn.s16 d17, q8
  345. vqmovn.s16 d16, q9
  346. vqmovn.s16 d19, q10
  347. vqmovn.s16 d18, q11
  348. vqmovn.s16 d21, q12
  349. vqmovn.s16 d20, q13
  350. vqmovn.s16 d23, q14
  351. vqmovn.s16 d22, q15
  352. vqabs.s8 q12, q8
  353. vqabs.s8 q13, q9
  354. vqabs.s8 q14, q10
  355. vqabs.s8 q15, q11
  356. vld1.8 {q2}, [r3, :128]
  357. vceq.s8 q8, q8, #0
  358. vceq.s8 q9, q9, #0
  359. vceq.s8 q10, q10, #0
  360. vceq.s8 q11, q11, #0
  361. vmax.s8 q12, q12, q13
  362. vmax.s8 q14, q14, q15
  363. vand.u8 q8, q8, q2
  364. vand.u8 q9, q9, q2
  365. vand.u8 q10, q10, q2
  366. vand.u8 q11, q11, q2
  367. vmax.s8 q12, q12, q14
  368. vpadd.u8 d18, d18, d19
  369. vpadd.u8 d19, d16, d17
  370. vcgt.s8 q12, q12, q3
  371. vpadd.u8 d22, d22, d23
  372. vpadd.u8 d23, d20, d21
  373. vshrn.u16 d24, q12, #4
  374. vpadd.u8 d16, d22, d23
  375. vpadd.u8 d17, d18, d19
  376. vpadd.u8 d24, d24, d24
  377. vpadd.u8 d16, d16, d17
  378. vmov.32 r2, d24[0]
  379. vmov r12, r1, d16
  380. cmp r2, #0
  381. beq 0f
  382. mov r0, #9
  383. pop {pc}
  384. 0:
  385. mvns r1, r1
  386. mvn r12, r12
  387. mov r0, #0
  388. mov lr, #32
  389. movrelx r3, X264(decimate_table8), r2
  390. beq 2f
  391. 1:
  392. clz r2, r1
  393. lsl r1, r1, r2
  394. sub lr, lr, r2
  395. ldrb r2, [r3, r2]
  396. lsls r1, r1, #1
  397. sub lr, lr, #1
  398. add r0, r0, r2
  399. bne 1b
  400. 2:
  401. cmp r12, #0
  402. popeq {pc}
  403. clz r2, r12
  404. lsl r1, r12, r2
  405. add r2, r2, lr
  406. ldrb r2, [r3, r2]
  407. lsls r1, r1, #1
  408. add r0, r0, r2
  409. popeq {pc}
  410. 3:
  411. clz r2, r1
  412. lsl r1, r1, r2
  413. ldrb r2, [r3, r2]
  414. lsls r1, r1, #1
  415. add r0, r0, r2
  416. bne 3b
  417. pop {pc}
  418. endfunc
  419. // int coeff_last( int16_t *l )
  420. function coeff_last4_arm
  421. ldrd r2, r3, [r0]
  422. subs r0, r3, #0
  423. movne r0, #2
  424. movne r2, r3
  425. lsrs r2, r2, #16
  426. addne r0, r0, #1
  427. bx lr
  428. endfunc
  429. function coeff_last8_arm
  430. ldrd r2, r3, [r0, #8]
  431. orrs ip, r2, r3
  432. movne r0, #4
  433. ldrdeq r2, r3, [r0]
  434. moveq r0, #0
  435. tst r3, r3
  436. addne r0, #2
  437. movne r2, r3
  438. lsrs r2, r2, #16
  439. addne r0, r0, #1
  440. bx lr
  441. endfunc
  442. .macro COEFF_LAST_1x size
  443. function coeff_last\size\()_neon
  444. .if \size == 15
  445. sub r0, r0, #2
  446. .endif
  447. vld1.64 {d0-d3}, [r0,:128]
  448. vtst.16 q0, q0
  449. vtst.16 q1, q1
  450. vshrn.u16 d0, q0, #8
  451. vshrn.u16 d1, q1, #8
  452. vshrn.u16 d0, q0, #4
  453. vclz.i32 d0, d0
  454. mov ip, #7
  455. mov r3, #\size - 9
  456. vmov r0, r1, d0
  457. subs r1, ip, r1, lsr #2
  458. addge r0, r1, #\size - 8
  459. subslt r0, r3, r0, lsr #2
  460. movlt r0, #0
  461. bx lr
  462. endfunc
  463. .endm
  464. COEFF_LAST_1x 15
  465. COEFF_LAST_1x 16
  466. function coeff_last64_neon
  467. vld1.64 {d16-d19}, [r0,:128]!
  468. vqmovn.u16 d16, q8
  469. vqmovn.u16 d17, q9
  470. vld1.64 {d20-d23}, [r0,:128]!
  471. vqmovn.u16 d18, q10
  472. vqmovn.u16 d19, q11
  473. vld1.64 {d24-d27}, [r0,:128]!
  474. vqmovn.u16 d20, q12
  475. vqmovn.u16 d21, q13
  476. vld1.64 {d28-d31}, [r0,:128]!
  477. vqmovn.u16 d22, q14
  478. vqmovn.u16 d23, q15
  479. movrel r1, pmovmskb_byte
  480. vld1.64 {d0-d1}, [r1,:128]
  481. vtst.8 q8, q8
  482. vtst.8 q9, q9
  483. vtst.8 q10, q10
  484. vtst.8 q11, q11
  485. vand q8, q8, q0
  486. vand q9, q9, q0
  487. vand q10, q10, q0
  488. vand q11, q11, q0
  489. vpadd.u8 d0, d16, d17
  490. vpadd.u8 d1, d18, d19
  491. vpadd.u8 d2, d20, d21
  492. vpadd.u8 d3, d22, d23
  493. vpadd.u8 d0, d0, d1
  494. vpadd.u8 d1, d2, d3
  495. vpadd.u8 d0, d0, d1
  496. vclz.i32 d0, d0
  497. mov ip, #31
  498. vmov r0, r1, d0
  499. subs r1, ip, r1
  500. addge r0, r1, #32
  501. subslt r0, ip, r0
  502. movlt r0, #0
  503. bx lr
  504. endfunc
  505. function denoise_dct_neon
  506. 1: subs r3, r3, #16
  507. vld1.16 {q0, q1}, [r0]
  508. vld1.32 {q12, q13}, [r1]!
  509. vld1.32 {q14, q15}, [r1]
  510. sub r1, #32
  511. vabs.s16 q8, q0
  512. vabs.s16 q9, q1
  513. vld1.16 {q2, q3}, [r2]!
  514. vclt.s16 q10, q0, #0
  515. vclt.s16 q11, q1, #0
  516. vaddw.u16 q12, q12, d16
  517. vaddw.u16 q13, q13, d17
  518. vqsub.u16 q0, q8, q2
  519. vqsub.u16 q1, q9, q3
  520. vaddw.u16 q14, q14, d18
  521. vaddw.u16 q15, q15, d19
  522. vneg.s16 q8, q0
  523. vneg.s16 q9, q1
  524. vbsl q10, q8, q0
  525. vbsl q11, q9, q1
  526. vst1.32 {q12, q13}, [r1]!
  527. vst1.32 {q14, q15}, [r1]!
  528. vst1.16 {q10, q11}, [r0]!
  529. bgt 1b
  530. bx lr
  531. endfunc